Récursivité Récurrence récursion --- Comment puis-je améliorer les performances? (Extraction récursive d'archive de Python)

Question

J'essaye de développer un extracteur récursif. Le problème est, c'est Recursing Too Much (Evertime, il a trouvé un type d'archive) et de prendre un coup de performance.

Alors, comment puis-je améliorer ci-dessous le code?

Mon Idée 1:

Obtenez le 'Dict' de direcories d'abord, avec types.Filetypes de fichiers comme clés. Extrayez les types de fichiers. Quand une archive est trouvée Extraire seulement celui-là. Puis Régénérer Archive Dict à nouveau.

Mon Idée 2:

os.walk retourne Generator. Alors, y a-t-il quelque chose que je peux faire avec les générateurs? Je suis nouveau aux générateurs.

ici est le code actuel:

import os, magic 
m = magic.open(magic.MAGIC_NONE) 
m.load() 

archive_type = [ 'gzip compressed data', 
     '7-zip archive data', 
     'Zip archive data', 
     'bzip2 compressed data', 
     'tar archive', 
     'POSIX tar archive', 
     'POSIX tar archive (GNU)', 
     'RAR archive data', 
     'Microsoft Outlook email folder (>=2003)', 
     'Microsoft Outlook email folder'] 

def extractRecursive(path ,archives): 
    i=0 
    for dirpath, dirnames, filenames in os.walk(path): 
     for f in filenames: 
      fp = os.path.join(dirpath, f) 
      i+=1 
      print i 
      file_type = m.file(fp).split(",")[0] 
      if file_type in archives: 
       arcExtract(fp,file_type,path,True) 
       extractRecursive(path,archives) 
    return "Done" 



def arcExtract(file_path,file_type,extracted_path="/home/v3ss/Downloads/extracted",unlink=False): 
    import subprocess,shlex 


    if file_type in pst_types: 
     cmd = "readpst -o '%s' -S '%s'" % (extracted_path,file_path) 
    else: 
     cmd = "7z -y -r -o%s x '%s'" % (extracted_path,file_path) 

    print cmd 
    args= shlex.split(cmd) 
    print args 

    try: 
     sp = subprocess.Popen(args, shell = False, stdout = subprocess.PIPE, stderr = subprocess.PIPE) 
     out, err = sp.communicate() 
     print out, err 
     ret = sp.returncode 
    except OSError: 
     print "Error no %s Message %s" % (OSError.errno,OSError.message) 
     pass 

    if ret == 0: 
     if unlink==True: 
      os.unlink(file_path) 
     return "OK!" 
    else: 
     return "Failed" 
if __name__ == '__main__': 
    extractRecursive('Path/To/Archives' ,archive_type) 

Answer 1

Si, comme il semble, vous voulez extraire les fichiers d'archive des chemins « ci-dessus » celui ils sont, en soi os.walk (dans son fonctionnement top-down normal) ne peut pas vous aider (car au moment où vous extrayez une archive dans un certain répertoire x, os.walk peut probablement, mais pas nécessairement, déjà considéré le répertoire x - donc seulement en ayant os .walk regarder le chemin entier encore et encore pouvez-vous obtenir tout le contenu). Sauf que je suis surpris que votre code se termine jamais, puisque les fichiers de type archive devraient continuer à être trouvés et extraits - je ne vois pas ce qui peut jamais mettre fin à la récursion. (Pour résoudre cela, il suffirait de conserver un ensemble de tous les chemins des fichiers de type archive que vous avez déjà extraits, pour éviter de les considérer de nouveau lorsque vous les rencontrerez à nouveau). De toute façon, la meilleure architecture serait de arcExtract de retourner une liste de tous les fichiers qu'il a extraits (en particulier leurs chemins de destination) - alors vous pourriez simplement prolonger une liste avec tous ces fichiers extraits pendant la boucle os.walk (pas de récursivité), puis continuez à boucler juste sur la liste (pas besoin de demander au système d'exploitation à propos des fichiers et des répertoires, en économisant beaucoup de temps sur cette opération) et en produisant une nouvelle liste similaire. Pas de récursivité, pas de redondance du travail. J'imagine que readpst et 7z sont capables de fournir de telles listes (peut-être sur leur sortie ou erreur standard, que vous venez d'afficher mais que vous ne traitez pas) sous une forme textuelle que vous pourriez analyser pour en faire une liste ...?

Answer 2

Vous pouvez simplifier la méthode extractRecursive utiliser os.walk comme il doit être utilisé. os.walk lit déjà tous les sous-répertoires afin que votre récursivité ne soit pas nécessaire.

Retirez simplement l'appel récursif et il devrait fonctionner :)

def extractRecursive(path, archives, extracted_archives=None): 
    i = 0 
    if not extracted_archives: 
     extracted_archives = set() 

    for dirpath, dirnames, filenames in os.walk(path): 
     for f in filenames: 
      fp = os.path.join(dirpath, f) 
      i += 1 
      print i 
      file_type = m.file(fp).split(',')[0] 
      if file_type in archives and fp not in extracted_archives: 
       extracted_archives.add(fp) 
       extracted_in.add(dirpath) 
       arcExtract(fp, file_type, path, True) 

    for path in extracted_in: 
     extractRecursive(path, archives, extracted_archives) 

    return "Done"