accélérer l'analyse des fichiers

Question

cette fonction est très lent, prend ~ 6 secondes pour un fichier qui est relativement faible (moins de 30.000 lignes.)

comment puis-je accélérer?

def csv2dictlist_raw(filename, delimiter='\t'): 
    f = open(filename) 
    header_line = f.readline().strip() 
    header_fields = header_line.split(delimiter) 
    dictlist = [] 
    # convert data to list of dictionaries 
    for line in f: 
    values = map(tryEval, line.strip().split(delimiter)) 
    dictline = dict(zip(header_fields, values)) 
    dictlist.append(dictline) 
    return (dictlist, header_fields) 

en réponse aux commentaires:

Je sais qu'il ya un module csv et je peux l'utiliser comme ceci:

data = csv.DictReader(my_csvfile, delimiter=delimiter) 

ce qui est beaucoup plus rapide. Cependant, le problème est qu'il ne convertit pas automatiquement les éléments qui sont évidemment des nombres flottants et des entiers en nombres et les transforme en chaînes. Comment puis-je réparer cela? L'utilisation de la classe "Sniffer" ne fonctionne pas pour moi. Quand je l'essayer sur mes fichiers, je reçois l'erreur:

File "/System/Library/Frameworks/Python.framework/Versions/2.6/lib/python2.6/csv.py", line 180, in sniff 
    raise Error, "Could not determine delimiter" 
Error: Could not determine delimiter 

Comment puis-je faire DictReader analyser les champs dans leurs types quand il est évident?

merci.

merci.

Answer 1

import ast 

# find field types 
for row in csv.DictReader(my_csvfile, delimiter=delimiter): 
    break 
else: 
    assert 0, "no rows to process" 
cast = {} 
for k, v in row.iteritems(): 
    for f in (int, float, ast.literal_eval): 
     try: 
      f(v) 
      cast[k] = f 
      break 
     except (ValueError, SyntaxError): 
      pass 
    else: # no suitable conversion 
     cast[k] = lambda x: x.decode(encoding) 

# read data 
my_csvfile.seek(0) 

data = [dict((k.decode(encoding), cast[k](v)) for k, v in row.iteritems()) 
     for row in csv.DictReader(my_csvfile, delimiter=delimiter)] 

Answer 2

Je vois plusieurs problèmes avec votre code:

• Pourquoi avez-vous besoin dicts? Les clés sont stockées dans chaque instance dict ce qui augmente la consommation de mémoire.

• Avez-vous vraiment besoin de conserver toutes les instances en mémoire ou serait-ce une option pour utiliser yield?

• Essayer de convertir chaque valeur prend du temps et n'a aucun sens dans mon option. Si vous avez une colonne ayant les valeurs "abc" et "123" la dernière valeur devrait probablement être une chaîne. Le type d'une colonne doit donc être corrigé et vous devez rendre la conversion explicite.

• Même si vous souhaitez utiliser votre logique de conversion: Utilisez le module csv et convertissez les valeurs par la suite.

Answer 3

Qu'en est-pandas géants?

import pandas as pd 

# load everything in 
df = pd.read_table(filename) 

# coerce strings to numeric 
df = df.convert_objects(convert_numeric=True)