Comment lire csv en tableau record en numpy?

Question

Je me demande s'il existe un moyen direct d'importer le contenu d'un fichier csv dans une matrice d'enregistrement, comme la famille read.table(), read.delim() et read.csv() de R importe les données dans la trame de données de R?

Ou est le meilleur moyen d'utiliser csv.reader() et ensuite appliquer quelque chose comme numpy.core.records.fromrecords()?

Answer 1

Vous pouvez utiliser la méthode genfromtxt() de Numpy pour ce faire, en définissant le delimiter kwarg sur une virgule.

from numpy import genfromtxt 
my_data = genfromtxt('my_file.csv', delimiter=',') 

Plus d'informations sur la fonction se trouve à sa documentation respective.

Answer 2

Vous pouvez également essayer recfromcsv() qui peut deviner les types de données et retourner une matrice d'enregistrement correctement formatée.

Answer 3

je recommande la fonction read_csv de la bibliothèque pandas:

import pandas as pd 
df=pd.read_csv('myfile.csv', sep=',',header=None) 
df.values 
array([[ 1. , 2. , 3. ], 
     [ 4. , 5.5, 6. ]]) 

Cela donne une Pandas DataFrame - permettant many useful data manipulation functions which are not directly available with numpy record arrays.

DataFrame is a 2-dimensional labeled data structure with columns of potentially different types. You can think of it like a spreadsheet or SQL table...

---

Je recommande également genfromtxt. Cependant, étant donné que la question demande une record array, par opposition à un tableau normal, le paramètre dtype=None doit être ajouté à la genfromtxt appel:

Compte tenu d'un fichier d'entrée, myfile.csv:

1.0, 2, 3 
4, 5.5, 6 

import numpy as np 
np.genfromtxt('myfile.csv',delimiter=',') 

donne un tableau :

array([[ 1. , 2. , 3. ], 
     [ 4. , 5.5, 6. ]]) 

et

np.genfromtxt('myfile.csv',delimiter=',',dtype=None) 

donne un tableau d'enregistrements:

array([(1.0, 2.0, 3), (4.0, 5.5, 6)], 
     dtype=[('f0', '<f8'), ('f1', '<f8'), ('f2', '<i4')]) 

Ceci a l'avantage que le fichier avec multiple data types (including strings) can be easily imported.

Answer 4

J'ai chronométré le

from numpy import genfromtxt 
genfromtxt(fname = dest_file, dtype = (<whatever options>)) 

contre

import csv 
import numpy as np 
with open(dest_file,'r') as dest_f: 
    data_iter = csv.reader(dest_f, 
          delimiter = delimiter, 
          quotechar = '"') 
    data = [data for data in data_iter] 
data_array = np.asarray(data, dtype = <whatever options>)  

sur 4,6 millions de lignes avec environ 70 colonnes et a constaté que le chemin numpy a 2 min 16s et la méthode de compréhension csv-liste a 13 ans.

Je recommanderais la méthode de compréhension csv-list car elle repose probablement sur des bibliothèques précompilées et non sur l'interpréteur autant que numpy. Je soupçonne que la méthode pandas aurait des frais généraux d'interprète similaire.

Answer 5

Vous pouvez utiliser ce code pour envoyer des données de fichier csv pour un tableau

import numpy as np 
csv = np.genfromtxt('test.csv',delimiter=",") 
print(csv) 

Answer 6

J'ai essayé ceci:

import pandas as p 
import numpy as n 

closingValue = p.read_csv("<FILENAME>", usecols=[4], dtype=float) 
print(closingValue) 

Answer 7

Comme je l'ai essayé dans les deux sens à l'aide Numpy et Pandas, en utilisant pandas géants a une beaucoup d'avantages: - plus rapide - moins l'utilisation du processeur - 1/3 utilisation de la RAM à comparer Numpy genfromtxt

Ceci est mon code de test:

$ for f in test_pandas.py test_numpy_csv.py ; do /usr/bin/time python $f; done 
2.94user 0.41system 0:03.05elapsed 109%CPU (0avgtext+0avgdata 502068maxresident)k 
0inputs+24outputs (0major+107147minor)pagefaults 0swaps 

23.29user 0.72system 0:23.72elapsed 101%CPU (0avgtext+0avgdata 1680888maxresident)k 
0inputs+0outputs (0major+416145minor)pagefaults 0swaps 

test_numpy_csv.py

from numpy import genfromtxt 
train = genfromtxt('/home/hvn/me/notebook/train.csv', delimiter=',') 

test_pandas.py

from pandas import read_csv 
df = read_csv('/home/hvn/me/notebook/train.csv') 

Datafile:

du -h ~/me/notebook/train.csv 
59M /home/hvn/me/notebook/train.csv 

Avec numpy et pandas versions:

$ pip freeze | egrep -i 'pandas|numpy' 
numpy==1.13.3 
pandas==0.20.2 

Answer 8

En utilisant numpy.loadtxt

Une méthode assez simple. Mais il exige que tous les éléments étant flotteur (int et ainsi de suite)

import numpy as np 
data = np.loadtxt('c:\\1.csv',delimiter=',',skiprows=0)