Ajouter le suffixe à la colonne des entrées dans le fichier csv (ou dans la base de données SQLite)

Question

J'ai un assez grand fichiers csv (1.2gb ... grand à la RAM de 2 Go sur un de mes ordinateurs). Pour chaque entrée dans une colonne, je voudrais ajouter "1C" afin que je puisse joindre/fusionner avec une autre table de données/db.

Si le fichier n'était pas si grand, il serait facile d'utiliser read.csv pour importer à data puis utiliser data$symbol <- paste(data$symbol, "1C", sep=""). Mais maintenant, je reçois l'avertissement can't allocate vector of size x.

Est-ce une solution manuelle, comme scan(), ma seule option? (J'ai un peu peur de corrompre mes données) Merci!

Answer 1

L'utilisation scan ne va pas vous aider si vous pouvez déjà obtenir vos données dans R.

Assurez-vous data a uniquement les colonnes dont vous avez besoin de fusionner, et exécuter gc() avant d'essayer votre commande paste (gc sera aide si vous êtes proche de la limite de votre limite de mémoire).

Si cela échoue, regardez certaines des solutions dans this thread.

---

MISE À JOUR:
Et si vous arrive d'utiliser une saveur de * nix, ou si vous avez RTools installé sur Windows, vous pouvez le faire avec gawk. Si vos données sont dans foo.csv et que vous souhaitez ajouter le "C1" à la deuxième colonne, cela va créer un nouveau fichier, bar.csv, avec "C1" ajouté à la deuxième colonne.

compy: /home/josh 
> cat foo.csv 
1,one,2,two 
3,three,4,four 
5,five,6,six 

compy: /home/josh 
> gawk -F "," '{OFS=","; $2=($2 "1C"); print}' <foo.csv> bar.csv 

compy: /home/josh 
> cat bar.csv 
1,one1C,2,two 
3,three1C,4,four 
5,five1C,6,six 

Ce sera probablement plus rapide que R et consommera une quantité négligeable de mémoire.

Answer 2

C'est un peu moche, mais vous pouvez lire le fichier, ligne par ligne et le mettre dans un autre fichier, ligne par ligne. De cette façon, vous ne liriez jamais le tout en mémoire. Ce ne serait pas différent de l'approche awk de Joshua, mais en utilisant R (et considérablement plus lent). L'exemple suivant était celui que j'avais bricolé pour enlever des signes de dollar et des signes de pourcentage d'un CSV. Vous pouvez modifier la logique au milieu pour faire la logique que vous voulez.

con <- file(inputFile, open = "r") 
con2 <- file(temporaryFile, open = "w") 

while (length(oneLine <- readLines(con, n = 1, warn = FALSE)) > 0) { 
    oneLine <- gsub("%", "", oneLine)  #strip out the percent signs 
    oneLine <- gsub("\\$", "", oneLine) #strip out the dollar signs 
    cat(oneLine, file = con2, sep = "\n") #spit the line back out 
    } 

close(con) 
close(con2) 

Answer 3

Lecture seule une colonne et ce que je suppose peut-être un chef de file identifiant unique pour fusionner plus tard les opérations en mémoire:

twocol <- read.table(file="what.csv", colClasses=("numeric", "character", rep("NULL", <number-of-remaining-columns>) , sep=",") 
twocol$V2 <- paste(twocol$V2, "1C", sep="") 
merge(twocol, otherdf, by.x="V1" , ....) 

Answer 4

Ajoute 1C à la deuxième colonne:

perl -F, -lane '$F[1] .= "1C"; print join ",", @F' file.csv

Ces options de ligne de commande sont utilisées:

• boucle -n autour de chaque ligne du fichier d'entrée
• -l avant le traitement supprime les nouvelles lignes, et les ajoute à la suite de retour
• -a mode autosplit - lignes d'entrée séparées dans le tableau @F. Par défaut, scinder sur les espaces.
• -e exécuter le code perl
• -F modificateur de autosplit, dans ce cas se divise sur ,

@F est le tableau de mots dans chaque ligne, indexée en commençant par $F[0]
.= est le "append à" opérateur