MySQL charge les valeurs NULL à partir des données CSV

Question

J'ai un fichier qui peut contenir de 3 à 4 colonnes de valeurs numériques séparées par une virgule. Les champs vides sont définis à l'exception quand ils sont à la fin de la ligne:

1,2,3,4,5 
1,2,3,,5 
1,2,3 

Le tableau suivant a été créé en MySQL:

 
+-------+--------+------+-----+---------+-------+ 
| Field | Type | Null | Key | Default | Extra | 
+-------+--------+------+-----+---------+-------+ 
| one | int(1) | YES |  | NULL |  | 
| two | int(1) | YES |  | NULL |  | 
| three | int(1) | YES |  | NULL |  | 
| four | int(1) | YES |  | NULL |  | 
| five | int(1) | YES |  | NULL |  | 
+-------+--------+------+-----+---------+-------+ 

Je suis en train de charger les données en utilisant la commande MySQL LOAD :

LOAD DATA INFILE '/tmp/testdata.txt' INTO TABLE moo FIELDS 
TERMINATED BY "," LINES TERMINATED BY "\n"; 

Le tableau résultant:

 
+------+------+-------+------+------+ 
| one | two | three | four | five | 
+------+------+-------+------+------+ 
| 1 | 2 |  3 | 4 | 5 | 
| 1 | 2 |  3 | 0 | 5 | 
| 1 | 2 |  3 | NULL | NULL | 
+------+------+-------+------+------+ 

Le problème réside dans le fait que lorsqu'un champ est vide dans les données brutes et n'est pas défini, MySQL n'utilise pas la valeur par défaut des colonnes (qui est NULL) et utilise zéro. NULL est utilisé correctement lorsque le champ est manquant tous ensemble.

Malheureusement, je dois être capable de distinguer entre NULL et 0 à ce stade, donc toute aide serait appréciée.

Merci S.

modifier

La sortie SHOW WARNINGS:

 
+---------+------+--------------------------------------------------------+ 
| Level | Code | Message            | 
+---------+------+--------------------------------------------------------+ 
| Warning | 1366 | Incorrect integer value: '' for column 'four' at row 2 | 
| Warning | 1261 | Row 3 doesn't contain data for all columns    | 
| Warning | 1261 | Row 3 doesn't contain data for all columns    | 
+---------+------+--------------------------------------------------------+ 

Answer 1

Cela va faire ce que vous voulez. Il lit le quatrième champ dans une variable locale, et définit la valeur réelle du champ à NULL, si la fin variable locale contenant jusqu'à une chaîne vide:

LOAD DATA infile '/tmp/testdata.txt' 
INTO TABLE moo 
fields terminated BY "," 
lines terminated BY "\n" 
(one, two, three, @vfour, five) 
SET four = nullif(@vfour,'') 
; 

S'ils sont tous peut-être vide, alors vous lire tous en variables et ont plusieurs instructions SET, comme ceci:

LOAD DATA infile '/tmp/testdata.txt' 
INTO TABLE moo 
fields terminated BY "," 
lines terminated BY "\n" 
(@vone, @vtwo, @vthree, @vfour, @vfive) 
SET 
one = nullif(@vone,''), 
two = nullif(@vtwo,''), 
three = nullif(@vthree,''), 
four = nullif(@vfour,'') 
; 

Answer 2

Prétraitez votre CSV d'entrée pour remplacer les entrées vides avec \ N.

Tentative de regex: s/,, /, \ n,/g et s /, $ /, \ N/g

Bonne chance.

Answer 3

MySQL manual dit:

Lors de la lecture des données avec LOAD DATA INFILE, les colonnes vides ou manquantes à jour avec ''. Si vous souhaitez une valeur NULL dans une colonne, vous devez utiliser \ N dans le fichier de données. Le mot littéral "NULL" peut également être utilisé dans certaines circonstances .

Vous devez remplacer les blancs avec \ N comme ceci:

1,2,3,4,5 
1,2,3,\N,5 
1,2,3 

Answer 4

le comportement est différent en fonction de la configuration de base de données. En mode strict cela jetterait une erreur sinon un avertissement. La requête suivante peut être utilisée pour identifier la configuration de la base de données.

mysql> show variables like 'sql_mode';