Parsing utilisant awk ou sed sous Unix

Question

J'ai plusieurs fichiers avec des centaines de milliers d'enregistrements en format suivant:

2010/08/10 10:07:52|TrainZoom|1393|38797|MyCustomerAPI->,mask = ZPTA,TransId = 1281460071578,testing :-> , capture -> : , IMDB = 9113290830, equipmentName = GMT, technologyName = RMS,,,)|

Il y a des champs séparés par des tuyaux et à l'intérieur d'un champ (dernier), il y a beaucoup d'autres champs séparés par des virgules. Ce que je veux faire est de stocker toutes ces valeurs dans la base de données. Pour l'exemple ci-dessus mes champs de DB seraient date-heure, nom de processus, identification de fil, numéro de séquence, nom d'API, transId, imdb, equipmentName, technologyName.
API Nom n'est pas dans un format fixe mais je peux supposer que c'est une longueur fixe.

S'il vous plaît laissez-moi savoir si je peux le faire dans Unix en utilisant awk ou sed.

Merci,

Answer 1

Juste pour le plaisir: base de données

cat file.txt | sed -e 's/\([^|]*\)|\([^|]*\)|\([^|]*\)|\([^|]*\)|/insert into table set date-time=\1, process-name=\2, thread-id=\3, sequence-num=\4, /' -e 's/,[^=]*,/,/g' -e 's/ \([,=]\)/\1/g' -e 's/\([,=]\) /\1/g' -e 's/\([^,]*\)=\([^,]*\),/\1="\2",/g' -e 's/"[^"]*$/";/' | mysql dbname 

Answer 2

J'utiliser perl ou python pour faire le travail car ils fournissent des connecteurs DB pour la saveur différente des RPD. Je ne vois pas ce que vous voulez faire, awk ou sed, car ce sont des "text to text transformers".

Vous devez compléter votre question pour clarifier votre objectif (texte => script SQL par exemple) et cible DB si vous voulez un exemple de code.

Answer 3

Vous pouvez effectuer l'analyse au moins directement dans bash. Je ne sais pas ce que vous voulez faire avec les valeurs, mais ce script parse chaque ligne et affiche les différents champs:

#!/bin/bash 

while IFS='|' read dateTime processName threadId sequenceNum other; do 
    IFS=',' read apiName mask transId testing capture imdb equipmentName technologyName other <<< "$other" 

    echo "date-time:  $dateTime" 
    echo "process-name: $processName" 
    echo "thread-id:  $threadId" 
    echo "sequence-num: $sequenceNum" 
    echo "api-name:  $apiName" 
    echo "trans-id:  $transId" 
    echo "imdb:   $imdb" 
    echo "equipment-name: $equipmentName" 
    echo "technology-name: $technologyName" 
done 

Answer 4

oui, vous pouvez le faire au moins l'analyse syntaxique dans awk,

awk -F"|" 'BEGIN{q="\047"} 
{ 
printf "insert into table values(" 
printf q $1 q","q $2,"," 
# fill up the rest yourself 
} 
' file 

ce qui précède produit un tas d'instructions d'insertion. Vous pouvez soit les rediriger vers votre client de base de données, soit les enregistrer dans un fichier .sql, puis utiliser le client de base de données pour l'exécuter.