AWK/BASH: comment faire correspondre un champ dans un fichier d'un champ dans un autre?

Question

J'ai 2 fichiers, le premier contient les éléments suivants:

... 
John Allen Smith II 16 555-555-5555 10/24/2010 
John Allen Smith II 3 555-555-5555 10/24/2010 
John Allen Smith II 17 555-555-5555 10/24/2010 
John Doe 16 555-555-5555 10/24/2010 
Jane Smith 16 555-555-5555 9/16/2010 
Jane Smith 00 555-555-5555 10/24/2010 
... 

et le second fichier est une liste de noms donc ...

... 
John Allen Smith II 
John Doe 
Jane Smith 
... 

Est-il possible d'utiliser awk (ou autre bash commande) pour imprimer les lignes dans le premier fichier qui correspondent à un nom dans le deuxième fichier (les noms peuvent répéter dans le premier fichier)

Bonus? Existe-t-il un moyen facile de supprimer ces lignes répétées/dupliquées dans le premier fichier?

Merci beaucoup,

Tomek

Answer 1

awk

#! /bin/bash 
awk 'FNR==NR{!a[$0]++;next }{ b[$0]++ } 
END{ 
    for(i in a){ 
    for(k in b){ 
     if (a[i]==1 && i ~ k) { print i } 
    } 
    } 
}' file1 file2 

Answer 2

Vous pouvez utiliser grep comme:

grep -f file2 file1 # file2 is the file with the names. 

L'option -f de grep obtient le motif à rechercher dans le fichier.

Pour supprimer les doublons exacts de la sortie, vous pouvez utiliser sort comme:

grep -f file2 file1 | sort -u 

Answer 3

expansion sur la réponse codaddict:

grep -f file2 file1 | sort | uniq 

cela supprimera les lignes qui sont exactement les mêmes, mais l'effet secondaire (qui peut être indésirable) est que votre dat l'afile sera maintenant trié. Il faut également que les lignes soient exactement le même, ce qui n'est pas le cas dans vos données d'exemple. Les noms sont les mêmes, mais les données après ces mêmes noms sont différentes. uniq peut prendre une option de champ ou de nombre de caractères, mais cela ne fonctionnera pas sur vos données car vos noms ont une longueur variable et un nombre variable de champs. Si vous connaissez vos champs de données sont toujours les 3 derniers champs sur une ligne, vous pouvez le faire:

grep -f file2 file1 | sort | rev | uniq -f 3 | rev 

votre sortie sera seulement un de chaque nom, mais lequel? le lexicographiquement le plus bas parce qu'il a été trié (sort est nécessaire pour que uniq fonctionne correctement). Si vous ne voulez pas le trier en premier, ou si vous devez faire attention aux lignes qui sont supprimées, alors une solution awk ou perl ou ruby ​​ou python fonctionnera probablement mieux en utilisant des tableaux associatifs.