Besoin d'aide pour utiliser AWK/sort/uniq pour supprimer des lignes ayant des valeurs identiques dans la première colonne d'un simple fichier texte

Question

J'ai un tas de fichiers texte avec le contenu suivant dans les colonnes 1 et 2 (séparés par un espace):

Address0 Data0

address1 data1

.

.

.

addressN datan

Toutes les valeurs de données sont uniques (aléatoire), mais certaines valeurs d'adresses sont répétées. Comment utiliser AWK/sort/uniq pour supprimer les lignes dont les adresses sont déjà spécifiées?

Fondamentalement, il ne devrait pas y avoir d'adresses dupliquées dans le fichier texte, quelles que soient les données associées.

Answer 1

sort -k1 your_file | awk '{ if ($1 != last_address_seen) {print $0; last_address_seen=$1}}'

Answer 2

awk ' 
    $1 in seen {next} 
    {print; seen[$1] = 1} 
' file ... 

Answer 3

sort -k1 -u your_file > outputfile 

La plupart des commandes de tri unix soutiendra l'option -u qui ne conservera que la première des deux lignes qui comparent toutes les clés sur l'égalité.