Mes données/tmp/1Pour trouver des correspondances répétées `uniq -d`
9367543
9105616
9108177
8948074
8860323
9170406
9105616
Je cours et je ne reçois rien
cat /tmp/1 | uniq -d
Ceci est étrange, puisque uniq -d devrait
-d Only output lines that are repeated in the input.
Comment pouvez-vous utiliser uniq -d?
Vous devez trier vos données avant d'utiliser uniq. Il supprime/détecte uniquement les doublons sur les lignes adjacentes.
Ou utilisez un script awk pour faire le travail correctement? –
Merci de l'avoir signalé! --- Il dit même dans le manuel 'L'utilitaire uniq lit le fichier input_file spécifié en comparant les lignes adjacentes -. ' –
Avec mes coreutils GNU uniq le manuel dit: Défaussez toutes sauf une des lignes identiques successives d'INPUT (ou standard entrée), en écrivant à OUTPUT (ou sortie standard). –
Essayez cette vérifier, il sortie toutes les lignes qui sont dupliqués:
cat /tmp/1 | awk 'seen[$0]++ == 1'
Oh, c'est votre problème:
cat /tmp/1 | sort | uniq -d
Trier avant d'exécuter uniq!
pas besoin d'utiliser chat. – ghostdog74
Les lignes 2 et 7 du fichier d'exemple de Masi sont les mêmes. Mais ils ne sont pas sur des lignes consécutives, ce qui semble être le cœur du malentendu. – dave
ghostdog, eh bien j'utilise le chat car l'OP l'a fait aussi. Oui, je suis conscient que je pourrais utiliser la redirection de shell à la place, ou donner comme argument de ligne de commande à awk ou à trier. dave, merci. Je n'ai pas vu celui-là! édité. –
awk '{_[$0]++}END{for(i in _)if(_[i]>1) print i}' /tmp/1
ou tout simplement
awk '_[$0]++ == 1' file
awk '_ [$ 0] ++' ne fonctionne que s'il y a au plus un doublon pour chaque ligne avec des doublons. Si vous aviez trois rangées identiques, l'impression était deux fois plus rapide. –
Merci pour vos réponses! –