Sélectionnez des valeurs uniques ou distinctes dans une liste dans le script shell UNIX

Question

J'ai un script ksh qui renvoie une longue liste de valeurs, séparées par un saut de ligne, et je ne veux voir que les valeurs uniques/distinctes. C'est possible de faire ça?

Par exemple, dire que ma sortie est suffixes de fichier dans un répertoire:

tar 
gz 
java 
gz 
java 
tar 
class 
class 

Je veux voir une liste comme:

tar 
gz 
java 
class 

Answer 1

Vous voudrez peut-être pour voir les applications uniq et sort.

 
./yourscript.ksh | sort | uniq 

(Pour votre information, oui, le genre est nécessaire dans cette ligne de commande, uniq les bandes que les lignes en double qui sont immédiatement après l'autre)

EDIT:

Contrairement à ce qui a été posté par Aaron Digulla en fonction des options de ligne de commande de uniq:

Étant donné l'entrée suivante:

 
class 
jar 
jar 
jar 
bin 
bin 
java 

uniq va afficher toutes les lignes exactement une fois:

 
class 
jar 
bin 
java 

uniq -d va afficher toutes les lignes qui apparaissent plus d'une fois, et il les imprimer une fois:

 
jar 
bin 

uniq -u sortira tous lignes qui apparaissent exactement une fois, et il les imprimera une fois:

 
class 
java 

Answer 2

Passez-les à travers sort et uniq. Cela supprime tous les doublons.

uniq -d donne seulement les doublons, uniq -u donne seulement les uniques (bandes dupliquées).

Answer 3

Pour les ensembles de données plus importants où le tri peut ne pas être souhaitable, vous pouvez également utiliser le script Perl suivant:

./yourscript.ksh | perl -ne 'if (!defined $x{$_}) { print $_; $x{$_} = 1; }' 

Ce souvient fondamentalement juste chaque sortie de ligne de sorte qu'elle ne sort pas encore.

L'avantage par rapport à la solution "sort | uniq" est qu'il n'y a pas de tri à l'avant.

Answer 4

Avec zsh vous pouvez le faire:

zsh-5.0.0[t]% cat infile 
tar 
more than one word 
gz 
java 
gz 
java 
tar 
class 
class 
zsh-5.0.0[t]% print -l "${(fu)$(<infile)}" 
tar 
more than one word 
gz 
java 
class 

Ou vous pouvez utiliser AWK:

zsh-4.3.9[t]% awk '!_[$0]++' infile  
tar 
more than one word 
gz 
java 
class 

Answer 5

./script.sh | sort -u 

C'est le même que monoxide'sanswer, mais un peu plus concis.

Answer 6

Unique, sur demande, (mais non trié);
utilise moins de ressources système pour moins de ~ 70 éléments (comme testé avec le temps);
écrit à prendre l'entrée de stdin,
(ou modifier et inclure dans un autre script):
(Bash)

bag2set() { 
    # Reduce a_bag to a_set. 
    local -i i j n=${#a_bag[@]} 
    for ((i=0; i < n; i++)); do 
     if [[ -n ${a_bag[i]} ]]; then 
      a_set[i]=${a_bag[i]} 
      a_bag[i]=$'\0' 
      for ((j=i+1; j < n; j++)); do 
       [[ ${a_set[i]} == ${a_bag[j]} ]] && a_bag[j]=$'\0' 
      done 
     fi 
    done 
} 
declare -a a_bag=() a_set=() 
stdin="$(</dev/stdin)" 
declare -i i=0 
for e in $stdin; do 
    a_bag[i]=$e 
    i=$i+1 
done 
bag2set 
echo "${a_set[@]}" 

Answer 7

Avec AWK, vous pouvez le faire, je le trouve plus rapide que sorte

./yourscript.ksh | awk '!a[$0]++'