La commande uniq permet le dédoublonnage de ligne dans un fichier texte.
Utilisation :
pcr@home:~# uniq fichier_avec_doublon fichier_dédoublonné
Pour une utilisation avancée de uniq je vous renvoi à la page de man. A noter aussi que la commande sort permet le même genre de traitement mais avec beaucoup plus d'options.
Image : tanakawho