UNIX: удалить дубликаты строк в файле с помощью Perl или awk

Для примера возьмём файл:

$ cat test.txt
22
33
11
33
55
df11
22
33
11
33
55
df11

Удалить все дубликаты строк с помощью awk из файла test.txt можно так:

$ awk '!_[$0]++' test.txt > result.txt

Смотрим файл result.txt:

$ cat result.txt
22
33
11
55
df11

Другой способ – с помощью Perl:

$ perl -ne 'print unless $a{$_}++' test.txt > result.txt

$ cat result.txt
22
33
11
55
df11