При работе с текстовыми файлами возникает необходимость удалить дубликаты строк, при этом не сортируя файл. Это делается просто:

cat xxxxxx.txt | awk '!a[$0]++' > xxxxxx_no_line_repeats.txt

#Bash #Pentest #Redteam