uniq

Удаляет соседние повторы, поэтому обычно идёт после sort. Опции: -c — счётчик повторов, -d — только дубли, -u — только уникальные.

sort log.txt | uniq
sort ips.txt | uniq -c | sort -nr   # топ по частоте