Зачастую вы имеете данные большого объема, строки которых повторяются в файле не один раз.

Поскольку дубли (повторения) – это лишний мусор и ненужные данные, то необходимо от них избавиться, и сделать это можно через программу Notepad++.