Удаление дубликатов строк

Удаляет повторяющиеся строки из списка или текстового блока и сообщает, сколько было убрано. Полезно для очистки CSV, логов, списков URL, выгрузок ключевых слов и везде, где проникают повторы.

Режим оставления:

• Первое вхождение — когда строка встречается несколько раз, сохраняется первая копия, последующие удаляются. Стандартный выбор: сохраняет исходный порядок сверху вниз, как вы вставили.
• Последнее вхождение — сохраняется последняя копия. Удобно, когда больше доверяете последней записи (например, в логе, где новая строка заменяет прежние).

Параметры сравнения:

• С учётом регистра (по умолчанию включён) — Apple и apple считаются разными строками. Выключите, чтобы считать их дубликатами.
• Обрезать пробелы перед сравнением — удаляет начальные/конечные пробелы и табы в каждой строке перед решением о равенстве, так что hello и hello считаются одной строкой. (Обрезка используется только для сравнения; исходные пробелы в оставленных строках сохраняются в выводе.)
• Игнорировать пустые строки — пустые строки (без символов или только пробелы) удаляются полностью, а не сворачиваются в одну.

Полезно знать:

• Сравнение только по целой строке — инструмент не дедуплицирует отдельные слова или поля внутри строки.
• Счётчики в метаданных показывают исходное число строк, оставленное число и точно, сколько дубликатов удалено.