# Удаление дубликатов строк Убирает повторяющиеся строки в списке или блоке текста. Оставляет первое или последнее вхождение, с настройками учёта регистра, обрезки пробелов и игнорирования пустых строк. > Каноническая страница: https://elysiatools.com/ru/tools/remove-duplicate-lines - **Категория:** Text Processing - **Ключевые слова:** удалить дубликаты строк, дедупликация строк, убрать повторы, уникальные строки, очистить список ## Обзор Удаляет повторяющиеся строки из списка или текстового блока и сообщает, сколько было убрано. Полезно для очистки CSV, логов, списков URL, выгрузок ключевых слов и везде, где проникают повторы. **Режим оставления:** - **Первое вхождение** — когда строка встречается несколько раз, сохраняется *первая* копия, последующие удаляются. Стандартный выбор: сохраняет исходный порядок сверху вниз, как вы вставили. - **Последнее вхождение** — сохраняется *последняя* копия. Удобно, когда больше доверяете последней записи (например, в логе, где новая строка заменяет прежние). **Параметры сравнения:** - **С учётом регистра** (по умолчанию включён) — `Apple` и `apple` считаются разными строками. Выключите, чтобы считать их дубликатами. - **Обрезать пробелы перед сравнением** — удаляет начальные/конечные пробелы и табы в каждой строке перед решением о равенстве, так что ` hello` и `hello` считаются одной строкой. (Обрезка используется только для сравнения; исходные пробелы в оставленных строках сохраняются в выводе.) - **Игнорировать пустые строки** — пустые строки (без символов или только пробелы) удаляются полностью, а не сворачиваются в одну. **Полезно знать:** - Сравнение только по целой строке — инструмент не дедуплицирует отдельные слова или поля внутри строки. - Счётчики в метаданных показывают исходное число строк, оставленное число и точно, сколько дубликатов удалено. ## Входные данные - **Текст** (textarea): Paste a list or text block with duplicate lines... - **Оставить** (select) - **С учётом регистра** (checkbox) - **Обрезать пробелы перед сравнением** (checkbox) - **Игнорировать пустые строки** (checkbox) ## Когда использовать - Очистка списков адресов электронной почты, URL-адресов или ключевых слов от повторяющихся записей перед импортом в базы данных. - Анализ лог-файлов или отчетов, где необходимо оставить только уникальные события или последние записи о действиях. - Подготовка текстовых данных и CSV-файлов к обработке, когда дубликаты строк могут исказить результаты вычислений. ## Как это работает - Вставьте исходный текст или список строк в текстовое поле ввода. - Настройте параметры дедупликации: выберите, какое вхождение оставить (первое или последнее), и укажите необходимость учета регистра или обрезки пробелов. - Получите очищенный список и статистику удаленных строк в поле вывода. ## Сценарии использования - Фильтрация баз данных клиентов и списков рассылки для исключения повторных отправлений писем. - Очистка выгрузок ключевых слов для SEO-оптимизации и контекстной рекламы от дублирующихся запросов. - Обработка системных логов для выявления уникальных ошибок или сохранения только последних статусов событий. ## Частые вопросы ### Как работает выбор между первым и последним вхождением? При выборе «Первое вхождение» сохраняется самая верхняя копия строки, а последующие удаляются. «Последнее вхождение» сохраняет самую нижнюю копию, что полезно для хронологических логов. ### Можно ли удалить дубликаты без учета регистра букв? Да, для этого снимите флажок «С учётом регистра», и строки вроде «Apple» и «apple» будут распознаны как одинаковые. ### Что делает опция обрезки пробелов? Она удаляет пробелы и знаки табуляции в начале и конце строк перед их сравнением, предотвращая дублирование из-за случайных отступов. ### Как удалить пустые строки из итогового списка? Включите опцию «Игнорировать пустые строки», чтобы полностью исключить пустые строки и строки, состоящие только из пробелов, из результата. ### Поддерживает ли инструмент удаление повторяющихся слов внутри одной строки? Нет, инструмент выполняет сравнение и дедупликацию только целых строк, а не отдельных слов или элементов внутри них. ## Связанные инструменты - [Нормализатор пробелов](https://elysiatools.com/ru/tools/whitespace-normalizer): Заменяет последовательные пробелы/табуляции на один пробел и удаляет пробелы в начале/конце строк - [Удалитель Пустых Строк](https://elysiatools.com/ru/tools/empty-line-remover): Удалить все пустые строки из текста (строки без содержимого) - [Очиститель HTML-тегов](https://elysiatools.com/ru/tools/html-tag-stripper): Удаляет HTML-теги и извлекает чистый текстовый контент - [Удалитель Номеров Строк](https://elysiatools.com/ru/tools/line-number-remover): Удаляет номера строк из текста или кода с интеллектуальным распознаванием шаблонов - [Очистка Неалфавитно-цифровых Символов](https://elysiatools.com/ru/tools/non-alphanumeric-cleaner): Удаляет все специальные неалфавитно-цифровые символы из текста с гибкими параметрами сохранения - [Очиститель Формата Чисел](https://elysiatools.com/ru/tools/number-format-cleaner): Нормализация и очистка различных форматов чисел в тексте для консистентности - [Удалитель Префиксов](https://elysiatools.com/ru/tools/prefix-remover): Удаляет общие префиксы из каждой строки с интеллектуальным обнаружением и настраиваемыми опциями - [Удалитель Суффиксов](https://elysiatools.com/ru/tools/suffix-remover): Удаляет общие суффиксы из каждой строки с интеллектуальным обнаружением и настраиваемыми опциями ## Примеры - [Примеры Дублирующихся Строк](https://elysiatools.com/ru/samples/text-duplicate-line-samples): Примеры файлов с различными типами дублирующихся строк для тестирования инструментов удаления дубликатов - [Примеры Специальных Символов](https://elysiatools.com/ru/samples/text-special-characters-samples): Примеры текстовых файлов с различными специальными символами, знаками пунктуации и символами для тестирования удаления неалфавитно-цифровых символов - [Примеры Комментариев Кода](https://elysiatools.com/ru/samples/code-comment-samples): Примеры кода с различными стилями комментариев для тестирования удаления комментариев - [Примеры Файловых Операций Android Java](https://elysiatools.com/ru/samples/android-file-operations-java): Примеры файловых операций Android Java включая чтение/запись текстовых файлов, копирование/перемещение, обход директорий и валидацию файлов ## Связанные материалы - [Инструменты конвертации регистра, кодировки и нормализации текста](https://elysiatools.com/ru/hubs/text-convert): Сравните в одном хабе конвертацию регистра, ширины символов, кодировок, работу с quoted-printable и встроенную нормализацию текста. - [Инструменты Text](https://elysiatools.com/ru/hubs/text-utility): Изучите 33 инструментов text для сценариев utility и быстро сравните близкие утилиты. - [Инструменты анализа текста, читаемости и проверки содержания](https://elysiatools.com/ru/hubs/text-analyze): Сравните в одном хабе текстовую статистику, определение языка, оценку читаемости, анализ тональности, модерацию и анализ шаблонов. - [Инструменты маскирования, подсветки и форматирования текста](https://elysiatools.com/ru/hubs/text-format): Сравните в одном хабе инструменты маскирования чувствительного текста, поиска PII, нормализации телефонов, подсветки фраз, центрирования текста и форматирования diff.