# Удаление дублирующихся строк CSV Загрузите CSV-файл или вставьте CSV-текст, удалите дубли строк по точному или нечеткому совпадению и скачайте очищенный CSV. > Каноническая страница: https://elysiatools.com/ru/tools/csv-deduplicate-rows - **Категория:** Data Processing - **Ключевые слова:** csv дубликаты, дубли строк, очистка csv, удалить дубликаты, очистка данных, таблицы ## Обзор Подходит для CRM-выгрузок, списков лидов, опросов и очистки таблиц, когда нужна дедупликация на уровне строк с выгрузкой результата. ## Входные данные - **CSV-файл** (file): Загрузите CSV-файл, если не хотите вставлять данные - **Вставить CSV-данные** (textarea): Вставьте сюда CSV, если работаете из скопированного текста - **Столбцы дедупликации** (textarea): email, phone или name, email - **Стратегия дедупликации** (select) - **Включить нечеткое сопоставление** (checkbox) - **Порог нечеткого сопоставления (0-100)** (range) - **Учитывать регистр** (checkbox) - **Обрезать пробелы** (checkbox) - **Сохранить исходный порядок** (checkbox) - **Имя выходного файла** (text): cleaned-customers ## Когда использовать - Подготовка списков рассылки из CRM перед отправкой писем для исключения повторных отправлений. - Объединение результатов опросов или веб-форм, где пользователи могли отправить свои данные несколько раз. - Очистка баз данных и таблиц от нечетких дубликатов с небольшими опечатками в именах или адресах. ## Как это работает - Загрузите CSV-файл или вставьте текстовые данные непосредственно в поле ввода. - Укажите столбцы для проверки на дубликаты и настройте параметры сравнения: учет регистра, обрезку пробелов или нечеткое сопоставление. - Выберите стратегию дедупликации (оставить первую, последнюю или наиболее полную запись) и скачайте очищенный файл. ## Сценарии использования - Удаление повторяющихся контактов из выгрузки CRM по полям email и телефону. - Консолидация ответов веб-форм с фильтрацией повторных отправлений от одного пользователя. - Очистка справочников клиентов с исправлением нечетких совпадений в именах. ## Частые вопросы ### Можно ли искать дубликаты только по определенным колонкам? Да, укажите названия нужных столбцов через запятую в поле «Столбцы дедупликации». ### Что делает стратегия «Оставить самую полную запись»? Она анализирует повторяющиеся строки и сохраняет ту, в которой заполнено наибольшее количество полей. ### Как работает нечеткое сопоставление? Оно находит похожие значения с учетом опечаток или мелких различий на основе заданного порога схожести. ### Безопасно ли загружать файлы с персональными данными? Да, обработка выполняется локально в вашем браузере, и данные не отправляются на сторонние серверы. ### Можно ли сохранить исходный порядок строк после удаления дубликатов? Да, для этого активируйте опцию «Сохранить исходный порядок». ## Связанные инструменты - [Удалитель BOM Символов](https://elysiatools.com/ru/tools/data-bom-remover): Удаление BOM (Byte Order Mark) символов из текстового и файлового содержимого. Идеально для очистки текстовых файлов с проблемами кодировки. - [Очиститель Данных](https://elysiatools.com/ru/tools/data-cleaner): Очистка и стандартизация данных путем исправления орфографических ошибок, стандартизации форматов, удаления дубликатов и заполнения пропущенных значений - [Удалитель Заголовков](https://elysiatools.com/ru/tools/header-remover): Удалить заголовки из данных CSV для создания чистых файлов без заголовков. Идеально для импорта баз данных, конвейеров обработки данных. - [Объединитель CSV](https://elysiatools.com/ru/tools/csv-merger): Объединяет несколько CSV файлов в один с возможностями обработки заголовков и удаления дубликатов - [Очиститель шума колонтитулов PDF](https://elysiatools.com/ru/tools/pdf-header-footer-noise-remover): Сравнивает извлечение с колонтитулами и без них, чтобы найти повторяющийся шум в тексте - [Дедупликатор Данных CSV](https://elysiatools.com/ru/tools/data-deduplicator): Удаление дублирующихся записей на основе комбинаций столбцов - [Обработчик Выбросов Данных](https://elysiatools.com/ru/tools/data-outlier-processor): Продвинутый инструмент обнаружения и обработки выбросов, который идентифицирует, удаляет или заменяет аномальные значения в числовых данных с использованием множества статистических методов. Идеально подходит для очистки данных, статистического анализа и подготовки данных для машинного обучения. Возможности: - Множественные методы обнаружения (IQR, Z-оценка, модифицированная Z-оценка, Isolation Forest) - Гибкие стратегии обработки (Удалить, Заменить средним/медианой/модой, Ограничить) - Автоматическая оптимизация порогов - Многомерное обнаружение выбросов - Визуальная статистика и отчеты выбросов - Возможности пакетной обработки - Настраиваемые уровни чувствительности - Всесторонний анализ воздействия Общие случаи использования: - Очистка и предварительная обработка данных - Подготовка к статистическому анализу - Очистка наборов данных для машинного обучения - Контроль качества в производстве - Обнаружение финансовых аномалий - Валидация данных сенсоров - [Ограничитель Диапазона Данных](https://elysiatools.com/ru/tools/data-range-limiter): Ограничение числовых значений указанными диапазонами путем обрезки, фильтрации или маркировки значений вне диапазона. Идеально для контроля качества данных, очистки данных сенсоров, применения бизнес-правил и предварительной обработки данных. Возможности: - Обрезка диапазона (обрезает значения до минимальных/максимальных границ) - Фильтрация диапазона (удаляет строки вне пределов) - Маркировка диапазона (маркирует измененные значения) - Конфигурация диапазона по столбцам - Автоматическое обнаружение числовых столбцов - Множественные стратегии обработки - Подробный отчет об изменениях - Статистический анализ изменений - Применение бизнес-правил Общие случаи использования: - Валидация и очистка данных сенсоров - Подготовка входных данных для машинного обучения - Контроль и валидация качества данных - Применение бизнес-ограничений - Управление и контроль аномальных значений - Конвейеры предварительной обработки данных ## Примеры - [CSV Примеры](https://elysiatools.com/ru/samples/csv-samples): Примеры CSV-файлов с различными типами данных, размерами и уровнями сложности - [Обработка Строк Windows - Примеры C#](https://elysiatools.com/ru/samples/windows-string-processing-csharp): Полные примеры обработки строк на C# для платформы Windows, включая манипуляцию, разделение, объединение, регулярные выражения и анализ текста - [Примеры Python](https://elysiatools.com/ru/samples/python): Примеры кода Python и демонстрации Hello World - [Примеры Коммуникации WebRTC в Реальном Времени](https://elysiatools.com/ru/samples/webrtc-samples): Комплексные примеры WebRTC для P2P аудио/видео коммуникации, каналов данных, обмена экраном и сервера сигнализации ## Связанные материалы - [Инструменты извлечения текста](https://elysiatools.com/ru/hubs/text-extract): Изучите 15 инструментов для извлечения ссылок, email адресов, телефонных номеров, дат, эмодзи, HTML атрибутов и других структурированных сигналов из смешанного текста. - [Инструменты конвертации регистра, кодировки и нормализации текста](https://elysiatools.com/ru/hubs/text-convert): Сравните в одном хабе конвертацию регистра, ширины символов, кодировок, работу с quoted-printable и встроенную нормализацию текста. - [Инструменты экспорта CSV и конвертации таблиц](https://elysiatools.com/ru/hubs/csv-convert): Сравните преобразования CSV в Excel, JSON, HTML, Markdown, XML и текст в одном хабе для табличных обменных сценариев. - [Инструменты Text](https://elysiatools.com/ru/hubs/text-utility): Изучите 33 инструментов text для сценариев utility и быстро сравните близкие утилиты.