# CSV 行去重工具 支持上传 CSV 或直接粘贴 CSV 文本，按精确或模糊规则去重，并导出清洗后的 CSV。 > 标准页面: https://elysiatools.com/zh/tools/csv-deduplicate-rows - **分类:** Data Processing - **关键词:** csv 去重, 行去重, 数据清洗, 重复记录, 表格清洗, 去重复 ## 概述 适合 CRM 导出、线索名单、问卷结果和表格清洗场景，重点是对整行记录做可下载的去重处理。 ## 输入项 - **CSV 文件** (file): 如果不想粘贴数据，可以上传 CSV 文件 - **粘贴 CSV 数据** (textarea): 从复制内容处理时，把 CSV 粘贴到这里 - **去重列** (textarea): email, phone 或 name, email - **去重策略** (select) - **启用模糊匹配** (checkbox) - **模糊匹配阈值 (0-100)** (range) - **区分大小写匹配** (checkbox) - **修剪空白字符** (checkbox) - **保持原始顺序** (checkbox) - **输出文件名** (text): cleaned-customers ## 适用场景 - 需要清洗从 CRM 系统导出的客户名单，去除重复的联系人或邮箱时。 - 整合多份问卷调查结果或表单数据，需要合并拼写相近的重复记录时。 - 在进行群发邮件或电话外呼前，需要过滤重复的接收者以避免重复发送时。 ## 工作原理 - 上传您的 CSV 文件或直接在文本框中粘贴 CSV 数据。 - 指定用于去重的列名，并配置去重策略（如保留第一条、最后一条或最完整记录）以及是否启用模糊匹配。 - 点击处理按钮，系统将自动过滤重复行，并生成可直接下载的去重后 CSV 文件。 ## 使用案例 - 销售团队在导入新线索前，对 CRM 导出表进行邮箱和电话去重。 - 市场人员合并多渠道收集的活动报名表，通过模糊匹配清理名字拼写微调的重复项。 - 数据分析师在清洗原始数据集时，快速剔除格式不规范或完全重复的行记录。 ## 常见问题 ### 这个去重工具支持多大的 CSV 文件？ 工具支持最大 50MB 的 CSV 文件上传处理。 ### 什么是“保留最完整记录”策略？ 该策略会在重复的行中，自动保留非空字段最多、数据最详尽的那一条记录。 ### 模糊匹配是如何工作的？ 启用模糊匹配后，工具会计算指定列的文本相似度，当相似度达到设定的阈值（如 85%）时即判定为重复。 ### 我可以根据多个列组合去重吗？ 可以，在“去重列”配置中输入多个列名（如 email, phone），工具将结合这些列的值进行唯一性校验。 ### 去重处理会改变原始数据的行顺序吗？ 默认启用了“保持原始顺序”选项，去重后的数据将维持原有的行排列顺序。 ## 相关工具 - [BOM字符移除器](https://elysiatools.com/zh/tools/data-bom-remover): 从文本和文件内容中移除BOM（字节顺序标记）字符。非常适合清理有编码问题的文本文件、修复CSV导入和为处理准备数据。 功能特点： - 检测并移除UTF-8 BOM (EF BB BF) - 检测并移除UTF-16 BOM (FE FF 或 FF FE) - 检测并移除UTF-32 BOM (00 00 FE FF 或 FF FE 00 00) - 支持多种输入格式 - 可视化BOM字符显示 - 详细检测报告 - 支持批量文本处理 常见用途： - 修复CSV文件导入错误 - 清理文本文件编码问题 - 为JSON解析准备数据 - 修复XML解析问题 - 解决API数据编码冲突 - 标准化文本数据格式 - [数据清洗器](https://elysiatools.com/zh/tools/data-cleaner): 清洗和标准化数据，修复拼写错误、标准化格式、移除重复项和填充缺失值 - [表头删除器](https://elysiatools.com/zh/tools/header-remover): 从CSV数据中删除表头，创建无表头的干净文件。非常适合数据库导入、数据处理管道、API集成和需要无表头CSV格式的系统。 功能特点： - 从CSV数据中删除第一行（表头） - 删除多个表头行 - 删除表头前跳过空行 - 保持数据完整性 - 支持多种CSV分隔符 - 删除前预览 - 数据验证选项 - 批量处理能力 常见用途： - 为数据库导入准备数据 - 清理API响应数据 - 从导出文件中移除元数据 - 为机器学习创建无表头数据 - 为不使用表头的系统准备数据 - 从结构化文件中提取纯数据值 - [CSV文件合并工具](https://elysiatools.com/zh/tools/csv-merger): 将多个CSV文件合并成一个文件，支持表头处理和去重功能 - [PDF 页眉页脚噪音清理器](https://elysiatools.com/zh/tools/pdf-header-footer-noise-remover): 对比保留与去掉页眉页脚的抽取结果，定位重复页面装饰对文本清洗的污染 - [数据去重工具](https://elysiatools.com/zh/tools/data-deduplicator): 基于多列组合移除重复记录 - [离群值处理器](https://elysiatools.com/zh/tools/data-outlier-processor): 高级离群值检测和处理工具，使用多种统计方法识别、删除或替换数值数据中的异常值。完美用于数据清洗、统计分析和机器学习数据准备。 功能特点： - 多种检测方法（IQR、Z-score、修正Z-score、孤立森林） - 灵活处理策略（删除、替换均值/中位数/众数、封顶） - 自动阈值优化 - 多维离群值检测 - 可视化离群值统计和报告 - 批量处理能力 - 自定义敏感度级别 - 综合影响分析 常见用途： - 数据清洗和预处理 - 统计分析准备 - 机器学习数据集清洗 - 制造业质量控制 - 金融异常检测 - 传感器数据验证 - [数据范围限制器](https://elysiatools.com/zh/tools/data-range-limiter): 将数值限制在指定范围内，通过裁剪、过滤或标记越界值。完美用于数据质量控制、传感器数据清洗、业务规则执行和数据预处理。 功能特点： - 范围裁剪（将值裁剪到最小/最大边界） - 范围过滤（移除越界行） - 范围标记（标记修改的值） - 每列范围配置 - 自动数值列检测 - 多种处理策略 - 详细修改报告 - 变更统计分析 - 业务规则执行 常见用途： - 传感器数据验证和清洗 - 机器学习输入准备 - 数据质量控制和验证 - 业务约束执行 - 异常值管理和控制 - 数据预处理管道 ## 示例 - [CSV示例](https://elysiatools.com/zh/samples/csv-samples): 各种数据类型、大小和复杂度级别的CSV示例文件 - [Windows 字符串处理 - C# 示例](https://elysiatools.com/zh/samples/windows-string-processing-csharp): Windows平台C#字符串处理示例，包括字符串操作、分割、连接、正则表达式和文本分析 - [Python 示例](https://elysiatools.com/zh/samples/python): Python代码示例和Hello World演示 - [WebRTC 实时通信示例](https://elysiatools.com/zh/samples/webrtc-samples): 全面的 WebRTC 示例，用于点对点音视频通信、数据通道、屏幕共享和信令服务器实现 ## 相关内容 - [文本提取工具专题](https://elysiatools.com/zh/hubs/text-extract): 汇集 15 个可从混合文本、Markdown、HTML 与日志中提取链接、邮箱、手机号、日期、Emoji 和结构化字段的工具。 - [文本大小写、编码与规范化转换工具](https://elysiatools.com/zh/hubs/text-convert): 在一个专题中比较文本大小写转换、全半角转换、编码转换、Quoted-Printable 处理和行内文本规范化工具。 - [CSV 导出与表格转换工具](https://elysiatools.com/zh/hubs/csv-convert): 在一个专题里比较 CSV 与 Excel、JSON、HTML、Markdown、XML 和文本之间的转换工具，适合表格导出与交换工作流。 - [Text 工具专题](https://elysiatools.com/zh/hubs/text-utility): 探索 33 个围绕 text 的 utility 工作流工具，快速找到相近能力。