数据质量与异常调查工作流

目标与适用范围

对表格数据做质量剖析，识别重复、缺失、参照断裂、离群和值班时序异常，并把发现整理成可辩护的质量证据。
本指南将当前任务范围转化为可复核的交付结果。请保留源文件、中间产物和关键判断，让后续协作者能够理解检查了什么以及为什么这样处理。

准备证据并作出选择

• 在任何处理前保留原始导出文件并记录稳定行标识。

• 明确关键字段、业务阈值，以及外键校验所依赖的权威主数据表。

• 将调查副本与生产数据隔离，确保后续修复可回放。

• 决策点: 什么算缺陷，什么算业务例外？. 先定义允许的空值、季节性波动、重复容忍度和合法边界，再给异常贴标签。

• 决策点: 缺失值要修复还是只标记？. 只有在序列连续性有业务依据时才插补，否则应保留空值证据供人工复核。

• 决策点: 异常是单行问题还是整体漂移？. 先用逐记录规则识别重复和外键问题，再看整体分布是否出现系统性偏移。

按步骤完成工作流

1. 建立质量基线

先量化完整率、列分布、可疑取值模式和跨来源差异，再判断是否真的发生质量漂移。 使用 dataset-quality-profiler, csv-excel-diff-tool.

2. 拆分结构性质量问题

把重复记录、可疑切片、越界值和外键失配先分桶，避免把确定性规则错误与统计异常混在一起。 使用 data-deduplicator, csv-filter, data-foreign-key-validator, data-boundary-processor.

3. 调查分布异常

结合离群检测和稳健统计判断极端值究竟是脏数据、罕见真实事件，还是可接受但偏斜的业务行为。 使用 outlier-detector, box-plot-generator, z-score-calculator, trimmed-mean-calculator, winsorized-mean-calculator.

4. 评估缺失与时序失稳

检查缺口和时间冲击，只在理由充分时插补，并为每段被调整的序列保留前后证据。 使用 data-interpolator, time-series-anomaly-detector.

交付前验收结果

• 数据集拥有书面的质量基线，包括行数、字段完整率和规则覆盖情况。
• 重复、外键、边界、离群和时序异常都保留逐行或逐时间窗证据。
• 任何修复后的值都能追溯到原始记录和采用的处理规则。
• 最终证据包明确区分已确认缺陷、可接受例外和待定异常。

常见问题

• 所有离群值都代表坏数据吗？ 不是。离群值也可能对应罕见但真实的业务事件，必须结合业务上下文判断。
• 重复记录一定要自动删除吗？ 不一定。有些重复行可能是合法的重复交易、状态快照或多次采集结果，需要结合主键和时间戳判断。
• 缺失值都适合插补吗？ 不适合。只有在时间顺序明确且连续性假设站得住脚时，插补才有意义。
• 为什么还要看截尾均值和温莎化均值？ 它们能帮助你判断少数极端值是否已经扭曲中心趋势，进而影响业务决策。