这些行足够独立吗?
只有能合理说明记录独立时才采用此流程。同一用户多次记录、关联文档或未来预测可能需要工具外的分组或时间拆分;打乱和固定种子不建立这些边界。
Elysia Tools
导航
Workflow Playbook
审查独立分类记录,固定随机种子与输入版本进行分层拆分,核对类别覆盖和泄漏风险,交付可追溯的训练、验证与测试数据。
专题
本工作流面向准备分类实验的数据分析师,交付边界是已批准的训练、验证、测试文件与可复现审查台账,不训练模型,也不认证数据没有偏差。先明确一条观测代表什么,以及预测时点真实可获得哪些信息。同一患者、用户、源文档、家庭或有先后关系的结果,不会因为占据不同数据行就变得独立。必须按主体或时间隔离时,应停止当前路线并使用合适的外部拆分方式;本工具没有分组或时间拆分控件。
确认上传授权,在保留受控来源映射的前提下删除不必要的敏感信息。检查缺失值、标签拼写和类别计数,空标签应先处理,不能悄悄变成一个新类别。拆分前校验实际 CSV:拆分器可能把短行补空、把超出表头宽度的单元格截掉。表头含糊或记录损坏时应先解决,成功导出不等于原字段全部保留。
类别计数时,给 CSV 分组器使用经过单独核对的简单标签单列表,不直接传入含多行特征文本或分隔符引号标签的复杂 CSV。它的解析器较基础;标签必须依赖复杂引号规则时,应改用适合的外部读取器并核对总数,不能为了适配解析而改名或合并标签。
用列选择器明确特征和标签结构,保留不参与预测的稳定记录键;不能上传该键时,另存经过授权的来源映射。唯一 ID 用来核对成员,不是模型输入。重复审查应在独立工作副本中对相关内容比较,避免唯一 ID 掩盖相同内容,同时保留每条记录的来源追溯。去重工具会删行,不应处理唯一原件,也不能自动接受模糊匹配。
重复测量可能是合法观测,此时问题往往是按行拆分不适用,而不是需要删除。相同内容标签冲突要判定原因,不能随意保留一条。确认属于意外副本后再在拆分前删除,记录保留键与理由。不要用全量数据拟合缺失值填补、缩放、特征选择或平衡策略;标签政策与固定入选条件先经批准,需要学习的变换只在训练数据上拟合。
计算清理后精确输入的哈希,记录顺序、选定字段、目标列、工具版本、模式、比例、种子及分层和打乱设置。种子不能复现已经变化的输入或不同库的结果。本实现使用自己的随机数生成器,与 scikit-learn 种子相同也不代表成员相同。标准模式的测试比例是训练与验证之外的余量,要看真实整数分配,而不只看请求百分比。
例如独立的 100 条记录中两类分别为 80 与 20,70/15/15 方案可以把小类分为 14/3/3;但仅有两条记录的类别不可能覆盖三个子集。不能为了消除告警就合并科学含义不同的标签或关闭分层。可选分层 k 折生成训练验证对,各折训练成员相互重叠是正常现象,但每对内部必须隔离验证成员;该模式不生成独立最终测试集。
下载并检查 ZIP,标准模式包括 train.csv、validation.csv、test.csv 和 split_report.json。重新统计类别,对照已批准输入核对来源键;标准拆分中每条入选原始记录应恰好出现一次,不能有未解释的遗漏或交叉。内置告警比较整行,唯一 ID 或轻微编辑会掩盖等价特征;主体、近副本和未来派生信息必须单独检查。JSON 报告不是完整的成员或跨集泄漏台账,还需留存页面告警和外部检查记录。
评估集保持原样,不平衡工具只接收训练副本;交叉验证实验则在每个训练折内部处理。拆分工具的 SMOTE 选项只是数值特征预览,不会把合成例子写进导出的拆分 CSV。整数编码和 ID 能解析为数字,也不代表适合连续插值。任何获批重采样都作为独立实验,不能通过改造测试分布让结果变好。校验并计算最终 CSV 哈希,本地留存文件、审查记录及未解决风险,记录键不得进入模型特征。来源、顺序或参数变化时建立新审核版本;统计分析和更广泛清理转入相关工作流。
工作流指南
校验 CSV 结构,分析缺失标签并按类别计数。核对预测单位和时间;若必须按主体或时间隔离而无法执行,应停止此路线。
选择特征和标签字段,同时保留非特征记录键或外部映射。用实际内容审查重复候选,不能只看唯一 ID;只删除确认的意外重复并留下决定。
对精确输入计算哈希,记录顺序与全部参数。执行固定种子的标准分层划分,导出 ZIP 并核对实际数量;可选 k 折只产生训练验证对,不提供独立最终测试集。
重新统计标签、核对成员、检查告警及主体和内容交叉。评估集保持不变,只用训练副本比较不平衡策略;将 SMOTE 标为预览,不能当成已导出的增强训练数据。
校验每份最终 CSV,核对字段、数量和已批准成员。为精确文件计算哈希,本地保存文件、split_report.json 与独立复核记录;来源或参数改变后重新审批。
只有能合理说明记录独立时才采用此流程。同一用户多次记录、关联文档或未来预测可能需要工具外的分组或时间拆分;打乱和固定种子不建立这些边界。
看实际类别数量,不只看比例。通过输入检查仍可能有类别在某个子集消失;应补充数据或修订评估方案,而不是关闭分层来消除告警。
先保留未经重采样的训练基线。仅在训练集或每个训练折内比较平衡策略,不处理全量数据或评估集;预览不证明模型效果提高。