Elysia Tools
Навигация
Workflow Playbook
Подготовьте независимые записи, зафиксируйте воспроизводимое разбиение, проверьте покрытие классов и ограничения контроля утечек и передайте выборки с журналом.
Темы
Этот порядок даёт проверенные файлы обучения, валидации и теста для классификационного эксперимента, но не модель и не подтверждение отсутствия смещения. Определите наблюдение и информацию, доступную в момент прогноза. Пациенты, пользователи, семьи и связанные документы не становятся независимыми из-за разных строк. При обязательной изоляции групп или времени применяйте внешний способ: инструмент не имеет таких настроек.
Подтвердите разрешение и сохраните контролируемую связь с источниками. Проверьте пустые метки, варианты написания и количества; пропуск цели нельзя незаметно превращать в класс. До разбиения проверьте CSV: считыватель может дополнять короткие строки и обрезать ячейки за шириной заголовка. Исправьте неоднозначные заголовки и повреждённые записи; успешный экспорт не доказывает сохранение всех значений.
Для подсчёта классов передавайте группировщику отдельно проверенную простую таблицу меток, без многострочных признаков и разделителей внутри кавычек. Его разбор прост: при сложном CSV используйте подходящий внешний считыватель и сверяйте суммы. Не переименовывайте и не объединяйте метки ради совместимости с разбором.
Выберите признаки и цель, оставив устойчивый ключ вне признаков модели либо разрешённый внешний реестр. Для проверки повторов сравнивайте значимое содержимое в отдельной копии, где уникальные ID не скрывают равенство, сохраняя связь с каждой исходной строкой. Удаление дубликатов меняет данные: не запускайте его на единственном оригинале и не принимайте нечёткие совпадения автоматически.
Повторные измерения могут быть законными и требовать другого разбиения, а не удаления. Противоречащие метки одинакового содержимого нужно рассмотреть, а не произвольно отбросить одну. Запишите удалённые случайные копии и сохранённые ключи. Не подгоняйте заполнение пропусков, масштабирование, отбор признаков или балансировку по всему набору; обучаемые преобразования подгоняются только на обучении.
Запишите хеш точного ввода, порядок, поля, цель, версию инструмента, режим, доли, начальное число и переключатели перемешивания и стратификации. Одно начальное число не воспроизводит изменённый ввод или другую реализацию и не гарантирует состав как в scikit-learn. В стандартном режиме тест получает остаток после обучения и валидации. Проверяйте целые фактические количества, а не только запрошенные проценты.
Для 100 независимых записей с классами 80 и 20 план 70/15/15 может дать меньшему классу 14/3/3. Два примера не покрывают три части. Не объединяйте разные по смыслу метки и не отключайте стратификацию только ради исчезновения предупреждений. В k-fold обучающие части разных складок намеренно пересекаются, но каждая пара должна изолировать своих валидационных участников. Независимый итоговый тест не создаётся.
Проверьте ZIP: стандартный режим содержит train.csv, validation.csv, test.csv и split_report.json. Пересчитайте классы и сверьте ключи с утверждённым вводом; каждый допустимый оригинал должен встречаться ровно один раз среди трёх частей. Встроенный контроль сравнивает полные строки: другой ID или небольшое изменение могут скрыть одинаковые признаки. Отдельно проверяйте сущности, близкие копии и информацию из будущего. JSON не является полным реестром состава или утечек; сохраните также показанные предупреждения и внешние проверки.
Инструмент дисбаланса используйте только на копии обучения, а при кросс-валидации — внутри каждой обучающей части. SMOTE здесь показывает числовые примеры, не добавляя их в экспортируемые CSV. Целочисленный код или ID не становится непрерывным признаком лишь потому, что читается как число. Оценочные наборы не меняйте, а утверждённую балансировку оформляйте отдельным экспериментом. Проверьте и хешируйте итоговые CSV, сохраните локальные файлы, одобрение и открытые риски, исключив ключи из модели. Изменение источника, порядка или настроек требует новой проверки; общая очистка и статистика относятся к связанным сценариям.
Руководство по рабочему процессу
Проверьте CSV, пропуски меток и количества классов. Уточните единицу и время прогноза; остановитесь, если обязательную групповую или временную изоляцию обеспечить нельзя.
Выберите поля, сохранив непредиктивный ключ или внешнюю связь. Сравнивайте содержимое, а не только ID; удаляйте лишь подтверждённые случайные копии с записью причины.
Вычислите хеш точного ввода, запишите порядок и настройки. Выполните стандартное разбиение с фиксированным начальным числом и выгрузите ZIP; k-fold создаёт пары, а не независимый финальный тест.
Пересчитайте метки, сверьте состав, предупреждения, сущности и содержимое. Оценку не меняйте; балансировку рассматривайте только на обучении, а SMOTE — как предварительный просмотр, не выгруженное дополнение.
Применяйте этот путь только при обоснованной независимости. Повторяющиеся люди, связанные документы или прогноз будущего могут требовать внешнего разбиения по группам или времени.
Проверяйте реальные количества. Класс может отсутствовать даже при допустимом вводе; соберите данные или пересмотрите план, а не отключайте стратификацию ради скрытия предупреждений.
Сначала сохраните неизменённую базу. Сравнивайте балансировку только на обучении либо внутри каждой обучающей части кросс-валидации, не на всём наборе и не на оценке.
Сверьте каждый CSV со столбцами, количеством и утверждённым составом. Сохраните хеши, локальные файлы, split_report.json и внешние проверки; изменения требуют повторного одобрения.