Elysia Tools
Навигация
Workflow Playbook
Профилируйте табличные данные, выделяйте дубликаты, пропуски, разрывы ссылок, выбросы и временные аномалии и превращайте находки в доказательства качества.
Темы
Профилируйте табличные данные, выделяйте дубликаты, пропуски, разрывы ссылок, выбросы и временные аномалии и превращайте находки в доказательства качества.
Это руководство превращает заявленную задачу в проверяемый результат. Сохраняйте исходник, промежуточные результаты и решения, чтобы следующий участник понимал, что было проверено и почему.
Сохраните сырую выгрузку и стабильные идентификаторы строк до преобразований.
Определите ключевые поля, бизнес-границы и эталонные таблицы для проверки связей.
Работайте с исследовательскими копиями, чтобы исправления можно было повторить.
Решение: Что считать дефектом, а что допустимым исключением?. Заранее согласуйте допустимые пустые значения, сезонные пики, толерантность к дубликатам и валидные диапазоны.
Решение: Пропуск нужно исправлять или только помечать?. Интерполируйте только там, где есть обоснованное ожидание непрерывности; иначе сохраняйте null как улики.
Решение: Аномалия построчна или системна?. Сначала отделите дубликаты и ошибки внешних связей, потом проверьте общую распределённость на дрейф.
Измерьте полноту, форму колонок, подозрительные паттерны и разницу между источниками до выводов о деградации качества. Используйте dataset-quality-profiler, csv-excel-diff-tool.
Выделите дубликаты, подозрительные вырезки, выходы за границы и ошибки внешних ключей, чтобы не смешивать их со статистическими отклонениями. Используйте data-deduplicator, csv-filter, data-foreign-key-validator, data-boundary-processor.
Совмещайте поиск выбросов и робастные статистики, чтобы понять, является ли экстремум ошибкой, редким реальным событием или допустимым смешением. Используйте outlier-detector, box-plot-generator, z-score-calculator, trimmed-mean-calculator, winsorized-mean-calculator.
Проверьте разрывы и временные шоки, интерполируйте только при обосновании и сохраните доказательства до и после. Используйте data-interpolator, time-series-anomaly-detector.
Руководство по рабочему процессу
Измерьте полноту, форму колонок, подозрительные паттерны и разницу между источниками до выводов о деградации качества.
Выделите дубликаты, подозрительные вырезки, выходы за границы и ошибки внешних ключей, чтобы не смешивать их со статистическими отклонениями.
Совмещайте поиск выбросов и робастные статистики, чтобы понять, является ли экстремум ошибкой, редким реальным событием или допустимым смешением.
Проверьте разрывы и временные шоки, интерполируйте только при обосновании и сохраните доказательства до и после.
Заранее согласуйте допустимые пустые значения, сезонные пики, толерантность к дубликатам и валидные диапазоны.
Интерполируйте только там, где есть обоснованное ожидание непрерывности; иначе сохраняйте null как улики.
Сначала отделите дубликаты и ошибки внешних связей, потом проверьте общую распределённость на дрейф.