Elysia Tools
Навигация
Workflow Playbook
Приведите неопрятные табличные данные в аналитический вид — слейте таблицы-источники в одну, снимите метки порядка байтов, ломающие сопоставление столбцов, оставьте только нужные столбцы, исправьте орфографию и форматы, обработайте выбросы по политике, а не панике, отмасштабируйте или стандартизируйте числа и завершите ограничением диапазонов и перекрёстной сводной таблицей.
Темы
Подготовка данных чаще всего проваливается оттого, что делается дважды по разным меркам. Два экспорта, почищенных порознь, выращивают два формата даты и два написания категории, и их слияние вскрывает все старые раны. Здешний порядок это исключает — слить сперва, чтобы сопоставление столбцов прошло один раз по всем источникам; вычистить один раз по всей таблице; и дальше каждый шаг применяет одну политику к одной таблице. Предпосылка — честность о том, какие столбцы важны — сузить до работы вдвое уменьшает площадь, где плодятся ошибки.
Два невидимых сбоя дают большинство молчаливых аварий подготовки. Метка порядка байтов сидит перед именем первого столбца, притворяясь пустотой, и ломает каждое точное сопоставление с ним — её подпись это join, возвращающий ноль строк без ошибки. Дубликаты — вторая ловушка: две строки, совпадающие во всех полях, есть один факт, посчитанный дважды, и любая построенная на них сумма лжёт ровно на это. Обе ловушки дёшево разрядить — снять метку, дедуплицировать таблицу — и дорого открыть вниз по течению, потому они идут прежде всякой ловкости.
Выброс не грязь — он данное с твёрдой позицией: я сбой, или я событие, за которым вы пришли. Удалить его — предметное суждение со статистическими последствиями, поэтому этот воркфлоу выводит решение на свет — заявленная политика на столбец, исполненная и посчитанная. Заменяйте медианой или потолком, когда хвосты должны смягчиться, а строки остаться; помечайте, когда нижележащий анализ заслуживает голоса; удаляйте, когда значение доказуемо ошибочно. Политика идёт в записи, ибо результат, не способный сказать, как он обошёлся со своими экстремумами, не сможет и защититься.
Min-Max и Z-score — не взаимозаменяемые привычки. Min-Max загоняет всё в диапазон 0—1 и хранит форму — хорошо, когда нижележащему методу нужны ограниченные входы, хрупко, когда один экстремум расплющивает остальное о ноль. Z-score центрирует столбцы на нуле с единичной дисперсией и не вздрагивает перед тяжёлыми хвостами — верно для методов, меряющих в стандартных отклонениях. Проверка арифметическая, не на глаз: столбец Min-Max обязан покрывать ровно 0—1, стандартизованный — давать среднее 0 со стандартным отклонением 1, а применённый метод — остаться в записях для того, кто повторит работу.
Эта страница заканчивается чистой, сформированной, отмасштабированной рабочей таблицей и её перекрёстной сводкой. Вокруг сидят соседи, владеющие смежными этапами — вытянуть структуру из неструктурированного текста есть дело воркфлоу извлечения таблиц, хирургию строк и столбцов единственного CSV ведёт воркфлоу CSV-утилит, аудит массива данных на аномалии качества — воркфлоу качества данных, а перенос готовой таблицы в книгу или иной формат принадлежит воркфлоу приёма и конвертации. Формируйте данные здесь, затем передавайте их этапу, владеющему продолжением.
Руководство по рабочему процессу
Пришейте таблицы-источники вертикально с умным сопоставлением столбцов, чтобы родственные столбцы легли вместе, и снимите метки порядка байтов, из-за которых имя первого столбца не находится.
Извлеките только столбцы, которыми пользуется анализ, затем исправьте орфографические ошибки, унифицируйте форматы и удалите дубликаты за один осознанный проход.
Обнаружьте экстремальные значения и удалите, замените или пометьте их согласно заявленной политике — записав, что сделано и сколько строк задето.
Примените нормализацию Min-Max, когда нижележащему методу нужен ограниченный диапазон от 0 до 1, или стандартизацию Z-score, когда нужны центрированные столбцы единичной дисперсии — один выбор на таблицу, письменно.
Удаление хранит статистику чистой и платит образцами; замена медианой или потолком хранит каждую строку и смягчает хвосты; пометка сохраняет всё и передаёт вердикт дальше — выбирайте по тому, насколько анализ зависит от экстремумов.
Min-Max сжимает значения в фиксированный диапазон от 0 до 1 и хранит форму, но позволяет одному экстремуму затолкать остальное в угол, тогда как Z-score центрирует на нуле с единичной дисперсией и терпит тяжёлые хвосты — выбирайте по предположениям нижележащего метода и записывайте, какой сработал.
Обрезка возвращает отставших в законный диапазон и хранит каждую строку, фильтрация удаляет нарушающие строки, а пометка хранит и значение, и вердикт — правильный выбор зависит от того, означает ли вне-диапазонное значение плохое считывание или плохой датчик.
Ограничьте значения их законными диапазонами обрезкой, фильтрацией или пометкой и сгенерируйте перекрёстную таблицу, превращающую длинную рабочую таблицу в сводку, которую анализ и вправду читает.