Elysia Tools
Навигация
Workflow Playbook
Сведите несколько книг и CSV-источников в прослеживаемые результаты для SQL-загрузки, Parquet-пайплайна и пакетной обработки в объектном хранилище.
Темы
ETL можно проверить, если у каждого входа есть стабильные ID источника и пакета. Запишите файл или получение через API, префикс объектов при необходимости, лист или диапазон и ожидаемую форму строк и полей. Исходник лучше не менять: тогда исправленное правило нормализации можно воспроизвести.
Сначала приземлите страницы API или пакеты хранения, затем разберите кодировку и разделители CSV. Разделитель листов и экстрактор диапазона не дадут смешать заметки и итоги с данными. Сопоставитель колонок закрепит имена и порядок; unpivot превратит колонки месяцев в наблюдения для длинной таблицы. Объединяйте только совместимые контракты и делайте курсор видимой частью происхождения.
JSON Schema, выведенная из примеров, — только исходная гипотеза. Сопоставьте ее с планом миграции, бизнес-ключом, NULL и диалектом до принятия INSERT. Инструменты готовят артефакты, но не заменяют транзакцию и решение о смене типа.
До экспорта сопоставьте входные, принятые, дублирующие, отклоненные и итоговые строки. Проверьте поля, типы, уникальность и drift schema. Parquet и NDJSON удобны для аналитики, а CSV-пакет с manifest — для проверки листов. При ошибке изолируйте ветку и сохраните происхождение вместо публикации частичного результата как полного.
Руководство по рабочему процессу
При необходимости запишите страницы API в лист, обработайте разрешенный пакет в объектном хранилище и определите разделитель и кодировку до пакетного преобразования CSV. Создайте ID источника и пакета и сохраните связь между исходным и приземленным файлом.
Разделите книгу с несколькими листами или извлеките разрешенные диапазоны, затем переименуйте, переставьте и удалите колонки по контракту. Преобразуйте колонки месяцев в строки для длинного формата и разворачивайте JSON только при необходимости целевой модели.
Объединяйте только книги с совместимыми листами и колонками. Для повторных загрузок добавляйте новые строки по проверенному курсору времени или первичного ключа; сохраняйте курсор в цепочке происхождения и сопоставляйте принятые, оставленные, дублирующие и отклоненные строки.
Выведите предварительную JSON Schema по представительским строкам, составьте план миграции и сгенерируйте INSERT для выбранного диалекта. До внешней записи проверьте даты, числа, NULL, идентификаторы, экранирование и порядок колонок назначения.
Выбирайте API To Sheet для постраничного JSON, который сначала нужно записать в лист, S3 Batch Processor для разрешенного префикса хранения, а CSV-инструменты — когда меняются разделитель или кодировка. Для каждого результата фиксируйте ветку источника.
Разделяйте книги или извлекайте именованные диапазоны, если листы представляют разные наборы; до объединения сопоставьте колонки; применяйте unpivot к колонкам месяцев или категорий, когда приемник ожидает длинную таблицу; вложенный JSON меняйте только по требованию контракта.
Считайте выведенную JSON Schema проверяемым предложением, спланируйте таблицу миграционным инструментом и создавайте INSERT после проверки типов, ключей, экранирования и диалекта. Parquet или NDJSON подходят для аналитики, а CSV-пакет — для проверки листов по отдельности.
Экспортируйте принятую форму в Parquet или NDJSON для аналитики либо соберите каждый лист в CSV-пакет с manifest для проверки и передачи. Приложите контроль строк, полей и происхождения; загрузка, права и окончательная фиксация остаются у принимающей системы.