Elysia Tools
Navegação
Workflow Playbook
Reúna várias pastas de trabalho e fontes CSV em artefatos rastreáveis para carga SQL, pipelines Parquet e lotes em armazenamento de objetos.
Temas
Um ETL é auditável quando cada entrada tem um ID de origem e de lote estáveis. Registre o arquivo ou captura da API, o prefixo de objetos quando houver, a aba ou o intervalo e o formato esperado das linhas e campos. Mantenha o bruto imutável para que uma correção de normalização possa ser reproduzida.
Aterre primeiro páginas de API ou lotes do armazenamento e depois resolva codificação e delimitadores CSV. O divisor de abas e o extrator de intervalos evitam misturar notas e totais aos dados. O mapeador fixa nomes e ordem; unpivot converte colunas de mês em observações quando a tabela de destino é longa. Combine apenas contratos compatíveis e inclua o cursor incremental na linhagem.
O JSON Schema inferido a partir de exemplos é apenas um ponto de partida. Compare-o com o plano de migração, a chave de negócio, a nulabilidade e o dialeto antes de aceitar os INSERT. As ferramentas produzem estrutura e texto, mas não substituem uma transação nem a decisão sobre mudanças de tipo.
Antes de exportar, reconcilie linhas de entrada, aceitas, duplicadas, rejeitadas e de saída. Verifique campos, tipos, unicidade e deriva de schema. Parquet e NDJSON atendem analytics; o pacote CSV com manifest facilita a revisão por aba. Se algo falhar, isole o ramo e preserve a linhagem em vez de publicar um resultado parcial como completo.
Guia de fluxo de trabalho
Leve páginas de API para uma aba quando necessário, processe o lote aprovado no armazenamento de objetos e detecte delimitador e codificação antes da conversão CSV em lote. Crie IDs de origem e lote e preserve o vínculo entre o bruto e o artefato de entrada.
Divida workbooks com várias abas ou extraia apenas os intervalos aprovados; depois renomeie, ordene e remova colunas conforme o contrato. Transforme colunas mensais em linhas quando o destino exigir formato longo e achate JSON apenas quando isso fizer parte do modelo.
Combine somente workbooks compatíveis em abas e colunas. Nas cargas recorrentes, acrescente novas linhas com cursor de tempo ou chave primária revisado; guarde o cursor na linhagem e compare recebidas, mantidas, duplicadas e rejeitadas para que o reprocessamento seja seguro.
Infira um JSON Schema candidato usando linhas representativas, monte o plano de migração e gere INSERT para o dialeto escolhido. Confira datas, números, nulos, identificadores, escape e ordem das colunas antes de qualquer escrita externa.
Use API To Sheet para JSON paginado que precisa virar uma aba, S3 Batch Processor para um prefixo autorizado e as ferramentas CSV quando delimitador ou codificação variam. Relacione cada artefato aterrissado à sua origem.
Separe workbooks ou extraia intervalos nomeados quando as abas forem conjuntos diferentes; mapeie colunas antes da combinação; aplique unpivot a colunas de período quando o destino for longo; transforme JSON aninhado somente se o contrato final pedir isso.
Trate o JSON Schema inferido como proposta para revisão, use o planejador de migração para desenhar tabelas e gere INSERT depois de conferir tipos, chaves, escape e dialeto. Prefira Parquet ou NDJSON para análise e pacote CSV quando a revisão por aba for necessária.
Exporte a forma aprovada para Parquet ou NDJSON em analytics, ou empacote cada aba como CSV com manifest para inspeção e transferência. Anexe contagens, campos e linhagem; upload, permissões e commit final continuam sob responsabilidade do sistema receptor.