Elysia Tools
Navegação
Workflow Playbook
Leve dados tabulares bagunçados ao ponto de análise — funda as tabelas de origem numa só, tire as marcas de ordem de byte que quebram o casamento de colunas, guarde só as colunas necessárias, corrija grafia e formatos, trate os outliers por política e não por pânico, escale ou padronize os números e termine com limites de faixa e uma tabela cruzada de resumo.
Temas
A preparação de dados falha com mais frequência por ser feita duas vezes com padrões diferentes. Duas exportações limpas separadamente cultivam dois formatos de data e duas grafias de categoria, e a fusão delas reabre cada ferida. A ordem daqui impede isso — fundir primeiro para que o casamento de colunas aconteça uma vez sobre todas as fontes, limpar uma vez sobre a tabela inteira, e cada passo seguinte aplicar uma política única a uma tabela única. O pré-requisito é honestidade sobre as colunas que importam — estreitar antes de trabalhar corta pela metade a superfície onde erros podem se criar.
Duas falhas invisíveis respondem pela maioria dos bugs silenciosos de preparação. A marca de ordem de byte senta na frente do nome da primeira coluna fingindo ser nada e quebrando cada casamento exato contra ele — sua assinatura é o join que devolve zero linhas sem erro. Duplicatas são a segunda — duas linhas que concordam em todos os campos são um fato contado duas vezes, e qualquer total construído sobre elas mente por exatamente isso. As duas armadilhas se desarmam barato — tirar a marca, deduplicar a tabela — e se descobrem caro rio abaixo, por isso vêm antes de qualquer coisa engenhosa.
Um outlier não é sujeira — é um dado com uma postura forte — sou um glitch, ou sou o evento que você veio estudar. Removê-lo é um julgamento de domínio com consequências estatísticas, então este fluxo obriga a decisão a sair à luz — uma política declarada por coluna, executada e contada. Substitua por mediana ou teto quando as caudas devam amaciar mas as linhas fiquem; marque quando a análise adiante merecer o voto; remova quando o valor for comprovadamente errado. A política vai para as anotações, porque um resultado que não sabe dizer como tratou seus extremos também não consegue se defender.
Min-Max e Z-score não são hábitos intercambiáveis. Min-Max encaixa tudo numa faixa de 0 a 1 e preserva a forma — bom quando o método adiante quer entradas delimitadas, frágil quando um extremo esmaga o resto contra o zero. O Z-score centra as colunas em zero com variância unitária e dá de ombros a caudas pesadas — certo para métodos que medem em desvios padrão. O teste é aritmético, não visual — uma coluna Min-Max deve abranger exatamente 0 a 1, uma padronizada deve mediar 0 com desvio padrão 1 — e o método usado deve ficar registrado para quem refizer o trabalho.
Esta página termina com uma tabela de trabalho limpa, conformada e escalada, e sua tabela cruzada de resumo. Ao redor estão os vizinhos que possuem etapas adjacentes — tirar estrutura de texto não estruturado é coisa do fluxo de extração de tabelas, a cirurgia de linhas e colunas num único CSV é do fluxo de utilidades CSV, auditar um conjunto de dados por anomalias de qualidade é do fluxo de qualidade de dados, e levar a tabela pronta para uma pasta ou outro formato pertence aos fluxos de ingestão e conversão. Conforme os dados aqui e entregue-os à etapa que possui o que vem a seguir.
Guia de fluxo de trabalho
Anexe verticalmente as tabelas de origem com casamento inteligente de colunas para que colunas afins caiam juntas, e tire as marcas de ordem de byte que tornam o nome da primeira coluna impossível de casar.
Extraia apenas as colunas que a análise usa e corrija erros de grafia, padronize formatos e remova duplicatas numa passada deliberada.
Detecte os valores extremos e remova, substitua ou marque conforme a política declarada — registrando o que foi feito e quantas linhas tocou.
Aplique normalização Min-Max quando o método adiante quiser faixa delimitada de 0 a 1, ou padronização Z-score quando quiser colunas centradas de variância unitária — uma escolha por tabela, por escrito.
A remoção mantém a estatística pura e custa as amostras; a substituição por mediana ou teto mantém todas as linhas e amacia as caudas; a marcação preserva tudo e entrega o veredito a quem vem depois — escolha pelo quanto a análise depende dos extremos.
Min-Max comprime os valores numa faixa fixa de 0 a 1 e guarda a forma, mas deixa um único extremo arrastar o resto a um canto, enquanto o Z-score centra em zero com variância unitária e tolera caudas pesadas — escolha pelo que o método adiante assume, e anote qual rodou.
Cortar puxa os retardatários de volta à faixa legal e mantém cada linha, filtrar apaga as linhas que a violam, e marcar mantém o valor e o veredito — a escolha certa depende de um valor fora da faixa significar uma leitura ruim ou um sensor ruim.
Limite os valores às suas faixas legais cortando, filtrando ou marcando, e gere a tabela cruzada que transforma a longa tabela de trabalho no resumo que a análise de fato lê.