Elysia Tools
Navegação
Workflow Playbook
Perfilhe dados tabulares, isole duplicatas, faltas, quebras referenciais, outliers e anomalias temporais e transforme os achados em evidencia de qualidade.
Temas
Uma investigacao confiavel de qualidade de dados comeca com um perfil do conjunto. Registre volume, completude por campo, pressao de duplicidade, faixas de valor e diferencas entre fontes antes de limpar qualquer coisa. Essa base ajuda a explicar se o problema e novo, localizado ou herdado da origem.
Duplicatas, chaves estrangeiras invalidas e valores fora de faixa costumam ser defeitos deterministas. Isole esses registros primeiro em grupos claros de revisao. Depois observe a distribuicao com detectores de outliers, box plots, z-scores e medias robustas para distinguir corrupcao, evento raro real e mudanca persistente.
Nulos podem sinalizar falhas de pipeline, atrasos de carga ou campos opcionais. Em medidas ordenadas no tempo, compare lacunas e rupturas antes de preencher. Se houver interpolacao, preserve a serie original, a regra aplicada e os intervalos afetados para que outras equipes decidam se os valores corrigidos servem para previsao, paineis ou apenas exploracao.
O resultado final deve nomear linhas afetadas, regras violadas, janelas anormais e a acao recomendada para cada classe de problema. Boa evidencia separa defeitos confirmados de excecoes toleradas e deixa a remediacao reproduzivel.
Guia de fluxo de trabalho
Meça completude, forma das colunas, padroes suspeitos e diferencas entre fontes antes de concluir que houve deriva.
Isole duplicatas, filtre recortes suspeitos e valide limites e chaves estrangeiras para nao misturar regra quebrada com anomalia estatistica.
Combine deteccao de outliers e estatisticas robustas para decidir se um extremo e erro, evento raro real ou comportamento enviesado mas aceitavel.
Revise lacunas e choques no tempo, interpole apenas com justificativa e retenha evidencia antes e depois.
Defina vazios aceitos, picos sazonais, tolerancias de duplicidade e faixas validas antes de classificar anomalias.
Interpole apenas quando a continuidade da serie fizer sentido; caso contrario, mantenha o nulo como evidencia.
Separe primeiro duplicatas e falhas de chave, depois confirme se ha deriva na distribuicao geral.