¿Qué es defecto y qué es excepción aceptable?
Acordad vacíos permitidos, picos estacionales, tolerancias de duplicado y rangos válidos antes de etiquetar anomalías.
Elysia Tools
Navegación
Workflow Playbook
Perfila datos tabulares, aísla duplicados, faltantes, rupturas referenciales, valores atípicos y anomalías temporales, y convierte los hallazgos en evidencia defendible.
Temas
Una investigación sólida de calidad de datos comienza con un perfil del conjunto. Registra conteos, completitud por campo, presión de duplicados, rangos y diferencias entre fuentes antes de limpiar nada. Esa línea base permite explicar si el problema es nuevo, localizado o heredado del origen.
Duplicados, claves foráneas inválidas y valores fuera de rango suelen ser defectos deterministas. Filtra esos registros en grupos de revisión explícitos. Después analiza el comportamiento de la distribución con detectores de atípicos, diagramas de caja, z-scores y medias robustas para decidir si el pico viene de corrupción, de un evento real aislado o de un cambio persistente.
Los nulos pueden indicar caídas de canal, retrasos de carga o campos opcionales. En medidas ordenadas por tiempo, compara huecos y cambios bruscos antes de rellenar. Si interpolas, conserva la serie original, la regla aplicada y los intervalos afectados para que otros equipos evalúen si esos datos sirven para pronóstico, paneles o solo análisis exploratorio.
El resultado final debe nombrar filas afectadas, reglas violadas, ventanas temporales anómalas y acciones sugeridas por categoría. La buena evidencia separa defectos confirmados de excepciones toleradas y deja reproducible la remediación.
Guía de flujo de trabajo
Mide completitud, forma de columnas, patrones sospechosos y diferencias entre fuentes antes de juzgar la calidad.
Aísla duplicados, filtra segmentos sospechosos y valida límites y claves foráneas para no mezclar reglas rotas con anomalías estadísticas.
Combina detección de atípicos y estadísticas robustas para decidir si un extremo es error, evento raro real o sesgo aceptable.
Revisa huecos y choques temporales, interpola solo cuando esté justificado y conserva evidencia antes y después.
Acordad vacíos permitidos, picos estacionales, tolerancias de duplicado y rangos válidos antes de etiquetar anomalías.
Interpola solo cuando la continuidad de la secuencia tenga una justificación clara; si no, conserva el nulo.
Separa primero duplicados y claves rotas, y después confirma si hay deriva en la distribución global.