Elysia Tools
Mobile Navigation
Workflow Playbook
Profilieren Sie tabellarische Daten, isolieren Sie Duplikate, Fehlwerte, Referenzbrueche, Ausreisser und Zeitreihenanomalien und machen Sie daraus belastbare Qualitaetsnachweise.
Themen
Eine belastbare Datenqualitaetspruefung startet mit einem Profil des Bestands. Erfassen Sie Volumen, Vollstaendigkeit je Feld, Duplikatdruck, Wertebereiche und Unterschiede zwischen Quellen, bevor Sie etwas bereinigen. Diese Basis zeigt, ob das Problem neu, lokal oder bereits im Upstream vorhanden ist.
Duplikate, gebrochene Fremdschluessel und Werte ausserhalb der Grenzen sind meist deterministische Fehler. Legen Sie dafuer zuerst klare Pruefbuckets an. Danach untersuchen Sie die Verteilung mit Ausreisserdetektoren, Boxplots, z-Scores und robusten Mittelwerten, um zwischen Korruption, seltenem Ereignis und dauerhafter Verschiebung zu unterscheiden.
Nullwerte koennen fuer Pipeline-Ausfaelle, verspaetete Meldungen oder optionale Felder stehen. Bei zeitlich geordneten Messungen sollten Luecken und Spruenge vor jeder Auffuellung untersucht werden. Falls Sie interpolieren, behalten Sie die Originalreihe, die Reparaturregel und die betroffenen Intervalle, damit nachgelagerte Teams die Eignung der korrigierten Werte bewerten koennen.
Das Endergebnis sollte betroffene Zeilen, verletzte Regeln, auffaellige Zeitfenster und empfohlene Massnahmen je Fundklasse benennen. Gute Belege trennen bestaetigte Defekte von tolerierten Ausnahmen und machen die Behebung reproduzierbar.
Workflow-Leitfaden
Messen Sie Vollstaendigkeit, Spaltenmuster, verdaechtige Werte und Quellunterschiede, bevor Sie von Qualitaetsdrift sprechen.
Isolieren Sie Duplikate, suspekte Ausschnitte, Grenzverletzungen und Fremdschluesselprobleme, damit sie nicht mit statistischen Auffaelligkeiten vermischt werden.
Nutzen Sie Ausreissererkennung und robuste Kennzahlen, um zwischen Datenfehler, seltenem Realereignis und akzeptabler Schiefe zu unterscheiden.
Pruefen Sie Luecken und Zeitschocks, interpolieren Sie nur mit Begruendung und sichern Sie Vorher-Nachher-Belege.
Legen Sie erlaubte Leerwerte, saisonale Spitzen, Duplikattoleranzen und gueltige Grenzen fest, bevor Sie Anomalien bewerten.
Interpolieren Sie nur bei begruendeter zeitlicher Kontinuitaet; sonst bleibt der Nullwert Beleg fuer die Pruefung.
Trennen Sie zuerst Duplikate und Fremdschluesselfehler und pruefen Sie danach die Gesamtverteilung auf Drift.