Elysia Tools
Mobile Navigation
Workflow Playbook
Unabhängige Datensätze vorbereiten, einen reproduzierbaren Split festlegen, Klassenabdeckung und Leakage-Grenzen prüfen und nachvollziehbare Partitionen übergeben.
Themen
Dieser Ablauf liefert geprüfte Trainings-, Validierungs- und Testdateien für ein Klassifikationsexperiment, kein Modell und keine Bescheinigung unverzerrter Daten. Definieren, was eine Beobachtung ist und welche Informationen zum Vorhersagezeitpunkt vorliegen. Wiederholte Patienten, Nutzer, Haushalte oder verwandte Dokumente werden durch unterschiedliche Zeilen nicht unabhängig. Sind Gruppen- oder Zeitgrenzen erforderlich, extern passend aufteilen; dieses Tool bietet keine solchen Steuerungen.
Berechtigung klären und eine kontrollierte Quellenzuordnung erhalten. Fehlende Labels, Schreibvarianten und Klassenzahlen prüfen; ein leeres Ziel nicht unbemerkt als Klasse übernehmen. CSV vorher validieren: Der Splitter kann kurze Zeilen auffüllen und über die Kopfzeilenbreite hinausgehende Zellen abschneiden. Uneindeutige Namen und beschädigte Datensätze klären; erfolgreicher Export beweist keinen vollständigen Werterhalt.
Für Klassenzahlen dem CSV-Gruppierer eine separat geprüfte einfache Labeltabelle geben, keine mehrzeiligen Merkmalstexte oder in Anführungszeichen eingeschlossenen Trennzeichen. Sein Parser ist einfach; bei komplexen CSV-Labels einen geeigneten externen Leser verwenden und Summen abgleichen. Labels nicht zur Anpassung an den Parser umbenennen oder zusammenlegen.
Merkmale und Zielspalte auswählen; einen stabilen Datensatzschlüssel außerhalb der Modellmerkmale oder eine berechtigte externe Zuordnung behalten. Relevante Inhalte in einer separaten Kopie vergleichen, ohne dass eindeutige IDs Gleichheit verdecken, und jede Quelle nachvollziehbar halten. Deduplizierung entfernt Zeilen: nie am einzigen Original ausführen und unscharfe Treffer nicht automatisch bestätigen.
Wiederholte Messungen können legitim sein und stattdessen diesen Zeilensplit ungeeignet machen. Widersprüchliche Labels gleicher Inhalte verlangen Klärung, keine willkürliche Löschung. Entfernte versehentliche Kopien und erhaltene Schlüssel dokumentieren. Imputation, Skalierung, Merkmalsauswahl und Ausgleich nicht auf allen Daten anpassen; gelernte Transformationen ausschließlich im Training bestimmen.
Hash der exakten Eingabe, Reihenfolge, Felder, Ziel, Toolversion, Modus, Anteile, Seed und Optionen für Mischen und Stratifizieren festhalten. Ein Seed allein reproduziert weder geänderte Eingaben noch andere Implementierungen und garantiert keine gleichen Mitglieder wie scikit-learn. Im Standardmodus ergibt sich der Testanteil als Rest nach Training und Validierung. Ganzzahlige Ist-Zahlen statt nur Wunschprozente prüfen.
Bei 100 unabhängigen Zeilen mit Klassen von 80 und 20 kann 70/15/15 die kleinere Klasse als 14/3/3 verteilen. Zwei Beispiele können keine drei Teilmengen besetzen. Sachlich unterschiedliche Labels nicht zusammenlegen oder Stratifizierung abschalten, nur um Warnungen zu entfernen. Bei k-fold überschneiden sich Trainingsmengen verschiedener Folds absichtlich, doch jedes Paar muss seine Validierungsmitglieder isolieren. Ein unabhängiger Abschlusstest entsteht nicht.
ZIP prüfen: Standardmodus liefert train.csv, validation.csv, test.csv und split_report.json. Klassen erneut zählen und Quellschlüssel abgleichen; jedes zulässige Original gehört genau einmal in die drei Partitionen. Die interne Prüfung vergleicht ganze Zeilen. Unterschiedliche IDs oder kleine Änderungen können gleiche Merkmale verdecken. Entitäten, ähnliche Kopien und aus der Zukunft abgeleitete Informationen separat prüfen. Der JSON-Bericht ist kein vollständiges Mitgliedschafts- oder Leakage-Register; angezeigte Warnungen und externe Kontrollen aufbewahren.
Ungleichgewicht nur auf einer Trainingskopie untersuchen, bei Kreuzvalidierung in jedem Trainingsfold. SMOTE ist hier eine Vorschau numerischer Merkmale und ergänzt die exportierten CSVs nicht. Zahlenkodierungen und IDs sind nicht automatisch sinnvolle kontinuierliche Merkmale. Bewertungsdaten unverändert lassen und freigegebenes Resampling als separates Experiment dokumentieren. Finale CSVs validieren und hashen, Dateien, Freigabe und offene Risiken lokal sichern und Schlüssel vom Modell ausschließen. Quellen-, Reihenfolge- oder Optionsänderungen neu prüfen; allgemeine Bereinigung und Statistik gehören zu den verwandten Abläufen.
Workflow-Leitfaden
CSV-Struktur validieren, fehlende Labels untersuchen und Klassen zählen. Vorhersageeinheit und Zeitpunkt prüfen; abbrechen, wenn nötige Gruppen- oder Zeittrennung nicht durchsetzbar ist.
Spalten auswählen und einen nicht prädiktiven Schlüssel oder eine externe Zuordnung behalten. Inhalte statt nur IDs vergleichen; ausschließlich bestätigte versehentliche Kopien mit Begründung entfernen.
Exakte Eingabe hashen, Reihenfolge und Optionen erfassen. Standardmäßigen stratifizierten Split mit Seed ausführen und ZIP exportieren; optionales k-fold liefert Paare, keinen unabhängigen Abschlusstest.
Klassen erneut zählen, Mitgliedschaften und Warnungen sowie Entitäts- und Inhaltsüberschneidungen prüfen. Bewertungsdaten unverändert lassen; SMOTE-Vorschau nicht als exportiertes erweitertes Training behandeln.
Diesen Weg nur bei begründeter Unabhängigkeit nutzen. Wiederholte Personen, verwandte Dokumente oder Zukunftsprognosen können externe Gruppen- oder Zeitsplits verlangen.
Tatsächliche Anzahlen prüfen. Trotz gültiger Eingabe kann eine Klasse fehlen; Daten ergänzen oder den Prüfplan ändern statt Warnungen durch Abschalten der Stratifizierung zu verdecken.
Zuerst eine unveränderte Basis sichern. Varianten nur im Training oder innerhalb jedes Trainingsfolds vergleichen, niemals im Gesamtdatensatz oder in Bewertungsdaten.
Jede CSV auf Spalten, Anzahl und freigegebene Mitglieder prüfen. Hashes, lokale Dateien, split_report.json und externe Prüfnachweise sichern; Änderungen erneut freigeben.