Elysia Tools
Mobile Navigation
Workflow Playbook
Führen Sie mehrere Arbeitsmappen und CSV-Quellen in nachvollziehbare Artefakte für SQL-Ladevorgänge, Parquet-Pipelines und Objekt-Speicher-Batches zusammen.
Themen
Ein ETL-Lauf wird überprüfbar, wenn jede Eingabe eine stabile Quell- und Batch-ID besitzt. Notieren Sie Datei- oder API-Aufnahme, ein relevantes Objektpräfix, Blatt oder Bereich sowie die erwartete Zeilen- und Feldform. Bewahren Sie den Rohinput unverändert auf, damit eine Korrektur wiederholbar bleibt.
Landen Sie API-Seiten oder Speicher-Batches zuerst und lösen Sie danach CSV-Encoding und Trennzeichen. Der Blatt-Splitter und der Bereichs-Extractor halten Notizen und Summen aus den Daten heraus. Der Spalten-Mapper legt Namen und Reihenfolge fest; Unpivot macht Monats-Spalten zu Beobachtungen, wenn die Zieltabelle lang ist. Mergen Sie nur kompatible Verträge und machen Sie den Cursor in der Abstammung sichtbar.
Das aus Beispielen abgeleitete JSON Schema ist ein Ausgangspunkt. Vergleichen Sie es vor der Freigabe der INSERT mit Migrationsplan, Geschäftsschlüssel, Nullbarkeit und Dialekt. Die Werkzeuge erzeugen Struktur und Text, ersetzen aber weder eine Transaktion noch die Entscheidung über Typänderungen.
Gleichen Sie Eingangs-, angenommene, doppelte, abgewiesene und ausgegebene Zeilen ab und prüfen Sie Felder, Typen, Eindeutigkeit und Schema-Drift. Parquet und NDJSON eignen sich für Analytics; ein CSV-Paket mit Manifest erleichtert die Blattprüfung. Bei einem Fehler wird der betroffene Zweig isoliert und seine Abstammung bewahrt, statt ein Teilresultat als vollständig auszugeben.
Workflow-Leitfaden
Überführen Sie API-Seiten bei Bedarf in ein Blatt, verarbeiten Sie den freigegebenen Objektspeicher-Batch und erkennen Sie Trennzeichen und Encoding vor der CSV-Stapelkonvertierung. Vergeben Sie Quell- und Batch-IDs und bewahren Sie die Verbindung vom Rohinput zum Landing-Artefakt.
Teilen Sie mehrblättrige Workbooks auf oder extrahieren Sie genehmigte Bereiche; benennen, ordnen und entfernen Sie danach Spalten gemäß Vertrag. Formen Sie Monats-Spalten in Zeilen um, wenn das Ziel ein Long-Format erwartet, und glätten Sie JSON nur bei ausdrücklichem Bedarf.
Führen Sie nur Workbooks mit kompatiblen Blättern und Spalten zusammen. Bei wiederkehrenden Läufen hängen Sie neue Zeilen mit einem geprüften Zeit- oder Primärschlüssel-Cursor an; speichern Sie ihn in der Abstammung und vergleichen Sie empfangene, behaltene, doppelte und abgewiesene Zeilen.
Nutzen Sie API To Sheet für paginierte JSON-Daten, die zuerst in ein Blatt gelangen sollen, S3 Batch Processor für ein freigegebenes Speicherpräfix und die CSV-Werkzeuge bei wechselndem Trennzeichen oder Encoding. Verknüpfen Sie jedes Landing-Artefakt mit seinem Quellenpfad.
Trennen Sie Arbeitsmappen oder extrahieren Sie benannte Bereiche, wenn die Blätter unterschiedliche Datensätze enthalten. Ordnen Sie Spalten vor dem Merge zu, wenden Sie Unpivot auf Monats- oder Kategorie-Spalten an und transformieren Sie verschachteltes JSON nur bei einem entsprechenden Zielvertrag.
Behandeln Sie das abgeleitete JSON Schema als prüfbaren Vorschlag, planen Sie Tabellen mit dem Migrationsplaner und erzeugen Sie INSERT erst nach Prüfung von Typen, Schlüsseln, Escaping und Dialekt. Parquet oder NDJSON passen zur Analyse; ein CSV-Paket erleichtert die Blattprüfung.
Leiten Sie aus repräsentativen Zeilen ein vorläufiges JSON Schema ab, erstellen Sie daraus einen Migrationsplan und generieren Sie INSERT für den gewählten Dialekt. Prüfen Sie Datumswerte, Zahlen, Nullwerte, Kennungen, Escaping und Zielspaltenreihenfolge vor externen Schreibvorgängen.
Exportieren Sie die akzeptierte Tabellenform für Analytics als Parquet oder NDJSON oder bündeln Sie jedes Blatt für Prüfung und Transfer als CSV mit Manifest. Legen Sie Zeilen-, Feld- und Abstammungsnachweise bei; Upload, Berechtigungen und Commit gehören zum Zielsystem.