Wichtige Fakten
- Kategorie
- Data Processing
- Eingabetypen
- textarea, checkbox, number
- Ausgabetyp
- json
- Sample-Abdeckung
- 4
- API verfügbar
- Yes
Überblick
Der JSON-Datenherkunfts-Tracker ist ein spezialisiertes Tool für Data Engineers und Entwickler, um JSON-Feldpfade, abgeleitete Abhängigkeiten und Transformationshistorien präzise zu verfolgen. Durch die Kombination von Quell-JSON-Daten mit benutzerdefinierten Ableitungsregeln generiert das Tool einen detaillierten Herkunftsgraphen. Dies erleichtert die Analyse von API-Antworten, das Feldmapping in ETL-Prozessen und die Dokumentation komplexer Datenflüsse.
Wann verwenden
- •Wenn Sie die Herkunft und Transformation von Feldern in komplexen ETL-Pipelines dokumentieren müssen.
- •Zur Analyse von API-Antworten, um zu verstehen, aus welchen Quellfeldern sich berechnete Werte zusammensetzen.
- •Beim Refactoring von Datenmodellen, um Abhängigkeiten zwischen ursprünglichen und abgeleiteten JSON-Knoten zu visualisieren.
So funktioniert es
- •Fügen Sie Ihr ursprüngliches JSON-Dokument in das Feld 'Quell-JSON' ein.
- •Definieren Sie optional Lineage-Regeln im JSON-Format, um Ziel-Felder, deren Quellen und angewendete Transformationen (z. B. Runden, Verketten) festzulegen.
- •Wählen Sie aus, ob übergeordnete Objekt- und Array-Knoten in die Analyse einbezogen werden sollen.
- •Das Tool verarbeitet die Eingaben und gibt einen strukturierten Herkunftsgraphen als JSON aus, der alle Feldbeziehungen aufzeigt.
Anwendungsfälle
Beispiele
1. Feldherkunft einer API-Antwort nachverfolgen
Data Engineer- Hintergrund
- Ein E-Commerce-System liefert Bestelldaten über eine API. Die Beträge werden in Cent gespeichert, aber für das Frontend in USD umgerechnet und Vor- sowie Nachnamen werden verkettet.
- Problem
- Es muss dokumentiert werden, wie die Frontend-Felder totalUsd und customerLabel aus den Rohdaten der API entstehen.
- Verwendung
- Fügen Sie das Bestell-JSON als Quelle ein und definieren Sie die Transformationsregeln (z. B. Division durch 100 für den Betrag) im Lineage-Regeln-Feld.
- Beispielkonfiguration
-
{ "rules": [ { "target": "$.order.totalUsd", "sources": ["$.order.totalCents"], "transforms": ["divide_by_100", "round(2)"] }, { "target": "$.order.customerLabel", "sources": ["$.order.customer.firstName", "$.order.customer.lastName"], "transforms": ["concat(\" \")"] } ] } - Ergebnis
- Das Tool generiert einen Graphen, der zeigt, dass $.order.totalUsd direkt von $.order.totalCents abhängt und welche Transformationen angewendet wurden.
2. Strukturanalyse eines verschachtelten JSON-Dokuments
Backend-Entwickler- Hintergrund
- Ein Entwickler erhält einen großen, undokumentierten JSON-Dump von einem Drittanbieter-System.
- Problem
- Alle verfügbaren Feldpfade müssen schnell extrahiert werden, um ein passendes Datenbankschema zu entwerfen.
- Verwendung
- Fügen Sie den JSON-Dump in das Quell-Feld ein, lassen Sie die Lineage-Regeln leer und aktivieren Sie 'Objekt- und Array-Knoten einbeziehen'.
- Beispielkonfiguration
-
Max Felder: 500 - Ergebnis
- Eine saubere JSON-Ausgabe, die alle absoluten Pfade auflistet und die Hierarchie der Datenstruktur verdeutlicht, ohne dass manuelle Ableitungen nötig sind.
Mit Samples testen
jsonVerwandte Hubs
FAQ
Was ist eine Lineage-Regel?
Eine Lineage-Regel ist ein JSON-Objekt, das definiert, wie ein neues Feld (Target) aus einem oder mehreren Quellfeldern (Sources) durch bestimmte Transformationen entsteht.
Kann ich das Tool auch ohne Lineage-Regeln nutzen?
Ja, wenn Sie nur das Quell-JSON eingeben, extrahiert das Tool alle vorhandenen Feldpfade und erstellt eine grundlegende Strukturübersicht ohne abgeleitete Abhängigkeiten.
Was bewirkt die Option 'Objekt- und Array-Knoten einbeziehen'?
Diese Option stellt sicher, dass nicht nur die Endwerte (Leaf Nodes), sondern auch die übergeordneten Container-Strukturen im Herkunftsgraphen abgebildet werden.
Gibt es ein Limit für die Anzahl der Felder?
Ja, standardmäßig ist die Ausgabe auf 200 Felder begrenzt. Sie können diesen Wert in den Einstellungen auf bis zu 2000 erhöhen, um auch sehr große JSON-Dateien zu verarbeiten.
Welches Format hat die Ausgabe?
Die Ausgabe ist ein strukturiertes JSON-Dokument, das eine Zusammenfassung der Feldanzahl sowie die Knoten und Kanten des Abhängigkeitsgraphen enthält.