Points clés
- Catégorie
- Data Processing
- Types d’entrée
- textarea, checkbox, number
- Type de sortie
- json
- Couverture des échantillons
- 4
- API disponible
- Yes
Vue d’ensemble
Le Traceur de lignage JSON est un outil conçu pour les ingénieurs de données et les développeurs souhaitant cartographier les chemins de champs, les dépendances et l'historique des transformations au sein de leurs structures JSON. Idéal pour les processus ETL et l'analyse d'API, il permet d'importer un JSON source et d'y associer des règles de dérivation personnalisées afin de générer un graphe de dépendances clair et détaillé.
Quand l’utiliser
- •Pour documenter et visualiser les transformations de données dans vos pipelines ETL.
- •Lors de l'analyse des réponses d'API pour comprendre le mappage et l'origine de chaque champ.
- •Pour déboguer des champs dérivés complexes en traçant leurs dépendances jusqu'aux données brutes.
Comment ça marche
- •Collez votre structure de données brute dans le champ 'JSON source'.
- •Ajoutez éventuellement des règles de lignage au format JSON pour définir comment les nouveaux champs sont calculés à partir des champs existants.
- •Ajustez les paramètres, comme l'inclusion des nœuds conteneurs ou la limite de champs en sortie.
- •L'outil analyse les chemins et génère un graphe de dépendances JSON détaillant l'origine et les transformations de chaque champ.
Cas d’usage
Exemples
1. Tracer le lignage des champs d'une réponse API
Ingénieur Data- Contexte
- Une API renvoie des montants en centimes et des noms séparés, mais le système cible nécessite des montants en dollars et un nom complet.
- Problème
- Documenter comment les champs finaux sont dérivés des données brutes de l'API pour l'équipe d'intégration.
- Comment l’utiliser
- Collez le JSON de la commande et définissez les règles de transformation pour `totalUsd` et `customerLabel` dans le champ des règles de lignage.
- Configuration d’exemple
-
{ "rules": [ { "target": "$.order.totalUsd", "sources": ["$.order.totalCents"], "transforms": ["divide_by_100", "round(2)"] } ] } - Résultat
- Un graphe JSON est généré, montrant clairement que `totalUsd` dépend de `totalCents` avec les opérations de division et d'arrondi.
2. Mappage de champs pour un pipeline ETL
Développeur Backend- Contexte
- Un pipeline ingère des profils utilisateurs complexes avec de nombreux objets imbriqués.
- Problème
- Extraire uniquement les chemins des champs terminaux sans inclure les nœuds parents pour simplifier le schéma cible.
- Comment l’utiliser
- Insérez le JSON du profil utilisateur et décochez l'option 'Inclure les nœuds objet et tableau'.
- Résultat
- L'outil produit une liste plate des chemins JSON (ex: `$.user.address.city`), ignorant les conteneurs structurels comme `$.user.address`.
Tester avec des échantillons
jsonHubs associés
FAQ
Qu'est-ce que le lignage de données JSON ?
C'est le processus de suivi de l'origine, des mouvements et des transformations des champs de données au sein d'une structure JSON, permettant de comprendre comment les données dérivées sont construites.
Comment formater les règles de lignage ?
Les règles doivent être un objet JSON contenant un tableau 'rules', où chaque règle spécifie un 'target' (cible), des 'sources' (chemins d'origine) et des 'transforms' (opérations appliquées).
Puis-je exclure les objets et les tableaux du résultat ?
Oui, il suffit de décocher l'option 'Inclure les nœuds objet et tableau' pour ne conserver que les chemins pointant vers des valeurs finales.
Y a-t-il une limite de taille pour le JSON analysé ?
L'outil peut traiter jusqu'à un nombre maximal de champs défini par le paramètre 'Nombre maximal de champs en sortie', qui peut aller jusqu'à 2000 champs.
Cet outil modifie-t-il mon JSON source ?
Non, l'outil effectue une analyse en lecture seule pour générer un résumé et un graphe de dépendances sans altérer vos données d'origine.