Catégories

Traceur de lignage JSON

Trace les chemins de champs JSON, les dependances derivees et lhistorique des transformations

Pratique pour ETL, API et analyse de dependances de champs. Le JSON source peut etre enrichi avec des regles de derivation.

Exemples de résultats

1 Exemples

Tracer le lignage des champs d’une reponse API

Enumere tous les chemins JSON puis ajoutez des regles ETL explicites pour suivre lorigine des montants et libelles

{
  "summary": {
    "fieldCount": 9,
    "derivedFieldCount": 2
  },
  "graph": {
    "nodes": [
      {
        "id": "$.order.totalUsd"
      }
    ]
  }
}
Voir paramètres d'entrée
{ "sourceJson": "{\n \"order\": {\n \"id\": \"ORD-1001\",\n \"customer\": {\n \"firstName\": \"Ada\",\n \"lastName\": \"Lovelace\"\n },\n \"totalCents\": 2599\n }\n}", "lineageRulesJson": "{\n \"rules\": [\n {\n \"target\": \"$.order.totalUsd\",\n \"sources\": [\n \"$.order.totalCents\"\n ],\n \"transforms\": [\n \"divide_by_100\",\n \"round(2)\"\n ]\n },\n {\n \"target\": \"$.order.customerLabel\",\n \"sources\": [\n \"$.order.customer.firstName\",\n \"$.order.customer.lastName\"\n ],\n \"transforms\": [\n \"concat(\\\" \\\")\"\n ]\n }\n ]\n}", "includeContainerNodes": true, "maxFields": 200 }

Points clés

Catégorie
Data Processing
Types d’entrée
textarea, checkbox, number
Type de sortie
json
Couverture des échantillons
4
API disponible
Yes

Vue d’ensemble

Le Traceur de lignage JSON est un outil conçu pour les ingénieurs de données et les développeurs souhaitant cartographier les chemins de champs, les dépendances et l'historique des transformations au sein de leurs structures JSON. Idéal pour les processus ETL et l'analyse d'API, il permet d'importer un JSON source et d'y associer des règles de dérivation personnalisées afin de générer un graphe de dépendances clair et détaillé.

Quand l’utiliser

  • Pour documenter et visualiser les transformations de données dans vos pipelines ETL.
  • Lors de l'analyse des réponses d'API pour comprendre le mappage et l'origine de chaque champ.
  • Pour déboguer des champs dérivés complexes en traçant leurs dépendances jusqu'aux données brutes.

Comment ça marche

  • Collez votre structure de données brute dans le champ 'JSON source'.
  • Ajoutez éventuellement des règles de lignage au format JSON pour définir comment les nouveaux champs sont calculés à partir des champs existants.
  • Ajustez les paramètres, comme l'inclusion des nœuds conteneurs ou la limite de champs en sortie.
  • L'outil analyse les chemins et génère un graphe de dépendances JSON détaillant l'origine et les transformations de chaque champ.

Cas d’usage

Cartographie des données pour les migrations de bases de données NoSQL.
Audit de conformité des données en traçant l'origine des informations sensibles dans les flux JSON.
Génération de documentation technique automatique pour les architectures microservices basées sur des API REST.

Exemples

1. Tracer le lignage des champs d'une réponse API

Ingénieur Data
Contexte
Une API renvoie des montants en centimes et des noms séparés, mais le système cible nécessite des montants en dollars et un nom complet.
Problème
Documenter comment les champs finaux sont dérivés des données brutes de l'API pour l'équipe d'intégration.
Comment l’utiliser
Collez le JSON de la commande et définissez les règles de transformation pour `totalUsd` et `customerLabel` dans le champ des règles de lignage.
Configuration d’exemple
{
  "rules": [
    {
      "target": "$.order.totalUsd",
      "sources": ["$.order.totalCents"],
      "transforms": ["divide_by_100", "round(2)"]
    }
  ]
}
Résultat
Un graphe JSON est généré, montrant clairement que `totalUsd` dépend de `totalCents` avec les opérations de division et d'arrondi.

2. Mappage de champs pour un pipeline ETL

Développeur Backend
Contexte
Un pipeline ingère des profils utilisateurs complexes avec de nombreux objets imbriqués.
Problème
Extraire uniquement les chemins des champs terminaux sans inclure les nœuds parents pour simplifier le schéma cible.
Comment l’utiliser
Insérez le JSON du profil utilisateur et décochez l'option 'Inclure les nœuds objet et tableau'.
Résultat
L'outil produit une liste plate des chemins JSON (ex: `$.user.address.city`), ignorant les conteneurs structurels comme `$.user.address`.

Tester avec des échantillons

json

Hubs associés

FAQ

Qu'est-ce que le lignage de données JSON ?

C'est le processus de suivi de l'origine, des mouvements et des transformations des champs de données au sein d'une structure JSON, permettant de comprendre comment les données dérivées sont construites.

Comment formater les règles de lignage ?

Les règles doivent être un objet JSON contenant un tableau 'rules', où chaque règle spécifie un 'target' (cible), des 'sources' (chemins d'origine) et des 'transforms' (opérations appliquées).

Puis-je exclure les objets et les tableaux du résultat ?

Oui, il suffit de décocher l'option 'Inclure les nœuds objet et tableau' pour ne conserver que les chemins pointant vers des valeurs finales.

Y a-t-il une limite de taille pour le JSON analysé ?

L'outil peut traiter jusqu'à un nombre maximal de champs défini par le paramètre 'Nombre maximal de champs en sortie', qui peut aller jusqu'à 2000 champs.

Cet outil modifie-t-il mon JSON source ?

Non, l'outil effectue une analyse en lecture seule pour générer un résumé et un graphe de dépendances sans altérer vos données d'origine.

Documentation de l'API

Point de terminaison de la requête

POST /fr/api/tools/json-data-lineage-tracer

Paramètres de la requête

Nom du paramètre Type Requis Description
sourceJson textarea Oui -
lineageRulesJson textarea Non -
includeContainerNodes checkbox Non -
maxFields number Non -

Format de réponse

{
  "key": {...},
  "metadata": {
    "key": "value"
  },
  "error": "Error message (optional)",
  "message": "Notification message (optional)"
}
Données JSON: Données JSON

Documentation de MCP

Ajoutez cet outil à votre configuration de serveur MCP:

{
  "mcpServers": {
    "elysiatools-json-data-lineage-tracer": {
      "name": "json-data-lineage-tracer",
      "description": "Trace les chemins de champs JSON, les dependances derivees et lhistorique des transformations",
      "baseUrl": "https://elysiatools.com/mcp/sse?toolId=json-data-lineage-tracer",
      "command": "",
      "args": [],
      "env": {},
      "isActive": true,
      "type": "sse"
    }
  }
}

Vous pouvez chaîner plusieurs outils, par ex.: `https://elysiatools.com/mcp/sse?toolId=png-to-webp,jpg-to-webp,gif-to-webp`, max 20 outils.

Si vous rencontrez des problèmes, veuillez nous contacter à [email protected]