Elysia Tools
Navigation mobile
Workflow Playbook
Transformez plusieurs classeurs et CSV en sorties traçables pour le chargement SQL, les pipelines Parquet et les lots de stockage objet.
Dossiers
Un traitement ETL devient vérifiable lorsque chaque entrée possède un identifiant de source et de lot stable. Notez la capture de fichier ou d’API, le préfixe objet éventuel, la feuille ou la plage et la forme attendue. Gardez l’original immuable afin de rejouer une correction de normalisation.
Atterrissez d’abord les pages API ou les lots objet, puis traitez séparateurs et encodages CSV. Le séparateur de feuilles et l’extracteur de plages évitent d’inclure notes et totaux. Le mappeur fixe les noms et l’ordre ; unpivot transforme les colonnes de mois en observations quand la cible est longue. Fusionnez seulement des contrats compatibles et rendez le curseur visible dans la filiation.
Le JSON Schema produit à partir d’exemples est un point de départ, pas une décision finale. Comparez-le au plan de migration, à la clé métier, à la nullabilité et au dialecte avant d’accepter les INSERT. Les outils construisent les artefacts, mais ne remplacent pas une transaction ni une décision de changement de type.
Avant l’export, rapprochez lignes entrantes, acceptées, dupliquées, rejetées et produites. Vérifiez champs, types, unicité et dérive de schéma. Parquet et NDJSON conviennent à l’analytique ; le paquet CSV avec manifest facilite le contrôle par feuille. En cas d’échec, isolez la branche et conservez sa filiation plutôt que de publier un résultat partiel.
Guide de workflow
Écrivez les pages API dans une feuille si nécessaire, traitez le lot objet autorisé et détectez séparateur et encodage avant la conversion CSV en masse. Créez les identifiants de source et de lot et gardez le lien entre l’original et l’artefact atterri.
Séparez les classeurs multi-feuilles ou extrayez les plages approuvées, puis renommez, ordonnez et retirez les colonnes selon le contrat. Passez des colonnes mensuelles aux lignes si la cible est longue et aplatissez le JSON seulement si le modèle final le demande.
Ne fusionnez que des classeurs compatibles par feuille et par colonnes. Pour les chargements récurrents, ajoutez les nouvelles lignes avec un curseur temporel ou de clé primaire validé ; conservez ce curseur avec la filiation et comparez reçues, conservées, doublons et rejets.
Choisissez API To Sheet pour des pages JSON qui doivent devenir une feuille, S3 Batch Processor pour un préfixe de stockage autorisé, et les outils CSV quand le séparateur ou l’encodage varie. Reliez chaque artefact atterri à sa branche de source.
Séparez les feuilles ou extrayez les plages nommées quand elles correspondent à des jeux distincts ; mappez les colonnes avant une fusion ; utilisez unpivot pour les colonnes de périodes ; ne transformez le JSON imbriqué que si le contrat cible l’exige.
Considérez le JSON Schema inféré comme une proposition à revoir, utilisez le planificateur de migration pour les tables et générez les INSERT après contrôle des types, clés, échappements et dialecte. Parquet ou NDJSON conviennent au pipeline ; le paquet CSV facilite le contrôle feuille par feuille.
Calculateurs, outils numériques, logique de dates, statistiques et finance
Inférez un JSON Schema candidat à partir de lignes représentatives, élaborez le plan de migration et produisez les INSERT pour le dialecte choisi. Vérifiez dates, nombres, valeurs nulles, identifiants, échappements et ordre des colonnes avant toute écriture externe.
Exportez la forme acceptée en Parquet ou NDJSON pour l’analytique, ou empaquetez chaque feuille en CSV avec manifest pour inspection et transfert. Ajoutez les contrôles de lignes, de champs et de filiation ; le système destinataire garde la responsabilité de l’envoi et du commit.