La source est-elle du texte numerique, un scan PDF ou un Word ?
Nettoyez les PDF selectionnables, utilisez OCR vers Markdown pour les scans et l'extraction Word pour DOCX afin d'obtenir une meme couche de texte revisable.
Elysia Tools
Navigation mobile
Workflow Playbook
Nettoyez PDF et Word, retirez le bruit d'extraction, detectez les prompts caches, segmentez le texte, notez les chunks et preparez les citations RAG.
Dossiers
La qualite RAG commence avant le premier vecteur. Un corpus peut melanger PDF selectionnables, pages scannees, Word, elements repetes, instructions cachees, annexes et longues sections difficiles a couper. Ce workflow rend ces decisions visibles afin que l'indexation ne devienne pas une boite noire.
Commencez par limiter les pages avec pdf-page-range-extractor, puis choisissez la voie d'extraction. Utilisez pdf-to-clean-text-for-llm pour les PDF numeriques, scanned-pdf-ocr-to-markdown pour les pages image et word-text-extractor pour DOCX. Toutes les sources arrivent ainsi dans une couche texte comparable.
Avant d'accepter ce texte, inspectez les risques. pdf-header-footer-noise-remover detecte les elements repetes, tagged-pdf-inspector indique si la structure semantique a survecu et pdf-prompt-injection-scanner repere les instructions cachees ou hors page a exclure du corpus.
Utilisez ai-token-estimator pour verifier l'ajustement au modele et a la politique retrieval. Creez ensuite les limites avec sentence-splitter ou text-splitter. Terminez avec ai-rag-chunk-quality-scorer pour comparer coherence, couverture, chevauchement et taille, puis pdf-rag-chunker-citation-pack si les chunks doivent citer les pages. Le livrable doit inclure les reglages acceptes, les risques rejetes et assez de metadonnees pour relier les reponses aux sources.
Guide de workflow
Selectionnez les pages et documents du corpus, puis convertissez PDF, scans et Word en texte ou Markdown revisable.
Verifiez si en-tetes, pieds, structure PDF faible ou prompts caches peuvent polluer embeddings et ancrage des reponses.
Estimez les tokens, segmentez par phrases ou delimiteurs utiles et creez des chunks adaptes aux limites retrieval.
Comparez les schemas par coherence, couverture, chevauchement et taille, puis preparez des paquets cites par page.
Nettoyez les PDF selectionnables, utilisez OCR vers Markdown pour les scans et l'extraction Word pour DOCX afin d'obtenir une meme couche de texte revisable.
Generez un paquet de citations si les reponses doivent remonter aux pages ou zones; utilisez segmentation et scoring pour comparer les politiques avant indexation.