RAG 分块与检索准备

先准备证据，再做 embedding

RAG 质量在创建第一个向量之前就已经开始决定。语料可能包含可选择文本的 PDF、扫描页、Word 文档、重复页面元素、隐藏指令、附录、目录，以及很难自然切开的长章节。这个工作流把这些准备决策显性化，避免索引过程变成黑箱。

把混合文档变成可审阅文本

先用 pdf-page-range-extractor 缩小来源范围，再选择抽取路径。可选择文本的 PDF 用 pdf-to-clean-text-for-llm，图像较多的页面用 scanned-pdf-ocr-to-markdown，DOCX 来源用 word-text-extractor。这样不同来源会先进入同一个可比较的文本层。

接受文本前，还要检查风险。pdf-header-footer-noise-remover 用来发现重复页眉页脚，tagged-pdf-inspector 判断语义结构是否保留，pdf-prompt-injection-scanner 则检查隐藏或页外指令，避免它们进入自动化提示词或检索语料。

拆分、评分并保留引用

用 ai-token-estimator 检查计划分块是否适合目标模型和检索策略，再用 sentence-splitter 或 text-splitter 生成候选边界。最后用 ai-rag-chunk-quality-scorer 比较连贯性、覆盖度、重叠健康度和大小稳定性；当分块需要页码引用时，再用 pdf-rag-chunker-citation-pack。最终交接应包含已接受的分块设置、被拒绝的清洗风险，以及足够追溯到来源页的引用元数据。