Elysia Tools
Навигация
Workflow Playbook
Очистите PDF и Word, уберите шум извлечения, проверьте скрытые prompt-риски, разделите текст, оцените chunks и подготовьте RAG-ввод с цитатами.
Темы
Очистите PDF и Word, уберите шум извлечения, проверьте скрытые prompt-риски, разделите текст, оцените chunks и подготовьте RAG-ввод с цитатами.
Это руководство превращает заявленную задачу в проверяемый результат. Сохраняйте исходник, промежуточные результаты и решения, чтобы следующий участник понимал, что было проверено и почему.
Соберите репрезентативные PDF, сканы, Word-документы и текстовые примеры с правом на обработку.
До chunking задайте окно контекста, целевую модель, формат цитат, исключаемые страницы и критерии приемки retrieval.
Решение: Источник является цифровым текстом, сканом PDF или Word?. Используйте очистку PDF для выделяемого текста, OCR to Markdown для сканов и Word extraction для DOCX, чтобы все источники попали в один проверяемый текстовый слой.
Решение: Chunks требуют цитат или только текста для модели?. Создавайте citation pack, если ответы должны ссылаться на страницы или области; используйте общее split и scoring, если сравниваете политики перед индексом.
Выберите страницы и документы корпуса, затем преобразуйте PDF, сканы и Word в проверяемый текст или Markdown. Используйте pdf-page-range-extractor, pdf-to-clean-text-for-llm, scanned-pdf-ocr-to-markdown, word-text-extractor.
Проверьте, не загрязнят ли колонтитулы, слабая PDF-структура или скрытая prompt injection embeddings и обоснование ответов. Используйте pdf-header-footer-noise-remover, tagged-pdf-inspector, pdf-prompt-injection-scanner.
Оцените tokens, разделите текст по предложениям или значимым разделителям и создайте chunks под ограничения retrieval. Используйте ai-token-estimator, sentence-splitter, text-splitter.
Сравните схемы по coherence, coverage, overlap и size, затем подготовьте page-aware citation packs для индексации. Используйте ai-rag-chunk-quality-scorer, pdf-rag-chunker-citation-pack.
Руководство по рабочему процессу
Выберите страницы и документы корпуса, затем преобразуйте PDF, сканы и Word в проверяемый текст или Markdown.
Проверьте, не загрязнят ли колонтитулы, слабая PDF-структура или скрытая prompt injection embeddings и обоснование ответов.
Оцените tokens, разделите текст по предложениям или значимым разделителям и создайте chunks под ограничения retrieval.
Сравните схемы по coherence, coverage, overlap и size, затем подготовьте page-aware citation packs для индексации.
Используйте очистку PDF для выделяемого текста, OCR to Markdown для сканов и Word extraction для DOCX, чтобы все источники попали в один проверяемый текстовый слой.
Создавайте citation pack, если ответы должны ссылаться на страницы или области; используйте общее split и scoring, если сравниваете политики перед индексом.