Network
Генератор llms.txt / аудит ИИ-краулеров
Генерирует llms.txt (формат llmstxt.org v2: H1, краткая цитата, списки H2) из живого обхода или вставленного перечня страниц и аудирует политику robots.txt для GPTBot, ClaudeBot, PerplexityBot и Bytespider по алгоритму RFC 9309 — с превью allow/block и готовыми директивами.
Быстрый старт
Вызовите этот инструмент из своего кода на трёх языках.
curl -X POST 'https://api.elysiatools.com/ru/api/tools/llms-txt-and-ai-crawler-audit' \
-H 'Content-Type: application/json' \
-d '{"siteUrl":"https://example.com — homepage links, plus sitemap.xml fallback for JS-rendered sites (max 25 pages)","pagesInput":"\nhttps://example.com/docs/quickstart | Quickstart | Install the CLI and run your first job\nhttps://example.com/docs/api | API Reference | Endpoint catalog with auth examples\nhttps://example.com/blog/cli-tips | CLI Tips | Twenty shortcuts for daily use\nhttps://example.com/blog/release-2026 | Release 2026 | What changed this quarter","robotsInput":"User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow:\n\nUser-agent: *\nDisallow: /private/","siteName":"Example Platform Docs","summary":"Example Platform lets teams ship scheduled data jobs without infrastructure.","extraNotes":"All endpoints require an API key; the quickstart covers sandbox setup.","grouping":"auto"}'