1. 文档站离线审计与分组生成
技术文档工程师背景
团队维护一套产品文档与博客，希望为 AI 搜索引擎建立标准化索引，同时在 robots.txt 中屏蔽私有目录和特定爬虫。
问题
需要验证 GPTBot 与 ClaudeBot 的访问权限，并按 docs 和 blog 路径生成分块清晰的 llms.txt 文件。
如何使用
在页面清单中粘贴文档和博客的 URL 与描述，在 robots.txt 输入框填入拦截规则，站点名填入“Example Platform Docs”，分组选择“按 URL 一级路径分组”。
siteName: "Example Platform Docs"
grouping: "auto"
robotsInput: "User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow:\n\nUser-agent: *\nDisallow: /private/"结果
输出审计矩阵显示 GPTBot 根路径受阻、ClaudeBot 全站放行、私有目录被拦截，并生成带有 Docs 与 Blog 两个 H2 章节的 llms.txt。