Elysia Tools
导航
Validation
静态检查 robots.txt 语法、风险规则与关键 URL 放行情况，避免误封抓取路径
执行
填写表单、运行工具，并在同一页面查看结果。
案例
相关内容
等待运行
工具使用指南
Robots.txt 静态审查器是一款专为网站管理员和 SEO 专家设计的在线校验工具。它能够快速检测 robots.txt 文件的语法错误、识别潜在的抓取风险规则，并支持输入测试 URL 列表来模拟验证搜索引擎爬虫的访问权限，确保关键页面不被误封，同时保护隐私路径。
背景
准备上线新的 robots.txt 规则，但不确定手写的指令是否完全符合规范。
问题
误将 `Disallow: /admin` 写成了 `Disallow /admin`（漏掉了冒号），需要找出此类语法错误并测试受影响的 URL。
如何使用
在“Robots.txt 内容”中输入包含错误的文本，在“测试 URL”中输入 `/admin` 和 `/blog`，点击运行。
robotsText: "User-agent: *\nDisallow /admin\nAllow: /admin/help"\nsiteOrigin: "https://example.com"\ntestUrls: "/admin\n/admin/help\n/blog"结果
校验器输出 JSON 结果，指出存在 1 处语法错误（Disallow 缺少冒号），并显示测试 URL 的匹配状态。
背景
网站更新了后台结构，需要屏蔽 `/manage` 目录，但必须允许爬虫抓取 `/manage/faq` 帮助页面。
问题
确认 Allow 和 Disallow 的优先级在主流爬虫解析下是否符合预期。
如何使用
在文本框中输入 robots.txt 规则，设置站点来源为 `https://mysite.com`，在测试 URL 中输入 `/manage/dashboard` 和 `/manage/faq`。
robotsText: "User-agent: *\nDisallow: /manage\nAllow: /manage/faq"\nsiteOrigin: "https://mysite.com"\ntestUrls: "/manage/dashboard\n/manage/faq"结果
错误的语法（如漏掉冒号或路径格式错误）可能导致搜索引擎爬虫忽略限制，误抓取敏感页面，或导致整站无法被索引。
用于将相对路径的测试 URL 补全为绝对路径，以便准确模拟爬虫在特定域名下的匹配行为。
工具基于标准的 robots.txt 协议进行静态解析，适用于模拟主流搜索引擎（如 Googlebot、Baiduspider 等）的通用匹配规则。
Sitemap 指令需要完整的 URL（包含 http/https 协议头），如果只写了相对路径，校验器会提示格式错误。
可以，您只需粘贴文本或上传文件，并配合测试 URL 即可在本地完成静态模拟，无需提前部署到线上。
校验结果显示 `/manage/dashboard` 被成功拦截（Disallowed），而 `/manage/faq` 被正确放行（Allowed）。