# Robots.txt 静态审查器

静态检查 robots.txt 语法、风险规则与关键 URL 放行情况，避免误封抓取路径

> 标准页面: https://elysiatools.com/zh/tools/robots-txt-lint-validator

- **分类:** Validation

- **关键词:** robots.txt, SEO, 校验, 爬虫, Allow, Disallow, Sitemap

## 概述

Robots.txt 静态审查器是一款专为网站管理员和 SEO 专家设计的在线校验工具。它能够快速检测 robots.txt 文件的语法错误、识别潜在的抓取风险规则，并支持输入测试 URL 列表来模拟验证搜索引擎爬虫的访问权限，确保关键页面不被误封，同时保护隐私路径。

## 输入项

- **Robots.txt 内容** (textarea): User-agent: * Disallow: /admin Allow: /admin/help Sitemap: https://example.com/sitemap.xml
- **Robots.txt 文件** (file)
- **站点来源** (text): https://example.com
- **测试 URL** (textarea): / /admin /blog/post-1 https://example.com/checkout/success

## 适用场景

- 在发布或更新网站的 robots.txt 文件前，需要确保语法正确且无逻辑冲突。
- 网站改版或调整目录结构后，需要验证特定 URL（如后台管理或支付页面）是否已被正确屏蔽或放行。
- 诊断搜索引擎无法抓取某些页面，或者不希望被索引的页面却出现在搜索结果中时。

## 工作原理

- 输入 robots.txt 的文本内容，或者直接上传本地的 robots.txt 配置文件。
- 填写站点的源地址（Site Origin）以及需要测试的 URL 路径列表。
- 系统将静态解析 User-agent、Disallow、Allow 和 Sitemap 等指令，校验语法合规性。
- 运行模拟匹配算法，输出测试 URL 的可访问性状态及语法错误摘要报告。

## 使用案例

- 部署前语法预检：在将 robots.txt 部署到生产环境前，排查拼写错误和格式问题。
- 敏感路径防漏阻断：验证后台管理路径（如 `/admin`）是否已被 Disallow 规则正确覆盖。
- 搜索引擎优化排查：测试重要着陆页是否因规则冲突被误设为 Disallow，保障 SEO 收录。

## 常见问题

### 为什么需要校验 robots.txt 的语法？

错误的语法（如漏掉冒号或路径格式错误）可能导致搜索引擎爬虫忽略限制，误抓取敏感页面，或导致整站无法被索引。

### 站点来源（Site Origin）的作用是什么？

用于将相对路径的测试 URL 补全为绝对路径，以便准确模拟爬虫在特定域名下的匹配行为。

### 这个工具支持测试哪些爬虫？

工具基于标准的 robots.txt 协议进行静态解析，适用于模拟主流搜索引擎（如 Googlebot、Baiduspider 等）的通用匹配规则。

### 为什么我的 Sitemap 规则会报错？

Sitemap 指令需要完整的 URL（包含 http/https 协议头），如果只写了相对路径，校验器会提示格式错误。

### 可以在这里直接测试本地未上线的 robots.txt 吗？

可以，您只需粘贴文本或上传文件，并配合测试 URL 即可在本地完成静态模拟，无需提前部署到线上。

## 相关工具

- [字幕同步检查器](https://elysiatools.com/zh/tools/audio-caption-sync-checker): 比较 SRT 或 WebVTT 字幕时间与可能的语音活动，并标记时间漂移。
- [无障碍合规检测器](https://elysiatools.com/zh/tools/accessibility-checker): 检测 HTML、网页或设计稿图片中的常见 WCAG 2.1 问题，并给出可直接修复的建议
- [OCR PDF 转结构化 JSON 桥](https://elysiatools.com/zh/tools/ocr-pdf-to-structured-json-bridge): 按几何结构抽取 PDF 文本层（y 坐标分行、列间隙识表、字号识标题、冒号键值对），然后逐字段填入用户提供的 JSON Schema——标签按归一化键名匹配、值按声明类型归一化，并用 ajv 校验。
- [PDF 逻辑结构树 WCAG 角色映射验证器](https://elysiatools.com/zh/tools/pdf-logical-structure-tree-validator): 审计 PDF/UA-1 逻辑结构树：RoleMap 是否映射到标准结构类型、H1–H6 标题层级是否跳级或首个标题非 H1、Figure/Formula 是否缺失 Alt 替代文本、语言标签继承链是否可判定、结构与内容流 MCID 阅读顺序是否分歧，并输出带 Matterhorn 检查点编号的结构大纲。
- [响应式 Picture / srcset 艺术方向构建器](https://elysiatools.com/zh/tools/responsive-picture-srcset-art-direction-builder): 生成完整的 艺术方向标记：按断点的 、1x/2x 密度候选或 {w} 模板宽度描述符、可选 AVIF/WebP 格式层、sizes 处理、防 CLS 的 width/height，同时输出 HTML 与 JSX 两种方言并附基于规范的 lint 提示。
- [训练/测试集分层切分器](https://elysiatools.com/zh/tools/train-test-split-with-stratification): 读取 CSV/JSON 数据集,按目标列做分层抽样的 train/validation/test 切分(默认 70/15/15,随机种子可复现),或分层 k 折交叉验证;输出每折类别分布报告与偏差条、重复行泄漏检查、SMOTE 过采样预览(仅在训练折上做最近邻插值),并可导出各折 CSV 为 ZIP。
- [无障碍审计报告生成器](https://elysiatools.com/zh/tools/accessibility-audit-report-generator): 检查 HTML 或 URL 中的常见 WCAG 问题，并导出按严重程度分组的 PDF 报告
- [播客批量发布打包器](https://elysiatools.com/zh/tools/audio-batch-podcast-publisher-pack): 批量归一化播客集数、写入元数据和章节，并打包为可交付 ZIP。

## 示例

- [文本示例文件](https://elysiatools.com/zh/samples/txt-samples): 不同语言和编码的文本示例文件
- [无版权MP3音频样本](https://elysiatools.com/zh/samples/mp3-samples): 免费使用和测试的无版权音频样本集合，包括自然声音、冥想音乐和环境音频，适用于测试和开发目的
- [SVG示例](https://elysiatools.com/zh/samples/svg-samples): 可缩放矢量图形（SVG）示例，展示各种SVG功能和技术
- [二维码示例](https://elysiatools.com/zh/samples/qrcode-samples): 用于测试二维码读取和生成工具的示例二维码图像

## 相关内容

- [网页源码复用与发布前审计](https://elysiatools.com/zh/hubs/web-source-link-and-metadata-audits): 在复用、迁移或发布前提取源码证据，检查链接与资源，分析元数据和查询串，并复核 RSS/Atom 与 robots.txt。