Линтер и валидатор robots.txt

Проверяет синтаксис robots.txt, находит рискованные правила и тестирует важные URL до публикации

Примеры результатов

1 Примеры

Поймайте ошибочное правило Disallow до публикации

Проверьте черновик robots.txt и протестируйте важные URL вроде /admin и /blog до выкладки.

{
  "summary": {
    "errorCount": 1,
    "testedUrlCount": 3
  }
}
Показать параметры ввода
{ "robotsText": "User-agent: *\nDisallow /admin\nAllow: /admin/help", "siteOrigin": "https://example.com", "testUrls": "/admin\n/admin/help\n/blog" }

Click to upload file or drag and drop file here

Maximum file size: 0MB Supported formats: text/plain, application/octet-stream, .txt

Ключевые факты

Категория
Безопасность и валидация
Типы входных данных
textarea, file, text
Тип результата
json
Покрытие примерами
4
API доступен
Yes

Обзор

Линтер и валидатор robots.txt позволяет быстро проверить синтаксис директив для поисковых роботов, выявить критические ошибки разметки и протестировать доступность ключевых URL-адресов вашего сайта перед публикацией файла на сервере.

Когда использовать

  • •Перед загрузкой нового или обновленного файла robots.txt на рабочий сервер для предотвращения случайного закрытия сайта от индексации.
  • •При падении органического трафика для проверки корректности текущих правил Allow и Disallow.
  • •Во время миграции сайта или изменения структуры URL для тестирования доступности критически важных разделов для краулеров.

Как это работает

  • •Вставьте текст robots.txt напрямую в поле ввода или загрузите готовый текстовый файл с вашего устройства.
  • •Укажите адрес вашего сайта (Origin) и добавьте список тестовых URL-адресов, доступность которых необходимо проверить.
  • •Запустите анализ, чтобы получить подробный отчет в формате JSON с указанием синтаксических ошибок и статуса доступа для каждого тестового URL.

Сценарии использования

Проверка синтаксиса директив User-agent, Disallow, Allow и Sitemap на наличие опечаток и пропущенных символов.
Тестирование списка важных страниц (например, корзины, личного кабинета или блога) на предмет корректности блокировки краулеров.
Подготовка и валидация конфигурационных файлов robots.txt в процессе SEO-аудита веб-ресурса.

Примеры

1. Исправление синтаксической ошибки в правиле Disallow

SEO-специалист
Контекст
Специалист подготовил новый файл robots.txt для интернет-магазина, но хочет убедиться, что правила написаны без ошибок.
Проблема
В директиве Disallow пропущено двоеточие, из-за чего правило может быть проигнорировано роботами.
Как использовать
Вставьте текст robots.txt в поле ввода, укажите адрес сайта https://myshop.com и добавьте тестовый URL /admin для проверки.
Пример конфигурации
robotsText: "User-agent: *\nDisallow /admin\nAllow: /admin/help", siteOrigin: "https://myshop.com", testUrls: "/admin"
Результат
Валидатор обнаружил 1 синтаксическую ошибку (пропущенное двоеточие после Disallow) и вывел отчет в формате JSON.

2. Проверка доступности разделов блога при блокировке админки

Веб-разработчик
Контекст
Разработчик настраивает robots.txt для нового корпоративного портала и хочет закрыть панель управления, сохранив доступ к статьям.
Проблема
Нужно убедиться, что правила блокировки /private/ не затрагивают публичные адреса вроде /blog/.
Как использовать
Загрузите файл robots.txt, укажите домен https://company.ru и введите список URL: /private/dashboard и /blog/news в поле тестовых адресов.
Пример конфигурации
robotsText: "User-agent: *\nDisallow: /private/\nAllow: /blog/", siteOrigin: "https://company.ru", testUrls: "/private/dashboard\n/blog/news"
Результат
Инструмент подтвердил успешную блокировку /private/dashboard и свободный доступ роботов к /blog/news.

Проверить на примерах

text, file
Примеры Текстовых Файлов
Примеры текстовых файлов на разных языках и с разными кодировками
title token txt
text
BDD with Cucumber - Практики Поведенчески-ориентированной Разработки
Всесторонние примеры Cucumber BDD включая файлы функций, определения шагов, таблицы данных, хуки и продвинутые BDD паттерны для коллективной разработки
preferred input family text
text
Примеры Распределенного Трейсинга
Комплексные примеры распределенного трейсинга с использованием Jaeger, OpenTelemetry и современных инструментов
preferred input family text
text
Примеры Анализа Логов ELK Stack
Комплексные примеры ELK Stack для агрегации, обработки и визуализации логов в распределенных системах
preferred input family text
text

Связанные хабы

Инструменты конвертации регистра, кодировки и нормализации текста
Сравните в одном хабе конвертацию регистра, ширины символов, кодировок, работу с quoted-printable и встроенную нормализацию текста.
Инструменты Text
Изучите 33 инструментов text для сценариев utility и быстро сравните близкие утилиты.
Инструменты анализа текста, читаемости и проверки содержания
Сравните в одном хабе текстовую статистику, определение языка, оценку читаемости, анализ тональности, модерацию и анализ шаблонов.
Инструменты маскирования, подсветки и форматирования текста
Сравните в одном хабе инструменты маскирования чувствительного текста, поиска PII, нормализации телефонов, подсветки фраз, центрирования текста и форматирования diff.

FAQ

Зачем проверять robots.txt перед публикацией?

Ошибки в синтаксисе, такие как пропущенное двоеточие или неверный путь, могут заблокировать индексацию всего сайта или открыть конфиденциальные разделы для поисковиков.

Можно ли загрузить файл robots.txt напрямую?

Да, инструмент поддерживает как прямую вставку текста, так и загрузку файлов в формате .txt.

Что делает проверка тестовых URL?

Она сопоставляет указанные адреса с правилами в вашем robots.txt и показывает, будут ли они заблокированы (Disallow) или разрешены (Allow) для краулеров.

Поддерживает ли валидатор директиву Sitemap?

Да, инструмент проверяет корректность указания путей к картам сайта в директиве Sitemap.

Каков формат вывода результатов проверки?

Результаты предоставляются в структурированном формате JSON, содержащем количество ошибок и детальный статус проверки каждого URL.

Документация API

Конечная точка запроса

POST /ru/api/tools/robots-txt-lint-validator

Параметры запроса

Имя параметра Тип Обязательно Описание
robotsText textarea Нет -
robotsFile file (Требуется загрузка) Нет -
siteOrigin text Да -
testUrls textarea Нет -

Параметры типа файл должны быть загружены сначала через POST /upload/robots-txt-lint-validator для получения filePath, затем filePath должен быть передан в соответствующее поле файла.

Формат ответа

{
  "key": {...},
  "metadata": {
    "key": "value"
  },
  "error": "Error message (optional)",
  "message": "Notification message (optional)"
}
Данные JSON: Данные JSON

Документация MCP

Добавьте этот инструмент к конфигурации сервера MCP: 

{
  "mcpServers": {
    "elysiatools-robots-txt-lint-validator": {
      "name": "robots-txt-lint-validator",
      "description": "Проверяет синтаксис robots.txt, находит рискованные правила и тестирует важные URL до публикации",
      "baseUrl": "https://elysiatools.com/mcp/sse?toolId=robots-txt-lint-validator",
      "command": "",
      "args": [],
      "env": {},
      "isActive": true,
      "type": "sse"
    }
  }
}

Вы можете объединять несколько инструментов, например: `https://elysiatools.com/mcp/sse?toolId=png-to-webp,jpg-to-webp,gif-to-webp`, максимум 20 инструментов.

Поддерживает ссылки на файлы URL или кодирование Base64 для параметров файла.

Если вы столкнулись с проблемами, пожалуйста, свяжитесь с нами по адресу [email protected]