Validateur lint robots.txt

Controle la syntaxe robots.txt, signale les regles risquées et teste les URLs importantes avant mise en ligne

Exemples de résultats

1 Exemples

Reperez une regle Disallow mal ecrite avant mise en ligne

Validez un brouillon robots.txt puis testez des URLs importantes comme /admin et /blog avant publication.

{
  "summary": {
    "errorCount": 1,
    "testedUrlCount": 3
  }
}
Voir paramètres d'entrée
{ "robotsText": "User-agent: *\nDisallow /admin\nAllow: /admin/help", "siteOrigin": "https://example.com", "testUrls": "/admin\n/admin/help\n/blog" }

Click to upload file or drag and drop file here

Maximum file size: 0MB Supported formats: text/plain, application/octet-stream, .txt

Points clés

Catégorie
Sécurité et validation
Types d’entrée
textarea, file, text
Type de sortie
json
Couverture des échantillons
4
API disponible
Yes

Vue d’ensemble

Ce validateur de fichier robots.txt analyse la syntaxe de vos directives de crawl, identifie les erreurs de formatage et teste l'accès de vos URLs clés avant leur mise en ligne. Il vous permet de vérifier instantanément si vos règles d'autorisation et vos déclarations de sitemap sont correctement structurées pour les moteurs de recherche.

Quand l’utiliser

  • •Avant de déployer une nouvelle version de votre fichier robots.txt en production pour éviter de bloquer accidentellement votre site.
  • •Lors de l'audit SEO technique d'un site web pour vérifier la validité des directives de crawl existantes.
  • •Pour tester si des URLs spécifiques, comme des pages d'administration ou des tunnels de conversion, sont correctement bloquées ou autorisées.

Comment ça marche

  • •Saisissez le contenu de votre robots.txt dans la zone de texte ou importez directement votre fichier au format texte.
  • •Renseignez l'URL d'origine de votre site et ajoutez la liste des URLs de test que vous souhaitez évaluer.
  • •Lancez l'analyse pour obtenir un rapport JSON détaillé contenant les erreurs de syntaxe détectées et le statut d'accès pour chaque URL testée.

Cas d’usage

Validation de la syntaxe d'un brouillon de robots.txt avant sa publication sur le serveur.
Simulation d'accès pour des URLs sensibles afin de confirmer leur exclusion des moteurs de recherche.
Détection rapide des directives obsolètes ou mal écrites lors d'une migration de site web.

Exemples

1. Correction d'une règle Disallow mal formatée

Consultant SEO
Contexte
Un consultant prépare la mise en ligne d'un nouveau robots.txt mais craint d'avoir fait une erreur de syntaxe sur une règle d'exclusion critique.
Problème
Une directive Disallow a été écrite sans le caractère deux-points requis, ce qui risque de rendre la règle inopérante pour les robots.
Comment l’utiliser
Coller le texte du robots.txt dans le champ dédié, renseigner l'origine du site et ajouter /admin dans les URLs de test.
Configuration d’exemple
robotsText: User-agent: *\nDisallow /admin\nAllow: /admin/help\nsiteOrigin: https://example.com\ntestUrls: /admin
Résultat
L'outil signale immédiatement une erreur de syntaxe sur la ligne Disallow et indique que l'URL /admin n'est pas bloquée comme prévu.

2. Vérification du blocage des pages de panier d'achat

Développeur Web
Contexte
Un développeur souhaite s'assurer que les robots d'indexation ne visitent pas les pages de panier et de paiement d'une boutique en ligne.
Problème
S'assurer que les règles d'exclusion bloquent correctement les chemins dynamiques contenant /cart et /checkout.
Comment l’utiliser
Saisir le robots.txt du site, définir l'origine et lister les URLs de test correspondantes.
Configuration d’exemple
robotsText: User-agent: *\nDisallow: /cart/*\nDisallow: /checkout/*\nsiteOrigin: https://shop.example.com\ntestUrls: /cart/view\n/checkout/pay
Résultat
Le rapport confirme que les deux URLs de test sont bien bloquées par les directives correspondantes sans aucune erreur de syntaxe.

Tester avec des échantillons

text, file
Exemples de Texte Archivo
Fichiers texte d'exemple dans différentes langues et encodages
title token txt
text
BDD with Cucumber - Pratiques de Développement Orienté Comportement
Exemples complets de Cucumber BDD incluant fichiers de fonctionnalités, définitions de steps, tables de données, hooks et patterns BDD avancés pour développement collaboratif
preferred input family text
text
Exemples de Traçage Distribué
Exemples complets de traçage distribué utilisant Jaeger, OpenTelemetry et outils d'observabilité modernes
preferred input family text
text
Exemples d'Analyse de Logs ELK Stack
Exemples complets ELK Stack pour agrégation, traitement et visualisation de logs dans les systèmes distribués
preferred input family text
text

Hubs associés

Outils de conversion de casse, d’encodage et de normalisation de texte
Comparez les outils de conversion de casse, de largeur de caractères, d’encodage, de quoted-printable et de normalisation de texte dans un hub unique.
Outils Text
Découvrez 33 outils text pour des workflows de utility et comparez rapidement des utilitaires proches.
Outils d’analyse de texte, de lisibilité et d’inspection de contenu
Comparez statistiques de texte, détection de langue, score de lisibilité, analyse de sentiment, revue de modération et analyse de motifs dans un hub unique.
Outils de masquage, de surlignage et de mise en forme de texte
Comparez les outils de masquage de texte sensible, de détection de PII, de normalisation de numéros, de surlignage, de centrage et de formatage de diff dans un hub unique.

FAQ

Pourquoi mon fichier robots.txt génère-t-il des erreurs ?

Les erreurs proviennent généralement de directives mal orthographiées, comme l'omission des deux-points après Disallow, ou de chemins d'accès mal formatés.

Puis-je tester des URLs spécifiques avec cet outil ?

Oui, vous pouvez lister vos URLs de test pour vérifier si elles sont bloquées ou autorisées par vos règles.

L'outil prend-il en charge l'importation de fichiers ?

Oui, vous pouvez charger directement un fichier robots.txt au format .txt pour l'analyser.

Qu'est-ce que l'option Origine du site ?

Elle définit le domaine de base utilisé pour résoudre et tester vos URLs relatives lors de la validation.

Le validateur vérifie-t-il la déclaration du Sitemap ?

Oui, il contrôle la syntaxe de la directive Sitemap pour s'assurer qu'elle est correctement formatée.

Documentation de l'API

Point de terminaison de la requête

POST /fr/api/tools/robots-txt-lint-validator

Paramètres de la requête

Nom du paramètre Type Requis Description
robotsText textarea Non -
robotsFile file (Téléchargement requis) Non -
siteOrigin text Oui -
testUrls textarea Non -

Les paramètres de type fichier doivent être téléchargés d'abord via POST /upload/robots-txt-lint-validator pour obtenir filePath, puis filePath doit être passé au champ de fichier correspondant.

Format de réponse

{
  "key": {...},
  "metadata": {
    "key": "value"
  },
  "error": "Error message (optional)",
  "message": "Notification message (optional)"
}
Données JSON: Données JSON

Documentation de MCP

Ajoutez cet outil à votre configuration de serveur MCP: 

{
  "mcpServers": {
    "elysiatools-robots-txt-lint-validator": {
      "name": "robots-txt-lint-validator",
      "description": "Controle la syntaxe robots.txt, signale les regles risquées et teste les URLs importantes avant mise en ligne",
      "baseUrl": "https://elysiatools.com/mcp/sse?toolId=robots-txt-lint-validator",
      "command": "",
      "args": [],
      "env": {},
      "isActive": true,
      "type": "sse"
    }
  }
}

Vous pouvez chaîner plusieurs outils, par ex.: `https://elysiatools.com/mcp/sse?toolId=png-to-webp,jpg-to-webp,gif-to-webp`, max 20 outils.

Prend en charge les liens de fichiers URL ou la codification Base64 pour les paramètres de fichier.

Si vous rencontrez des problèmes, veuillez nous contacter à [email protected]