Robots.txt Lint Validator

Prueft robots.txt Syntax, markiert riskante Regeln und testet wichtige URLs vor dem Rollout

Beispielergebnisse

1 Beispiele

Eine fehlerhafte Disallow-Regel vor dem Rollout finden

Prueft einen robots.txt-Entwurf und testet wichtige URLs wie /admin und /blog vor der Veroeffentlichung.

{
  "summary": {
    "errorCount": 1,
    "testedUrlCount": 3
  }
}
Eingabeparameter anzeigen
{ "robotsText": "User-agent: *\nDisallow /admin\nAllow: /admin/help", "siteOrigin": "https://example.com", "testUrls": "/admin\n/admin/help\n/blog" }

Click to upload file or drag and drop file here

Maximum file size: 0MB Supported formats: text/plain, application/octet-stream, .txt

Wichtige Fakten

Kategorie
Sicherheit & Validierung
Eingabetypen
textarea, file, text
Ausgabetyp
json
Sample-Abdeckung
4
API verfügbar
Yes

Überblick

Der Robots.txt Lint Validator überprüft die Syntax Ihrer robots.txt-Datei auf Fehler, markiert riskante Anweisungen und testet spezifische URLs gegen die definierten Crawler-Regeln, um Indexierungsprobleme vor dem Live-Gang zu vermeiden.

Wann verwenden

  • •Vor dem Veröffentlichen oder Aktualisieren einer neuen robots.txt-Datei auf Ihrem Webserver.
  • •Zur Überprüfung, ob sensible Verzeichnisse wie Admin-Bereiche oder Warenkörbe korrekt für Crawler gesperrt sind.
  • •Bei der Fehlersuche, wenn Suchmaschinen-Bots wichtige Seiten ignorieren oder blockierte Seiten fälschlicherweise indexieren.

So funktioniert es

  • •Fügen Sie den Inhalt Ihrer robots.txt direkt in das Textfeld ein oder laden Sie eine vorhandene .txt-Datei hoch.
  • •Geben Sie die Domain Ihrer Website als Site-Ursprung an, um absolute Pfade korrekt aufzulösen.
  • •Tragen Sie optional Test-URLs ein, um zu prüfen, ob diese durch die Regeln blockiert oder erlaubt werden.
  • •Starten Sie die Validierung, um Syntaxfehler und Testergebnisse im JSON-Format zu erhalten.

Anwendungsfälle

Validierung von robots.txt-Entwürfen vor dem Deployment auf Produktionsservern.
Testen, ob sensible Pfade wie /admin oder /checkout zuverlässig für User-Agents gesperrt sind.
Überprüfung der korrekten Syntax von Sitemap-Einträgen innerhalb der robots.txt.

Beispiele

1. Fehlerhafte Disallow-Regel vor dem Deployment finden

SEO-Manager
Hintergrund
Ein SEO-Manager bereitet den Relaunch einer Website vor und hat eine neue robots.txt entworfen.
Problem
Es muss sichergestellt werden, dass keine Syntaxfehler vorliegen und der Admin-Bereich blockiert bleibt, während der Blog erreichbar ist.
Verwendung
Den Entwurf in das Feld 'Robots.txt Inhalt' einfügen, die Domain angeben und die Test-URLs '/admin' sowie '/blog' eintragen.
Beispielkonfiguration
robotsText: "User-agent: *\nDisallow /admin\nAllow: /admin/help", siteOrigin: "https://example.com", testUrls: "/admin\n/admin/help\n/blog"
Ergebnis
Das Tool meldet einen Syntaxfehler (fehlender Doppelpunkt bei Disallow) und zeigt die Blockierungs-Ergebnisse der URLs an.

2. Überprüfung von Crawler-Zugriffen auf sensible Pfade

Webentwickler
Hintergrund
Ein Entwickler möchte verhindern, dass Suchmaschinen-Bots den Warenkorb und die Checkout-Seiten indexieren.
Problem
Die robots.txt muss auf korrekte Wildcard-Muster geprüft werden, um unbeabsichtigte Sperren zu vermeiden.
Verwendung
Die robots.txt-Datei hochladen, den Site-Ursprung eintragen und Test-URLs wie '/checkout/success' eingeben.
Beispielkonfiguration
robotsFile: "robots.txt", siteOrigin: "https://shop.example.com", testUrls: "/checkout/success\n/cart"
Ergebnis
Der Validator bestätigt die korrekte Syntax und zeigt an, dass die Checkout-Pfade für alle User-Agents blockiert sind.

Mit Samples testen

text, file
Textbeispiele Datei
Textbeispieldateien in verschiedenen Sprachen und Kodierungen
title token txt
text
BDD with Cucumber - Behavior Driven Development Praktiken
Umfassende Cucumber BDD-Beispiele einschließlich Feature-Dateien, Step-Definitionen, Datentabellen, Hooks und fortgeschrittene BDD-Patterns für kollaborative Entwicklung
preferred input family text
text
Distributed Tracing Beispiele
Umfassende Beispiele für verteiltes Tracing mit Jaeger, OpenTelemetry und modernen Observability Tools
preferred input family text
text
ELK Stack Log-Analyse Beispiele
Umfassende ELK Stack Beispiele für Log-Aggregation, -Verarbeitung und -Visualisierung in verteilten Systemen
preferred input family text
text

Verwandte Hubs

Textfall-, Encoding- und Normalisierungs-Konvertierungs-Tools
Vergleichen Sie Textfall-Konvertierung, Zeichenbreiten-Konvertierung, Encoding-Konvertierung, Quoted-Printable-Verarbeitung und Inline-Textnormalisierung in einem Hub.
Text-Tools
Entdecken Sie 33 text-Tools für utility-Workflows und vergleichen Sie ähnliche Utilities schnell.
Textanalyse-, Lesbarkeits- und Inhaltsinspektions-Tools
Vergleichen Sie Textstatistik, Spracherkennung, Lesbarkeitsbewertung, Sentimentanalyse, Moderationsprüfung und Musteranalyse in einem Hub.
Text-Redaktions-, Hervorhebungs- und Darstellungsformatierungs-Tools
Vergleichen Sie Tools zum Maskieren sensibler Texte, Finden von PII, Normalisieren von Telefonnummern, Hervorheben von Phrasen, Zentrieren von Text und Formatieren von Diffs in einem Hub.

FAQ

Was macht ein Robots.txt Lint Validator?

Er prüft die Syntax von robots.txt-Dateien auf Fehler und testet, ob bestimmte URLs für Crawler blockiert oder freigegeben sind.

Warum ist eine fehlerhafte robots.txt gefährlich?

Fehlerhafte Regeln können dazu führen, dass Suchmaschinen wichtige Seiten ignorieren oder sensible Bereiche fälschlicherweise indexieren.

Kann ich URLs direkt im Tool testen?

Ja, Sie können eine Liste von Test-URLs angeben, um die Auswirkung der Regeln direkt zu überprüfen.

Unterstützt das Tool das Hochladen von Dateien?

Ja, Sie können eine lokale robots.txt-Datei im TXT-Format hochladen und analysieren lassen.

Was bedeutet die Fehlermeldung bei fehlenden Doppelpunkten?

Sie weist darauf hin, dass eine Anweisung wie Disallow oder Allow nicht dem korrekten Format entspricht, da der Doppelpunkt nach dem Befehl fehlt.

API-Dokumentation

Request-Endpunkt

POST /de/api/tools/robots-txt-lint-validator

Request-Parameter

Parameter-Name Typ Erforderlich Beschreibung
robotsText textarea Nein -
robotsFile file (Upload erforderlich) Nein -
siteOrigin text Ja -
testUrls textarea Nein -

Dateitypparameter müssen erst über POST /upload/robots-txt-lint-validator hochgeladen werden, um filePath zu erhalten, dann filePath an das entsprechende Dateifeld übergeben.

Antwortformat

{
  "key": {...},
  "metadata": {
    "key": "value"
  },
  "error": "Error message (optional)",
  "message": "Notification message (optional)"
}
JSON-Daten: JSON-Daten

MCP-Dokumentation

Fügen Sie dieses Tool zu Ihrer MCP-Server-Konfiguration hinzu: 

{
  "mcpServers": {
    "elysiatools-robots-txt-lint-validator": {
      "name": "robots-txt-lint-validator",
      "description": "Prueft robots.txt Syntax, markiert riskante Regeln und testet wichtige URLs vor dem Rollout",
      "baseUrl": "https://elysiatools.com/mcp/sse?toolId=robots-txt-lint-validator",
      "command": "",
      "args": [],
      "env": {},
      "isActive": true,
      "type": "sse"
    }
  }
}

Sie können mehrere Tools verketten, z.B.: `https://elysiatools.com/mcp/sse?toolId=png-to-webp,jpg-to-webp,gif-to-webp`, maximal 20 Tools.

Unterstützt URL-Dateilinks oder Base64-Codierung für Dateiparameter.

Wenn Sie auf Probleme stoßen, kontaktieren Sie uns bitte bei [email protected]