Network
Erzeugt eine llms.txt (llmstxt.org-v2-Format: H1, Kurzfassung als Zitat, H2-Dateilisten) aus einem Live-Crawl oder eingefügtem Seiteninventar und auditiert die robots.txt-Politik für GPTBot, ClaudeBot, PerplexityBot und Bytespider nach dem RFC-9309-Algorithmus — mit Allow/Block-Vorschau und zum Einfügen fertigen Direktiven.
Rufen Sie dieses Werkzeug aus Ihrem Code in drei Sprachen auf.
curl -X POST 'http://127.0.0.1:3003/de/api/tools/llms-txt-and-ai-crawler-audit' \
-H 'Content-Type: application/json' \
-d '{"siteUrl":"https://example.com — homepage links, plus sitemap.xml fallback for JS-rendered sites (max 25 pages)","pagesInput":"\nhttps://example.com/docs/quickstart | Quickstart | Install the CLI and run your first job\nhttps://example.com/docs/api | API Reference | Endpoint catalog with auth examples\nhttps://example.com/blog/cli-tips | CLI Tips | Twenty shortcuts for daily use\nhttps://example.com/blog/release-2026 | Release 2026 | What changed this quarter","robotsInput":"User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow:\n\nUser-agent: *\nDisallow: /private/","siteName":"Example Platform Docs","summary":"Example Platform lets teams ship scheduled data jobs without infrastructure.","extraNotes":"All endpoints require an API key; the quickstart covers sandbox setup.","grouping":"auto"}'Senden Sie eine POST-Anfrage mit Ihren Eingaben als JSON. Dateiparameter erfordern einen vorherigen Upload.
POST http://127.0.0.1:3003/de/api/tools/llms-txt-and-ai-crawler-audit| Name | Typ | Erforderlich | Beschreibung |
|---|---|---|---|
| siteUrl | text | Nein | — |
| pagesInput | textarea | Nein | — |
| robotsInput | textarea | Nein | — |
| siteName | text | Nein | — |
| summary | text | Nein | — |
| extraNotes | textarea | Nein | — |
| grouping | select | Ja | — |
HTML-Ergebnis
{
"result": "<div>Processed HTML content</div>",
"error": "Error message (optional)",
"message": "Notification message (optional)",
"metadata": {
"key": "value"
}
}Fügen Sie dieses Werkzeug Ihrem Model-Context-Protocol-Server hinzu, damit KI-Agenten es auflisten und aufrufen können.
Fügen Sie diesen Block Ihrer MCP-Client-Konfiguration hinzu:
{
"mcpServers": {
"elysiatools-llms-txt-and-ai-crawler-audit": {
"name": "llms-txt-and-ai-crawler-audit",
"description": "Erzeugt eine llms.txt (llmstxt.org-v2-Format: H1, Kurzfassung als Zitat, H2-Dateilisten) aus einem Live-Crawl oder eingefügtem Seiteninventar und auditiert die robots.txt-Politik für GPTBot, ClaudeBot, PerplexityBot und Bytespider nach dem RFC-9309-Algorithmus — mit Allow/Block-Vorschau und zum Einfügen fertigen Direktiven.",
"baseUrl": "http://127.0.0.1:3003/mcp/sse?toolId=llms-txt-and-ai-crawler-audit",
"command": "",
"args": [],
"env": {},
"isActive": true,
"type": "sse"
}
}
}Nach dem Verbinden mit dem SSE-Endpunkt listen Sie die bereitgestellten Werkzeuge auf:
{
"jsonrpc": "2.0",
"id": 1,
"method": "tools/list"
}Rufen Sie das Werkzeug über seine ID auf; Argumente werden aus seiner Parameterliste gebildet:
{
"jsonrpc": "2.0",
"id": 2,
"method": "tools/call",
"params": {
"name": "llms-txt-and-ai-crawler-audit",
"arguments": {
"siteUrl": "https://example.com — homepage links, plus sitemap.xml fallback for JS-rendered sites (max 25 pages)",
"pagesInput": "\nhttps://example.com/docs/quickstart | Quickstart | Install the CLI and run your first job\nhttps://example.com/docs/api | API Reference | Endpoint catalog with auth examples\nhttps://example.com/blog/cli-tips | CLI Tips | Twenty shortcuts for daily use\nhttps://example.com/blog/release-2026 | Release 2026 | What changed this quarter",
"robotsInput": "User-agent: GPTBot\nDisallow: /\n\nUser-agent: ClaudeBot\nDisallow:\n\nUser-agent: *\nDisallow: /private/",
"siteName": "Example Platform Docs",
"summary": "Example Platform lets teams ship scheduled data jobs without infrastructure.",
"extraNotes": "All endpoints require an API key; the quickstart covers sandbox setup.",
"grouping": "auto"
}
}
}Fragen oder Probleme? Kontakt: [email protected]