# Gerador de llms.txt / auditoria de crawlers de IA Gera um llms.txt (formato v2 do llmstxt.org: H1, resumo em citação, listas H2) a partir de um rastreamento ao vivo ou inventário colado, e audita a política de robots.txt para GPTBot, ClaudeBot, PerplexityBot e Bytespider pelo algoritmo RFC 9309 — com prévia allow/block e diretivas prontas para colar. > Página canônica: https://elysiatools.com/pt/tools/llms-txt-and-ai-crawler-audit - **Categoria:** Network - **Palavras-chave:** llms.txt, robots.txt, crawler ia, gptbot, claudebot, perplexitybot, bytespider, geo ## Visão geral Esta ferramenta gera arquivos llms.txt no padrão llmstxt.org v2 e audita regras de robots.txt para crawlers de IA como GPTBot, ClaudeBot, PerplexityBot e Bytespider com base no algoritmo RFC 9309. ## Entradas - **URL do site para rastrear (modo ao vivo)** (text): https://example.com — homepage links, plus sitemap.xml fallback for JS-rendered sites (max 25 pages) - **Ou cole as páginas (offline: URL | título | descrição)** (textarea): https://example.com/docs/quickstart | Quickstart | Install and run your first job https://example.com/docs/api | API reference | Endpoint catalog - **Ou cole o robots.txt (offline)** (textarea): User-agent: GPTBot Disallow: / User-agent: * Disallow: /private/ - **Nome do site/projeto (H1 do llms.txt)** (text): Example Platform - **Resumo em uma linha (citação)** (text): Example Platform lets teams ship scheduled data jobs without infrastructure. - **Notas extras (prosa opcional)** (textarea): Anything an LLM should know before using these pages… - **Agrupamento de seções** (select) ## Quando usar - Quando você precisa criar um arquivo llms.txt estruturado para orientar modelos de linguagem e agentes de busca de IA sobre a documentação do seu site. - Quando deseja auditar seu robots.txt para verificar se bots de IA específicos têm acesso permitido ou bloqueado a determinadas rotas. - Quando precisa de regras de robots.txt prontas para copiar e colar visando liberar ou restringir crawlers como GPTBot e ClaudeBot. ## Como funciona - Informe a URL do site para rastreamento ao vivo (com fallback para sitemap.xml) ou insira a lista de páginas e o conteúdo do robots.txt manualmente. - Configure os metadados do llms.txt, como título do projeto (H1), resumo em citação, notas contextuais e a regra de agrupamento de seções (por prefixo de rota ou lista plana). - Analise a matriz de permissões RFC 9309 gerada para cada crawler de IA e copie o arquivo llms.txt formatado e os blocos de diretivas de robots.txt correspondentes. ## Casos de uso - Otimização para mecanismos generativos (GEO) ao disponibilizar documentações e guias técnicos indexáveis em formato llms.txt. - Auditoria de privacidade para garantir que crawlers de treinamento de IA não acessem endpoints sensíveis ou áreas restritas. - Geração rápida de diretivas Disallow e Allow customizadas por crawler para incluir no robots.txt de sites em produção. ## Perguntas frequentes ### O que é o arquivo llms.txt e qual formato é gerado? É um arquivo de texto estruturado que ajuda modelos de IA a navegar no conteúdo do site. Esta ferramenta gera a versão 2 do llmstxt.org, contendo cabeçalho H1, resumo em citação, notas opcionais e listas de links sob seções H2. ### Quais crawlers de inteligência artificial são auditados? A ferramenta audita especificamente as regras de acesso para GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot (Perplexity AI) e Bytespider (ByteDance). ### Como funciona o rastreamento ao vivo? Ao informar uma URL, a ferramenta extrai links da página inicial e usa o sitemap.xml como alternativa para mapear até 25 páginas do site. ### Posso gerar o llms.txt sem fazer um rastreamento ao vivo? Sim. Você pode colar manualmente a lista de páginas no formato 'URL | Título | Descrição' e o conteúdo do seu robots.txt na área de texto offline. ### Como é determinado o bloqueio ou permissão dos bots no robots.txt? A auditoria aplica o algoritmo padrão de correspondência de caminhos da RFC 9309, avaliando a especificidade das diretivas User-agent, Allow e Disallow para cada bot. ## Ferramentas relacionadas - [Construtor de eixos e instâncias de fontes variáveis e CSS font-variation-settings](https://elysiatools.com/pt/tools/variable-font-axis-instance-and-css-font-variation-settings-builder): Envie uma fonte variável (TTF/OTF/WOFF/WOFF2) para inspecionar seus eixos fvar e instâncias nomeadas, pré-visualizar a interpolação ao vivo no navegador e gerar CSS font-variation-settings pronto para colar, as propriedades de alto nível equivalentes e um bloco @font-face variável. - [Extrator de Moeda e Números com IA](https://elysiatools.com/pt/tools/ai-currency-extractor): Use IA para extrair inteligentemente números, moedas e valores financeiros do texto - [IA Imagem para Markdown](https://elysiatools.com/pt/tools/ai-image-to-markdown): Extrair texto de imagens e converter para formato markdown usando modelos de visão IA - [Gerador de cues de leitura sincronizada](https://elysiatools.com/pt/tools/audio-read-along-cue-generator): Gera cues a nível de frase ou palavra com timestamps a partir de áudio de narração e seu roteiro. - [Calculadora clamp de tipografia fluida CSS](https://elysiatools.com/pt/tools/css-fluid-typography-clamp-calc): Informe limites de viewport e fonte para gerar clamp(), CSS copiavel e dados de preview - [Gerador de Tabelas Cruzadas de Dados](https://elysiatools.com/pt/tools/data-crosstab-generator): Gerador avançado de tabelas cruzadas (tabelas dinâmicas) que cria análises de tabulação cruzada poderosas a partir de seus dados. Perfeito para inteligência de negócios, análise estatística, exploração de dados e relatórios. - [Extrator de Datas](https://elysiatools.com/pt/tools/date-extractor): Extrai datas do texto em vários formatos incluindo chinês, ISO e formato dos EUA com análise detalhada - [Gerador de arquivo de zona DNS](https://elysiatools.com/pt/tools/dns-zone-file-record-builder): Gera registros SOA / NS / A / AAAA / CNAME / MX / TXT (SPF/DKIM/DMARC) / SRV / CAA / TLSA / NAPTR / DS no formato de arquivo de zona RFC 1035, com resumo legível. Suporta TTL e vários registros. ## Exemplos - [Exemplos de Processamento de Imagem Web Python](https://elysiatools.com/pt/samples/web-image-processing-python): Exemplos de processamento de imagem Web Python usando PIL/Pillow incluindo leitura, salvamento, redimensionamento e conversão de formato - [Exemplos de Texto Arquivo](https://elysiatools.com/pt/samples/txt-samples): Arquivos de texto de exemplo em diferentes idiomas e codificações - [Exemplos de Processamento de Imagem Android Java](https://elysiatools.com/pt/samples/android-image-processing-java): Exemplos de processamento de imagem Android Java incluindo leitura/escrita, dimensionamento e conversão de formato - [Exemplos de Processamento de Imagem Android Kotlin](https://elysiatools.com/pt/samples/android-image-processing-kotlin): Exemplos de processamento de imagem Android Kotlin incluindo leitura/escrita, dimensionamento e conversão de formato