llms.txt, robots.txt e bots de IA: o que é fato, mito e risco?
Por Marlos Hoffmann · Diretor de Estratégia e Tecnologia
Entenda a diferença entre robots.txt, sitemap e a proposta llms.txt — e descubra quais controles realmente ajudam sua marca a ser rastreada e citada por mecanismos de busca e IA.
A discussão sobre visibilidade em IA popularizou três nomes que parecem fazer a mesma coisa: robots.txt, sitemap.xml e llms.txt. Eles não são equivalentes. Um controla preferências de rastreamento, outro lista URLs que devem ser descobertas e o terceiro é uma proposta comunitária para oferecer um resumo legível por modelos e agentes.
O risco aparece quando uma empresa troca fundamentos comprovados por um arquivo da moda. Para aparecer em recursos de IA do Google, a orientação oficial continua sendo cumprir os requisitos de indexação e as boas práticas de SEO. Não existe um arquivo especial que garanta citação. O trabalho começa com páginas acessíveis, conteúdo textual, entidades consistentes, links internos e fontes confiáveis.
llms.txt é obrigatório para aparecer no ChatGPT ou no Google?
Não. O llms.txt é uma proposta publicada pela comunidade para reunir contexto e links úteis em Markdown. A própria proposta descreve um possível uso em tempo de inferência, mas não é um padrão obrigatório de Google, ChatGPT, Perplexity ou Bing nem oferece garantia de ranking ou citação. Ele pode funcionar como um índice editorial opcional; não substitui HTML acessível, sitemap, robots.txt ou uma boa página.
Checklist gratuito
Como deixar seu site pronto para vender
65 verificações em 10 blocos: oferta, CTA, prova social, velocidade (LCP/INP), indexação e navegação agêntica — para parar de pagar tráfego em site que não convertte.
- PDF para imprimir
- Placar de diagnóstico
- Plano de 1 semana
Qual é a função do robots.txt?
O robots.txt informa preferências de acesso para rastreadores em um caminho público do domínio. Ele pode permitir ou desestimular o rastreamento de áreas específicas, mas não é uma barreira de segurança, não apaga uma URL da internet e não garante que um bot obediente transformará a página em citação. O controle precisa ser coerente com a estratégia: bloquear o rastreador de busca pode reduzir justamente a descoberta que a marca quer obter.
- robots.txt: orienta o rastreamento de caminhos e agentes que respeitam o protocolo.
- sitemap.xml: lista URLs que o site considera importantes para descoberta e indexação.
- noindex e controles de snippet: limitam a aparição de uma página nos resultados quando aplicados corretamente.
- llms.txt: proposta de resumo curado para agentes, sem status de requisito universal.
- autenticação, autorização e firewall: mecanismos de proteção; não devem ser confundidos com instruções editoriais para robôs.
Quais bots de IA importam para uma marca que quer ser encontrada?
O nome do bot depende da superfície e do objetivo. Googlebot participa da descoberta e da indexação do Google; Bingbot atende o ecossistema Bing; a OpenAI diferencia rastreadores de busca e de treinamento; PerplexityBot é usado para indexar páginas para respostas citadas; e a Anthropic documenta o ClaudeBot para coleta de conteúdo público. A permissão precisa ser avaliada por finalidade, não copiada de uma lista sem entender o que cada agente faz.
No site da Convertta, o robots.txt mantém o acesso geral liberado e explicita a permissão para GPTBot, OAI-SearchBot, PerplexityBot e ClaudeBot. Isso não garante citação, mas evita que uma regra acidental impeça a leitura de conteúdo público destinado a descoberta e referência.
Passo a passo: como auditar os arquivos de rastreamento
Uma auditoria pequena elimina boa parte dos erros que deixam uma marca invisível por configuração:
- Abra `/robots.txt` e confira se home, blog, serviços e arquivos importantes não estão bloqueados por engano.
- Confira se o sitemap existe, responde com XML válido e contém somente URLs públicas e canônicas.
- Verifique se cada página importante possui links HTML com `href`, e não apenas botões que dependem de um estado visual.
- Teste a página renderizada e confirme que título, descrição, texto principal, links e JSON-LD aparecem depois do JavaScript.
- Use Search Console e Bing Webmaster Tools para verificar cobertura, rastreamento e, quando disponível, citações ou consultas de fundamentação.
- Se optar por manter um llms.txt, trate-o como resumo editorial revisável e mantenha os links alinhados ao sitemap e ao conteúdo visível.
O que é mito e o que é risco?
- Mito: publicar llms.txt coloca automaticamente a empresa nas respostas de IA.
- Mito: robots.txt impede qualquer pessoa ou sistema de acessar uma URL pública.
- Risco: bloquear OAI-SearchBot, PerplexityBot ou crawlers de busca sem decidir o impacto comercial.
- Risco: liberar rastreamento, mas esconder a informação principal em uma imagem, modal ou componente que não aparece no HTML renderizado.
- Fato: sitemap, links internos, conteúdo útil, fontes e dados estruturados coerentes ajudam mecanismos a entender o site.
A melhor configuração é a que combina controle com clareza. Se a Convertta quer ser citada por uma IA, precisa permitir que os sistemas encontrem páginas públicas e entender que nenhum arquivo substitui uma informação bem escrita. O llms.txt pode organizar a porta de entrada; o conteúdo, a entidade e a experiência continuam sendo a casa.
Fontes consultadas
Transforme essa leitura em estrutura que convertte
Diagnóstico, landing, vídeo com IA ou sistema — o próximo passo depende do seu estágio, não de um pacote genérico.
Continue lendo