Skip to content
Vouch

Português

Verificador de rastreadores de IA: o ChatGPT lê o seu site?

O verificador gratuito de rastreadores de IA lê o robots.txt do seu site e diz se o ChatGPT, o Claude, o Perplexity, o Google, o Bing e outros 9 rastreadores podem ler as suas páginas. Cada problema vem com uma correção em linguagem simples. Não exige registo. A ferramenta está apenas em inglês.

Última atualização · Vouch

O que o verificador analisa

O verificador de rastreadores de IA responde a uma pergunta concreta: o ChatGPT consegue ler o meu site? Para isso, vai buscar três coisas ao seu domínio: o robots.txt, o llms.txt e a página inicial. Depois aplica as regras do robots.txt a 14 rastreadores de IA e de pesquisa e mostra, para cada um, se está permitido ou bloqueado e qual a regra que decide.

Além dos rastreadores, o relatório inclui quatro verificações ao site:

  • robots.txt: se o arquivo existe, se carrega e se tem regras de user-agent.
  • llms.txt: se existe e se começa com um título, como a proposta pede. É opcional.
  • Texto no HTML: se a página inicial envia texto legível antes de qualquer JavaScript, porque muitos rastreadores de IA não executam JavaScript.
  • Indexação: se a página inicial tem noindex numa meta tag ou no cabeçalho X-Robots-Tag, o que a manteria fora dos resultados de pesquisa e das respostas de IA construídas sobre eles.

A ferramenta só existe em inglês. Esta página explica como usá-la e como interpretar o resultado.

Como usar, passo a passo

  1. Abra o verificador e escreva o endereço do seu site.
  2. Execute a verificação. É gratuita e não pede registo. Um resultado recente do mesmo site fica em memória durante uma hora.
  3. Leia primeiro o número de rastreadores permitidos e depois a lista, rastreador a rastreador.
  4. Percorra as quatro verificações do site e aplique a correção sugerida em cada aviso ou falha.
  5. Volte a verificar depois de alterar o robots.txt. A OpenAI e a Perplexity indicam que as alterações podem demorar cerca de 24 horas a produzir efeito.

Como ler o resultado

Cada rastreador recebe um de quatro estados: permitido, bloqueado, bloqueado por erro ou desconhecido. Bloqueado significa que uma regra Disallow o impede de ler a página inicial. Bloqueado por erro significa que o robots.txt não pôde ser lido, caso em que os rastreadores tratam o site inteiro como proibido. Desconhecido significa que o verificador não conseguiu chegar ao site ou ler o arquivo em segurança.

Sem robots.txt, todos os rastreadores podem ler todas as páginas. Para os deixar entrar de forma explícita, este arquivo basta:

User-agent: *
Allow: /

Um Disallow: / num grupo com o nome de um rastreador, como User-agent: GPTBot, anula esta regra para esse rastreador.

Os problemas mais comuns e a correção

Problema O que significa Correção
Rastreador bloqueado por Disallow Uma regra impede o rastreador de ler a página Retire ou restrinja a regra, ou permita o rastreador pelo nome
robots.txt ilegível Os rastreadores tratam o site como fechado Faça /robots.txt responder 200 com as suas regras, ou 404 se não tiver nenhuma, e deixe os rastreadores passar pela firewall
Pouco texto sem JavaScript Muitos rastreadores de IA não executam JavaScript Renderize o conteúdo principal no servidor
Página inicial com noindex Fica fora da pesquisa e das respostas de IA Retire o noindex da meta tag ou do cabeçalho X-Robots-Tag
Sem llms.txt É opcional Publique um, se quiser, começando por um título e um resumo (veja o guia do llms.txt)

Os rastreadores que o verificador analisa

Os rastreadores dividem-se por função: treino, pesquisa, pedido de um utilizador, tokens de controlo e motores de pesquisa. Alguns exemplos, segundo a documentação de cada empresa:

Rastreador Empresa Para que serve
GPTBot OpenAI Treino: recolhe páginas públicas que podem servir para treinar os modelos
OAI-SearchBot OpenAI Pesquisa: mostra sites na pesquisa do ChatGPT
ChatGPT-User OpenAI Pedido de utilizador: visita uma página quando uma pessoa a pede
ClaudeBot Anthropic Treino: recolhe conteúdo público para treinar modelos
Claude-SearchBot Anthropic Pesquisa: melhora os resultados de pesquisa do Claude
Claude-User Anthropic Pedido de utilizador: visita páginas quando um utilizador do Claude pergunta
PerplexityBot Perplexity Pesquisa: mostra e liga sites nos resultados
Perplexity-User Perplexity Pedido de utilizador: visita páginas quando a pergunta o exige
Google-Extended Google Token de controlo: define se o conteúdo pode servir para o Gemini; não afeta a Pesquisa
Googlebot Google Motor de pesquisa: rastreia para a Pesquisa Google
Bingbot Microsoft Motor de pesquisa: rastreia para o Bing
Applebot-Extended Apple Token de controlo: opta por não treinar modelos da Apple
CCBot Common Crawl Treino: repositório aberto de dados de rastreio
Meta-ExternalAgent Meta Treino e indexação de conteúdo para produtos da Meta

A OpenAI e a Perplexity dizem que, nos agentes de pedido de utilizador, as regras do robots.txt podem não se aplicar, porque foi uma pessoa a iniciar o pedido. O que muda ao bloquear cada um explica-se no artigo deve bloquear o GPTBot? (em inglês).

Um exemplo prático

Um site corre a verificação e vê o OAI-SearchBot bloqueado por Disallow: /, regra herdada de um modelo de robots.txt copiado. O dono não queria bloquear a pesquisa, apenas o treino. A correção é manter o bloqueio do GPTBot e permitir o OAI-SearchBot. Como a OpenAI indica que cada definição é independente, uma coisa não afeta a outra.

Depois da verificação

Se os rastreadores conseguem ler o site, a pergunta seguinte é o que os assistentes dizem sobre a sua marca. Para o contexto geral, veja o que é AI SEO. O Vouch acompanha conversas de compra completas todas as semanas e mostra a etapa em que a marca fica de fora.

Perguntas frequentes

O meu site está bloqueado para o ChatGPT?

A OpenAI usa três agentes: o GPTBot recolhe páginas que podem servir para treinar os modelos, o OAI-SearchBot mostra sites na pesquisa do ChatGPT e o ChatGPT-User visita uma página quando uma pessoa pede algo que a exige. O verificador lê o seu robots.txt e indica cada um dos três em separado, com a regra que decide o resultado.

Qual a diferença entre um rastreador de treino e um de pesquisa?

Um rastreador de treino, como o GPTBot, o ClaudeBot ou o CCBot, recolhe páginas que podem ser usadas para treinar modelos de IA. Um de pesquisa, como o OAI-SearchBot, o Claude-SearchBot ou o PerplexityBot, lê páginas para que um assistente as encontre e ligue nas respostas. O robots.txt permite autorizar um tipo e bloquear o outro.

Bloquear o Google-Extended tira o meu site da Pesquisa Google?

Não. A Google descreve o Google-Extended como um token do robots.txt, e não como um rastreador à parte: controla se o conteúdo que a Google rastreia pode ser usado em futuros modelos Gemini e no grounding, e não afeta a inclusão na Pesquisa Google. Quem rastreia para a Pesquisa é o Googlebot.

Preciso de um arquivo llms.txt?

Não, é opcional. O llms.txt é uma proposta (llmstxt.org) de um mapa curto em Markdown do seu site para assistentes de IA. O verificador apenas indica se existe um e se começa com um título; não altera o resultado de nenhum rastreador.

O que guarda o verificador sobre o meu site?

O resultado fica em memória durante uma hora, para que novas verificações e ligações partilhadas não voltem a consultar o seu site. Nada sobre o site é guardado numa base de dados. O endereço de quem verifica só é contado, em formato cifrado, para o limite de pedidos.

Continue a ler