Verificador de rastreadores de IA: o ChatGPT lê o seu site?
O verificador gratuito de rastreadores de IA lê o robots.txt do seu site e diz se o ChatGPT, o Claude, o Perplexity, o Google, o Bing e outros 9 rastreadores podem ler as suas páginas. Cada problema vem com uma correção em linguagem simples. Não exige registo. A ferramenta está apenas em inglês.
Última atualização · Vouch
O que o verificador analisa
O verificador de rastreadores de IA responde a uma pergunta concreta: o ChatGPT consegue ler o meu site? Para isso, vai buscar três coisas ao seu domínio: o robots.txt, o llms.txt e a página inicial. Depois aplica as regras do robots.txt a 14 rastreadores de IA e de pesquisa e mostra, para cada um, se está permitido ou bloqueado e qual a regra que decide.
Além dos rastreadores, o relatório inclui quatro verificações ao site:
- robots.txt: se o arquivo existe, se carrega e se tem regras de user-agent.
- llms.txt: se existe e se começa com um título, como a proposta pede. É opcional.
- Texto no HTML: se a página inicial envia texto legível antes de qualquer JavaScript, porque muitos rastreadores de IA não executam JavaScript.
- Indexação: se a página inicial tem noindex numa meta tag ou no cabeçalho X-Robots-Tag, o que a manteria fora dos resultados de pesquisa e das respostas de IA construídas sobre eles.
A ferramenta só existe em inglês. Esta página explica como usá-la e como interpretar o resultado.
Como usar, passo a passo
- Abra o verificador e escreva o endereço do seu site.
- Execute a verificação. É gratuita e não pede registo. Um resultado recente do mesmo site fica em memória durante uma hora.
- Leia primeiro o número de rastreadores permitidos e depois a lista, rastreador a rastreador.
- Percorra as quatro verificações do site e aplique a correção sugerida em cada aviso ou falha.
- Volte a verificar depois de alterar o robots.txt. A OpenAI e a Perplexity indicam que as alterações podem demorar cerca de 24 horas a produzir efeito.
Como ler o resultado
Cada rastreador recebe um de quatro estados: permitido, bloqueado, bloqueado por erro ou desconhecido. Bloqueado significa que uma regra Disallow o impede de ler a página inicial. Bloqueado por erro significa que o robots.txt não pôde ser lido, caso em que os rastreadores tratam o site inteiro como proibido. Desconhecido significa que o verificador não conseguiu chegar ao site ou ler o arquivo em segurança.
Sem robots.txt, todos os rastreadores podem ler todas as páginas. Para os deixar entrar de forma explícita, este arquivo basta:
User-agent: *
Allow: /
Um Disallow: / num grupo com o nome de um rastreador, como User-agent: GPTBot, anula esta regra para esse rastreador.
Os problemas mais comuns e a correção
| Problema | O que significa | Correção |
|---|---|---|
| Rastreador bloqueado por Disallow | Uma regra impede o rastreador de ler a página | Retire ou restrinja a regra, ou permita o rastreador pelo nome |
| robots.txt ilegível | Os rastreadores tratam o site como fechado | Faça /robots.txt responder 200 com as suas regras, ou 404 se não tiver nenhuma, e deixe os rastreadores passar pela firewall |
| Pouco texto sem JavaScript | Muitos rastreadores de IA não executam JavaScript | Renderize o conteúdo principal no servidor |
| Página inicial com noindex | Fica fora da pesquisa e das respostas de IA | Retire o noindex da meta tag ou do cabeçalho X-Robots-Tag |
| Sem llms.txt | É opcional | Publique um, se quiser, começando por um título e um resumo (veja o guia do llms.txt) |
Os rastreadores que o verificador analisa
Os rastreadores dividem-se por função: treino, pesquisa, pedido de um utilizador, tokens de controlo e motores de pesquisa. Alguns exemplos, segundo a documentação de cada empresa:
| Rastreador | Empresa | Para que serve |
|---|---|---|
| GPTBot | OpenAI | Treino: recolhe páginas públicas que podem servir para treinar os modelos |
| OAI-SearchBot | OpenAI | Pesquisa: mostra sites na pesquisa do ChatGPT |
| ChatGPT-User | OpenAI | Pedido de utilizador: visita uma página quando uma pessoa a pede |
| ClaudeBot | Anthropic | Treino: recolhe conteúdo público para treinar modelos |
| Claude-SearchBot | Anthropic | Pesquisa: melhora os resultados de pesquisa do Claude |
| Claude-User | Anthropic | Pedido de utilizador: visita páginas quando um utilizador do Claude pergunta |
| PerplexityBot | Perplexity | Pesquisa: mostra e liga sites nos resultados |
| Perplexity-User | Perplexity | Pedido de utilizador: visita páginas quando a pergunta o exige |
| Google-Extended | Token de controlo: define se o conteúdo pode servir para o Gemini; não afeta a Pesquisa | |
| Googlebot | Motor de pesquisa: rastreia para a Pesquisa Google | |
| Bingbot | Microsoft | Motor de pesquisa: rastreia para o Bing |
| Applebot-Extended | Apple | Token de controlo: opta por não treinar modelos da Apple |
| CCBot | Common Crawl | Treino: repositório aberto de dados de rastreio |
| Meta-ExternalAgent | Meta | Treino e indexação de conteúdo para produtos da Meta |
A OpenAI e a Perplexity dizem que, nos agentes de pedido de utilizador, as regras do robots.txt podem não se aplicar, porque foi uma pessoa a iniciar o pedido. O que muda ao bloquear cada um explica-se no artigo deve bloquear o GPTBot? (em inglês).
Um exemplo prático
Um site corre a verificação e vê o OAI-SearchBot bloqueado por Disallow: /, regra herdada de um modelo de robots.txt copiado. O dono não queria bloquear a pesquisa, apenas o treino. A correção é manter o bloqueio do GPTBot e permitir o OAI-SearchBot. Como a OpenAI indica que cada definição é independente, uma coisa não afeta a outra.
Depois da verificação
Se os rastreadores conseguem ler o site, a pergunta seguinte é o que os assistentes dizem sobre a sua marca. Para o contexto geral, veja o que é AI SEO. O Vouch acompanha conversas de compra completas todas as semanas e mostra a etapa em que a marca fica de fora.
Perguntas frequentes
O meu site está bloqueado para o ChatGPT?
A OpenAI usa três agentes: o GPTBot recolhe páginas que podem servir para treinar os modelos, o OAI-SearchBot mostra sites na pesquisa do ChatGPT e o ChatGPT-User visita uma página quando uma pessoa pede algo que a exige. O verificador lê o seu robots.txt e indica cada um dos três em separado, com a regra que decide o resultado.
Qual a diferença entre um rastreador de treino e um de pesquisa?
Um rastreador de treino, como o GPTBot, o ClaudeBot ou o CCBot, recolhe páginas que podem ser usadas para treinar modelos de IA. Um de pesquisa, como o OAI-SearchBot, o Claude-SearchBot ou o PerplexityBot, lê páginas para que um assistente as encontre e ligue nas respostas. O robots.txt permite autorizar um tipo e bloquear o outro.
Bloquear o Google-Extended tira o meu site da Pesquisa Google?
Não. A Google descreve o Google-Extended como um token do robots.txt, e não como um rastreador à parte: controla se o conteúdo que a Google rastreia pode ser usado em futuros modelos Gemini e no grounding, e não afeta a inclusão na Pesquisa Google. Quem rastreia para a Pesquisa é o Googlebot.
Preciso de um arquivo llms.txt?
Não, é opcional. O llms.txt é uma proposta (llmstxt.org) de um mapa curto em Markdown do seu site para assistentes de IA. O verificador apenas indica se existe um e se começa com um título; não altera o resultado de nenhum rastreador.
O que guarda o verificador sobre o meu site?
O resultado fica em memória durante uma hora, para que novas verificações e ligações partilhadas não voltem a consultar o seu site. Nada sobre o site é guardado numa base de dados. O endereço de quem verifica só é contado, em formato cifrado, para o limite de pedidos.