Verificador de rastreadores de IA: ¿puede ChatGPT leer tu web?
El verificador de rastreadores de IA lee el robots.txt de tu sitio y te dice si 14 rastreadores de IA y de buscadores, entre ellos GPTBot, OAI-SearchBot, ClaudeBot y PerplexityBot, pueden leerlo, con la regla que decide cada caso y una solución. También revisa llms.txt, el texto de tu página de inicio y si está marcada como noindex. Es gratis y no requiere registro.
Última actualización · Vouch
Qué comprueba el verificador
Escribes la dirección de tu sitio y la herramienta hace tres peticiones: a /robots.txt, a /llms.txt y a tu página de inicio. Con eso informa de cuatro cosas.
- Cada rastreador, uno por uno. Para cada uno de los 14 rastreadores de la lista, el verificador aplica las reglas de tu robots.txt a tu página de inicio y responde "permitido", "bloqueado" o "no se puede saber", con la regla que lo decide.
- robots.txt. Si existe, si carga bien y si tiene reglas reales. Un robots.txt que devuelve una página web, o que no tiene ningún grupo
User-agent, se marca como aviso. - llms.txt. Si existe y si empieza por un encabezado
#, como pide la propuesta. Es opcional y no cambia el resultado de ningún rastreador. - Tu página de inicio. Si el texto está en el HTML que llega antes de ejecutar JavaScript (el verificador espera al menos 500 caracteres legibles, porque muchos rastreadores de IA no ejecutan JavaScript), si responde con un código 200 y si tiene un
noindexen la etiqueta meta robots o en la cabecera X-Robots-Tag.
La herramienta solo está en inglés: ábrela aquí. Esta página explica cómo usarla y qué hacer con lo que muestra.
Cómo usarlo, paso a paso
- Abre el verificador y escribe tu dominio.
- Espera unos segundos a que lea los tres archivos.
- Mira primero el recuento de rastreadores permitidos y después la lista: cada fila muestra el veredicto y el motivo.
- Revisa los otros cuatro resultados (robots.txt, llms.txt, texto en el HTML e indexación). Cada uno trae su explicación y, si hace falta, una solución.
- Aplica las correcciones en tu sitio y vuelve a comprobar. El resultado se guarda una hora, así que si repites enseguida puede salir el mismo.
Cómo leer el resultado
- Permitido. Una regla
Allowlo permite, o ninguna regla le impide leer tu página de inicio. Si no tienes robots.txt, todos los rastreadores pueden leer todas las páginas. - Bloqueado. Una regla
Disallowlo impide. El verificador te muestra la regla exacta y el texto que añadirías para permitirlo. - Bloqueado por error. Tu robots.txt no se pudo leer (por ejemplo, un error del servidor), y los rastreadores tratan eso como que todo el sitio está vetado. A veces el motivo es un cortafuegos que desafía o limita al verificador.
- No se puede saber. El sitio no se pudo alcanzar o apuntaba a una dirección que la herramienta no visita.
Hay un matiz importante: ChatGPT-User, Claude-User y Perplexity-User visitan una página porque una persona lo pidió. OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, y Perplexity dice que Perplexity-User suele ignorarlas. Por eso el verificador te avisa de que esos agentes pueden no seguir tu robots.txt.
Cómo corregir cada problema
Un rastreador de búsqueda está bloqueado. Añade un grupo propio a tu robots.txt, con el nombre del rastreador:
User-agent: OAI-SearchBot
Allow: /
Un Disallow: / dentro de un grupo con el nombre del rastreador prevalece sobre un User-agent: * permisivo. Si bloquear fue deliberado, el siguiente paso es decidir con criterio; la guía sobre bloquear GPTBot, en inglés, repasa qué cambia con cada rastreador.
No hay llms.txt, o no tiene buen aspecto. Publica /llms.txt como texto plano o Markdown, con un encabezado # con tu nombre, una línea de resumen con > y una lista de enlaces a tus páginas clave. La guía de llms.txt explica qué dice la evidencia antes de que le dediques tiempo.
Casi no hay texto sin JavaScript. Haz que el contenido principal de tu página de inicio se genere en el servidor, porque muchos rastreadores de IA no ejecutan JavaScript.
La página de inicio tiene noindex. Quita el noindex de la etiqueta meta robots o de la cabecera X-Robots-Tag. Mientras esté, la página queda fuera de los resultados de búsqueda y de las respuestas de IA que se apoyan en ellos.
El servidor devuelve un error en robots.txt. Corrige el error o revisa si un cortafuegos bloquea al verificador. Un 401, 403 o 429 puede ser un muro antibots; para los rastreadores, cualquier respuesta 4xx significa que no hay reglas.
Los 14 rastreadores que revisa
| Rastreador | Empresa | Para qué sirve |
|---|---|---|
| GPTBot | OpenAI | Recoge páginas públicas que pueden usarse para entrenar sus modelos. |
| OAI-SearchBot | OpenAI | Muestra sitios en la búsqueda de ChatGPT. |
| ChatGPT-User | OpenAI | Visita una página cuando alguien pide a ChatGPT algo que la necesita. |
| ClaudeBot | Anthropic | Recoge contenido web que puede usarse para entrenamiento. |
| Claude-User | Anthropic | Visita una página cuando un usuario de Claude lo pide. |
| Claude-SearchBot | Anthropic | Rastrea páginas para mejorar los resultados de búsqueda de Claude. |
| PerplexityBot | Perplexity | Muestra y enlaza sitios en los resultados de Perplexity; no se usa para entrenar modelos. |
| Perplexity-User | Perplexity | Visita una página cuando la pregunta de un usuario lo necesita. |
| Google-Extended | Token de robots.txt para el uso en Gemini; no afecta a Search. | |
| Googlebot | Rastreador de Google Search. | |
| Bingbot | Microsoft | Rastrea páginas para Bing. |
| Applebot-Extended | Apple | Permite excluir tus páginas del entrenamiento de IA de Apple; no rastrea por sí mismo. |
| CCBot | Common Crawl | Rastreador de Common Crawl, un repositorio abierto de datos de rastreo. |
| Meta-ExternalAgent | Meta | Rastrea la web, por ejemplo para entrenar modelos de IA de Meta. |
Un ejemplo trabajado
Una tienda comprueba su dominio y ve OAI-SearchBot como "bloqueado por Disallow: /". Resulta que un plugin de seguridad añadió una regla que veta a todos los rastreadores desconocidos. El efecto es que la tienda no aparece en las respuestas de ChatGPT search, aunque sus páginas posicionen bien en Google. La corrección es añadir un grupo User-agent: OAI-SearchBot con Allow: /. OpenAI indica que los cambios de búsqueda pueden tardar unas 24 horas en aplicarse, así que conviene volver a comprobar al día siguiente.
Después de la comprobación
Que los rastreadores puedan leer tu web es la condición de entrada, no el resultado. Lo que decide si te recomiendan es lo que responden los asistentes cuando un comprador pregunta por tu categoría. Para el cuadro completo, empieza por qué es el AI SEO. Vouch ejecuta conversaciones de compra completas cada semana y muestra la etapa en la que dejas de aparecer; en la metodología explicamos cómo.
Preguntas frecuentes
¿Mi web está bloqueada para ChatGPT?
OpenAI usa tres agentes: GPTBot recoge páginas que pueden servir para entrenar sus modelos, OAI-SearchBot muestra sitios en la búsqueda de ChatGPT y ChatGPT-User visita una página cuando alguien pide a ChatGPT algo que la necesita. El verificador lee tu robots.txt y informa de cada uno por separado, con la regla que lo decide.
¿Qué diferencia hay entre un rastreador de entrenamiento y uno de búsqueda?
Un rastreador de entrenamiento, como GPTBot, ClaudeBot o CCBot, recoge páginas que pueden usarse para entrenar modelos de IA. Uno de búsqueda, como OAI-SearchBot, Claude-SearchBot o PerplexityBot, lee páginas para que un asistente pueda encontrarlas y enlazarlas en sus respuestas. Con robots.txt puedes permitir uno y bloquear el otro.
¿Bloquear Google-Extended me quita de Google Search?
No. Google describe Google-Extended como un token de robots.txt, no como un rastreador aparte: controla si el contenido que Google rastrea puede usarse para futuros modelos Gemini y para fundamentación, y no afecta a la inclusión en Google Search. Googlebot es quien rastrea para Search.
¿Necesito un archivo llms.txt?
No, es opcional. llms.txt es una propuesta (llmstxt.org) de un mapa breve en Markdown de tu sitio para asistentes de IA. El verificador solo informa de si lo tienes y de si empieza por un encabezado; no cambia el resultado de ningún rastreador.
¿Qué guarda el verificador sobre mi sitio?
El resultado se conserva en memoria durante una hora, para que las comprobaciones repetidas y los enlaces compartidos no vuelvan a consultar tu sitio. No se guarda nada del sitio en una base de datos. La dirección de quien comprueba solo se cuenta, cifrada, para el límite de uso.