Skip to content
Vouch

Español

Verificador de rastreadores de IA: ¿puede ChatGPT leer tu web?

El verificador de rastreadores de IA lee el robots.txt de tu sitio y te dice si 14 rastreadores de IA y de buscadores, entre ellos GPTBot, OAI-SearchBot, ClaudeBot y PerplexityBot, pueden leerlo, con la regla que decide cada caso y una solución. También revisa llms.txt, el texto de tu página de inicio y si está marcada como noindex. Es gratis y no requiere registro.

Última actualización · Vouch

Qué comprueba el verificador

Escribes la dirección de tu sitio y la herramienta hace tres peticiones: a /robots.txt, a /llms.txt y a tu página de inicio. Con eso informa de cuatro cosas.

  1. Cada rastreador, uno por uno. Para cada uno de los 14 rastreadores de la lista, el verificador aplica las reglas de tu robots.txt a tu página de inicio y responde "permitido", "bloqueado" o "no se puede saber", con la regla que lo decide.
  2. robots.txt. Si existe, si carga bien y si tiene reglas reales. Un robots.txt que devuelve una página web, o que no tiene ningún grupo User-agent, se marca como aviso.
  3. llms.txt. Si existe y si empieza por un encabezado #, como pide la propuesta. Es opcional y no cambia el resultado de ningún rastreador.
  4. Tu página de inicio. Si el texto está en el HTML que llega antes de ejecutar JavaScript (el verificador espera al menos 500 caracteres legibles, porque muchos rastreadores de IA no ejecutan JavaScript), si responde con un código 200 y si tiene un noindex en la etiqueta meta robots o en la cabecera X-Robots-Tag.

La herramienta solo está en inglés: ábrela aquí. Esta página explica cómo usarla y qué hacer con lo que muestra.

Cómo usarlo, paso a paso

  1. Abre el verificador y escribe tu dominio.
  2. Espera unos segundos a que lea los tres archivos.
  3. Mira primero el recuento de rastreadores permitidos y después la lista: cada fila muestra el veredicto y el motivo.
  4. Revisa los otros cuatro resultados (robots.txt, llms.txt, texto en el HTML e indexación). Cada uno trae su explicación y, si hace falta, una solución.
  5. Aplica las correcciones en tu sitio y vuelve a comprobar. El resultado se guarda una hora, así que si repites enseguida puede salir el mismo.

Cómo leer el resultado

  • Permitido. Una regla Allow lo permite, o ninguna regla le impide leer tu página de inicio. Si no tienes robots.txt, todos los rastreadores pueden leer todas las páginas.
  • Bloqueado. Una regla Disallow lo impide. El verificador te muestra la regla exacta y el texto que añadirías para permitirlo.
  • Bloqueado por error. Tu robots.txt no se pudo leer (por ejemplo, un error del servidor), y los rastreadores tratan eso como que todo el sitio está vetado. A veces el motivo es un cortafuegos que desafía o limita al verificador.
  • No se puede saber. El sitio no se pudo alcanzar o apuntaba a una dirección que la herramienta no visita.

Hay un matiz importante: ChatGPT-User, Claude-User y Perplexity-User visitan una página porque una persona lo pidió. OpenAI dice que las reglas de robots.txt pueden no aplicarse a ChatGPT-User, y Perplexity dice que Perplexity-User suele ignorarlas. Por eso el verificador te avisa de que esos agentes pueden no seguir tu robots.txt.

Cómo corregir cada problema

Un rastreador de búsqueda está bloqueado. Añade un grupo propio a tu robots.txt, con el nombre del rastreador:

User-agent: OAI-SearchBot
Allow: /

Un Disallow: / dentro de un grupo con el nombre del rastreador prevalece sobre un User-agent: * permisivo. Si bloquear fue deliberado, el siguiente paso es decidir con criterio; la guía sobre bloquear GPTBot, en inglés, repasa qué cambia con cada rastreador.

No hay llms.txt, o no tiene buen aspecto. Publica /llms.txt como texto plano o Markdown, con un encabezado # con tu nombre, una línea de resumen con > y una lista de enlaces a tus páginas clave. La guía de llms.txt explica qué dice la evidencia antes de que le dediques tiempo.

Casi no hay texto sin JavaScript. Haz que el contenido principal de tu página de inicio se genere en el servidor, porque muchos rastreadores de IA no ejecutan JavaScript.

La página de inicio tiene noindex. Quita el noindex de la etiqueta meta robots o de la cabecera X-Robots-Tag. Mientras esté, la página queda fuera de los resultados de búsqueda y de las respuestas de IA que se apoyan en ellos.

El servidor devuelve un error en robots.txt. Corrige el error o revisa si un cortafuegos bloquea al verificador. Un 401, 403 o 429 puede ser un muro antibots; para los rastreadores, cualquier respuesta 4xx significa que no hay reglas.

Los 14 rastreadores que revisa

Rastreador Empresa Para qué sirve
GPTBot OpenAI Recoge páginas públicas que pueden usarse para entrenar sus modelos.
OAI-SearchBot OpenAI Muestra sitios en la búsqueda de ChatGPT.
ChatGPT-User OpenAI Visita una página cuando alguien pide a ChatGPT algo que la necesita.
ClaudeBot Anthropic Recoge contenido web que puede usarse para entrenamiento.
Claude-User Anthropic Visita una página cuando un usuario de Claude lo pide.
Claude-SearchBot Anthropic Rastrea páginas para mejorar los resultados de búsqueda de Claude.
PerplexityBot Perplexity Muestra y enlaza sitios en los resultados de Perplexity; no se usa para entrenar modelos.
Perplexity-User Perplexity Visita una página cuando la pregunta de un usuario lo necesita.
Google-Extended Google Token de robots.txt para el uso en Gemini; no afecta a Search.
Googlebot Google Rastreador de Google Search.
Bingbot Microsoft Rastrea páginas para Bing.
Applebot-Extended Apple Permite excluir tus páginas del entrenamiento de IA de Apple; no rastrea por sí mismo.
CCBot Common Crawl Rastreador de Common Crawl, un repositorio abierto de datos de rastreo.
Meta-ExternalAgent Meta Rastrea la web, por ejemplo para entrenar modelos de IA de Meta.

Un ejemplo trabajado

Una tienda comprueba su dominio y ve OAI-SearchBot como "bloqueado por Disallow: /". Resulta que un plugin de seguridad añadió una regla que veta a todos los rastreadores desconocidos. El efecto es que la tienda no aparece en las respuestas de ChatGPT search, aunque sus páginas posicionen bien en Google. La corrección es añadir un grupo User-agent: OAI-SearchBot con Allow: /. OpenAI indica que los cambios de búsqueda pueden tardar unas 24 horas en aplicarse, así que conviene volver a comprobar al día siguiente.

Después de la comprobación

Que los rastreadores puedan leer tu web es la condición de entrada, no el resultado. Lo que decide si te recomiendan es lo que responden los asistentes cuando un comprador pregunta por tu categoría. Para el cuadro completo, empieza por qué es el AI SEO. Vouch ejecuta conversaciones de compra completas cada semana y muestra la etapa en la que dejas de aparecer; en la metodología explicamos cómo.

Preguntas frecuentes

¿Mi web está bloqueada para ChatGPT?

OpenAI usa tres agentes: GPTBot recoge páginas que pueden servir para entrenar sus modelos, OAI-SearchBot muestra sitios en la búsqueda de ChatGPT y ChatGPT-User visita una página cuando alguien pide a ChatGPT algo que la necesita. El verificador lee tu robots.txt y informa de cada uno por separado, con la regla que lo decide.

¿Qué diferencia hay entre un rastreador de entrenamiento y uno de búsqueda?

Un rastreador de entrenamiento, como GPTBot, ClaudeBot o CCBot, recoge páginas que pueden usarse para entrenar modelos de IA. Uno de búsqueda, como OAI-SearchBot, Claude-SearchBot o PerplexityBot, lee páginas para que un asistente pueda encontrarlas y enlazarlas en sus respuestas. Con robots.txt puedes permitir uno y bloquear el otro.

¿Bloquear Google-Extended me quita de Google Search?

No. Google describe Google-Extended como un token de robots.txt, no como un rastreador aparte: controla si el contenido que Google rastrea puede usarse para futuros modelos Gemini y para fundamentación, y no afecta a la inclusión en Google Search. Googlebot es quien rastrea para Search.

¿Necesito un archivo llms.txt?

No, es opcional. llms.txt es una propuesta (llmstxt.org) de un mapa breve en Markdown de tu sitio para asistentes de IA. El verificador solo informa de si lo tienes y de si empieza por un encabezado; no cambia el resultado de ningún rastreador.

¿Qué guarda el verificador sobre mi sitio?

El resultado se conserva en memoria durante una hora, para que las comprobaciones repetidas y los enlaces compartidos no vuelvan a consultar tu sitio. No se guarda nada del sitio en una base de datos. La dirección de quien comprueba solo se cuenta, cifrada, para el límite de uso.

Sigue leyendo