Vérificateur de robots d'IA : ChatGPT peut-il lire votre site ?
Le vérificateur de robots d'IA lit le fichier robots.txt de votre site et indique, pour 14 robots d'exploration d'IA et de moteurs de recherche, s'ils peuvent lire votre page d'accueil. Il contrôle aussi votre llms.txt, le texte présent dans le HTML et la présence d'un noindex, puis propose un correctif simple pour chaque problème. Gratuit, sans inscription.
Dernière mise à jour · Vouch
L'outil lui-même est en anglais. Cette page explique en français ce qu'il fait et comment exploiter son résultat.
Ce que contrôle le vérificateur
Vous saisissez l'adresse de votre site. L'outil récupère trois éléments : votre fichier /robots.txt, votre fichier /llms.txt et votre page d'accueil. Il en tire une liste de verdicts et quatre constats.
Pour chacun des 14 robots, il indique si les règles de robots.txt l'autorisent à lire la page d'accueil, avec la règle qui décide, et propose un correctif quand la lecture est bloquée. Les robots sont :
| Robot | Éditeur | Rôle |
|---|---|---|
| GPTBot | OpenAI | Collecte des pages pouvant servir à entraîner les modèles |
| OAI-SearchBot | OpenAI | Affiche les sites dans ChatGPT search |
| ChatGPT-User | OpenAI | Visite une page quand une personne le demande à ChatGPT |
| ClaudeBot | Anthropic | Collecte des contenus pouvant servir à l'entraînement |
| Claude-SearchBot | Anthropic | Améliore la pertinence des résultats de recherche de Claude |
| Claude-User | Anthropic | Visite une page quand un utilisateur de Claude le demande |
| PerplexityBot | Perplexity | Affiche et lie les sites dans les résultats de Perplexity |
| Perplexity-User | Perplexity | Visite une page quand une question d'utilisateur l'exige |
| Google-Extended | Jeton robots.txt pour Gemini et l'ancrage, sans effet sur Search | |
| Googlebot | Robot de Google Search | |
| Bingbot | Microsoft | Robot de Bing Search |
| Applebot-Extended | Apple | Jeton pour se retirer de l'entraînement des modèles d'Apple |
| CCBot | Common Crawl | Robot d'un dépôt ouvert de données d'exploration du web |
| Meta-ExternalAgent | Meta | Explore le web, notamment pour entraîner les modèles de Meta |
Quatre constats complètent la liste :
- robots.txt : le fichier est-il lisible, vide de règles, renvoyé comme une page web ou inaccessible ?
- llms.txt : existe-t-il, et commence-t-il par un titre
#, comme le demande la proposition ? - Texte dans le HTML : la page d'accueil envoie-t-elle assez de texte lisible avant l'exécution de JavaScript ? Beaucoup de robots d'IA n'exécutent pas JavaScript.
- Indexation : une balise meta robots ou un en-tête X-Robots-Tag met-il la page en noindex ?
Comment l'utiliser, pas à pas
- Ouvrez l'outil et saisissez l'adresse de votre site.
- Lancez la vérification. Un résultat récent est servi depuis la mémoire pendant une heure, et une limite de requêtes s'applique.
- Regardez d'abord le nombre de robots autorisés, puis les constats en tête de rapport.
- Lisez la ligne de chaque robot bloqué : elle cite la règle qui bloque et propose un correctif prêt à copier.
- Corrigez, puis relancez après avoir mis à jour votre fichier. Côté OpenAI, les changements de recherche prennent environ 24 heures.
Comment lire le résultat
- Autorisé : aucune règle n'empêche ce robot de lire votre page d'accueil, ou vous n'avez pas de robots.txt, auquel cas tous les robots peuvent lire le site.
- Bloqué : une règle
Disallows'applique à ce robot. Pour ChatGPT-User, Claude-User et Perplexity-User, les éditeurs précisent que ces visites suivent la demande d'une personne et peuvent ne pas respecter robots.txt. - Bloqué par erreur : votre robots.txt n'a pas pu être lu, et les robots traitent alors tout le site comme interdit. Cela peut aussi venir d'un pare-feu qui bloque le vérificateur.
- Inconnu : le site n'a pas pu être joint ou a refusé la requête. L'outil ne peut pas conclure.
Les corrections les plus courantes
- Un robot de recherche est bloqué. Ajoutez un groupe à son nom :
User-agent: OAI-SearchBotsuivi deAllow: /. Une règleDisallow: /sous le nom d'un robot l'emporte sur une règle généraleUser-agent: *. - robots.txt est inaccessible. Faites répondre
/robots.txten 200 avec vos règles, ou en 404 si vous n'en avez pas, et laissez les robots passer le pare-feu. - robots.txt est une page web. Servez-le en texte brut avec vos règles, ou faites-le répondre 404.
- Peu de texte sans JavaScript. Rendez votre contenu principal côté serveur, pour qu'il figure dans la première réponse HTML.
- La page d'accueil est en noindex. Retirez le noindex de la balise meta robots ou de l'en-tête X-Robots-Tag.
- Pas de llms.txt. C'est facultatif. Si vous en voulez un, consultez notre guide du fichier llms.txt.
Exemple : ouvrir la porte à la recherche, décider de l'entraînement
Ce fichier laisse tous les robots lire tout le site :
User-agent: *
Allow: /
Si vous voulez écarter l'entraînement tout en restant dans ChatGPT search, ajoutez un groupe pour GPTBot avec Disallow: / et laissez OAI-SearchBot autorisé. OpenAI indique que chaque réglage est indépendant. Pour bien arbitrer, lisez faut-il bloquer GPTBot (en anglais). Pour un point de vue d'ensemble sur le sujet, voir qu'est-ce que l'AI SEO.
Après la vérification
Quand les robots peuvent lire votre site, reste la question de ce que les assistants disent de vous quand un acheteur les interroge. Vouch mène chaque semaine des conversations d'achat complètes et montre l'étape où votre marque décroche.
Questions fréquentes
Mon site est-il bloqué pour ChatGPT ?
OpenAI utilise trois agents : GPTBot collecte des pages qui peuvent servir à l'entraînement, OAI-SearchBot affiche les sites dans ChatGPT search, et ChatGPT-User visite une page quand une personne pose une question qui l'exige. Le vérificateur lit votre robots.txt et indique chacun des trois séparément, avec la règle qui décide.
Quelle différence entre un robot d'entraînement et un robot de recherche ?
Un robot d'entraînement, comme GPTBot, ClaudeBot ou CCBot, collecte des pages qui peuvent servir à entraîner des modèles d'IA. Un robot de recherche, comme OAI-SearchBot, Claude-SearchBot ou PerplexityBot, lit des pages pour qu'un assistant les trouve et les cite dans ses réponses. Avec robots.txt, vous pouvez autoriser l'un et bloquer l'autre.
Bloquer Google-Extended retire-t-il mon site de Google Search ?
Non. Google décrit Google-Extended comme un jeton de robots.txt, pas comme un robot distinct : il contrôle l'utilisation du contenu exploré par Google pour les futurs modèles Gemini et l'ancrage, sans effet sur l'inclusion dans Google Search. C'est Googlebot qui explore pour Search.
Ai-je besoin d'un fichier llms.txt ?
Non, il est facultatif. llms.txt est une proposition (llmstxt.org) de courte carte Markdown de votre site pour les assistants d'IA. Le vérificateur signale seulement si vous en avez un et s'il commence par un titre ; cela ne change le résultat d'aucun robot.
Que conserve le vérificateur sur mon site ?
Un résultat est gardé en mémoire pendant une heure, pour que les vérifications répétées et les liens de résultat partagés ne sollicitent pas votre site de nouveau. Rien sur le site n'est enregistré en base de données. L'adresse de la personne qui vérifie est seulement comptée, après hachage, pour la limite de requêtes.