KI-Crawler-Checker: Kann ChatGPT Ihre Website lesen?
Der kostenlose KI-Crawler-Checker von Vouch liest die robots.txt Ihrer Website und zeigt für 14 KI- und Suchcrawler, ob sie Ihre Startseite lesen dürfen, darunter die von ChatGPT, Claude, Perplexity, Google und Bing. Zu jedem Problem gibt er eine verständliche Lösung. Ohne Anmeldung.
Zuletzt aktualisiert · Vouch
Der Checker selbst ist nur auf Englisch verfügbar: Zum Checker unter /tools/ai-crawler-check. Diese Seite erklärt auf Deutsch, was er prüft, wie Sie das Ergebnis lesen und was Sie bei Problemen tun.
Was der Checker prüft
Sie geben die Adresse Ihrer Website ein, der Checker lädt Ihre robots.txt und Ihre Startseite. Daraus entsteht ein Bericht aus zwei Teilen.
Pro Crawler: Für jeden der 14 Crawler steht da, ob er Ihre Startseite lesen darf, mit der Regel, die das entscheidet, etwa „Disallow: /“ in der Gruppe des Crawlers. Bei einem Block liefert der Checker die Zeilen zur Freigabe gleich mit.
Pro Website: Vier weitere Befunde.
- robots.txt: Ist die Datei vorhanden, lesbar und ohne Fehler?
- llms.txt: Gibt es eine, und beginnt sie mit einer Überschrift, wie der Vorschlag es vorsieht? Sie ist freiwillig.
- Text im HTML: Liefert die Startseite lesbaren Text, bevor JavaScript läuft? Viele KI-Crawler führen kein JavaScript aus. Der Checker warnt unter 500 Zeichen.
- Indexierung: Verbietet ein robots-Meta-Tag oder ein X-Robots-Tag-Header die Aufnahme der Startseite in die Suche?
Die 14 Crawler im Überblick
| Crawler | Unternehmen | Aufgabe |
|---|---|---|
| GPTBot | OpenAI | sammelt Seiten für das Training |
| OAI-SearchBot | OpenAI | zeigt Websites in der ChatGPT-Suche |
| ChatGPT-User | OpenAI | ruft Seiten auf Nutzeranfrage ab |
| ClaudeBot | Anthropic | sammelt Seiten für das Training |
| Claude-SearchBot | Anthropic | verbessert die Suchergebnisse von Claude |
| Claude-User | Anthropic | ruft Seiten auf Nutzeranfrage ab |
| PerplexityBot | Perplexity | zeigt und verlinkt Websites in der Suche |
| Perplexity-User | Perplexity | ruft Seiten auf Nutzeranfrage ab |
| Google-Extended | robots.txt-Token für Gemini-Training und Grounding | |
| Googlebot | Crawler für die Google-Suche | |
| Bingbot | Microsoft | Crawler für Bing |
| Applebot-Extended | Apple | robots.txt-Token gegen KI-Training bei Apple |
| CCBot | Common Crawl | offenes Archiv von Web-Daten |
| Meta-ExternalAgent | Meta | Training und Indexierung für Meta-Produkte |
Bei den Abruf-Agenten auf Nutzeranfrage sagen OpenAI und Perplexity, dass robots.txt womöglich nicht greift, weil eine Person die Anfrage ausgelöst hat. Die Hintergründe und Empfehlungen stehen in Should you block GPTBot? (auf Englisch).
So nutzen Sie den Checker, Schritt für Schritt
- Öffnen Sie den Checker und geben Sie Ihre Adresse ein, zum Beispiel beispiel.de.
- Starten Sie die Prüfung. Ergebnisse bleiben eine Stunde zwischengespeichert, eine zweite Prüfung derselben Website zeigt sie ohne neuen Abruf.
- Lesen Sie zuerst die Befunde zur Website, dann die Liste der Crawler.
- Beheben Sie, was Sie nicht wollten. Prüfen Sie danach erneut, wenn der Cache abgelaufen ist.
So lesen Sie das Ergebnis
- Erlaubt: Keine Regel hindert den Crawler an Ihrer Startseite. Gibt es gar keine robots.txt, dürfen alle Crawler alles lesen.
- Gesperrt: Eine Regel wie „Disallow: /“ stoppt ihn. Der Bericht nennt die Regel und die Freigabe-Zeilen.
- Gesperrt durch Fehler: Die robots.txt war nicht lesbar, und Crawler behandeln die Website dann als gesperrt. Der Checker weist darauf hin, dass womöglich eine Firewall ihn ausgebremst hat.
- Unbekannt: Der Checker konnte die Website oder Datei nicht sicher erreichen und sagt deshalb nichts.
Die Lösung für die häufigsten Probleme
Ein Such-Crawler ist gesperrt. Fügen Sie eine Gruppe nur für diesen Crawler hinzu, zum Beispiel OAI-SearchBot. Für ChatGPT ist das der Agent, der darüber entscheidet, ob Ihre Seiten in der Suche erscheinen:
User-agent: OAI-SearchBot
Allow: /
Eine Gruppe mit Disallow überschreibt den Rest. Ein „Disallow: /“ unter dem Namen eines Crawlers wie „User-agent: GPTBot“ gilt für diesen Crawler, auch wenn die Gruppe „User-agent: *“ alles erlaubt. Eine Sperre für GPTBot betrifft das Training, nicht die ChatGPT-Suche.
robots.txt nicht lesbar. Sie soll mit 200 und Ihren Regeln antworten oder mit 404, wenn Sie keine haben, und Crawler dürfen von keiner Firewall abgewiesen werden.
Kaum Text ohne JavaScript. Rendern Sie den Hauptinhalt auf dem Server (Server-Side-Rendering oder statische Seiten), damit er in der ersten HTML-Antwort steht.
noindex auf der Startseite. Entfernen Sie es aus dem robots-Meta-Tag oder dem X-Robots-Tag-Header. Sonst bleibt die Seite auch aus den KI-Antworten heraus, die auf der Suche aufbauen.
Ein Beispiel
Angenommen, ein Händler lässt den Checker über seinen Shop laufen. Ergebnis: Googlebot und Bingbot erlaubt, aber OAI-SearchBot und Claude-SearchBot gesperrt, weil eine übernommene robots.txt-Vorlage „Disallow: /“ für alle unbekannten KI-Agenten enthielt. Niemand hat das bewusst entschieden. Mit zwei Allow-Gruppen und einer erneuten Prüfung am nächsten Tag ist die Tür offen. Ob Assistenten die Marke danach tatsächlich nennen, zeigt der Checker nicht. Das ist die nächste Frage.
Nach dem Check: Was KI über Sie sagt
Sind die Türen offen, bleibt die Frage, was Assistenten sagen, wenn ein Käufer nach Ihrer Kategorie fragt. Vouch führt jede Woche ganze Kaufgespräche und zeigt die Stufe, auf der Sie herausfallen: Was ist AI SEO? erklärt den Rahmen. Vouch ist derzeit nur auf Einladung zugänglich: Zur Warteliste, jede Einladung beginnt mit einer 14-tägigen kostenlosen Testphase.
Häufige Fragen
Ist meine Website für ChatGPT gesperrt?
OpenAI nutzt drei Agenten: GPTBot sammelt Seiten, die zum Training verwendet werden können, OAI-SearchBot zeigt Websites in der ChatGPT-Suche, ChatGPT-User ruft eine Seite ab, wenn eine Person ChatGPT etwas fragt. Der Checker meldet alle drei einzeln, mit der Regel, die entscheidet.
Was ist der Unterschied zwischen Trainings- und Such-Crawlern?
Ein Trainings-Crawler wie GPTBot, ClaudeBot oder CCBot sammelt Seiten, die zum Training von KI-Modellen verwendet werden können. Ein Such-Crawler wie OAI-SearchBot, Claude-SearchBot oder PerplexityBot liest Seiten, damit ein Assistent sie finden und verlinken kann. Per robots.txt können Sie das eine zulassen und das andere sperren.
Entfernt das Sperren von Google-Extended meine Seite aus der Google-Suche?
Nein. Google beschreibt Google-Extended als robots.txt-Token, nicht als eigenen Crawler: Es steuert, ob von Google gecrawlte Inhalte für künftige Gemini-Modelle und Grounding genutzt werden dürfen, und beeinflusst die Aufnahme in die Google-Suche nicht. Das Crawlen für die Suche übernimmt Googlebot.
Brauche ich eine llms.txt-Datei?
Nein, sie ist freiwillig. llms.txt ist ein Vorschlag für eine kurze Markdown-Übersicht Ihrer Website für KI-Assistenten. Der Checker meldet nur, ob Sie eine haben und ob sie mit einer Überschrift beginnt. Das Ergebnis eines Crawlers ändert sich dadurch nicht.
Was speichert der Checker über meine Website?
Ein Ergebnis bleibt eine Stunde im Arbeitsspeicher, damit wiederholte Prüfungen und geteilte Ergebnislinks Ihre Website nicht erneut abfragen. Zur Website wird nichts in einer Datenbank gespeichert. Die Adresse der prüfenden Person wird nur gehasht für das Anfragelimit gezählt.