Verificatore crawler IA: ChatGPT riesce a leggere il tuo sito?
Il verificatore dei crawler IA legge il robots.txt del tuo sito e dice, crawler per crawler, se ChatGPT, Claude, Perplexity, Google, Bing e altri possono leggerlo, con la correzione per ogni problema. È gratuito e senza registrazione. Lo strumento è disponibile solo in inglese.
Ultimo aggiornamento · Vouch
Cosa controlla il verificatore
Il verificatore dei crawler IA risponde a una domanda precisa: i crawler di ChatGPT, Claude, Perplexity, Google, Bing e di altri servizi possono leggere il tuo sito? Per rispondere scarica tre cose dal tuo sito, il file /robots.txt, il file /llms.txt e la home page, e le analizza. Lo strumento stesso è in inglese; questa pagina ti spiega come usarlo e come interpretare il risultato.
Il report contiene due parti:
- Un verdetto per ciascuno dei 14 crawler e token: consentito, bloccato o non determinabile, con la regola di robots.txt che decide.
- Quattro controlli sul sito: il file robots.txt, il file llms.txt, il testo presente nell'HTML della home page e la presenza di un noindex sulla home page.
Il verificatore non misura cosa dicono gli assistenti di te e non controlla le pagine interne: guarda solo la home page e le regole per la radice del sito.
Come si usa, passo per passo
- Apri il verificatore (in inglese).
- Inserisci l'indirizzo del sito, per esempio il tuo dominio.
- Avvia il controllo. Se esiste già un risultato recente per quel sito, ti viene mostrato quello, che resta in memoria per un'ora.
- Leggi il verdetto di ogni crawler e i quattro controlli sul sito.
- Applica le correzioni indicate, poi ripeti il controllo dopo che il file è stato aggiornato.
Come leggere il risultato
Per ogni crawler vedi uno di questi esiti:
- Consentito: nessuna regola gli impedisce di leggere la home page, oppure una regola Allow lo ammette. Se non hai un robots.txt, tutti i crawler possono leggere il sito.
- Bloccato: una regola Disallow gli impedisce di leggere la home page. Il verificatore ti mostra la regola e le righe da aggiungere per consentirlo.
- Non determinabile: non è stato possibile raggiungere il sito o leggere il file in modo sicuro, quindi il verificatore non può dirlo.
Un caso da conoscere: se il tuo robots.txt non si riesce a leggere, i crawler trattano l'intero sito come off limits. Il verificatore lo segnala come errore, e spesso la causa è un firewall che sfida o limita le richieste.
I crawler controllati
| Crawler | Azienda | A cosa serve |
|---|---|---|
| GPTBot | OpenAI | Raccoglie pagine pubbliche che possono servire ad addestrare i modelli di OpenAI |
| OAI-SearchBot | OpenAI | Mostra i siti nella ricerca di ChatGPT |
| ChatGPT-User | OpenAI | Visita una pagina quando una persona chiede a ChatGPT qualcosa che la richiede |
| ClaudeBot | Anthropic | Raccoglie contenuti web che possono servire ad addestrare i modelli di Anthropic |
| Claude-SearchBot | Anthropic | Scansiona pagine per migliorare i risultati di ricerca di Claude |
| Claude-User | Anthropic | Visita una pagina quando un utente di Claude fa una domanda che la richiede |
| PerplexityBot | Perplexity | Mostra e linka i siti nei risultati di Perplexity |
| Perplexity-User | Perplexity | Visita una pagina quando la domanda di un utente la richiede |
| Google-Extended | Token di robots.txt per l'uso dei contenuti nei futuri modelli Gemini; non scansiona e non incide sulla Ricerca | |
| Googlebot | Crawler della Ricerca Google | |
| Bingbot | Microsoft | Scansiona le pagine per Bing |
| Applebot-Extended | Apple | Permette di escludere le pagine dall'addestramento dei modelli di IA di Apple |
| CCBot | Common Crawl | Crawler di Common Crawl, un archivio aperto di dati web |
| Meta-ExternalAgent | Meta | Scansiona il web, tra l'altro per addestrare i modelli di IA di Meta |
OpenAI e Perplexity precisano che per i loro agenti attivati dall'utente (ChatGPT-User, Perplexity-User) le regole di robots.txt possono non valere, perché la richiesta parte da una persona. Per capire quali bloccare e quali no, leggi conviene bloccare GPTBot? (in inglese).
Problemi comuni e come correggerli
- Un crawler di ricerca è bloccato. Aggiungi un gruppo con il suo nome, per esempio
User-agent: OAI-SearchBotseguito daAllow: /. Un gruppo con il nome del crawler prevale su quello genericoUser-agent: *. - robots.txt non si legge. Fai in modo che
/robots.txtrisponda 200 con le tue regole, oppure 404 se non ne hai, e lascia passare i crawler attraverso il firewall. - Il sito ha rifiutato il verificatore (stato 401, 403 o 429). Può essere un firewall o un muro anti-bot: se blocca crawler che vuoi far entrare, aprilo, e servi robots.txt a tutti i visitatori.
- Poco testo senza JavaScript. Se la home page invia meno di 500 caratteri di testo leggibile prima dell'esecuzione di JavaScript, molti crawler di IA, che non eseguono JavaScript, vedono quasi una pagina vuota. Genera il contenuto principale sul server (rendering lato server o pagine statiche).
- La home page è impostata su noindex. Rimuovi il noindex dal meta tag robots o dall'header X-Robots-Tag: tiene la pagina fuori dai risultati di ricerca e dalle risposte dell'IA costruite su di essi.
- Nessun llms.txt. È facoltativo e non cambia il risultato dei crawler. Se vuoi aggiungerlo, la nostra guida al file llms.txt spiega come.
Un esempio
Una piccola azienda scopre che il suo robots.txt, copiato da un modello, contiene un Disallow: / sotto User-agent: OAI-SearchBot. Il verificatore mostra OAI-SearchBot come bloccato e indica la regola. Dopo aver sostituito il gruppo con Allow: / e aver ripetuto il controllo, il crawler risulta consentito. OpenAI indica che le modifiche per la ricerca possono richiedere circa 24 ore per essere applicate.
E dopo il controllo
Se i crawler possono leggere il tuo sito, la domanda successiva è cosa dicono gli assistenti di te quando chi compra chiede della tua categoria. Per il quadro generale leggi cos'è l'AI SEO. Vouch esegue ogni settimana intere conversazioni d'acquisto e mostra la fase in cui esci di scena; la metodologia spiega come.
Domande frequenti
Il mio sito è bloccato per ChatGPT?
OpenAI usa tre agenti: GPTBot raccoglie pagine che possono servire ad addestrare i suoi modelli, OAI-SearchBot mostra i siti nella ricerca di ChatGPT e ChatGPT-User visita una pagina quando una persona chiede a ChatGPT qualcosa che la richiede. Il verificatore legge il robots.txt e indica ciascuno dei tre con la regola che decide.
Che differenza c'è tra un crawler di addestramento e uno di ricerca?
Un crawler di addestramento, come GPTBot, ClaudeBot o CCBot, raccoglie pagine che possono servire ad addestrare modelli di IA. Un crawler di ricerca, come OAI-SearchBot, Claude-SearchBot o PerplexityBot, legge le pagine perché un assistente possa trovarle e linkarle nelle risposte. Con robots.txt puoi consentire un tipo e bloccare l'altro.
Bloccare Google-Extended mi toglie dalla Ricerca Google?
No. Google descrive Google-Extended come un token di robots.txt, non come un crawler a sé: controlla se i contenuti che Google scansiona possono essere usati per i futuri modelli Gemini e per il grounding, e non incide sull'inclusione nella Ricerca. A scansionare per la Ricerca è Googlebot.
Mi serve un file llms.txt?
No, è facoltativo. llms.txt è una proposta (llmstxt.org) per una breve mappa Markdown del sito destinata agli assistenti di IA. Il verificatore segnala solo se ce l'hai e se inizia con un titolo; non cambia il risultato di nessun crawler.
Cosa memorizza il verificatore sul mio sito?
Il risultato resta in memoria per un'ora, così controlli ripetuti e link condivisi non interrogano di nuovo il tuo sito. Nulla sul sito viene salvato in un database. L'indirizzo di chi controlla viene solo conteggiato, in forma di hash, per il limite di richieste.