Come si usa
- Scegli la regola predefinita per tutti i crawler e aggiungi i percorsi a cui non devono accedere, come /cart/ o /search.
- Aggiungi gruppi per crawler specifici se richiedono regole diverse, oppure usa una preimpostazione.
- Aggiungi l'URL completo della tua sitemap XML.
- Scarica robots.txt e caricalo nella directory principale del sito, in modo che sia disponibile all'indirizzo https://your-domain/robots.txt.
Come funziona
robots.txt è un file di testo semplice nella directory principale di un host, che indica ai crawler quali URL possono visitare. È standardizzato come RFC 9309. Un file contiene gruppi: una o più righe User-agent seguite da regole Allow e Disallow. Un crawler usa il gruppo che corrisponde al suo nome nel modo più specifico; in caso contrario, usa il gruppo *. Non combina il proprio gruppo con il gruppo *.
All'interno di un gruppo, prevale la regola corrispondente più specifica (quella più lunga); a parità di specificità, prevale Allow.
I percorsi vengono confrontati a partire dall'inizio del percorso URL e distinguono tra maiuscole e minuscole. * corrisponde a qualsiasi sequenza di caratteri e $ indica la fine dell'URL. Un “Disallow:” vuoto non blocca nulla. Le righe di questo strumento che non iniziano con / o * vengono ignorate e segnalate, perché anche i crawler le ignorerebbero. Le righe Sitemap devono contenere URL assoluti e si applicano all'intero file, non a un singolo gruppo.
Limiti importanti: robots.txt controlla il crawling, non l'indicizzazione. Un URL bloccato può comunque comparire nei risultati di ricerca se altre pagine vi rimandano, ma senza descrizione. Per escludere una pagina dai risultati di ricerca, consenti il crawling e usa invece un meta tag robots noindex. Ogni host e protocollo richiede il proprio file, quindi blog.example.com deve avere un robots.txt separato.
Esempi
Negozio che esclude il carrello e la ricerca interna
Consenti tutto, poi impedisci l'accesso a /cart/, /checkout/ e /search. Aggiungi Sitemap: https://example.com/sitemap.xml. Le pagine di prodotto e categoria restano accessibili ai crawler.
Sito di staging
Scegli “Impedisci tutto”. I crawler che rispettano le regole ignoreranno il sito, ma proteggi anche l'ambiente di staging con una password, perché robots.txt è solo una richiesta.
Esclusione dei crawler AI usati per l'addestramento
La preimpostazione per i crawler AI aggiunge un gruppo per GPTBot, CCBot, Google-Extended, ClaudeBot e PerplexityBot con Disallow: /. I crawler dei motori di ricerca, come Googlebot, continuano a seguire il gruppo *.
Domande frequenti
Dove devo mettere robots.txt?
Nella directory principale dell'host, così che sia disponibile all'indirizzo https://example.com/robots.txt. Un robots.txt in una sottocartella viene ignorato.
Disallow rimuove una pagina dai risultati di ricerca?
Non in modo affidabile. Disallow impedisce il crawling, ma l'URL può comunque comparire nei risultati se è raggiungibile tramite link da altre pagine. Usa un meta tag o un header noindex e lascia la pagina accessibile ai crawler, in modo che possano leggerlo.
Tutti i bot rispettano robots.txt?
No. Rispettare robots.txt è facoltativo. I principali motori di ricerca e molti crawler AI dichiarano di rispettarlo, ma scraper e bot malevoli possono ignorarlo.
Google usa Crawl-delay?
No, Google ignora Crawl-delay. Alcuni altri crawler, tra cui quello di Bing, lo leggono. Google regola automaticamente la frequenza di crawling in base alla risposta del server.
Devo bloccare i file CSS e JavaScript?
No. I motori di ricerca elaborano le pagine e hanno bisogno di quei file per comprenderne la struttura e i contenuti. Bloccarli può far apparire le pagine incomplete ai crawler.
Privacy
Il file viene generato nel browser. Le tue regole e i tuoi URL non vengono inviati né memorizzati.