tigtools

Generator Robots.txt

Alege ce pot accesa crawlerii, adaugă reguli pentru roboți specifici și descarcă un robots.txt valid pentru rădăcina site-ului tău.

Rulează în browser Fără înregistrare

Presetări
Toți crawlerii (User-agent: *)
Politică implicită

Fiecare cale trebuie să înceapă cu / sau *. Folosiți $ pentru a potrivi sfârșitul URL-ului, de exemplu /*.pdf$.

Google ignoră Crawl-delay; alți crawleri îl respectă.

Reguli pentru crawleri specifici

Adaugă un grup care interzice GPTBot, CCBot, Google-Extended, ClaudeBot și PerplexityBot. Respectarea robots.txt este voluntară.

robots.txt este public: oricine îl poate citi, iar el poate dezvălui căile pe care le listați. Le cere doar crawlerilor care respectă regulile să nu acceseze paginile; nu protejează nimic. Folosiți autentificare pentru conținutul privat și noindex pentru paginile care ar trebui să rămână în afara rezultatelor căutării.

Cum se folosește

  1. Alege politica implicită pentru toți crawlerii și adaugă orice căi pe care nu ar trebui să le acceseze, cum ar fi /cart/ sau /search.
  2. Adaugă grupuri pentru crawleri specifici dacă au nevoie de reguli diferite sau folosește o presetare.
  3. Adaugă URL-ul complet al sitemap-ului XML.
  4. Descarcă robots.txt și încarcă-l la rădăcina site-ului tău, astfel încât să fie servit la https://your-domain/robots.txt.

Cum funcționează

robots.txt este un fișier text simplu aflat la rădăcina unei gazde, care le spune crawlerilor ce URL-uri pot accesa. Este standardizat ca RFC 9309. Un fișier conține grupuri: una sau mai multe linii User-agent, urmate de reguli Allow și Disallow. Un crawler folosește grupul care se potrivește cel mai specific cu numele său, iar în caz contrar revine la grupul *; nu combină propriul grup cu grupul *. Într-un grup, câștigă regula cea mai specifică (cea mai lungă) care se potrivește, iar la egalitate câștigă Allow.

Căile sunt comparate de la începutul căii URL și țin cont de majuscule și minuscule. * reprezintă orice secvență de caractere, iar $ marchează sfârșitul URL-ului. Un „Disallow:” gol înseamnă că nimic nu este blocat. Liniile din acest instrument care nu încep cu / sau * sunt ignorate și marcate, pentru că și crawlerii le-ar ignora. Liniile Sitemap trebuie să fie URL-uri absolute și se aplică întregului fișier, nu unui singur grup.

Limite importante: robots.txt controlează crawlarea, nu indexarea. Un URL blocat poate apărea în continuare în rezultatele căutării dacă alte pagini fac legătura către el, doar că fără descriere. Pentru a ține o pagină în afara rezultatelor căutării, permite crawlarea și folosește în schimb un meta tag robots noindex. Fiecare gazdă și protocol are nevoie de propriul fișier, astfel că blog.example.com are nevoie de un robots.txt separat.

Exemple

Magazin care ascunde coșul și căutarea internă

Permite totul, apoi interzice /cart/, /checkout/ și /search. Adaugă Sitemap: https://example.com/sitemap.xml. Paginile de produs și de categorie rămân accesibile crawlerilor.

Site de staging

Alege „Interzice totul”. Crawlerii care respectă regulile nu vor mai accesa site-ul, dar protejează și mediul de staging cu o parolă, pentru că robots.txt este doar o cerere.

Excluderea crawlerilor de antrenare AI

Presetarea pentru crawleri AI adaugă un grup pentru GPTBot, CCBot, Google-Extended, ClaudeBot și PerplexityBot cu Disallow: /. Crawlerii de căutare, cum ar fi Googlebot, continuă să urmeze grupul *.

Întrebări frecvente

Unde plasez fișierul robots.txt?

La rădăcina gazdei, astfel încât să se încarce la https://example.com/robots.txt. Un robots.txt dintr-un subfolder este ignorat.

Va elimina Disallow o pagină din rezultatele căutării?

Nu în mod fiabil. Disallow oprește explorarea, dar URL-ul poate apărea în continuare dacă este legat din altă parte. Folosește o etichetă meta noindex sau un antet HTTP și menține pagina accesibilă crawlerului pentru ca acesta să o poată vedea.

Respectă toți roboții robots.txt?

Nu. Respectarea robots.txt este voluntară. Motoarele de căutare majore și mulți crawleri AI spun că îl respectă, dar scraperele și roboții rău intenționați îl pot ignora.

Google folosește Crawl-delay?

Nu, Google ignoră Crawl-delay. Alți crawleri, inclusiv cei ai Bing, îl citesc. Google își ajustează automat ritmul de accesare în funcție de răspunsul serverului tău.

Ar trebui să blochez fișierele CSS și JavaScript?

Nu. Motoarele de căutare redau paginile și au nevoie de acele fișiere pentru a înțelege structura și conținutul. Blocarea lor poate face ca paginile să pară defecte pentru crawleri.

Confidențialitate

Fișierul este generat în browserul dvs. Regulile și URL-urile dvs. nu sunt trimise nicăieri și nu sunt stocate.