tigtools

Robots.txt-generaattori

Valitse, mitä hakurobotit saavat hakea, lisää sääntöjä tietyille boteille ja lataa kelvollinen robots.txt sivustosi juureen.

Toimii selaimessasi Ei rekisteröitymistä

Esiasetukset
Kaikki robotit (User-agent: *)
Oletuskäytäntö

Jokaisen polun on alettava merkillä / tai *. Käytä $-merkkiä URL-osoitteen lopun täsmäämiseen, esimerkiksi /*.pdf$.

Google ei huomioi Crawl-delay-arvoa; jotkin muut robotit noudattavat sitä.

Tiettyjen robottien säännöt

Lisää ryhmän, joka estää seuraavat robotit: GPTBot, CCBot, Google-Extended, ClaudeBot ja PerplexityBot. robots.txt-tiedoston noudattaminen on vapaaehtoista.

robots.txt on julkinen: kuka tahansa voi lukea sen, ja se voi paljastaa luettelemasi polut. Se vain pyytää hyvin käyttäytyviä hakurobotteja olemaan hakematta sivuja; se ei suojaa mitään. Käytä todennusta yksityiselle sisällölle ja noindex-merkintää sivuille, jotka eivät saa näkyä hakutuloksissa.

Käyttöohje

  1. Valitse oletuskäytäntö kaikille hakuroboteille ja lisää polut, joita ne eivät saa hakea, kuten /cart/ tai /search.
  2. Lisää ryhmiä tietyille hakuroboteille, jos ne tarvitsevat erilaisia sääntöjä, tai käytä esiasetusta.
  3. Lisää XML-sivustokartan koko URL-osoite.
  4. Lataa robots.txt ja siirrä se sivustosi juureen, jotta se tarjotaan osoitteessa https://your-domain/robots.txt.

Näin se toimii

robots.txt on isäntäpalvelimen juuressa oleva tavallinen tekstitiedosto, joka kertoo indeksoijille, mitkä URL-osoitteet ne saavat hakea. Se on standardoitu RFC 9309:ssä. Tiedosto koostuu ryhmistä: yksi tai useampi User-agent-rivi, jota seuraa Allow- ja Disallow-säännöt. Indeksoija käyttää ryhmää, joka vastaa sen nimeä tarkimmin, ja muuten *-ryhmää; se ei yhdistä omaa ryhmäänsä *-ryhmään. Ryhmän sisällä tarkin (pisin) vastaava sääntö voittaa, ja tasatilanteessa Allow voittaa.

Polut täsmätään URL-polun alusta ja ne ovat kirjainkoosta riippuvia. * vastaa mitä tahansa merkkijonoa ja $ merkitsee URL:n loppua. Tyhjä ”Disallow:” tarkoittaa, ettei mitään ole estetty. Tässä työkalussa rivit, jotka eivät ala merkillä / tai *, ohitetaan ja merkitään, koska indeksoijatkin ohittaisivat ne. Sitemap-rivien on oltava absoluuttisia URL-osoitteita ja ne koskevat koko tiedostoa, eivät yhtä ryhmää.

Tärkeät rajoitukset: robots.txt ohjaa indeksointia, ei hakemistoon lisäämistä. Estetty URL voi silti näkyä hakutuloksissa, jos muut sivut linkittävät siihen, mutta ilman kuvausta. Jos haluat pitää sivun pois hakutuloksista, salli indeksointi ja käytä sen sijaan noindex robots -metatunnistetta. Jokainen isäntä ja protokolla tarvitsee oman tiedoston, joten blog.example.com tarvitsee erillisen robots.txt-tiedoston.

Esimerkit

Verkkokauppa, joka piilottaa ostoskorin ja sisäisen haun

Salli kaikki ja estä sitten /cart/, /checkout/ ja /search. Lisää Sitemap: https://example.com/sitemap.xml. Tuote- ja kategoriasivut pysyvät indeksoitavina.

Staging-sivusto

Valitse ”Estä kaikki”. Hyvin toimivat indeksoijat jättävät sivuston tällöin väliin, mutta suojaa staging myös salasanalla, koska robots.txt on vain pyyntö.

Kieltäytyminen tekoälyn koulutusindeksoijista

Tekoälyindeksoijien esiasetus lisää ryhmän boteille GPTBot, CCBot, Google-Extended, ClaudeBot ja PerplexityBot säännöllä Disallow: /. Hakurobotit, kuten Googlebot, noudattavat edelleen *-ryhmää.

Usein kysytyt kysymykset

Minne robots.txt sijoitetaan?

Isännän juureen, jotta se latautuu osoitteesta https://example.com/robots.txt. Alikansiossa oleva robots.txt ohitetaan.

Poistaako Disallow sivun hakutuloksista?

Ei luotettavasti. Disallow estää hakemisen, mutta URL voi silti näkyä hakutuloksissa, jos siihen linkitetään muualta. Käytä noindex-meta-tagia tai -otsaketta ja pidä sivu haettavana, jotta hakurobotti näkee sen.

Noudattavatko kaikki botit robots.txt-tiedostoa?

Ei. robots.txt-tiedoston noudattaminen on vapaaehtoista. Suuret hakukoneet ja monet tekoälybotit kertovat noudattavansa sitä, mutta scraperit ja haitalliset botit voivat jättää sen huomiotta.

Käyttääkö Google Crawl-delay-arvoa?

Ei, Google jättää Crawl-delay-määrityksen huomiotta. Jotkin muut hakurobotit, kuten Bingin, lukevat sen. Google säätää hakunopeutensa automaattisesti palvelimesi vastausten perusteella.

Pitäisikö CSS- ja JavaScript-tiedostot estää?

Ei. Hakukoneet renderöivät sivut ja tarvitsevat näitä tiedostoja ymmärtääkseen asettelun ja sisällön. Estäminen voi saada sivut näyttämään rikkinäisiltä hakuroboteille.

Tietosuoja

Tiedosto luodaan selaimessasi. Sääntöjäsi ja URL-osoitteitasi ei lähetetä minnekään eikä tallenneta.