Slik bruker du det
- Velg standardpolicy for alle crawlere, og legg til eventuelle stier de ikke skal hente, for eksempel /cart/ eller /search.
- Legg til grupper for bestemte crawlere hvis de trenger andre regler, eller bruk en forhåndsinnstilling.
- Legg til hele URL-en til XML-sitemapet ditt.
- Last ned robots.txt og last den opp til roten av nettstedet ditt, slik at den serveres fra https://your-domain/robots.txt.
Slik fungerer det
robots.txt er en ren tekstfil i roten av en vert som forteller søkeroboter hvilke URL-er de kan hente. Den er standardisert som RFC 9309. En fil inneholder grupper: én eller flere User-agent-linjer etterfulgt av Allow- og Disallow-regler. En søkerobot bruker gruppen som samsvarer mest spesifikt med navnet sitt, og faller ellers tilbake på *-gruppen; den kombinerer ikke sin egen gruppe med *-gruppen. Innenfor en gruppe vinner den mest spesifikke (lengste) samsvarende regelen, og Allow vinner ved uavgjort.
Stier matches fra starten av URL-stien og skiller mellom store og små bokstaver. * matcher enhver sekvens av tegn, og $ markerer slutten av URL-en. En tom «Disallow:» betyr at ingenting blokkeres. Linjer i dette verktøyet som ikke starter med / eller *, ignoreres og flagges, fordi søkeroboter også ville ignorert dem. Sitemap-linjer må være absolutte URL-er og gjelder for hele filen, ikke for én gruppe.
Viktige begrensninger: robots.txt styrer gjennomsøking, ikke indeksering. En blokkert URL kan fortsatt vises i søkeresultater hvis andre sider lenker til den, bare uten beskrivelse. For å holde en side utenfor søkeresultatene, tillat gjennomsøking og bruk en noindex robots-metatag i stedet. Hver vert og protokoll trenger sin egen fil, så blog.example.com trenger en egen robots.txt.
Eksempler
Nettbutikk som skjuler handlekurv og intern søk
Tillat alt, og blokker deretter /cart/, /checkout/ og /search. Legg til Sitemap: https://example.com/sitemap.xml. Produkt- og kategorisider forblir gjennomsøkbare.
Testmiljø
Velg «Blokker alt». Veloppdragne søkeroboter hopper da over nettstedet, men beskytt testmiljøet med passord også, fordi robots.txt bare er en forespørsel.
Velge bort AI-treningsroboter
Forhåndsinnstillingen for AI-roboter legger til en gruppe for GPTBot, CCBot, Google-Extended, ClaudeBot og PerplexityBot med Disallow: /. Søkeroboter som Googlebot fortsetter å følge *-gruppen.
Ofte stilte spørsmål
Hvor plasserer jeg robots.txt?
I roten av verten, slik at den lastes fra https://example.com/robots.txt. En robots.txt i en undermappe ignoreres.
Vil Disallow fjerne en side fra søkeresultatene?
Ikke pålitelig. Disallow stopper gjennomsøkingen, men URL-en kan fortsatt bli oppført hvis den lenkes fra andre steder. Bruk en noindex-metatagg eller -header, og hold siden gjennomsøkbar slik at søkeroboten kan se den.
Følger alle roboter robots.txt?
Nei. Det er frivillig å følge robots.txt. Store søkemotorer og mange AI-crawlere oppgir at de respekterer den, men skrapere og ondsinnede roboter kan ignorere den.
Bruker Google Crawl-delay?
Nei, Google ignorerer Crawl-delay. Noen andre crawlere, inkludert Bings søkerobot, leser den. Google justerer gjennomsøkingshastigheten automatisk basert på hvordan serveren din svarer.
Bør jeg blokkere CSS- og JavaScript-filer?
Nei. Søkemotorer gjengir sider og trenger disse filene for å forstå layout og innhold. Å blokkere dem kan få sider til å se ødelagte ut for crawlere.
Personvern
Filen genereres i nettleseren din. Reglene og URL-ene dine blir ikke sendt noe sted eller lagret.