Sådan bruger du det
- Vælg standardpolitikken for alle crawlere, og tilføj eventuelle stier, de ikke skal hente, f.eks. /cart/ eller /search.
- Tilføj grupper for bestemte crawlere, hvis de har brug for andre regler, eller brug en forudindstilling.
- Tilføj den fulde URL til dit XML-sitemap.
- Download robots.txt, og upload den til roden af dit website, så den serveres på https://your-domain/robots.txt.
Sådan fungerer det
robots.txt er en almindelig tekstfil i roden af en vært, der fortæller crawlere, hvilke URL'er de må hente. Den er standardiseret som RFC 9309. En fil indeholder grupper: en eller flere User-agent-linjer efterfulgt af Allow- og Disallow-regler. En crawler bruger den gruppe, der matcher dens navn mest specifikt, og falder ellers tilbage til *-gruppen; den kombinerer ikke sin egen gruppe med *-gruppen. Inden for en gruppe vinder den mest specifikke (længste) matchende regel, og Allow vinder ved uafgjort.
Stier matches fra starten af URL-stien og skelner mellem store og små bogstaver. * matcher en hvilken som helst sekvens af tegn, og $ markerer slutningen af URL'en. En tom “Disallow:” betyder, at intet er blokeret. Linjer i dette værktøj, der ikke starter med / eller *, ignoreres og markeres, fordi crawlere også ville ignorere dem. Sitemap-linjer skal være absolutte URL'er og gælder for hele filen, ikke for én gruppe.
Vigtige begrænsninger: robots.txt styrer crawling, ikke indeksering. En blokeret URL kan stadig optræde i søgeresultater, hvis andre sider linker til den, blot uden beskrivelse. For at holde en side ude af søgeresultaterne skal du tillade crawling og i stedet bruge et noindex robots-metatag. Hver vært og protokol skal have sin egen fil, så blog.example.com har brug for en separat robots.txt.
Eksempler
Butik, der skjuler indkøbskurv og intern søgning
Tillad alt, og afvis derefter /cart/, /checkout/ og /search. Tilføj Sitemap: https://example.com/sitemap.xml. Produkt- og kategorisider forbliver crawlbare.
Stagingwebsted
Vælg “Afvis alt”. Velopdragne crawlere springer derefter webstedet over, men beskyt også staging med en adgangskode, fordi robots.txt kun er en anmodning.
Fravalg af AI-træningscrawlere
Forudindstillingen for AI-crawlere tilføjer en gruppe for GPTBot, CCBot, Google-Extended, ClaudeBot og PerplexityBot med Disallow: /. Søgecrawlere som Googlebot følger fortsat *-gruppen.
Ofte stillede spørgsmål
Hvor placerer jeg robots.txt?
I rodmappen på værten, så den indlæses på https://example.com/robots.txt. En robots.txt i en undermappe ignoreres.
Fjerner Disallow en side fra søgeresultaterne?
Ikke pålideligt. Disallow forhindrer crawling, men URL'en kan stadig blive vist, hvis den linkes til fra andre steder. Brug et noindex-metatag eller -header, og hold siden crawlbar, så crawleren kan se den.
Overholder alle bots robots.txt?
Nej. Overholdelse af robots.txt er frivillig. Store søgemaskiner og mange AI-crawlere oplyser, at de respekterer den, men scrapere og ondsindede bots kan ignorere den.
Bruger Google Crawl-delay?
Nej, Google ignorerer Crawl-delay. Nogle andre crawlere, herunder Bings, læser den. Google justerer automatisk sin crawl-hastighed ud fra, hvordan din server reagerer.
Skal jeg blokere CSS- og JavaScript-filer?
Nej. Søgemaskiner renderer sider og har brug for disse filer for at forstå layoutet og indholdet. Blokering af dem kan få sider til at se ødelagte ud for crawlere.
Privatliv
Filen genereres i din browser. Dine regler og URL'er sendes ikke nogen steder hen og gemmes ikke.