tigtools

Robots.txt-generator

Välj vad sökrobotar får hämta, lägg till regler för specifika botar och ladda ned en giltig robots.txt för webbplatsens rot.

Körs i din webbläsare Ingen registrering

Förinställningar
Alla sökrobotar (User-agent: *)
Standardpolicy

Varje sökväg måste börja med / eller *. Använd $ för att matcha slutet av en URL, till exempel /*.pdf$.

Google ignorerar Crawl-delay; vissa andra sökrobotar respekterar den.

Regler för specifika sökrobotar

Lägger till en grupp som blockerar GPTBot, CCBot, Google-Extended, ClaudeBot och PerplexityBot. Efterlevnad av robots.txt är frivillig.

robots.txt är offentlig: vem som helst kan läsa den, och den kan avslöja sökvägarna du anger. Den ber bara välartade sökrobotar att inte hämta sidor; den skyddar ingenting. Använd autentisering för privat innehåll och noindex för sidor som ska hållas borta från sökresultat.

Så här använder du det

  1. Välj standardpolicyn för alla sökrobotar och lägg till eventuella sökvägar de inte ska hämta, till exempel /cart/ eller /search.
  2. Lägg till grupper för specifika sökrobotar om de behöver andra regler, eller använd en förinställning.
  3. Lägg till hela URL:en för din XML-sitemap.
  4. Ladda ned robots.txt och ladda upp den i webbplatsens rot, så att den visas på https://your-domain/robots.txt.

Så fungerar det

robots.txt är en vanlig textfil i roten av en värd som talar om för sökrobotar vilka URL:er de får hämta. Den är standardiserad som RFC 9309. En fil innehåller grupper: en eller flera User-agent-rader följt av Allow- och Disallow-regler. En sökrobot använder den grupp som matchar dess namn mest specifikt och faller annars tillbaka på *-gruppen; den kombinerar inte sin egen grupp med *-gruppen. Inom en grupp vinner den mest specifika (längsta) matchande regeln, och Allow vinner vid oavgjort.

Sökvägar matchas från början av URL-sökvägen och är skiftlägeskänsliga. * matchar valfri teckensekvens och $ markerar slutet av URL:en. En tom ”Disallow:” betyder att inget blockeras. Rader i detta verktyg som inte börjar med / eller * ignoreras och markeras, eftersom sökrobotar också skulle ignorera dem. Sitemap-rader måste vara absoluta URL:er och gäller för hela filen, inte för en grupp.

Viktiga begränsningar: robots.txt styr genomsökning, inte indexering. En blockerad URL kan fortfarande visas i sökresultat om andra sidor länkar till den, dock utan beskrivning. För att hålla en sida borta från sökresultat, tillåt genomsökning och använd istället en noindex robots-metatagg. Varje värd och protokoll behöver sin egen fil, så blog.example.com behöver en separat robots.txt.

Exempel

Butik som döljer kundvagn och intern sökning

Tillåt allt, blockera sedan /cart/, /checkout/ och /search. Lägg till Sitemap: https://example.com/sitemap.xml. Produkt- och kategorisidor förblir genomsökbara.

Staging-webbplats

Välj ”Blockera allt”. Väluppfostrade sökrobotar hoppar då över webbplatsen, men skydda även staging med ett lösenord, eftersom robots.txt bara är en begäran.

Välja bort AI-träningssökrobotar

Förinställningen för AI-sökrobotar lägger till en grupp för GPTBot, CCBot, Google-Extended, ClaudeBot och PerplexityBot med Disallow: /. Sökrobotar som Googlebot fortsätter att följa *-gruppen.

Vanliga frågor

Var placerar jag robots.txt?

I roten av värden, så den laddas på https://example.com/robots.txt. En robots.txt i en undermapp ignoreras.

Tar Disallow bort en sida från sökresultaten?

Inte på ett tillförlitligt sätt. Disallow stoppar genomsökningen, men URL:en kan ändå listas om den länkas från annat håll. Använd en noindex-metatagg eller header och håll sidan genomsökbar så att sökroboten kan se den.

Följer alla botar robots.txt?

Nej. Att följa robots.txt är frivilligt. Stora sökmotorer och många AI-sökrobotar uppger att de respekterar den, men webbskrapor och skadliga botar kan ignorera den.

Använder Google Crawl-delay?

Nej, Google ignorerar Crawl-delay. En del andra sökrobotar, däribland Bings, läser den. Google justerar genomsökningshastigheten automatiskt utifrån hur din server svarar.

Bör jag blockera CSS- och JavaScript-filer?

Nej. Sökmotorer renderar sidor och behöver dessa filer för att förstå layouten och innehållet. Om du blockerar dem kan sidorna se trasiga ut för sökroboten.

Integritet

Filen skapas i din webbläsare. Dina regler och URL:er skickas inte någonstans eller lagras.