tigtools

Robots.txt-generator

Kies wat crawlers mogen ophalen, voeg regels toe voor specifieke bots en download een geldige robots.txt voor de hoofdmap van uw site.

Werkt in je browser Geen registratie nodig

Voorinstellingen
Alle crawlers (User-agent: *)
Standaardbeleid

Elk pad moet beginnen met / of *. Gebruik $ om het einde van een URL aan te geven, bijvoorbeeld /*.pdf$.

Google negeert Crawl-delay; sommige andere crawlers houden er wel rekening mee.

Regels voor specifieke crawlers

Voegt een groep toe die GPTBot, CCBot, Google-Extended, ClaudeBot en PerplexityBot blokkeert. robots.txt naleven is vrijwillig.

robots.txt is openbaar: iedereen kan het lezen en de vermelde paden bekijken. Het vraagt alleen crawlers die zich aan de regels houden om geen pagina’s op te halen; het beschermt niets. Gebruik authenticatie voor privé-inhoud en noindex voor pagina’s die niet in zoekresultaten mogen verschijnen.

Zo gebruik je deze tool

  1. Kies het standaardbeleid voor alle crawlers en voeg eventuele paden toe die ze niet mogen ophalen, zoals /cart/ of /search.
  2. Voeg groepen toe voor specifieke crawlers als die andere regels nodig hebben, of gebruik een preset.
  3. Voeg de volledige URL van uw XML-sitemap toe.
  4. Download robots.txt en upload het naar de hoofdmap van uw site, zodat het beschikbaar is via https://your-domain/robots.txt.

Hoe het werkt

robots.txt is een tekstbestand in de hoofdmap van een host dat crawlers vertelt welke URL's ze mogen ophalen. De standaard is vastgelegd in RFC 9309. Een bestand bevat groepen: een of meer User-agent-regels, gevolgd door Allow- en Disallow-regels. Een crawler gebruikt de groep die het meest specifiek overeenkomt met zijn naam. Als er geen overeenkomst is, gebruikt de crawler de groep *; de eigen groep wordt niet gecombineerd met de groep *. Binnen een groep geldt de meest specifieke (langste) overeenkomende regel. Bij gelijke specificiteit krijgt Allow voorrang.

Paden worden vergeleken vanaf het begin van het URL-pad en zijn hoofdlettergevoelig. * komt overeen met elke reeks tekens en $ geeft het einde van de URL aan. Een lege “Disallow:” betekent dat niets wordt geblokkeerd. Regels in deze tool die niet met / of * beginnen, worden genegeerd en gemarkeerd, omdat crawlers ze ook zouden negeren. Sitemap-regels moeten absolute URL's bevatten en gelden voor het hele bestand, niet voor één groep.

Belangrijke beperkingen: robots.txt regelt het crawlen, niet de indexering. Een geblokkeerde URL kan nog steeds in zoekresultaten verschijnen als andere pagina's ernaar linken, maar dan zonder beschrijving. Als u een pagina uit zoekresultaten wilt houden, staat u crawlen toe en gebruikt u in plaats daarvan een robots-metatag met noindex. Elke host en elk protocol heeft een eigen bestand nodig. blog.example.com heeft dus een aparte robots.txt nodig.

Voorbeelden

Webshop die de winkelwagen en interne zoekfunctie verbergt

Sta alles toe en blokkeer vervolgens /cart/, /checkout/ en /search. Voeg Sitemap: https://example.com/sitemap.xml toe. Product- en categoriepagina's blijven crawlbaar.

Testomgeving

Kies ‘Alles blokkeren’. Crawlers die zich aan de regels houden, slaan de site dan over. Beveilig de testomgeving ook met een wachtwoord, want robots.txt is slechts een verzoek.

AI-trainingscrawlers uitsluiten

De preset voor AI-crawlers voegt een groep toe voor GPTBot, CCBot, Google-Extended, ClaudeBot en PerplexityBot met Disallow: /. Zoekcrawlers zoals Googlebot blijven de groep * volgen.

Veelgestelde vragen

Waar plaats ik robots.txt?

In de hoofdmap van de host, zodat het bestand beschikbaar is via https://example.com/robots.txt. Een robots.txt in een submap wordt genegeerd.

Verwijdert Disallow een pagina uit zoekresultaten?

Niet betrouwbaar. Disallow stopt het crawlen, maar de URL kan nog steeds in de zoekresultaten staan als er elders naar wordt gelinkt. Gebruik een noindex-metatag of -header en houd de pagina crawlbaar, zodat de crawler deze kan zien.

Houdt elke bot zich aan robots.txt?

Nee. Het volgen van robots.txt is vrijwillig. Grote zoekmachines en veel AI-crawlers geven aan zich eraan te houden, maar scrapers en kwaadwillende bots kunnen het negeren.

Gebruikt Google Crawl-delay?

Nee, Google negeert Crawl-delay. Sommige andere crawlers, waaronder die van Bing, lezen deze regel wel. Google past de crawlsnelheid automatisch aan op basis van de reacties van uw server.

Moet ik CSS- en JavaScript-bestanden blokkeren?

Nee. Zoekmachines renderen pagina's en hebben die bestanden nodig om de indeling en inhoud te begrijpen. Als u ze blokkeert, kunnen pagina's er voor crawlers kapot uitzien.

Privacy

Het bestand wordt in uw browser gegenereerd. Uw regels en URL's worden nergens naartoe verzonden of opgeslagen.