Anleitung
- Wählen Sie die Standardregel für alle Crawler und fügen Sie Pfade hinzu, die sie nicht abrufen sollen, etwa /cart/ oder /search.
- Fügen Sie Gruppen für bestimmte Crawler hinzu, wenn für sie andere Regeln gelten sollen, oder verwenden Sie eine Voreinstellung.
- Fügen Sie die vollständige URL Ihrer XML-Sitemap hinzu.
- Laden Sie robots.txt herunter und speichern Sie die Datei im Stammverzeichnis Ihrer Website, damit sie unter https://your-domain/robots.txt erreichbar ist.
So funktioniert es
robots.txt ist eine reine Textdatei im Stammverzeichnis eines Hosts. Sie teilt Crawlern mit, welche URLs sie abrufen dürfen. Der Standard ist in RFC 9309 festgelegt. Eine Datei enthält Gruppen: eine oder mehrere User-agent-Zeilen, gefolgt von Allow- und Disallow-Regeln. Ein Crawler verwendet die Gruppe, deren Name am genauesten zu seinem eigenen passt. Gibt es keine passende Gruppe, greift er auf die *-Gruppe zurück. Die eigene Gruppe wird nicht mit der *-Gruppe kombiniert. Innerhalb einer Gruppe gilt die genaueste (längste) passende Regel; bei Gleichstand hat Allow Vorrang.
Pfade werden vom Anfang des URL-Pfads an abgeglichen. Dabei wird zwischen Groß- und Kleinschreibung unterschieden. * steht für eine beliebige Zeichenfolge und $ markiert das Ende der URL. Ein leeres „Disallow:“ bedeutet, dass nichts gesperrt ist. Zeilen in diesem Tool, die nicht mit / oder * beginnen, werden ignoriert und markiert, da Crawler sie ebenfalls ignorieren würden. Sitemap-Zeilen müssen absolute URLs enthalten und gelten für die gesamte Datei, nicht nur für eine Gruppe.
Wichtige Einschränkungen: robots.txt steuert das Crawling, nicht die Indexierung. Eine gesperrte URL kann trotzdem in Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken – allerdings ohne Beschreibung. Damit eine Seite nicht in Suchergebnissen erscheint, erlauben Sie das Crawling und verwenden Sie stattdessen ein noindex-Robots-Meta-Tag. Jeder Host und jedes Protokoll benötigt eine eigene Datei. blog.example.com braucht also eine separate robots.txt.
Beispiele
Shop, der Warenkorb und interne Suche sperrt
Erlauben Sie alles und sperren Sie dann /cart/, /checkout/ und /search. Fügen Sie Sitemap: https://example.com/sitemap.xml hinzu. Produkt- und Kategorieseiten bleiben crawlbar.
Staging-Website
Wählen Sie „Alles sperren“. Seriöse Crawler meiden dann die Website. Schützen Sie die Staging-Umgebung trotzdem zusätzlich mit einem Passwort, denn robots.txt ist nur eine Aufforderung.
KI-Trainingscrawler ausschließen
Die Voreinstellung für KI-Crawler fügt eine Gruppe für GPTBot, CCBot, Google-Extended, ClaudeBot und PerplexityBot mit Disallow: / hinzu. Suchmaschinen-Crawler wie Googlebot folgen weiterhin der *-Gruppe.
Häufig gestellte Fragen
Wo lege ich robots.txt ab?
Im Stammverzeichnis des Hosts, sodass die Datei unter https://example.com/robots.txt erreichbar ist. Eine robots.txt in einem Unterordner wird ignoriert.
Entfernt Disallow eine Seite aus den Suchergebnissen?
Nicht zuverlässig. Disallow verhindert das Crawling, aber die URL kann weiterhin aufgeführt werden, wenn von anderer Stelle auf sie verlinkt wird. Verwenden Sie ein noindex-Meta-Tag oder einen entsprechenden Header und lassen Sie das Crawling der Seite zu, damit der Crawler das Tag sehen kann.
Hält sich jeder Bot an robots.txt?
Nein. Die Einhaltung von robots.txt ist freiwillig. Große Suchmaschinen und viele KI-Crawler geben an, die Datei zu beachten. Scraper und bösartige Bots können sie jedoch ignorieren.
Verwendet Google Crawl-delay?
Nein, Google ignoriert Crawl-delay. Einige andere Crawler, darunter Bing, berücksichtigen die Angabe. Google passt seine Crawling-Rate automatisch daran an, wie Ihr Server reagiert.
Sollte ich CSS- und JavaScript-Dateien sperren?
Nein. Suchmaschinen rendern Seiten und benötigen diese Dateien, um Layout und Inhalt zu verstehen. Wenn Sie sie sperren, können Seiten für Crawler fehlerhaft aussehen.
Datenschutz
Die Datei wird in Ihrem Browser erstellt. Ihre Regeln und URLs werden weder übertragen noch gespeichert.