tigtools

Generator robots.txt

Określ, co roboty mogą pobierać, dodaj reguły dla konkretnych botów i pobierz prawidłowy plik robots.txt do katalogu głównego witryny.

Działa w przeglądarce Bez rejestracji

Gotowe zestawy
Wszystkie roboty (User-agent: *)
Domyślna reguła

Każda ścieżka musi zaczynać się od / lub *. Użyj $, aby dopasować koniec adresu URL, na przykład /*.pdf$.

Google ignoruje Crawl-delay; niektóre inne roboty go uwzględniają.

Reguły dla wybranych robotów

Dodaje grupę blokującą GPTBot, CCBot, Google-Extended, ClaudeBot i PerplexityBot. Przestrzeganie reguł robots.txt jest dobrowolne.

Plik robots.txt jest publiczny: każdy może go odczytać, a wymienione w nim ścieżki mogą zostać ujawnione. Prosi on jedynie roboty przestrzegające zasad, aby nie pobierały stron — niczego nie zabezpiecza. Dostęp do prywatnych treści chroń uwierzytelnianiem, a strony, które nie powinny pojawiać się w wynikach wyszukiwania, oznacz jako noindex.

Jak używać

  1. Wybierz domyślne zasady dla wszystkich robotów i dodaj ścieżki, których nie powinny pobierać, takie jak /cart/ lub /search.
  2. Dodaj grupy dla konkretnych robotów, jeśli wymagają innych reguł, lub skorzystaj z gotowego zestawu.
  3. Dodaj pełny adres URL mapy witryny XML.
  4. Pobierz plik robots.txt i prześlij go do katalogu głównego witryny, aby był dostępny pod adresem https://your-domain/robots.txt.

Jak to działa

robots.txt to zwykły plik tekstowy umieszczany w katalogu głównym hosta. Informuje roboty, które adresy URL mogą pobierać. Jego standard określa RFC 9309. Plik zawiera grupy: jeden lub więcej wierszy User-agent, po których następują reguły Allow i Disallow. Robot wybiera grupę, która najdokładniej pasuje do jego nazwy, a jeśli takiej nie ma, korzysta z grupy *. Nie łączy własnej grupy z grupą * . W obrębie grupy wygrywa reguła o najbardziej szczegółowym (najdłuższym) pasującym wzorcu, a przy remisie pierwszeństwo ma Allow.

Ścieżki są dopasowywane od początku ścieżki URL, a wielkość liter ma znaczenie. * dopasowuje dowolny ciąg znaków, a $ oznacza koniec URL. Puste „Disallow:” oznacza, że nic nie jest blokowane. Wiersze w tym narzędziu, które nie zaczynają się od / ani *, są ignorowane i oznaczane, ponieważ roboty również je zignorują. Wiersze Sitemap muszą zawierać bezwzględne adresy URL i dotyczą całego pliku, a nie pojedynczej grupy.

Ważne ograniczenia: robots.txt kontroluje indeksowanie przez roboty, a nie obecność stron w indeksie. Zablokowany adres URL nadal może pojawić się w wynikach wyszukiwania, jeśli prowadzą do niego linki z innych stron — po prostu bez opisu. Aby wykluczyć stronę z wyników wyszukiwania, zezwól na jej pobieranie i użyj tagu meta robots noindex. Każdy host i protokół wymagają osobnego pliku, więc blog.example.com potrzebuje własnego pliku robots.txt.

Przykłady

Sklep ukrywający koszyk i wyszukiwanie wewnętrzne

Zezwól na pobieranie wszystkiego, a następnie zablokuj ścieżki /cart/, /checkout/ i /search. Dodaj Sitemap: https://example.com/sitemap.xml. Strony produktów i kategorii pozostaną dostępne dla robotów.

Witryna testowa

Wybierz „Zablokuj wszystko”. Roboty przestrzegające zasad pominą wtedy witrynę, ale zabezpiecz środowisko testowe także hasłem, ponieważ robots.txt zawiera jedynie prośbę.

Wykluczenie robotów szkolących modele AI

Gotowy zestaw dla robotów AI dodaje grupę dla GPTBot, CCBot, Google-Extended, ClaudeBot i PerplexityBot z regułą Disallow: /. Roboty wyszukiwarek, takie jak Googlebot, nadal stosują grupę *.

Często zadawane pytania

Gdzie umieścić plik robots.txt?

W katalogu głównym hosta, aby plik był dostępny pod adresem https://example.com/robots.txt. Plik robots.txt w podkatalogu jest ignorowany.

Czy Disallow usunie stronę z wyników wyszukiwania?

Nie zawsze. Disallow blokuje pobieranie, ale adres URL może nadal pojawiać się w wynikach, jeśli prowadzą do niego linki z innych miejsc. Użyj tagu meta lub nagłówka noindex i zezwól na pobieranie strony, aby robot mógł go odczytać.

Czy każdy bot przestrzega robots.txt?

Nie. Przestrzeganie robots.txt jest dobrowolne. Główne wyszukiwarki i wiele robotów AI deklarują, że respektują te zasady, ale programy pobierające dane i złośliwe boty mogą je ignorować.

Czy Google stosuje Crawl-delay?

Nie, Google ignoruje Crawl-delay. Niektóre inne roboty, w tym robot Bing, go uwzględniają. Google automatycznie dostosowuje częstotliwość indeksowania do reakcji serwera.

Czy blokować pliki CSS i JavaScript?

Nie. Wyszukiwarki renderują strony i potrzebują tych plików, aby rozpoznać ich układ i treść. Zablokowanie ich może sprawić, że strona będzie wyglądać na uszkodzoną dla robotów.

Prywatność

Plik jest generowany w przeglądarce. Twoje reguły i adresy URL nie są nigdzie wysyłane ani zapisywane.