tigtools

Generátor robots.txt

Zvolte, co mohou prohledávače stahovat, přidejte pravidla pro konkrétní boty a stáhněte platný soubor robots.txt pro kořen vašeho webu.

Běží ve vašem prohlížeči Bez registrace

Předvolby
Všichni prohledávači (User-agent: *)
Výchozí pravidla

Každá cesta musí začínat znakem / nebo *. Pomocí $ označíte konec URL, například /*.pdf$.

Google hodnotu Crawl-delay ignoruje; některé jiné prohledávače ji respektují.

Pravidla pro konkrétní prohledávače

Přidá skupinu, která zakazuje GPTBot, CCBot, Google-Extended, ClaudeBot a PerplexityBot. Dodržování robots.txt je dobrovolné.

robots.txt je veřejný: kdokoli si ho může přečíst a může odhalit cesty, které uvedete. Pouze žádá slušné crawlery, aby stránky nestahovaly; nic nechrání. Soukromý obsah chraňte ověřením a stránky, které se nemají objevit ve výsledcích vyhledávání, označte noindex.

Jak používat

  1. Zvolte výchozí zásadu pro všechny prohledávače a přidejte cesty, které by neměly stahovat, například /cart/ nebo /search.
  2. Přidejte skupiny pro konkrétní prohledávače, pokud potřebují odlišná pravidla, nebo použijte předvolbu.
  3. Přidejte úplnou adresu URL vašeho XML souboru sitemap.
  4. Stáhněte soubor robots.txt a nahrajte jej do kořenového adresáře vašeho webu, aby byl dostupný na adrese https://your-domain/robots.txt.

Jak to funguje

robots.txt je prostý textový soubor umístěný v kořeni hostitele, který prohledávačům říká, které adresy URL smějí načítat. Je standardizován jako RFC 9309. Soubor obsahuje skupiny: jeden nebo více řádků User-agent, za nimiž následují pravidla Allow a Disallow. Prohledávač použije skupinu, která nejpřesněji odpovídá jeho názvu, a jinak se uchýlí ke skupině *; vlastní skupinu se skupinou * nekombinuje. V rámci skupiny vyhrává nejkonkrétnější (nejdelší) odpovídající pravidlo a při shodě vyhrává Allow.

Cesty se porovnávají od začátku cesty URL a rozlišují se malá a velká písmena. * odpovídá libovolné posloupnosti znaků a $ označuje konec URL. Prázdný řádek „Disallow:“ znamená, že nic není blokováno. Řádky v tomto nástroji, které nezačínají znakem / nebo *, jsou ignorovány a označeny, protože by je prohledávače také ignorovaly. Řádky Sitemap musí být absolutní URL a vztahují se k celému souboru, ne k jedné skupině.

Důležitá omezení: robots.txt řídí procházení, nikoli indexaci. Blokovaná URL se přesto může objevit ve výsledcích vyhledávání, pokud na ni odkazují jiné stránky, jen bez popisku. Chcete-li stránku z výsledků vyhledávání vynechat, povolte procházení a místo toho použijte meta tag robots noindex. Každý hostitel a protokol potřebuje vlastní soubor, takže blog.example.com potřebuje samostatný robots.txt.

Příklady

Obchod, který skrývá košík a interní vyhledávání

Povolte vše a poté zakažte /cart/, /checkout/ a /search. Přidejte řádek Sitemap: https://example.com/sitemap.xml. Stránky produktů a kategorií zůstanou přístupné pro prohledávače.

Testovací web

Zvolte možnost „Zakázat vše“. Slušné prohledávače pak web přeskočí, ale staging přesto chraňte heslem, protože robots.txt je pouze žádost.

Odhlášení od prohledávačů pro trénování AI

Předvolba AI prohledávačů přidá skupinu pro GPTBot, CCBot, Google-Extended, ClaudeBot a PerplexityBot s Disallow: /. Vyhledávací prohledávače, jako je Googlebot, se nadále řídí skupinou *.

Časté dotazy

Kam mám umístit soubor robots.txt?

V kořeni hostitele, takže se načítá z adresy https://example.com/robots.txt. Soubor robots.txt v podsložce je ignorován.

Odstraní Disallow stránku z výsledků vyhledávání?

Ne spolehlivě. Disallow zastaví procházení, ale URL může být stále uvedeno, pokud je odkazováno odjinud. Použijte meta značku noindex nebo hlavičku a ponechte stránku procházetelnou, aby ji prohledávač mohl vidět.

Poslouchá každý bot soubor robots.txt?

Ne. Dodržování souboru robots.txt je dobrovolné. Hlavní vyhledávače a mnoho AI prohledávačů uvádějí, že jej respektují, ale scrapers a škodliví boti jej mohou ignorovat.

Používá Google Crawl-delay?

Ne, Google ignoruje Crawl-delay. Některé další prohledávače, včetně Bingu, jej čtou. Google automaticky upravuje rychlost procházení na základě odezvy vašeho serveru.

Mám blokovat soubory CSS a JavaScript?

Ne. Vyhledávače vykreslují stránky a potřebují tyto soubory k pochopení rozvržení a obsahu. Jejich blokování může způsobit, že stránky budou pro prohledávače vypadat rozbitě.

Soukromí

Soubor je generován ve vašem prohlížeči. Vaše pravidla a adresy URL nejsou nikam odesílány ani ukládány.