Használata
- Válassza ki az alapértelmezett irányelvet az összes robot számára, és adja meg azokat az elérési útvonalakat, amelyeket nem kérhetnek le, például /cart/ vagy /search.
- Adjon hozzá csoportokat adott robotokhoz, ha eltérő szabályokra van szükségük, vagy használjon egy előbeállítást.
- Adja meg az XML-webhelytérkép teljes URL-jét.
- Töltse le a robots.txt fájlt, és töltse fel a webhely gyökérkönyvtárába, hogy a https://your-domain/robots.txt címen legyen elérhető.
Hogyan működik
robots.txt egy egyszerű szövegfájl a kiszolgáló gyökerében, amely megmondja a webrobotoknak, mely URL-eket kérhetik le. A szabványt az RFC 9309 írja le. A fájl csoportokat tartalmaz: egy vagy több User-agent sor, amelyet Allow és Disallow szabályok követnek. A webrobot azt a csoportot használja, amely a nevére a legpontosabban illeszkedik, egyébként a * csoportra esik vissza; nem vonja össze a saját csoportját a * csoporttal. Egy csoporton belül a legpontosabb (leghosszabb) illeszkedő szabály érvényesül, döntetlen esetén pedig az Allow nyer.
Az útvonalak illesztése az URL-útvonal elejétől történik, és kis- és nagybetűérzékeny. A * tetszőleges karaktersorozatot jelöl, a $ pedig az URL végét. Az üres „Disallow:” azt jelenti, hogy semmi nincs letiltva. Az eszközben azok a sorok, amelyek nem / vagy * karakterrel kezdődnek, figyelmen kívül maradnak és jelzést kapnak, mert a webrobotok is figyelmen kívül hagynák őket. A Sitemap soroknak abszolút URL-eknek kell lenniük, és az egész fájlra vonatkoznak, nem egy csoportra.
Fontos korlátok: a robots.txt a letöltést szabályozza, nem az indexelést. A letiltott URL akkor is megjelenhet a keresési találatok között, ha más oldalak hivatkoznak rá, csak leírás nélkül. Ha egy oldalt ki szeretnél zárni a keresési találatokból, engedélyezd a letöltést, és használj helyette noindex robots meta címkét. Minden kiszolgálóhoz és protokollhoz külön fájl tartozik, tehát a blog.example.com külön robots.txt fájlt igényel.
Példák
Webáruház, amely elrejti a kosarat és a belső keresést
Engedélyezz mindent, majd tiltsd le a /cart/, /checkout/ és /search útvonalakat. Vedd fel a Sitemap: https://example.com/sitemap.xml sort. A termék- és kategóriaoldalak továbbra is letölthetők maradnak.
Tesztkörnyezet
Válaszd a „Minden tiltása” lehetőséget. A jól viselkedő webrobotok ezután kihagyják az oldalt, de a tesztkörnyezetet jelszóval is védd, mert a robots.txt csak egy kérés.
Kimaradás az AI-betanító webrobotokból
Az AI-webrobot előbeállítás egy csoportot ad hozzá a GPTBot, CCBot, Google-Extended, ClaudeBot és PerplexityBot számára a Disallow: / szabállyal. A keresőrobotok, például a Googlebot továbbra is a * csoportot követik.
Gyakori kérdések
Hová tegyem a robots.txt fájlt?
A kiszolgáló gyökérkönyvtárába, így a https://example.com/robots.txt címen érhető el. Az alkönyvtárban elhelyezett robots.txt fájl figyelmen kívül marad.
A Disallow eltávolítja az oldalt a keresési találatokból?
Nem megbízhatóan. A Disallow leállítja a feltérképezést, de az URL így is megjelenhet a találatokban, ha más oldal hivatkozik rá. Használjon noindex meta taget vagy fejlécet, és hagyja az oldalt feltérképezhetőnek, hogy a robot láthassa.
Minden bot betartja a robots.txt-t?
Nem. A robots.txt betartása önkéntes. A nagy keresőmotorok és sok AI-robot azt állítják, hogy tiszteletben tartják, de a scraperek és a rosszindulatú botok figyelmen kívül hagyhatják.
Használja a Google a Crawl-delay-t?
Nem, a Google figyelmen kívül hagyja a Crawl-delay-t. Néhány más robot, köztük a Bingé, figyelembe veszi. A Google a szerver válaszai alapján automatikusan módosítja a feltérképezési ütemet.
Le kell tiltani a CSS- és JavaScript-fájlokat?
Nem. A keresőmotorok renderelik az oldalakat, és szükségük van ezekre a fájlokra az elrendezés és a tartalom megértéséhez. A letiltásuk miatt az oldalak töröttnek tűnhetnek a robotok számára.
Adatvédelem
A fájl a böngészőjében jön létre. A szabályokat és URL-eket nem küldjük el sehová, és nem tároljuk.