tigtools

Генератор robots.txt

Виберіть, що сканувальники можуть запитувати, додайте правила для окремих ботів і завантажте коректний robots.txt для кореня сайту.

Працює у вашому браузері Без реєстрації

Готові шаблони
Усі сканувальники (User-agent: *)
Правило за замовчуванням

Кожен шлях має починатися з / або *. Щоб відповідати кінцю URL, додайте $, наприклад /*.pdf$.

Google ігнорує Crawl-delay; деякі інші сканувальники його враховують.

Правила для окремих сканерів

Додає групу, яка забороняє доступ GPTBot, CCBot, Google-Extended, ClaudeBot і PerplexityBot. Дотримання правил robots.txt є добровільним.

robots.txt є загальнодоступним: його може прочитати будь-хто, і в ньому можуть бути видимі зазначені вами шляхи. Він лише просить сумлінні сканери не завантажувати сторінки й нічого не захищає. Для приватного вмісту використовуйте автентифікацію, а для сторінок, які не мають з’являтися в результатах пошуку, — noindex.

Як користуватися

  1. Виберіть стандартну політику для всіх сканувальників і додайте шляхи, які їм не слід запитувати, наприклад /cart/ або /search.
  2. Додайте групи для окремих сканувальників, якщо для них потрібні інші правила, або скористайтеся готовим набором.
  3. Додайте повний URL вашої XML-карти сайту.
  4. Завантажте robots.txt і розмістіть його в корені сайту, щоб він був доступний за адресою https://your-domain/robots.txt.

Як це працює

robots.txt — це звичайний текстовий файл у корені хоста, який вказує сканувальникам, які URL вони можуть запитувати. Його стандартизовано в RFC 9309. Файл містить групи: один або кілька рядків User-agent, за якими йдуть правила Allow і Disallow. Сканувальник використовує групу, яка найточніше відповідає його назві, а якщо такої немає — групу *; власну групу із групою * він не об’єднує. У межах групи перемагає правило з найточнішим збігом (найдовше), а за однакового збігу — Allow.

Шляхи порівнюються від початку шляху URL з урахуванням регістру. * відповідає будь-якій послідовності символів, а $ позначає кінець URL. Порожній рядок «Disallow:» не блокує нічого. Рядки в цьому інструменті, які не починаються з / або *, ігноруються та позначаються, оскільки сканувальники також їх ігноруватимуть. Рядки Sitemap мають містити абсолютні URL і стосуються всього файлу, а не окремої групи.

Важливі обмеження: robots.txt керує скануванням, а не індексацією. Заблокований URL усе одно може з’явитися в результатах пошуку, якщо на нього посилаються інші сторінки, але без опису. Щоб прибрати сторінку з результатів пошуку, дозвольте її сканування й натомість використайте метатег robots noindex. Для кожного хоста й протоколу потрібен окремий файл, тож для blog.example.com потрібен окремий robots.txt.

Приклади

Інтернет-магазин, що приховує кошик і внутрішній пошук

Дозвольте сканування всього сайту, а потім забороніть шляхи /cart/, /checkout/ і /search. Додайте Sitemap: https://example.com/sitemap.xml. Сторінки товарів і категорій залишаться доступними для сканування.

Тестовий сайт

Виберіть «Заборонити все». Тоді сумлінні сканувальники оминатимуть сайт, але також захистіть тестовий сайт паролем, адже robots.txt — лише рекомендація.

Заборона сканування ботами для навчання ШІ

Готовий набір для сканувальників ШІ додає групу для GPTBot, CCBot, Google-Extended, ClaudeBot і PerplexityBot із правилом Disallow: /. Пошукові сканувальники, як-от Googlebot, і далі дотримуватимуться групи *.

Поширені запитання

Куди додати robots.txt?

У корені хоста, щоб файл відкривався за адресою https://example.com/robots.txt. Файл robots.txt у підпапці ігнорується.

Чи вилучить Disallow сторінку з результатів пошуку?

Ні, це не гарантує результату. Disallow забороняє сканування, але URL усе одно може з’явитися в результатах, якщо на нього є посилання з інших сторінок. Використайте метатег або заголовок noindex і залиште сторінку доступною для сканування, щоб сканувальник міг його побачити.

Чи всі боти дотримуються robots.txt?

Ні. Дотримання robots.txt є добровільним. Великі пошукові системи та багато сканувальників ШІ заявляють, що поважають його, але збирачі даних і зловмисні боти можуть його ігнорувати.

Чи використовує Google Crawl-delay?

Ні, Google ігнорує Crawl-delay. Деякі інші сканувальники, зокрема Bing, його враховують. Google автоматично коригує частоту сканування залежно від реакції вашого сервера.

Чи варто блокувати файли CSS і JavaScript?

Ні. Пошукові системи відображають сторінки й потребують цих файлів, щоб розуміти їхню структуру та вміст. Якщо заблокувати ці файли, для сканувальників сторінки можуть виглядати некоректно.

Конфіденційність

Файл створюється у вашому браузері. Ваші правила й URL нікуди не надсилаються та не зберігаються.