tigtools

Генератор robots.txt

Выберите, что могут сканировать поисковые роботы, добавьте правила для отдельных ботов и скачайте корректный robots.txt для корня сайта.

Работает в браузере Без регистрации

Шаблоны
Все поисковые роботы (User-agent: *)
Политика по умолчанию

Каждый путь должен начинаться с / или *. Используйте $ для совпадения с концом URL, например /*.pdf$.

Google игнорирует Crawl-delay; некоторые другие поисковые роботы учитывают его.

Правила для отдельных роботов

Добавляет группу, запрещающую доступ GPTBot, CCBot, Google-Extended, ClaudeBot и PerplexityBot. Соблюдение правил robots.txt — добровольное.

robots.txt доступен всем: его может прочитать кто угодно, и в нём могут быть видны указанные вами пути. Он лишь просит добросовестных роботов не загружать страницы и ничего не защищает. Для закрытого содержимого используйте аутентификацию, а для страниц, которые не должны попадать в результаты поиска, — noindex.

Как пользоваться

  1. Выберите политику по умолчанию для всех поисковых роботов и добавьте пути, которые им не следует сканировать, например /cart/ или /search.
  2. Добавьте группы с отдельными правилами для конкретных роботов или выберите предустановку.
  3. Добавьте полный URL XML-карты сайта.
  4. Скачайте robots.txt и загрузите его в корень сайта, чтобы файл был доступен по адресу https://your-domain/robots.txt.

Как это работает

robots.txt — это обычный текстовый файл в корне хоста, который указывает поисковым роботам, какие URL можно сканировать. Формат стандартизирован в RFC 9309. Файл состоит из групп: одна или несколько строк User-agent, за которыми следуют правила Allow и Disallow. Робот использует группу, наиболее точно соответствующую его имени, а если такой нет — группу *; он не объединяет свою группу с группой *. Внутри группы действует наиболее точное (самое длинное) совпавшее правило, а при равенстве приоритет имеет Allow.

Пути сопоставляются с начала пути URL с учётом регистра. * соответствует любой последовательности символов, а $ обозначает конец URL. Пустое значение «Disallow:» означает, что ничего не заблокировано. Строки в этом инструменте, которые не начинаются с / или *, игнорируются и помечаются: поисковые роботы тоже их игнорируют. Строки Sitemap должны содержать абсолютные URL и относятся ко всему файлу, а не к отдельной группе.

Важные ограничения: robots.txt управляет сканированием, но не индексацией. Заблокированный URL всё ещё может появиться в результатах поиска, если на него ссылаются другие страницы, но без описания. Чтобы исключить страницу из результатов поиска, разрешите её сканирование и используйте метатег robots со значением noindex. Для каждого хоста и протокола нужен отдельный файл, поэтому для blog.example.com потребуется свой robots.txt.

Примеры

Интернет-магазин, скрывающий корзину и внутренний поиск

Разрешите сканирование всего сайта, затем запретите пути /cart/, /checkout/ и /search. Добавьте Sitemap: https://example.com/sitemap.xml. Страницы товаров и категорий останутся доступными для сканирования.

Тестовый сайт

Выберите «Запретить всё». Добросовестные поисковые роботы не будут сканировать сайт, но дополнительно защитите тестовую версию паролем: robots.txt — лишь рекомендация.

Запрет на сканирование роботами для обучения ИИ

Предустановка для ИИ-роботов добавляет группу для GPTBot, CCBot, Google-Extended, ClaudeBot и PerplexityBot с правилом Disallow: /. Поисковые роботы, например Googlebot, продолжат следовать группе *.

Часто задаваемые вопросы

Куда поместить robots.txt?

В корне хоста, чтобы файл был доступен по адресу https://example.com/robots.txt. Файл robots.txt в подпапке игнорируется.

Удалит ли Disallow страницу из результатов поиска?

Не всегда. Disallow запрещает сканирование, но URL всё ещё может попасть в результаты поиска, если на него есть ссылки с других страниц. Используйте метатег или HTTP-заголовок noindex и оставьте страницу доступной для сканирования, чтобы робот мог его увидеть.

Все ли боты соблюдают robots.txt?

Нет. Соблюдение robots.txt — добровольное. Крупные поисковые системы и многие ИИ-роботы заявляют, что учитывают его, но сборщики данных и вредоносные боты могут его игнорировать.

Учитывает ли Google Crawl-delay?

Нет, Google игнорирует Crawl-delay. Некоторые другие роботы, в том числе робот Bing, учитывают это правило. Google автоматически регулирует частоту сканирования в зависимости от ответов сервера.

Нужно ли блокировать файлы CSS и JavaScript?

Нет. Поисковые системы отображают страницы и используют эти файлы, чтобы понять их структуру и содержимое. Если заблокировать их, страницы могут отображаться для роботов некорректно.

Конфиденциальность

Файл создаётся в браузере. Ваши правила и URL никуда не отправляются и не сохраняются.