Como usar
- Escolha a política padrão para todos os rastreadores e adicione os caminhos que eles não devem acessar, como /cart/ ou /search.
- Adicione grupos para rastreadores específicos se eles precisarem de regras diferentes ou use uma predefinição.
- Adicione a URL completa do seu sitemap XML.
- Baixe o robots.txt e envie-o para a raiz do seu site, para que possa ser acessado em https://your-domain/robots.txt.
Como funciona
robots.txt é um arquivo de texto simples na raiz de um host que informa aos rastreadores quais URLs eles podem acessar. O padrão é definido pela RFC 9309. Um arquivo contém grupos: uma ou mais linhas User-agent seguidas de regras Allow e Disallow. Um rastreador usa o grupo que corresponde ao seu nome de forma mais específica e, caso contrário, usa o grupo *; ele não combina o próprio grupo com o grupo *. Dentro de um grupo, vence a regra correspondente mais específica (a mais longa), e Allow vence em caso de empate.
Os caminhos são comparados a partir do início do caminho da URL e diferenciam maiúsculas de minúsculas. * corresponde a qualquer sequência de caracteres e $ indica o fim da URL. Um “Disallow:” vazio significa que nada está bloqueado. As linhas desta ferramenta que não começam com / ou * são ignoradas e sinalizadas, pois os rastreadores também as ignorariam. As linhas Sitemap precisam conter URLs absolutas e se aplicam ao arquivo inteiro, não a um único grupo.
Limitações importantes: robots.txt controla o rastreamento, não a indexação. Uma URL bloqueada ainda pode aparecer nos resultados de busca se outras páginas tiverem links para ela, mas sem descrição. Para impedir que uma página apareça nos resultados de busca, permita o rastreamento e use uma meta tag robots noindex. Cada host e protocolo precisa do próprio arquivo, então blog.example.com precisa de um robots.txt separado.
Exemplos
Loja que oculta o carrinho e a busca interna
Permita tudo e, em seguida, bloqueie /cart/, /checkout/ e /search. Adicione Sitemap: https://example.com/sitemap.xml. As páginas de produtos e categorias continuarão acessíveis aos rastreadores.
Site de homologação
Selecione “Bloquear tudo”. Rastreadores que seguem as regras deixarão de acessar o site, mas proteja também o ambiente de homologação com uma senha, pois robots.txt é apenas uma solicitação.
Impedir o acesso de rastreadores de treinamento de IA
A predefinição para rastreadores de IA adiciona um grupo para GPTBot, CCBot, Google-Extended, ClaudeBot e PerplexityBot com Disallow: /. Rastreadores de busca, como o Googlebot, continuam seguindo o grupo *.
Perguntas frequentes
Onde coloco o robots.txt?
Na raiz do host, para que o arquivo seja acessado em https://example.com/robots.txt. Um robots.txt em uma subpasta é ignorado.
Disallow remove uma página dos resultados de busca?
Não de forma confiável. Disallow impede o rastreamento, mas a URL ainda pode aparecer nos resultados se houver links para ela em outros lugares. Use uma meta tag ou um cabeçalho noindex e mantenha a página acessível aos rastreadores para que eles possam identificá-lo.
Todos os bots obedecem ao robots.txt?
Não. Seguir robots.txt é uma prática voluntária. Os principais mecanismos de busca e muitos rastreadores de IA afirmam respeitá-lo, mas ferramentas de raspagem de dados e bots maliciosos podem ignorá-lo.
O Google usa Crawl-delay?
Não, o Google ignora Crawl-delay. Alguns outros rastreadores, incluindo o Bing, leem essa diretiva. O Google ajusta automaticamente a taxa de rastreamento com base nas respostas do seu servidor.
Devo bloquear arquivos CSS e JavaScript?
Não. Os mecanismos de busca renderizam as páginas e precisam desses arquivos para entender o layout e o conteúdo. Bloqueá-los pode fazer as páginas parecerem quebradas para os rastreadores.
Privacidade
O arquivo é gerado no seu navegador. Suas regras e URLs não são enviadas nem armazenadas.