Cómo usarla
- Elige la política predeterminada para todos los rastreadores y añade las rutas que no deban visitar, como /cart/ o /search.
- Añade grupos para rastreadores específicos si necesitan reglas distintas, o usa un ajuste preestablecido.
- Añade la URL completa de tu mapa del sitio XML.
- Descarga robots.txt y súbelo a la raíz de tu sitio para que esté disponible en https://your-domain/robots.txt.
Cómo funciona
robots.txt es un archivo de texto sin formato en la raíz de un host que indica a los rastreadores qué URL pueden visitar. Está estandarizado en la RFC 9309. Un archivo contiene grupos: una o varias líneas User-agent seguidas de reglas Allow y Disallow. Un rastreador usa el grupo que coincide de forma más específica con su nombre y, en caso contrario, recurre al grupo *; no combina su propio grupo con el grupo *. Dentro de un grupo, prevalece la regla coincidente más específica (la más larga), y Allow prevalece en caso de empate.
Las rutas se comparan desde el principio de la ruta de la URL y distinguen entre mayúsculas y minúsculas. * coincide con cualquier secuencia de caracteres y $ marca el final de la URL. Un «Disallow:» vacío significa que no se bloquea nada. Las líneas de esta herramienta que no empiezan por / o * se ignoran y se marcan, ya que los rastreadores también las ignorarían. Las líneas Sitemap deben contener URL absolutas y se aplican a todo el archivo, no a un solo grupo.
Límites importantes: robots.txt controla el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en los resultados de búsqueda si otras páginas enlazan a ella, aunque sin descripción. Para excluir una página de los resultados de búsqueda, permite el rastreo y usa una etiqueta meta robots noindex. Cada host y protocolo necesita su propio archivo, así que blog.example.com necesita un robots.txt independiente.
Ejemplos
Tienda que oculta el carrito y la búsqueda interna
Permite todo y, después, bloquea /cart/, /checkout/ y /search. Añade Sitemap: https://example.com/sitemap.xml. Las páginas de productos y categorías siguen siendo rastreables.
Sitio de pruebas
Selecciona «No permitir nada». Los rastreadores que respetan las reglas omitirán el sitio, pero protege también el entorno de pruebas con una contraseña, ya que robots.txt es solo una solicitud.
Excluirse de los rastreadores de entrenamiento de IA
El ajuste preestablecido para rastreadores de IA añade un grupo para GPTBot, CCBot, Google-Extended, ClaudeBot y PerplexityBot con Disallow: /. Los rastreadores de búsqueda, como Googlebot, siguen las reglas del grupo *.
Preguntas frecuentes
¿Dónde coloco robots.txt?
En la raíz del host, para que se pueda acceder desde https://example.com/robots.txt. Los robots.txt de una subcarpeta se ignoran.
¿Disallow elimina una página de los resultados de búsqueda?
No de forma fiable. Disallow impide el rastreo, pero la URL puede seguir apareciendo si hay enlaces a ella desde otros sitios. Usa una etiqueta meta o una cabecera noindex y permite que se rastree la página para que el rastreador pueda verla.
¿Todos los bots obedecen robots.txt?
No. Respetar robots.txt es voluntario. Los principales motores de búsqueda y muchos rastreadores de IA indican que lo respetan, pero los scrapers y los bots maliciosos pueden ignorarlo.
¿Google usa Crawl-delay?
No, Google ignora Crawl-delay. Otros rastreadores, incluido el de Bing, sí lo leen. Google ajusta automáticamente la frecuencia de rastreo según cómo responde tu servidor.
¿Debería bloquear los archivos CSS y JavaScript?
No. Los motores de búsqueda renderizan las páginas y necesitan esos archivos para entender el diseño y el contenido. Bloquearlos puede hacer que las páginas parezcan dañadas para los rastreadores.
Privacidad
El archivo se genera en tu navegador. Tus reglas y URL no se envían ni se almacenan.