tigtools

Générateur de robots.txt

Choisissez les pages que les robots peuvent consulter, ajoutez des règles pour certains robots et téléchargez un fichier robots.txt valide à placer à la racine de votre site.

Fonctionne dans votre navigateur Sans inscription

Modèles
Tous les robots d’exploration (User-agent: *)
Règle par défaut

Chaque chemin doit commencer par / ou *. Utilisez $ pour faire correspondre la fin d’une URL, par exemple /*.pdf$.

Google ignore Crawl-delay ; certains autres robots d’exploration en tiennent compte.

Règles pour des robots d’exploration spécifiques

Ajoute un groupe qui interdit l’accès à GPTBot, CCBot, Google-Extended, ClaudeBot et PerplexityBot. Le respect de robots.txt est volontaire.

robots.txt est public : tout le monde peut le consulter et il peut révéler les chemins que vous indiquez. Il demande uniquement aux robots d’exploration respectueux de ne pas accéder aux pages ; il ne protège rien. Utilisez l’authentification pour les contenus privés et noindex pour les pages qui ne doivent pas apparaître dans les résultats de recherche.

Mode d’emploi

  1. Choisissez la règle par défaut pour tous les robots d’exploration et ajoutez les chemins qu’ils ne doivent pas consulter, comme /cart/ ou /search.
  2. Ajoutez des groupes pour les robots spécifiques qui nécessitent des règles différentes, ou utilisez un préréglage.
  3. Ajoutez l’URL complète de votre sitemap XML.
  4. Téléchargez robots.txt et placez-le à la racine de votre site pour qu’il soit accessible à l’adresse https://your-domain/robots.txt.

Fonctionnement

robots.txt est un fichier texte brut placé à la racine d’un hôte. Il indique aux robots d’exploration quelles URL ils peuvent consulter. Son format est normalisé par la RFC 9309. Un fichier contient des groupes : une ou plusieurs lignes User-agent, suivies de règles Allow et Disallow. Un robot utilise le groupe qui correspond le plus précisément à son nom et, à défaut, le groupe * ; il ne combine pas son propre groupe avec le groupe *. Dans un groupe, la règle correspondante la plus précise (la plus longue) l’emporte, et Allow l’emporte en cas d’égalité.

Les chemins sont comparés depuis le début du chemin de l’URL et tiennent compte de la casse. * correspond à toute séquence de caractères et $ marque la fin de l’URL. Un champ « Disallow: » vide signifie qu’aucun élément n’est bloqué. Dans cet outil, les lignes qui ne commencent pas par / ou * sont ignorées et signalées, car les robots les ignoreraient également. Les lignes Sitemap doivent contenir des URL absolues et s’appliquent à tout le fichier, pas à un seul groupe.

Limites importantes : robots.txt contrôle l’exploration, pas l’indexation. Une URL bloquée peut tout de même apparaître dans les résultats de recherche si d’autres pages y renvoient, mais sans description. Pour exclure une page des résultats de recherche, autorisez son exploration et utilisez plutôt une balise meta robots noindex. Chaque hôte et protocole nécessite son propre fichier : blog.example.com doit donc avoir un robots.txt distinct.

Exemples

Boutique qui masque le panier et la recherche interne

Autorisez tout, puis interdisez /cart/, /checkout/ et /search. Ajoutez Sitemap: https://example.com/sitemap.xml. Les pages de produits et de catégories restent accessibles aux robots.

Site de préproduction

Choisissez « Tout interdire ». Les robots d’exploration respectueux des règles ignoreront alors le site, mais protégez aussi l’environnement de préproduction par un mot de passe, car robots.txt n’est qu’une demande.

Refuser l’accès aux robots d’exploration pour l’entraînement des IA

Le préréglage des robots d’exploration IA ajoute un groupe pour GPTBot, CCBot, Google-Extended, ClaudeBot et PerplexityBot avec Disallow: /. Les robots d’exploration des moteurs de recherche, comme Googlebot, continuent de suivre le groupe *.

Foire aux questions

Où placer robots.txt ?

À la racine de l’hôte, pour que le fichier soit accessible à l’adresse https://example.com/robots.txt. Un robots.txt placé dans un sous-dossier est ignoré.

Disallow supprime-t-il une page des résultats de recherche ?

Pas de manière fiable. Disallow bloque l’exploration, mais l’URL peut tout de même être référencée si d’autres pages y renvoient. Utilisez une balise meta ou un en-tête noindex et laissez la page accessible aux robots pour qu’ils puissent le voir.

Tous les robots respectent-ils robots.txt ?

Non. Le respect de robots.txt est volontaire. Les principaux moteurs de recherche et de nombreux robots d’exploration IA indiquent le respecter, mais les robots d’aspiration et les robots malveillants peuvent l’ignorer.

Google utilise-t-il Crawl-delay ?

Non, Google ignore Crawl-delay. Certains autres robots d’exploration, notamment celui de Bing, en tiennent compte. Google ajuste automatiquement sa fréquence d’exploration en fonction des réponses de votre serveur.

Dois-je bloquer les fichiers CSS et JavaScript ?

Non. Les moteurs de recherche affichent les pages et ont besoin de ces fichiers pour comprendre leur mise en page et leur contenu. Les bloquer peut donner aux robots l’impression que les pages sont cassées.

Confidentialité

Le fichier est généré dans votre navigateur. Vos règles et vos URL ne sont ni envoyées ni enregistrées.