Deux questions techniques reviennent dans presque toutes les discussions sur la visibilité IA. Faut-il bloquer ou autoriser les robots d’exploration IA dans robots.txt ? Et faut-il publier un fichier llms.txt ?
La première question a des réponses claires et documentées. La seconde appelle une réponse plus modeste que ne le laissent penser bien des discussions en ligne. Cet article traite les deux, en s’appuyant sur la documentation des fournisseurs eux-mêmes.
Robots d’entraînement et robots de recherche
La distinction la plus importante : la plupart des fournisseurs d’IA séparent désormais l’exploration destinée à l’entraînement des modèles de l’exploration ou de la récupération destinées à la recherche et aux réponses. Bloquer l’une ne bloque pas automatiquement l’autre.
Vous disposez donc d’un vrai choix. Vous pouvez refuser que vos contenus servent à l’entraînement tout en permettant à vos pages d’être trouvées et citées dans les fonctionnalités de recherche IA.
Les principaux user agents et leur rôle
Voici une synthèse fondée sur la documentation de chaque fournisseur. Consultez les pages en lien avant de modifier quoi que ce soit, car les fournisseurs les mettent à jour.
| User agent | Fournisseur | Rôle documenté |
|---|---|---|
| GPTBot | OpenAI | Exploration visant à rendre les modèles de fondation d’IA générative plus utiles et plus sûrs ; le bloquer signale que les contenus ne doivent pas servir à l’entraînement |
| OAI-SearchBot | OpenAI | Faire apparaître des sites web dans les fonctionnalités de recherche de ChatGPT |
| ChatGPT-User | OpenAI | Visites déclenchées par des actions d’utilisateurs dans ChatGPT ou des GPT personnalisés ; non utilisé pour décider de ce qui apparaît dans la recherche |
| ClaudeBot | Anthropic | Collecte de contenus susceptibles de contribuer à l’entraînement des modèles |
| Claude-SearchBot | Anthropic | Amélioration de la qualité des résultats de recherche |
| Claude-User | Anthropic | Récupération de pages lorsqu’un utilisateur de Claude pose une question |
| PerplexityBot | Perplexity | Faire apparaître des sites web dans les résultats de recherche de Perplexity et y renvoyer ; non utilisé pour entraîner des modèles de fondation |
| Perplexity-User | Perplexity | Récupération de pages pour répondre à la question d’un utilisateur |
| Google-Extended | Jeton de contrôle de l’utilisation des contenus pour l’entraînement et l’ancrage de Gemini |
Sources : présentation des robots d’exploration d’OpenAI, documentation des robots d’exploration d’Anthropic, robots d’exploration de Perplexity, robots d’exploration courants de Google.
Les détails à connaître
OpenAI. OpenAI indique que chaque réglage est indépendant des autres : vous pouvez donc autoriser OAI-SearchBot tout en bloquant GPTBot. OpenAI précise aussi que les sites qui bloquent OAI-SearchBot ne seront pas affichés dans les réponses de recherche de ChatGPT, et que les règles de robots.txt peuvent ne pas s’appliquer à ChatGPT-User, car ces visites sont déclenchées par les utilisateurs.
Anthropic. Anthropic indique que ses robots respectent les directives robots.txt standard du secteur, et que le refus doit être configuré sur chaque sous-domaine concerné. Anthropic signale que bloquer Claude-SearchBot ou Claude-User peut réduire votre visibilité dans la recherche de Claude et dans les réponses fournies à la demande des utilisateurs.
Perplexity. Perplexity recommande d’autoriser PerplexityBot dans robots.txt et indique que Perplexity-User ignore généralement les règles de robots.txt, car la récupération est demandée par un utilisateur.
Google. Google-Extended est un jeton produit, pas un robot d’exploration distinct : l’exploration se fait avec les user agents Google existants. Google indique que Google-Extended n’a pas d’incidence sur l’inclusion d’un site dans la recherche Google et n’est pas utilisé comme signal de classement. Pour les Aperçus IA et le Mode IA, qui font partie de la recherche, Google renvoie les propriétaires de sites vers les contrôles standard de la recherche, comme nosnippet, data-nosnippet, max-snippet et noindex.
Une politique robots.txt raisonnable par défaut
Il n’existe pas de bonne réponse universelle. Tout dépend de votre activité, de vos contenus et de votre situation juridique. Mais une politique courante et cohérente, pour les marques qui recherchent de la visibilité IA, ressemble à ceci : autoriser les agents de recherche et de récupération à la demande, et prendre une décision explicite et distincte pour les agents d’entraînement.
# Fonctionnalités de recherche et de réponse : autorisées
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
# Entraînement : une décision explicite de l'entreprise (exemple : refus)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Il s’agit d’un exemple, pas d’une recommandation valable pour tous les sites. Si vous souhaitez que vos contenus alimentent les futurs modèles, vous autoriserez au contraire les agents d’entraînement.
Deux mises en garde. D’abord, robots.txt est une demande, pas un verrou : la norme elle-même, la RFC 9309, précise que ses règles « ne constituent pas une forme d’autorisation d’accès ». Ensuite, une règle large comme User-agent: * avec Disallow: /, parfois oubliée après un site de préproduction, bloque tous les robots qui respectent la norme, y compris ceux de recherche.
Erreurs fréquentes dans robots.txt
- Bloquer les agents de recherche en voulant bloquer l’entraînement. L’erreur la plus fréquente et la plus coûteuse pour la visibilité.
- Oublier les sous-domaines. Chaque hôte a son propre fichier robots.txt.
- Copier une liste trouvée dans un article de blog sans la vérifier. Les noms des user agents changent. Utilisez la documentation des fournisseurs.
- Bloquer au niveau du pare-feu ou du CDN sans le savoir. Les réglages de protection contre les robots peuvent bloquer les agents IA même lorsque robots.txt les autorise. Vérifiez vos journaux serveur.
- Croire que les modifications de robots.txt sont instantanées. OpenAI indique par exemple que les changements liés à la recherche peuvent mettre environ 24 heures à prendre effet.
llms.txt : de quoi s’agit-il ?
llms.txt est une proposition publiée sur llmstxt.org par Jeremy Howard en septembre 2024. Elle suggère de placer à l’adresse /llms.txt un fichier Markdown qui offre aux modèles de langage un point d’entrée concis et organisé vers un site.
Le format est simple :
- un titre H1 portant le nom du site ou du projet (la seule section obligatoire),
- un court résumé sous forme de citation (blockquote),
- des paragraphes de détail facultatifs,
- des sections H2 contenant des listes de liens, chacun accompagné d’une note facultative,
- par convention, une section intitulée « Optional » pour les liens secondaires qui peuvent être ignorés.
llms.txt : où en est-on vraiment ?
Soyez précis sur ce que l’on sait et ce que l’on ne sait pas.
- C’est une proposition, pas une norme au sens où robots.txt en est une (robots.txt fait l’objet d’une RFC de l’IETF).
- La proposition elle-même ne cite pas les grands assistants comme utilisateurs confirmés du fichier pour répondre à des questions générales. Son auteur la présente comme surtout utile au moment de l’inférence, par exemple lorsqu’un agent est dirigé vers un site.
- Google est explicite : aucun nouveau fichier lisible par les machines, fichier texte pour l’IA ou balisage n’est nécessaire pour apparaître dans les Aperçus IA ou le Mode IA.
- Nous n’avons trouvé aucune documentation de première main d’OpenAI, d’Anthropic, de Google ou de Perplexity indiquant que leurs assistants grand public utilisent llms.txt pour choisir les marques à mentionner ou à citer.
Que faire, alors ? Si vous avez de la documentation, une audience de développeurs ou un site complexe, un fichier llms.txt coûte peu à produire et peut aider les agents et outils qui le lisent. Pour la plupart des marques, c’est un chantier peu prioritaire, qui passe après l’accès des robots d’exploration, des contenus clairs et la présence sur les sources que citent les assistants.
Liste de contrôle
- robots.txt revu à la lumière de la documentation actuelle de chaque fournisseur
- Agents de recherche et de récupération à la demande autorisés si vous recherchez de la visibilité IA
- Agents d’entraînement traités comme une décision distincte et réfléchie
- Aucun
Disallow: /global oublié - Sous-domaines vérifiés
- Réglages anti-robots du pare-feu et du CDN confrontés aux journaux serveur
- llms.txt envisagé comme facultatif, après les fondamentaux
Comment SearchFirefly vous aide
L’analyse technique de SearchFirefly regroupe les problèmes par thème et par gravité, avec les pages concernées, et ses questions suivies montrent si ChatGPT, Gemini, Perplexity, les Aperçus IA de Google et le Mode IA de Google mentionnent réellement votre marque et citent vos pages. Voir les deux ensemble vous aide à distinguer un problème d’accès d’un problème de contenu ou de réputation, et chaque recommandation priorisée s’accompagne de la correction exacte à apporter et d’une vérification après mise en ligne.