Aller au contenu
Se connecterEssai gratuit

Robots des IA

Robots des IA : lesquels autoriser dans robots.txt

Pour être cité, laissez passer les robots de recherche des IA (OAI-SearchBot pour ChatGPT, Claude-SearchBot pour Claude) et ceux qui ouvrent une page à la demande d'un utilisateur. Les robots d'entraînement (GPTBot, ClaudeBot) sont un choix à part : les bloquer n'empêche pas d'apparaître dans les réponses. Google-Extended est un cas particulier : il règle aussi ce que Gemini peut lire pour répondre.

Mis à jour le

Trois familles de robots

Chaque éditeur d'IA sépare désormais ses robots selon leur usage, et chaque réglage est indépendant des autres :

  • La recherche : le robot parcourt le web pour que l'IA puisse trouver et citer votre page quand on lui pose une question. C'est celui qui compte pour être cité.
  • La demande d'un utilisateur : l'IA ouvre une page précise parce qu'un utilisateur le lui demande, ou pour vérifier une réponse.
  • L'entraînement : le contenu peut servir à entraîner les futurs modèles. Le bloquer ne retire pas votre site des réponses.

Les sept robots à connaître

Robot (jeton robots.txt)ÉditeurUsage
GPTBotOpenAIentraînement des modèles
OAI-SearchBotOpenAIrecherche de ChatGPT
ChatGPT-UserOpenAIpages ouvertes par ChatGPT
ClaudeBotAnthropicentraînement des modèles
Claude-SearchBotAnthropicrecherche de Claude
Claude-UserAnthropicpages ouvertes par Claude
Google-ExtendedGoogleGemini (entraînement et ancrage)

Deux précisions utiles. Chez OpenAI, ChatGPT-User ne décide pas de l'apparition dans la recherche : c'est OAI-SearchBot qui la règle. Chez Google, Google-Extended n'est pas un robot qui visite les pages, mais un jeton de contrôle : il décide si le contenu déjà lu par Google peut servir à entraîner Gemini et à appuyer ses réponses (ce que Google appelle l'ancrage). Le bloquer peut donc vous écarter des réponses de Gemini, mais n'a aucun effet sur Google Search.

Un robots.txt prêt à copier

Pour être cité tout en refusant l'entraînement des modèles d'OpenAI et d'Anthropic :

# Recherche des IA, pages ouvertes à la demande, Gemini : autorisés
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: Google-Extended
Allow: /

# Entraînement des modèles : refusé
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

Si vous acceptez aussi l'entraînement, il suffit de ne rien écrire pour ces robots : sans règle qui les concerne, ils suivent le groupe User-agent: *. Après une modification, OpenAI indique qu'il faut compter environ 24 heures pour que sa recherche en tienne compte.

Les erreurs fréquentes

  • Un Disallow: / général sous User-agent: *, oublié après une refonte ou une mise en préproduction : il bloque tous les robots qui n'ont pas leur propre groupe.
  • Un pare-feu ou un CDN qui filtre les robots : certains services de protection proposent de bloquer les robots des IA, parfois par défaut. Le robots.txt dit alors « oui », mais la page répond « accès refusé ».
  • Bloquer Google-Extended en pensant ne refuser que l'entraînement : il règle aussi l'ancrage des réponses de Gemini.
  • Bloquer l'entraînement en croyant se protéger des réponses : refuser GPTBot ou ClaudeBot ne retire pas votre site de ChatGPT ou de Claude, et les laisser passer ne suffit pas à être cité.

Autoriser, c'est nécessaire, pas suffisant

Un site lisible par les robots peut très bien n'être jamais cité : il faut encore qu'une de ses pages réponde directement à la question posée. Le guide du GEO explique comment une IA choisit qui citer, et la page Comment savoir si ChatGPT cite votre site donne une méthode pour le vérifier.

Sources, consultées le 19 novembre 2026 : documentation des robots d'OpenAI, aide d'Anthropic sur ses robots, liste des robots de Google. Vrow n'est affilié à aucune de ces entreprises.