Crawlers IA 2026 : GPTBot, ClaudeBot, Google-Agent, guide complet pour votre robots.txt
Télécharger en .md (LLM-friendly)- 29 crawlers IA référencés en 2026 : GPTBot, ClaudeBot, PerplexityBot, Google-Extended et le tout nouveau Google-Agent
- Deux logiques opposées : entraînement (valeur unilatérale pour l'éditeur du LLM) vs RAG (valeur bilatérale, vous pouvez être cité)
- Stratégie GEO : bloquer les crawlers d'entraînement, autoriser les crawlers RAG dans robots.txt
- Google-Agent est un nouveau crawler agentique, à autoriser (flux d'achat Gemini, navigation agentique)
- Un robots.txt GEO-optimisé complet est fourni en fin d'article
Le web est devenu un terrain d'entraînement
1 minEn 2026, votre site est crawlé par bien plus que Googlebot. Une nouvelle génération de robots parcourt le web en permanence avec deux objectifs radicalement différents : entraîner des modèles de langage (GPTBot, ClaudeBot, Meta-ExternalAgent…) ou alimenter des réponses IA en temps réel via RAG (PerplexityBot, OAI-SearchBot, Claude-SearchBot…).
Le référentiel ci-dessous est basé sur la liste maintenue par Olivier Duffez sur WebRankInfo, complétée et enrichie d'une analyse GEO terrain. Je recommande de consulter régulièrement cette base, elle est mise à jour au fil des annonces officielles des éditeurs.
La distinction est capitale pour votre stratégie GEO. Un crawler d'entraînement aspire votre contenu pour en faire la matière première d'un LLM, sans jamais vous citer ni vous envoyer de trafic. Un crawl vous citer ni vous envoyer de trafic. Un crawler RAG, lui, indexe votre contenu pour le restituer dans des réponses sourcées, avec potentiellement un lien vers votre page.
robots.txt avec la granularité par user-agent.Entraînement vs RAG : visualisation
1 minGPTBot est le robot d'entraînement des modèles OpenAI. Il collecte des données pour construire les futurs LLMs, pas pour alimenter les réponses en temps réel. L'entraînement de GPT-4 est terminé. Autoriser GPTBot aujourd'hui n'améliorera pas votre visibilité dans ChatGPT demain, ce cycle dure des années. Ce qui compte pour la visibilité immédiate, c'est OAI-SearchBot, le robot de recherche en temps réel de ChatGPT Search. Les confondre est une erreur fréquente dans l'industrie GEO. Comment apparaître dans ChatGPT : l'étude Ahrefs
Chaque barre représente le "score de risque" du crawler pour votre contenu, sa propension à aspirer sans contrepartie. Cliquez sur un type dans la légende pour filtrer.
Référentiel complet des crawlers IA & LLM
1 min| Crawler | Propriétaire | Type | User-Agent | Description |
|---|
Google-Agent Nouveau 2026
1 minGoogle a officialisé début 2026 un nouveau crawler : Google-Agent. Son rôle est distinct de Googlebot ou Google-Extended. Il est utilisé par les agents IA de Google (Gemini et les futurs produits "agentic") pour naviguer sur le web à la demande d'un utilisateur, récupérer du contenu en temps réel et l'intégrer dans des flux automatisés.
Cas d'usage concrets : un utilisateur Gemini demande "trouve-moi un hôtel à Nantes pour ce week-end", ou "compare les prix de ce produit" : c'est Google-Agent qui visite les pages pour récupérer les informations. Si vous avez un site e-commerce, un hôtel, un service local, bloquer Google-Agent revient à vous exclure de ces flux d'achat agentiques.
Le user-agent déclaré est Google-Agent/1.0. Google respecte les directives robots.txt. Si vous souhaitez malgré tout le bloquer (par exemple pour limiter la charge serveur), c'est votre droit.
robots.txt GEO-optimisé
1 minVoici la configuration recommandée : autoriser les crawlers RAG (citation possible), bloquer les crawlers d'entraînement pur (aucune contrepartie).
User-agent: Googlebot
Allow: /
# Google-Extended · contrôle entraînement Gemini
User-agent: Google-Extended
Disallow: /
# Google-Agent · crawler agentique : AUTORISER
# Utilisé par Gemini pour les recherches d'achat, la navigation agentique…
# Bloquer = exclure votre site des flux agentiques Google (achats, réponses…)
User-agent: Google-Agent
Allow: /
# OpenAI : séparer entraînement et recherche
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
# Anthropic · séparer entraînement et RAG
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /
# Perplexity · RAG, autorisé
User-agent: PerplexityBot
Allow: /
# Entraînement pur · tous bloqués
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Applebot-Extended
User-agent: anthropic-ai
User-agent: DeepSeekBot
Disallow: /
Ce que ça change pour votre stratégie GEO
1 minLa multiplication des crawlers IA oblige à repenser la politique de contrôle d'accès de son site. Il ne s'agit plus de choisir entre "accessible" et "non accessible", il faut raisonner crawler par crawler, en évaluant la contrepartie de chaque accès.
- Crawlers d'entraînement (GPTBot, ClaudeBot, Meta-ExternalAgent, CCBot…) valeur unilatérale. Votre contenu devient leur capital sans vous rétribuer. Blocage recommandé sauf décision stratégique de contribuer à un modèle précis.
- Crawlers RAG & recherche IA (OAI-SearchBot, PerplexityBot, Claude-SearchBot, YouBot…) valeur bilatérale. Votre contenu est cité et sourcé. Autoriser, voire optimiser pour être mieux indexé.
- Crawlers de requête utilisateur (ChatGPT-User, Claude-User, Gemini-User…) impact neutre sur votre trafic. Difficile à bloquer proprement, peu d'intérêt à le faire.
Freelance SEO Senior, 20 ans d'expérience. J'aide les PME à renforcer leur visibilité sur Google tout en intégrant les nouveaux enjeux liés aux moteurs IA. Mon expertise couvre à la fois le SEO classique et les stratégies émergentes de présence dans les IA (GEO), que j'exploite de manière complémentaire selon les objectifs. Approche basée sur des données réelles : logs serveur, tests en compétition, audits de sites.