Bloquer les crawlers IA dans robots.txt empêche-t-il vraiment d'être cité par les IA ?
- 70% des citations ChatGPT proviennent de sites bloquant pourtant ChatGPT-User, le bot de retrieval en temps réel
- 88% des sites bloquant GPTBot (training OpenAI) sont quand même cités · comme CNBC avec 1 298 apparitions malgré un blocage total
- 95% des citations dans le dataset viennent de sites bloquant les bots de training (GPTBot ou Google-Extended)
- Quatre explications : données indexées avant le blocage, Common Crawl, bots qui ignorent robots.txt, extraction SERP sans crawl de la page
- Pour votre stratégie GEO : la question du blocage robots.txt est secondaire · ce qui compte, c'est la qualité et l'autorité perçue de votre contenu
Un mythe testé à grande échelle
1 minDepuis l'émergence des IA génératives, une idée s'est répandue dans les équipes éditoriales et SEO : bloquer les crawlers IA dans robots.txt permettrait de se protéger de l'aspiration de données et, peut-être, d'empêcher d'être cité sans contrepartie. Des centaines de médias ont appliqué cette logique · Yahoo, CNBC, et bien d'autres.
BuzzStream et Citation Labs ont décidé de tester empiriquement cette hypothèse. En croisant les configurations robots.txt des 50 plus grands éditeurs d'actualité avec les données de citation réelles de l'outil XOFU : 4 millions de citations issues de 3 600 prompts sur ChatGPT, Gemini, AI Overviews et AI Mode dans 10 secteurs · leur conclusion est sans ambiguïté : bloquer les crawlers IA ne vous protège pas des citations.
Comprendre les bots IA : training vs. retrieval
1 minAvant d'interpréter les données, il faut distinguer deux catégories de bots très différentes selon leur rôle :
Les données : des résultats qui surprennent
1 minCôté ChatGPT
Parmi les 50 plus grands sites d'actualité bloquant les bots ChatGPT, voici la proportion qui apparaissait quand même dans le dataset de citations :
| Bot bloqué | Rôle | % des sites bloquants quand même cités |
|---|---|---|
GPTBot |
Training OpenAI | 88,2% |
OAI-SearchBot |
Indexation / Search | 82,4% |
ChatGPT-User |
Retrieval live | 70,6% |
L'exemple le plus frappant : CNBC bloque la quasi-totalité des bots IA, ChatGPT-User, GPTBot, OAI-SearchBot, et pourtant apparaît 1 298 fois dans le dataset.
Côté Google
La situation est encore plus nette du côté Google : 92,3% des sites bloquant Google-Extended (le bot de training de Gemini) apparaissent quand même dans les citations Google. Yahoo, par exemple, bloque Google-Extended mais génère près de 30 000 citations dans le dataset.
Aucun site, en revanche, ne bloque Googlebot · ce serait suicidaire sur le plan SEO, car Googlebot alimente aussi le moteur de recherche classique.
Vue d'ensemble : la part des citations venant de sites bloquants
1 min| Bot | Rôle | Citations depuis sites bloquants | Part du total |
|---|---|---|---|
GPTBot |
Training OpenAI | 5 362 | 95,4% |
Google-Extended |
Training Google / Gemini | 5 362 | 95,4% |
OAI-SearchBot |
Indexation / Search OpenAI | 3 932 | 69,9% |
ChatGPT-User |
Retrieval live ChatGPT | 3 913 | 69,7% |
Pourquoi ça se passe ainsi ? Quatre explications
1 minCertains éditeurs ont adopté robots.txt tardivement · leurs données étaient déjà massivement présentes sur le web avant. Cette hypothèse est partiellement invalidée par les données : seuls 15% des publications citées existaient avant ChatGPT, et 30% avant le lancement d'AI Overviews. Les IA accèdent donc bien à du contenu récent.
L'ONG Common Crawl archive le web depuis des années via son bot CCBot. OpenAI et Google ont tous deux confirmé avoir utilisé ces archives pour entraîner leurs modèles. Des données déjà dans Common Crawl peuvent alimenter des réponses même si le site bloque désormais GPTBot directement. Paradoxalement, l'étude constate que 70% des sites étudiés bloquent aussi CCBot, et restent quand même cités.
Harry Clarkson-Bennett, SEO du Telegraph, résume la situation de façon lapidaire dans l'étude : "Le fichier robots.txt est une directive. C'est comme un panneau 'entrée interdite' : ça n'arrête pas un robot mal intentionné ou désobéissant." Un rapport Reuters a documenté des preuves substantielles de contournement par plusieurs entreprises IA. Face à cela, certains éditeurs passent à des solutions de blocage au niveau CDN, bien plus contraignantes.
Une partie du retrieval IA s'effectue directement à partir des données SERP, titres, URLs, snippets, sans jamais accéder à la page source. Cela contourne structurellement robots.txt, qui ne concerne que le crawl des pages. La documentation Google sur Vertex AI évoque ce type d'extraction sans l'expliciter clairement. C'est d'ailleurs pourquoi certaines citations IA renvoient vers des contenus incorrects ou tronqués : elles sont basées sur des représentations de snippets précédemment générées.
Ce que ça change pour votre stratégie GEO
2 minLa conclusion de BuzzStream est franche et s'applique directement à votre approche GEO : la question du blocage des crawlers IA ne devrait pas être centrale dans votre stratégie de citation.
- Bloquer GPTBot ou ChatGPT-User ne vous exclut pas des citations. Si vous cherchez à vous protéger de l'usage de vos données, sachez que l'efficacité est très partielle. Si vous cherchez à être cité, le blocage n'y change pas grand chose non plus.
- La visibilité dans les IA dépend d'autres facteurs. L'autorité perçue de votre domaine, la fréquence de citation par d'autres sources, la qualité de vos contenus et leur présence dans des contextes reconnus par les moteurs comptent davantage que l'état de votre robots.txt.
- Les bons contenus transcendent les barrières techniques. CNBC bloque tout et reste cité 1 298 fois. La leçon n'est pas de bloquer ou de ne pas bloquer, c'est que l'autorité éditoriale et la pertinence du contenu dominent.
- Pour être cité, concentrez-vous sur la story, pas sur le blocage. Un contenu de qualité qui génère des reprises dans des newsletters, d'autres médias, des réseaux sociaux, élargit sa présence dans les corpus que les IA consomment · bien au-delà de ce que robots.txt peut contrôler.
- La question robots.txt reste pertinente pour d'autres raisons. Protection de la propriété intellectuelle, négociation de licences avec les IA, contrôle de l'usage commercial de vos données, mais pas pour disparaître des citations ou y apparaître davantage.
Comme je l'observe dans mes propres expérimentations sur rankit.fr, dicocitations.com et linkopresto.com : ce sont les contenus les mieux structurés, les plus souvent référencés par des tiers et les plus clairs sur leur sujet qui ressortent dans les réponses des IA : indépendamment de toute configuration robots.txt.
Questions fréquentes
2 minBloquer GPTBot empêche-t-il d'être cité par ChatGPT ?
Non selon cette étude. 88,2% des sites bloquant GPTBot apparaissent quand même dans les citations ChatGPT. CNBC bloque tout (ChatGPT-User, GPTBot, OAI-SearchBot) et génère tout de même 1 298 citations. GPTBot est le bot de training · les citations proviennent du pipeline de retrieval live, qui utilise d'autres mécanismes.
Quelle différence entre GPTBot et ChatGPT-User ?
GPTBot crawle les pages pour entraîner les modèles OpenAI, c'est le bot de training. ChatGPT-User est le bot de retrieval : il accède aux pages en temps réel quand ChatGPT génère une réponse avec recherche web. Les citations proviennent a priori du retrieval, pas du training · d'où l'importance de distinguer les deux dans votre robots.txt.
Common Crawl explique-t-il les citations malgré le blocage ?
Partiellement. Common Crawl (via CCBot) archive le web depuis des années, et OpenAI/Google ont confirmé l'utiliser pour l'entraînement. Des données déjà dans ces archives peuvent alimenter des réponses même si le site bloque désormais les bots. Mais l'étude trouve que 70% des sites étudiés bloquent aussi CCBot, et restent cités. L'explication est donc incomplète à elle seule.
Faut-il bloquer Google-Extended pour protéger son contenu ?
Bloquer Google-Extended empêche le crawl de votre site pour l'entraînement de Gemini, mais 92,3% des sites le faisant restent cités dans les outils Google IA. Ne confondez pas avec Googlebot : bloquer Googlebot vous exclurait du moteur de recherche classique, ce qu'aucun éditeur ne fait. Les deux bots ont des rôles totalement différents.
Qu'est-ce que l'extraction SERP sans crawl ?
Une partie du retrieval IA fonctionne à partir des métadonnées SERP (titres, URLs, snippets) sans jamais accéder à la page source. Cela contourne structurellement robots.txt, qui ne concerne que le crawl des pages elles-mêmes. C'est d'ailleurs pourquoi certaines citations renvoient vers des contenus inexacts ou incomplets · basées sur des représentations de snippets et non sur le contenu réel de la page.
Freelance SEO Senior : 20 ans de SEO, spécialiste du GEO. J'aide les PME à développer leur visibilité sur Google et à être cités par les IA. Mes analyses sont basées sur des données terrain réelles, logs serveur, tests en compétition, audits de mes propres sites et portefeuille.