Ce benchmark prouve que le RAG sans contexte métier est inutile
Télécharger en .md- Le RAG (Retrieval-Augmented Generation) consiste à donner au LLM des documents à consulter avant de répondre. C'est la base de Perplexity, ChatGPT Search, Claude avec navigation web.
- Le benchmark data.world montre que récupérer des données brutes sans contexte sémantique (= RAG sans ontologie) aboutit à 0% de précision sur les questions complexes.
- Ajouter le contexte sémantique (l'ontologie, le Knowledge Graph) fait passer la précision de 0% à 35-39% sur ces mêmes questions.
- Pour votre site : être crawlé par OAI-SearchBot ou PerplexityBot ne suffit pas. Ce qui compte, c'est la qualité sémantique de ce qu'ils récupèrent.
RAG : ce que c'est vraiment
1 minLe RAG est devenu un terme fourre-tout dans l'industrie. Prenons une seconde pour le définir clairement, parce que la nuance est importante pour la suite.
Dans sa forme la plus simple, le RAG fonctionne en trois temps : la question de l'utilisateur déclenche une recherche dans une base de documents, les documents pertinents sont récupérés, puis ils sont fournis au LLM avec la question pour qu'il génère une réponse. C'est ce que fait Perplexity quand il cite des sources, ce que fait ChatGPT Search quand il browse le web, et ce que fait Claude quand il consulte des URLs.
La promesse est séduisante : au lieu de dépendre uniquement de ce qu'il a appris pendant son entraînement, le LLM consulte des informations fraîches et sourcées. Mais le benchmark data.world révèle une limite fondamentale de cette approche dès qu'on sort des cas simples.
Le chiffre qui résume tout : 0%
1 minLe benchmark teste deux variantes de RAG sur les mêmes 43 questions métier :
RAG avec données brutes : le LLM reçoit le schéma SQL de la base d'assurance et génère une requête pour aller chercher les données. C'est du RAG classique : on récupère ce dont on a besoin, on répond.
RAG avec contexte sémantique : le LLM reçoit une ontologie qui explique ce que les données signifient, puis interroge un graphe de connaissances. C'est du RAG augmenté d'une couche de sens.
Peu de tables
KPIs, métriques
Schéma large +5 tables
KPIs sur schéma large
L'effet falaise est visible : sur les questions simples avec peu de tables, le RAG brut tient à 25-37%. Dès que le schéma devient complexe (plus de 5 tables impliquées), c'est l'effondrement total. Le RAG seul ne suffit pas à naviguer la complexité sémantique.
La traduction GEO directe
1 minPerplexity, ChatGPT Search, Claude Search : tous fonctionnent sur le principe du RAG. Ils crawlent votre page, récupèrent le contenu, et le donnent au LLM pour qu'il réponde. Ce que le benchmark démontre s'applique mot pour mot à cette situation.
Si votre page est sémantiquement opaque (contenu générique, termes non définis, structure plate), le LLM récupère des mots mais pas du sens. Il peut citer votre page, mais il va se tromper sur ce qu'elle dit, mélanger vos concepts avec d'autres, ou produire des réponses partiellement incorrectes.
| Concept du benchmark | En base de données | Équivalent sur votre site |
|---|---|---|
| Schéma brut | Noms de colonnes techniques sans explication | HTML brut sans Schema.org, titres génériques |
| Ontologie | Définition explicite des concepts et relations | Schema.org, structure H2/H3 descriptive, maillage cohérent |
| Jointure | Lien entre deux tables via une clé étrangère | Lien interne entre deux contenus thématiquement liés |
| Propriété nommée | "claimNumber" mappé à "numéro de sinistre" | H2 "Combien coûte un audit SEO" plutôt que "Tarifs" |
| 0% sur schéma complexe | Précision nulle dès 5+ tables sans ontologie | Citation incorrecte ou absente sur des sujets multi-concepts sans structure |
Les trois mythes du RAG en GEO
1 minCe benchmark permet de démystifier trois idées reçues qui circulent dans l'industrie GEO.
Ce que vous pouvez faire concrètement
2 minTraduire les enseignements du benchmark en actions GEO accessibles sans infrastructure de graphe de données :
-
Déployez Schema.org adapté à votre secteurNe vous limitez pas à Article et WebPage. Utilisez les types spécifiques à votre domaine : Product, Service, MedicalCondition, LegalService, FAQPage, HowTo. Chaque propriété Schema.org est une propriété d'ontologie que le LLM peut lire directement.
-
Structurez vos H2 comme des propriétés nomméesDans le benchmark, l'ontologie déclare "un Sinistre a un numéro de sinistre". Vos H2 doivent faire pareil. "Prix" ne dit rien. "Quel est le tarif d'un audit SEO en 2026" dit tout. Le LLM lit vos H2 comme des clés de propriétés.
-
Construisez un maillage interne thématique cohérentLes jointures du benchmark relient les tables entre elles via des clés. Vos liens internes relient vos concepts entre eux. Si votre article sur "les audits SEO" ne pointe pas vers votre page "SEO technique" et "SEO local", vous rompez le graphe thématique que les IA cherchent à parcourir.
-
Créez des pages de définition sectoriellesLe benchmark bénéficie d'un dictionnaire complet du domaine assurance. Créez l'équivalent pour votre secteur : pas un glossaire SEO générique, mais vos définitions métier, celles que vos clients utilisent. Ce sont les nœuds de votre graphe de connaissances implicite.
-
Arrêtez de bloquer les crawlers RAG dans robots.txtOAI-SearchBot, PerplexityBot, Claude-SearchBot sont les crawlers RAG qui peuvent vous citer. Les bloquer, c'est choisir de ne pas exister dans les réponses sourcées des IA. Si votre contenu est sémantiquement solide, ces crawlers sont vos alliés.
Le benchmark data.world n'est pas une étude sur le SEO. C'est une étude sur les bases de données d'entreprise. Mais son enseignement central est universel : le contexte sémantique est la condition de la précision des LLMs. Peu importe la puissance du modèle, peu importe la qualité du RAG. Sans couche de sens, les réponses s'effondrent dès que la complexité augmente. En GEO, cette couche de sens, c'est vous qui la construisez, page par page.
Questions fréquentes
2 minLe test le plus simple : posez à ChatGPT ou Perplexity une question précise sur votre domaine, et regardez si votre site est cité, et si la réponse est correcte. Si vous êtes cité mais que la réponse déforme ce que vous avez écrit, c'est un signal de faiblesse sémantique. Si vous n'êtes pas cité du tout sur vos sujets cibles, c'est un problème d'autorité ou d'accessibilité aux crawlers.
Absolument. Le benchmark utilise une technologie sophistiquée (OWL, SPARQL, Knowledge Graph), mais les principes se traduisent en actions simples : Schema.org, structure de contenu rigoureuse, maillage interne cohérent. Ce sont des pratiques SEO classiques que n'importe quel site peut mettre en place. La sophistication technique n'est pas nécessaire pour bénéficier de la sémantique.
Les AI Overviews de Google (anciennement SGE) fonctionnent sur un principe similaire : le LLM consulte des sources indexées avant de répondre. Google a d'ailleurs publié des travaux sur ses propres Knowledge Graphs (Knowledge Vault, Knowledge Graph) qui servent de couche sémantique à ses modèles. Le principe est le même : plus votre contenu est sémantiquement explicite, plus il peut être utilisé précisément dans des réponses générées.
Les tests SEO classiques mesurent des positions dans les SERPs. Ce benchmark mesure la précision des réponses générées par un LLM. C'est un déplacement du critère de succès : en GEO, l'objectif n'est plus d'être en position 1, c'est d'être cité correctement dans une réponse. Ces deux objectifs partagent un prérequis commun, la qualité sémantique du contenu, mais ce benchmark le démontre de manière beaucoup plus granulaire.
Freelance SEO Senior, 20 ans d'expérience. J'aide les PME à renforcer leur visibilité sur Google tout en intégrant les nouveaux enjeux liés aux moteurs IA. Mon expertise couvre à la fois le SEO classique et les stratégies émergentes de présence dans les IA (GEO), que j'exploite de manière complémentaire selon les objectifs. Approche basée sur des données réelles : logs serveur, tests en compétition, audits de sites.