Précision des LLMs sur données réelles : les 4 niveaux de complexité qui changent tout
Télécharger en .md- Le benchmark data.world classifie 43 questions réelles selon 2 axes : complexité de la question (simple vs KPI) et complexité du schéma de données (peu vs nombreuses tables).
- Cette grille 2x2 révèle 4 zones de précision radicalement différentes pour GPT-4, avec ou sans contexte sémantique.
- La zone critique : dès que le schéma dépasse 5 tables, la précision sans contexte tombe à 0% quelle que soit la complexité de la question.
- Le scoring (Execution Accuracy, Overall Execution Accuracy, Average OEA) est reproductible sur n'importe quel secteur métier.
- Les implications pour le GEO : votre contenu peut être lu, mais selon sa complexité structurelle, il sera cité correctement ou pas du tout.
La grille 2x2 : l'outil de lecture du benchmark
1 minLe benchmark data.world repose sur une classification rigoureuse des questions testées selon deux dimensions indépendantes. Comprendre cette grille est indispensable pour interpréter les résultats et en tirer des enseignements transposables.
Axe 1 : complexité de la question. Une question simple est une question de reporting : "Listez toutes les polices et leurs numéros." Elle se traduit en SQL par un SELECT-FROM basique. Une question complexe porte sur des métriques et KPIs : "Quel est le ratio sinistres/primes par agent ?" Elle nécessite des agrégations, des calculs, des fonctions mathématiques.
Axe 2 : complexité du schéma. Un schéma simple implique peu de tables (0 à 4), souvent dénormalisées. Un schéma complexe nécessite plus de 5 tables, avec des jointures multiples, des tables de liaison, des relations many-to-many.
En croisant ces deux axes, on obtient 4 quadrants. Cliquez sur chacun pour voir les résultats détaillés :
(0 à 4 tables)
(5+ tables)
simple
(reporting)
complexe
(KPIs)
Le système de scoring : comment la précision est mesurée
1 minLe benchmark utilise trois métriques complémentaires, dont la rigueur mérite d'être expliquée. C'est ce qui le distingue des tests informels qui circulent sur les LLMs.
Execution Accuracy (EA)
Une réponse est précise si et seulement si le résultat de la requête générée correspond exactement à la réponse de référence. L'ordre des colonnes, l'ordre des lignes et les noms des en-têtes ne comptent pas. Seules les données retournées comptent. Si une colonne manque, c'est un échec. Si une colonne incorrecte est retournée à la place, c'est un échec.
Overall Execution Accuracy (OEA)
Les LLMs sont non-déterministes : la même question peut produire des réponses différentes d'une exécution à l'autre. Pour mesurer cette variabilité, chaque question est posée plusieurs fois. L'OEA est le ratio de succès sur l'ensemble des tentatives. Une OEA de 100% signifie que chaque exécution a produit la bonne réponse. Une OEA de 50% signifie qu'une fois sur deux, la réponse était incorrecte.
Average Overall Execution Accuracy (AOEA)
C'est la moyenne des OEA sur un ensemble de questions, par exemple sur les 12 questions du quadrant Q1, ou sur les 43 questions du benchmark complet. C'est le chiffre qu'on cite quand on parle de "16,7% de précision globale".
| Quadrant | SQL brut (AOEA) | Knowledge Graph (AOEA) | Gain | Nb questions |
|---|---|---|---|---|
| Q1 Simple / Simple | 25,5% | 71,1% | +45,6 pts | 12 |
| Q2 Complexe / Simple | 37,4% | 66,9% | +29,5 pts | 12 |
| Q3 Simple / Complexe | 0% | 35,7% | +35,7 pts | 11 |
| Q4 Complexe / Complexe | 0% | 38,5% | +38,5 pts | 8 |
| Total | 16,7% | 54,2% | +37,5 pts | 43 |
La heatmap question par question
1 minAu-delà des moyennes par quadrant, le benchmark publie les scores OEA pour chacune des 43 questions individuellement. Cette granularité révèle des patterns que les moyennes masquent. Voici une visualisation interactive des résultats :
Les observations clés du benchmark
2 minLe paradoxe du quadrant Q2
Contre-intuitivement, les questions les plus complexes (KPIs et métriques) sur des schémas simples obtiennent la meilleure précision SQL brut : 37,4%. Comment expliquer cela ? Les questions de KPIs impliquent souvent des calculs sur peu de tables. Le LLM est bon pour les agrégations mathématiques, et quand le schéma est simple, il fait moins d'erreurs de jointure. C'est la complexité relationnelle (les tables) qui le fait chuter, pas la complexité calculatoire (les formules).
Le mur des 5 tables
Les quadrants Q3 et Q4 partagent une caractéristique : ils nécessitent tous les deux plus de 5 tables pour être répondus. Et dans les deux cas, la précision SQL brut est exactement 0%. Ce n'est pas une coïncidence. Au-delà de 5 tables, les erreurs de jointure s'accumulent de manière multiplicative : une jointure incorrecte sur 5 étapes rend la requête entière fausse.
La précision partielle : un signal sous-estimé
Les chercheurs ont introduit la notion de "précision partielle" : une réponse partiellement correcte (bons résultats mais colonne manquante, ou identifiant interne retourné à la place d'un libellé). Cette précision partielle n'est pas comptée comme un succès dans le scoring principal, mais elle est instructive : elle montre que le LLM a compris l'intention de la question même quand il rate les détails techniques.
En GEO, l'équivalent est une citation approximative : l'IA mentionne votre marque ou votre contenu, mais avec un détail incorrect. C'est mieux que l'absence totale, mais ça peut induire l'utilisateur en erreur. La précision sémantique complète reste l'objectif.
Un benchmark reproductible : pourquoi c'est important
1 minUn des points forts de cette étude est sa reproductibilité revendiquée. Toutes les données sont publiées sur GitHub : le schéma SQL, les données de test, l'ontologie OWL, les mappings R2RML, les 43 questions avec leurs réponses de référence. N'importe quelle équipe peut répliquer l'expérience avec d'autres modèles ou d'autres paramètres de prompt.
C'est précisément ce qu'il manque au GEO aujourd'hui : des benchmarks reproductibles qui mesurent la précision des citations IA sur des contenus web réels. Ce benchmark base de données en est le précurseur méthodologique le plus rigoureux que j'aie vu à ce jour.
La grille 2x2 de ce benchmark est un outil de pensée applicable au GEO. Avant de produire un contenu, posez-vous les deux questions : est-ce que la question que mon contenu traite est simple (reporting, liste, définition) ou complexe (comparaison, calcul, inférence) ? Est-ce que mon sujet est autonome (peu de concepts liés) ou relationnel (nécessite de comprendre plusieurs entités et leurs liens) ? Plus votre contenu est dans le quadrant complexe/relationnel, plus votre structure sémantique doit être solide pour être cité correctement par les IA.
Questions fréquentes
2 minGPT-4 était le modèle state-of-the-art au moment de l'étude (octobre 2023). Les auteurs reconnaissent explicitement que d'autres modèles devraient être testés. Avec GPT-4o, Claude 3 Opus ou Gemini 1.5, les chiffres absolus seraient probablement meilleurs. Mais la structure des résultats, le fait que le contexte sémantique améliore systématiquement la précision dans tous les quadrants, resterait presque certainement la même. C'est un résultat sur la mécanique, pas sur un modèle spécifique.
Les auteurs eux-mêmes reconnaissent cette limite. 43 questions sur un seul secteur (l'assurance) avec un seul schéma de référence n'est pas un échantillon suffisant pour des conclusions statistiques solides. C'est pourquoi ils présentent leurs résultats comme des "preuves qui supportent l'hypothèse" plutôt que comme des vérités définitives. La valeur du benchmark réside dans sa méthodologie reproductible et dans l'ampleur des écarts observés, difficile à attribuer au hasard avec des résultats à 0% sur deux quadrants entiers.
Posez-vous deux questions sur chaque page clé : 1) La question que cette page répond est-elle simple (une définition, une liste, un tarif) ou complexe (une comparaison multi-critères, une recommandation conditionnelle, un calcul) ? 2) Le sujet de cette page implique-t-il peu de concepts liés (page autonome) ou beaucoup (page qui nécessite de comprendre d'autres pages pour avoir du sens) ? Si vous êtes dans le quadrant complexe/relationnel, investissez dans la structure sémantique : Schema.org détaillé, H2 descriptifs, maillage interne dense vers les pages de contexte.
Les moteurs de recherche IA comme Perplexity ou ChatGPT Search utilisent des prompts bien plus sophistiqués que le zero-shot simple de ce benchmark. Ils incluent des exemples, des instructions de formatage, des garde-fous contre les hallucinations. En pratique, leurs résultats sur vos contenus seront probablement meilleurs que ce que le benchmark prédit. Mais le principe reste : plus votre contenu est sémantiquement dense et structuré, moins le LLM a besoin de deviner, et meilleure est la citation.
Freelance SEO Senior, 20 ans d'expérience. J'aide les PME à renforcer leur visibilité sur Google tout en intégrant les nouveaux enjeux liés aux moteurs IA. Mon expertise couvre à la fois le SEO classique et les stratégies émergentes de présence dans les IA (GEO), que j'exploite de manière complémentaire selon les objectifs. Approche basée sur des données réelles : logs serveur, tests en compétition, audits de sites.