Série Strategic SEO 2025 : Article #04

Les Human Quality Raters : données d'entraînement direct, et pas ce que Google a toujours dit

· 12 min de lecture · Frédéric Jézégou

Google a toujours dit que les quality raters ne jouent pas directement sur le ranking. Le procès DOJ révèle que leurs scores constituent l'un des deux jeux de données primaires pour entraîner RankEmbed et RankEmbedBERT : les modèles ML au cœur du ranking. Les QRG ne sont pas un guide théorique : c'est la spécification fonctionnelle de l'algorithme.

Série complète · 12 articles

Cet article fait partie de la série Strategic SEO 2025 : Le ranking de Google enfin documenté, inspirée du travail de Shaun Anderson sur Hobo Strategic SEO 2025.

Voir la série
Source : Hobo Strategic SEO 2025 : Shaun Anderson · Chapitre "How Human Quality Raters Are Used" + DOJ v. Google Remedial Opinion

Analyse basée sur les témoignages de Pandu Nayak (VP Search Google) au procès DOJ, la Remedial Opinion non censurée, et le livre de Shaun Anderson (@Hobo_Web).

En résumé
  • La Remedial Opinion DOJ révèle que RankEmbed et RankEmbedBERT sont entraînés sur deux sources primaires : logs de recherche + scores des human quality raters
  • Ce n'est pas du benchmarking périphérique, c'est une donnée d'entraînement fondatrice qui définit comment les modèles ML apprennent à ranker
  • Le VP Search Pandu Nayak confirme : RankEmbedBERT a "significativement amélioré les performances sur les requêtes longue-traîne"
  • Google a toujours maintenu que les rater scores "n'impactent pas directement le ranking d'un site individuel" : techniquement vrai, stratégiquement trompeur
  • La déviation : l'influence est systémique, pas individuelle · les jugements agrégés des raters définissent ce que l'algorithme valorise
  • Conséquence directe : les Search Quality Rater Guidelines (QRG) sont la spécification fonctionnelle de l'algorithme · pas un guide optionnel

Qui sont les Human Quality Raters ?

1 min

Les Human Quality Raters sont des évaluateurs humains contractuels, des dizaines de milliers de personnes à travers le monde, que Google emploie pour noter manuellement la qualité des pages web et des résultats de recherche. Ils travaillent à partir des Search Quality Rater Guidelines (QRG), un document public de plusieurs centaines de pages que Google met à jour régulièrement.

Concrètement, un rater reçoit une requête et un ensemble de résultats. Il évalue chaque résultat selon deux dimensions principales :

Ces évaluations produisent des scores numériques. Et c'est là que réside tout l'enjeu de ce que le procès DOJ a révélé : que deviennent réellement ces scores ?

Le discours public de Google : "feedback, pas ranking"

1 min

Pendant des années, Google a maintenu une ligne officielle constante sur le rôle des quality raters. La formulation typique :

Discours officiel Google (pré-DOJ)
"Les quality raters n'impactent pas directement le ranking d'un site individuel. Leur rôle est de nous aider à mesurer la qualité de nos résultats et d'évaluer les changements que nous apportons à Search."
Cette formulation a conduit beaucoup à interpréter les QRG comme un guide utile mais périphérique · pas comme un élément central de l'algorithme.

La distinction sémantique que Google entretenait : les raters évaluent des résultats après que l'algorithme les a produits, fournissant du feedback pour calibrer les futures mises à jour. Implication : leur influence est filtrée, indirecte, humaine dans la boucle mais pas dans le pipeline de ranking lui-même.

Cette interprétation était techniquement défendable, et stratégiquement très pratique pour Google, car elle réduisait l'importance perçue des QRG comme outil d'optimisation.

La révélation DOJ : données d'entraînement primaires

1 min

La Remedial Opinion du procès DOJ change radicalement cette image. Le document révèle que les scores des quality raters constituent l'un des deux jeux de données primaires pour entraîner RankEmbed et RankEmbedBERT : des modèles ML qui sont au cœur du système de ranking de Google.

Citation directe · DOJ v. Google, Remedial Opinion
"RankEmbed and its later iteration RankEmbedBERT are ranking models that rely on two main sources of data: % of 70 days of search logs plus scores generated by human raters and used by Google to measure the quality of organic search results."
Ce n'est pas du benchmarking, c'est de la donnée d'entraînement fondatrice.

La distinction est fondamentale. Si les scores de raters calibrent l'algorithme, on est dans le domaine du feedback indirect. Si les scores de raters entraînent le modèle, on est dans le domaine de la donnée constitutive · les jugements humains sont littéralement ce que le modèle apprend à reproduire.

Le pipeline RankEmbed : comment ça fonctionne

1 min

Pour comprendre l'enjeu, il faut comprendre ce qu'est RankEmbed. C'est un modèle "dual encoder" : il encode à la fois les requêtes et les pages web dans un espace vectoriel de haute dimension, et mesure leur proximité sémantique.

Source 1
70 jours de logs de recherche · Requêtes + clics · Comportement utilisateurs réels
→
RankEmbed / RankEmbedBERT
Modèle d'entraînement · Dual encoder · Espace sémantique vectoriel
→
Source 2
Scores human quality raters · Évaluations Page Quality + Needs Met · QRG

Le modèle apprend à représenter les requêtes et les pages de façon à ce que les pages que les raters ont scorées comme "haute qualité / très pertinentes" se retrouvent proches des requêtes correspondantes dans l'espace vectoriel.

En d'autres termes : les jugements des raters définissent ce que "bon résultat" veut dire pour le modèle. Ce n'est pas une influence périphérique, c'est la supervision du modèle.

RankEmbedBERT : l'impact sur la longue-traîne

Pandu Nayak · VP Search Google, témoignage DOJ
"RankEmbedBERT was again one of those very strong impact things, and it particularly helped with long-tail queries where language understanding is that much more important."
Les requêtes longue-traîne, moins de données comportementales disponibles, dépendent davantage des scores de raters pour leur entraînement.

C'est particulièrement significatif : là où les données de clics sont abondantes (requêtes à fort volume), RankEmbed peut s'appuyer sur les comportements utilisateurs. Mais pour les requêtes rares ou nouvelles, les scores de raters deviennent la source d'apprentissage dominante.

La déviation : techniquement vrai, stratégiquement trompeur

1 min

Le procès DOJ a fourni la formulation la plus précise de cette déviation :

DOJ v. Google, Remedial Opinion · sur l'avantage concurrentiel
"The RankEmbed models trained on that data have directly contributed to the company's quality edge over competitors."
L'avantage concurrentiel de Google provient en partie des jugements agrégés de ses quality raters · une ressource propriétaire que les concurrents ne peuvent pas répliquer.

Google n'a pas menti, mais a omis l'essentiel. La déclaration "les scores de raters n'impactent pas directement le ranking d'un site individuel" est vraie à l'échelle d'une page spécifique. Mais elle masque le fait que les jugements agrégés de milliers de raters définissent ce que les modèles ML centraux de Google apprennent à valoriser · sur toutes les pages, pour toutes les requêtes.

Discours public Google (pré-DOJ) Réalité révélée par le procès
"Les rater scores n'impactent pas directement le ranking d'un site individuel" Les scores agrégés entraînent RankEmbed et RankEmbedBERT : modèles centraux du pipeline de ranking
"Les raters aident à mesurer la qualité et évaluer les changements" (benchmarking) Les scores sont une donnée d'entraînement fondatrice · ils définissent ce que le modèle apprend à considérer comme "bon résultat"
Influence périphérique : feedback filtré par les ingénieurs Influence systémique : jugements humains directement intégrés dans le modèle via supervised learning
QRG = guide utile pour comprendre Google QRG = spécification fonctionnelle de ce que les algorithmes ont appris à valoriser

Les QRG comme spécification de l'algorithme

1 min

La conséquence stratégique la plus importante de cette révélation : les Search Quality Rater Guidelines ne sont pas un document de communication de Google sur ses valeurs. Ce sont les instructions qui guident les évaluateurs dont les jugements entraînent directement les modèles de ranking.

Autrement dit : ce que les QRG définissent comme "haute qualité", c'est ce que RankEmbed a appris à favoriser. Pas par hasard, pas par analogie · par construction directe.

Ce que les QRG évaluent concrètement

Ce que ça change pour la stratégie SEO

Si vous optimisez pour les QRG, vous optimisez directement pour les critères qui ont entraîné les modèles de ranking. Ce n'est pas une métaphore, c'est le mécanisme confirmé sous serment.

En pratique, cela implique :

L'avantage concurrentiel propriétaire de Google

1 min

La Remedial Opinion pointe un élément crucial : les modèles entraînés sur les données de raters ont "directement contribué à l'avantage qualitatif de Google sur ses concurrents." Pourquoi ? Parce que ce corpus de jugements humains est une ressource propriétaire irréplicable.

Bing, DuckDuckGo, Brave Search n'ont pas accès à des décennies de jugements humains annotés sur des milliards de pages web. Google a construit cette base de données de ground truth humain progressivement depuis le début des années 2000. C'est une barrière à l'entrée de la même nature que les données Chrome pour NavBoost · une ressource que l'échelle seule permet d'accumuler.

En complément, pour identifier les experts du domaine, consultez le palmarès des principaux consultants SEO français, mis à jour chaque mois selon des critères factuels (ancienneté, spécialisation sectorielle, présence dans les moteurs IA, votes mensuels de la profession).

Questions fréquentes

3 min
Oui et non, c'est là que réside la déviation révélée au procès DOJ. Techniquement, un score individuel de rater ne déplace pas manuellement une page dans les résultats. Mais les scores agrégés constituent l'un des deux jeux de données primaires pour entraîner RankEmbed et RankEmbedBERT : des modèles au cœur de l'algorithme de ranking. Leur influence est systémique et fondamentale.
RankEmbed est un modèle de ranking "dual encoder" qui encode les requêtes et pages dans un espace vectoriel pour mesurer leur similarité sémantique. RankEmbedBERT est son itération basée sur BERT. Tous deux sont entraînés sur deux sources primaires : les logs de clics/requêtes des 70 derniers jours et les scores des human quality raters. Selon Pandu Nayak, RankEmbedBERT a significativement amélioré les performances sur les requêtes longue-traîne.
Google a longtemps maintenu que les scores des quality raters ne "n'impactent pas directement le ranking d'un site individuel". Le discours officiel décrivait leur rôle comme du "benchmarking", mesurer la qualité et évaluer les changements, suggérant une influence indirecte. Le procès DOJ a révélé que cette influence est en réalité directe et systémique via l'entraînement de modèles ML centraux.
Les QRG sont les directives publiques que Google fournit à ses évaluateurs humains pour noter la qualité des pages. Elles couvrent E-E-A-T, les pages YMYL, la notion de "Needs Met" et la qualité des pages landing. Étant donné que les scores de raters entraînent directement RankEmbed, les QRG constituent le manuel d'optimisation le plus direct jamais publié par Google.
Si les raters ne font que du benchmarking indirect, optimiser pour les QRG est utile mais périphérique. Si les scores de raters entraînent directement les modèles de ranking centraux, alors les QRG sont la spécification fonctionnelle exacte de ce que les algorithmes ont appris à valoriser. Le procès DOJ confirme la seconde hypothèse.
human-quality-raters-training-data-google.md
Frédéric Jézégou : Consultant SEO & GEO
Auteur
Frédéric Jézégou
Consultant SEO & GEO Senior · Rankit.fr

Freelance SEO Senior, 20 ans d'expérience. J'aide les PME à renforcer leur visibilité sur Google tout en intégrant les nouveaux enjeux liés aux moteurs IA. Mon expertise couvre à la fois le SEO classique et les stratégies émergentes de présence dans les IA (GEO), que j'exploite de manière complémentaire selon les objectifs. Approche basée sur des données réelles : logs serveur, tests en compétition, audits de sites.