GEO, AEO, LLMO, AISO, AISEO : tous les acronymes de la visibilité IA expliqués

Un réseau de neurones artificiel destiné à modéliser le langage naturel, doté d'un très grand nombre de paramètres numériques (540 milliards pour Google PaLM, 170 milliards pour GPT-3, 40 milliards pour Falcon). Les LLM sont le substrat technique sur lequel reposent ChatGPT, Claude, Gemini, Mistral et tous les outils IA que le GEO cherche à influencer.

Un LLM ayant été suffisamment entraîné pour comprendre les propriétés fondamentales du langage naturel : structure des phrases, raisonnement de base, etc. Un modèle fondation n'est pas encore prêt à être utilisé directement · il doit être spécialisé via un Fine-Tuning. C'est à ce stade que les grands modèles open source comme Bloom ou Falcon concentrent les enjeux : entraîner ces fondations coûte des millions d'euros en puissance de calcul.

Entraîner dans un second temps un LLM pré-entraîné pour lui apprendre une tâche particulière (résumé, traduction, réponse aux questions). Cette étape est bien moins coûteuse que le pré-entraînement car le modèle a déjà assimilé les propriétés générales du langage. Les jeux de données de Fine-Tuning sont souvent plus petits mais nécessitent une intervention humaine (labélisation, évaluation).

Type spécifique de Fine-Tuning qui apprend au modèle à bien réagir face à des instructions du type "Peux-tu me résumer le texte suivant" ou "Traduis en anglais la phrase suivante". C'est ce qui transforme un Foundation Model en ChatBot utilisable comme ChatGPT.

Technique d'apprentissage où des examinateurs humains stimulent le modèle et corrigent ses prédictions pour l'améliorer continuellement. Utilisé en conjonction avec le Fine-Tuning pour bannir des réponses inappropriées et aligner les outputs du modèle aux préférences humaines. C'est notamment ce mécanisme qui permet aux IA de distinguer les sources fiables des sources douteuses.

Une réponse produite par le modèle d'IA qui peut paraître correcte mais n'est pas justifiée par ses données d'entraînement. Souvent le modèle paraît sûr de lui lorsqu'il hallucine. Exemple : "Napoléon est né en 2087 en Corse." Les LLM hallucinent davantage sur les sujets peu représentés dans leurs données d'entraînement.

Structure particulière de LLM introduite en 2017 dans le papier "Attention is All You Need". Depuis, c'est l'architecture avec laquelle on obtient les meilleures performances dans le traitement du langage naturel. Son atout : le mécanisme d'attention qui permet d'exploiter les relations entre les mots, même distants dans la phrase. GPT, Claude, Gemini et Mistral sont tous des Transformers.

Mécanisme utilisé pour représenter les liens relatifs entre les tokens d'entrée et leur importance. Ainsi, la représentation vectorielle de chaque token dépend de celle des autres tokens. C'est ce qui permet au modèle de comprendre que "il" dans "Emmanuel Macron est arrivé, il a parlé" fait référence à "Emmanuel Macron".

Une chaîne de caractères passée en input d'un modèle. Il regroupe les informations et/ou instructions nécessaires à la réalisation de la tâche ainsi que des informations additionnelles pour aider le modèle à comprendre sa tâche. Le prompt engineering est devenu une discipline à part entière.

Technique de prompt qui fournit N exemples dans l'input pour guider le modèle. Zero-shot : instruction seule, sans exemple. Few-shot : quelques exemples fournis dans le contexte. Le modèle apprend alors la tâche à partir de ces exemples, sans modifier ses paramètres.

Overfitting : modèle sur-entraîné sur un dataset particulier → sous-performe en dehors de sa "zone de confort". Solution : moins entraîner ou augmenter la diversité des données. Underfitting : modèle pas assez entraîné → réponses approximatives de faible qualité.

Technique qui facilite les calculs en approchant les valeurs des paramètres par une représentation moins volumineuse. Réduit les exigences en mémoire vive (VRAM) sans perte significative de précision. L'algorithme 8-bit optimizer permet par exemple de diviser par 4 les besoins mémoire. Clé pour déployer des LLM sur des serveurs moins puissants.

Processeur composé de nombreux cœurs spécialisés dans le calcul parallèle. Le GPU permet de paralléliser les calculs nécessaires à l'entraînement des Transformers. Au GPU est associé une quantité de VRAM (Video RAM) qui stocke temporairement les paramètres du modèle pendant le calcul. L'entraînement d'un LLM comme GPT-4 nécessite des milliers de GPU H100 pendant des mois.