Un LLM (Large Language Model) est un modèle d’intelligence artificielle entraîné sur des quantités massives de texte pour comprendre et générer du langage naturel. C’est la technologie qui propulse aujourd’hui ChatGPT, Claude, Gemini et la plupart des assistants IA grand public.
Qu’est-ce qu’un LLM exactement ?
Un LLM est un réseau de neurones artificiel comportant des milliards de paramètres, entraîné à prédire le mot ou le token le plus probable dans une séquence de texte. Plus le modèle est grand et mieux il est entraîné, plus ses réponses sont cohérentes, précises et utiles.
Le terme « large » fait référence à la taille du modèle, mesurée en nombre de paramètres. GPT-4 en compte plusieurs centaines de milliards, là où un petit modèle open source comme Phi-3 de Microsoft en compte quelques milliards seulement.
Comment fonctionne un LLM ?
Un LLM fonctionne en découpant le texte en unités appelées tokens, qui correspondent approximativement à des mots ou des fragments de mots. Pour chaque token généré, le modèle calcule une distribution de probabilité sur l’ensemble de son vocabulaire et sélectionne le token suivant le plus pertinent en fonction du contexte.
Ce mécanisme repose sur une architecture appelée Transformer, introduite par Google en 2017 dans l’article de recherche « Attention is All You Need ». Le Transformer utilise un mécanisme d’attention qui permet au modèle de pondérer l’importance de chaque partie du texte d’entrée pour produire une réponse cohérente.
En pratique, quand vous posez une question à ChatGPT, le modèle ne « réfléchit » pas au sens humain du terme. Il génère une réponse token par token, en se basant sur les patterns statistiques appris durant l’entraînement.
Qu’est-ce qu’un token et une fenêtre de contexte ?
Un token est l’unité de base qu’un LLM traite. En français, un token correspond en moyenne à environ 0,75 mot. La phrase « Bonjour, comment allez-vous ? » représente ainsi environ 7 tokens.
La fenêtre de contexte désigne la quantité maximale de tokens qu’un modèle peut traiter en une seule fois, entrée et sortie confondues. Un modèle avec une fenêtre de 128 000 tokens peut analyser un document de plusieurs centaines de pages en une seule requête. Gemini 1.5 Pro de Google proposait jusqu’à 1 million de tokens de contexte, un record au moment de sa sortie.
Plus la fenêtre de contexte est grande, plus le modèle peut maintenir une conversation longue et analyser des documents volumineux sans perdre le fil.
Quels sont les principaux LLM disponibles ?
Le marché des LLM s’est considérablement densifié depuis 2022. On distingue deux grandes familles.
Les modèles propriétaires : ils sont développés et hébergés par des entreprises privées, accessibles uniquement via API ou interface web. GPT-4o d’OpenAI, Claude 3.5 Sonnet d’Anthropic et Gemini 2.0 de Google en sont les représentants les plus connus. Leurs poids ne sont pas publics.
Les modèles open source : leurs poids sont publiés et peuvent être téléchargés pour être exécutés localement. Llama 3 de Meta, Mistral des équipes françaises de Mistral AI, ou encore Phi-3 de Microsoft appartiennent à cette catégorie. Ils permettent une utilisation sans dépendance à un service tiers.
Quelle est la différence entre un LLM et une IA générative ?
L’IA générative désigne l’ensemble des modèles capables de produire du contenu nouveau : texte, image, audio, vidéo ou code. Un LLM est une sous-catégorie de l’IA générative, spécialisée dans le texte.
Un modèle comme DALL-E ou Midjourney est de l’IA générative, mais ce n’est pas un LLM. À l’inverse, GPT-4 est à la fois un LLM et un modèle d’IA générative. La confusion entre les deux termes est fréquente, mais la distinction reste utile pour comprendre de quoi on parle.
Quelles sont les limites des LLM ?
Un LLM n’a pas accès à Internet par défaut et ses connaissances sont figées à une date de coupure d’entraînement. Il peut produire des informations incorrectes avec une apparente confiance, un phénomène appelé hallucination.
Les LLM sont également sensibles à la formulation des questions. Une même requête formulée différemment peut produire des résultats très variables. C’est pourquoi la discipline du prompt engineering s’est développée pour optimiser la façon d’interagir avec ces modèles.
Comment le RAG améliore-t-il les LLM ?
Le RAG (Retrieval-Augmented Generation) est une technique qui consiste à connecter un LLM à une base de connaissances externe pour enrichir ses réponses en temps réel. Au lieu de se fier uniquement à ce qu’il a appris durant son entraînement, le modèle récupère des documents pertinents avant de générer sa réponse.
Le fonctionnement est simple : quand vous posez une question, un moteur de recherche vectoriel identifie les passages les plus pertinents dans une base documentaire, puis les injecte dans le contexte du LLM. Le modèle dispose alors d’informations fraîches et sourcées pour formuler sa réponse.
Le RAG est particulièrement utile en entreprise, où les équipes l’utilisent pour interroger des bases de connaissances internes, des documentations techniques ou des archives, sans avoir à ré-entraîner le modèle. Il réduit significativement les hallucinations sur les sujets couverts par la base documentaire.
Questions fréquentes LLM
ChatGPT est une interface et un produit commercial développé par OpenAI, qui repose sur un LLM (GPT-4o ou GPT-3.5 selon la version). Le LLM est la technologie sous-jacente, ChatGPT est l’application qui l’exploite. D’autres produits comme Claude ou Gemini utilisent également des LLM différents.
Oui, un LLM peut produire des informations incorrectes, parfois avec assurance. Ce phénomène s’appelle l’hallucination. Il survient parce que le modèle génère des réponses statistiquement plausibles, sans vérifier leur exactitude factuelle. Il est donc recommandé de croiser les informations critiques avec des sources fiables.
Oui, si vous utilisez un modèle open source comme Llama 3 ou Mistral, il est possible de l’exécuter localement sur votre machine via des outils comme Ollama ou LM Studio. Les modèles propriétaires comme GPT-4o ou Claude nécessitent en revanche une connexion à l’API de leur éditeur.
