LLM (grand modèle de langage)

Définition

Un LLM (Large Language Model, « grand modèle de langage ») est un réseau de neurones entraîné sur de très grands corpus de texte. Son entraînement de base consiste à prédire le mot (ou plus exactement le token) suivant dans une séquence. En répétant cette opération des milliards de fois, le modèle acquiert une représentation statistique de la langue, de la grammaire, d'une partie des connaissances présentes dans ses données, et de certains schémas de raisonnement.

Comment ça fonctionne

• Tokenisation : le texte est découpé en unités appelées tokens (mots, fragments de mots, signes de ponctuation), converties en nombres.
• Architecture Transformer : la plupart des LLM actuels reposent sur cette architecture, introduite en 2017. Son mécanisme d'attention permet au modèle de pondérer l'importance de chaque partie du texte d'entrée pour produire la suite.
• Pré-entraînement : le modèle apprend à prédire le token suivant sur un corpus massif.
• Ajustement : une phase complémentaire (par exemple l'apprentissage à partir de retours humains) rend le modèle plus utile, plus sûr et plus conforme aux instructions.
• Génération : à l'usage, le modèle produit la réponse token après token, en choisissant à chaque étape parmi les suites les plus probables.

Ce qu'un LLM sait faire

Rédiger et reformuler, résumer, traduire, répondre à des questions, classer ou extraire de l'information, écrire du code, et dialoguer en langage naturel. Les modèles les plus récents traitent aussi d'autres modalités (images, audio) et peuvent utiliser des outils externes.

Limites à connaître

• Hallucinations : un LLM peut produire des affirmations fausses énoncées avec assurance, car il génère du texte plausible et non une vérité vérifiée.
• Connaissances datées : ses connaissances s'arrêtent à la date de fin de son entraînement, sauf s'il est relié à des sources à jour.
• Biais : il reflète les biais présents dans ses données d'entraînement.
• Fenêtre de contexte limitée : il ne traite qu'une quantité finie de texte à la fois.
• Coût : l'entraînement et l'exploitation des grands modèles demandent des ressources de calcul importantes.

Un peu d'histoire

L'article « Attention Is All You Need » (2017) introduit l'architecture Transformer. À partir de 2018, les familles de modèles type GPT et BERT montrent l'intérêt du pré-entraînement à grande échelle. L'article sur GPT-3 (2020) met en évidence qu'un très grand modèle peut accomplir de nouvelles tâches à partir de quelques exemples donnés dans la consigne. Depuis, la diffusion auprès du grand public via des assistants conversationnels a rendu les LLM omniprésents.

À ne pas confondre

• IA générative : catégorie plus large, qui inclut aussi la génération d'images, d'audio et de vidéo. Les LLM en sont la branche textuelle.
• Moteur de recherche : un LLM ne consulte pas une base de documents par défaut ; il génère une réponse à partir de ce qu'il a appris.