Embeddings (plongements)
En bref
Un embedding représente un texte, une image ou un autre objet par une liste de nombres (un vecteur), de sorte que les éléments proches par le sens aient des vecteurs proches.
Sources[1]
Définition
Un embedding (en français, plongement) est la représentation d'un objet (mot, phrase, document, image…) sous forme d'un vecteur de nombres. Un modèle est entraîné pour que des objets proches par le sens se retrouvent proches dans cet espace vectoriel.
À quoi ça sert
- Recherche sémantique : retrouver des textes par le sens plutôt que par les mots exacts. On compare le vecteur de la requête à ceux des documents, souvent avec une mesure comme la similarité cosinus.
- RAG : retrouver les passages pertinents à fournir à un modèle de langage avant qu'il réponde.
- Classification, regroupement, recommandation, détection de doublons.
Repères historiques
Les travaux de Mikolov et al. (2013) sur word2vec ont popularisé les plongements de mots. Les modèles actuels produisent des plongements de phrases ou de documents entiers, prenant en compte le contexte.
Limites
Un embedding compresse le sens en un nombre fixe de dimensions : des nuances peuvent se perdre. La qualité dépend du modèle, de la langue et du domaine ; un modèle généraliste peut être moins bon sur un vocabulaire très spécialisé.
Une erreur ou une idée sur cette fiche ? Dites-le-nous