Embeddings (Einbettungen)
Kurz gesagt
Ein Embedding stellt einen Text, ein Bild oder ein anderes Objekt als Zahlenliste (Vektor) dar, sodass Elemente mit ähnlicher Bedeutung ähnliche Vektoren haben.
Quellen[1]
Definition
Ein Embedding (deutsch Einbettung) ist die Darstellung eines Objekts (Wort, Satz, Dokument, Bild…) als Vektor aus Zahlen. Ein Modell wird so trainiert, dass bedeutungsähnliche Objekte in diesem Vektorraum nahe beieinanderliegen.
Wofür man es nutzt
- Semantische Suche: Texte nach Bedeutung statt nach exakten Wörtern finden. Man vergleicht den Vektor der Anfrage mit denen der Dokumente, oft mit einem Maß wie der Kosinus-Ähnlichkeit.
- RAG: die passenden Passagen finden, die einem Sprachmodell vor der Antwort übergeben werden.
- Klassifikation, Clustering, Empfehlungen, Dublettenerkennung.
Historische Meilensteine
Die Arbeiten von Mikolov et al. (2013) zu word2vec haben Worteinbettungen populär gemacht. Heutige Modelle erzeugen kontextabhängige Einbettungen ganzer Sätze oder Dokumente.
Grenzen
Ein Embedding verdichtet Bedeutung auf eine feste Zahl von Dimensionen, dabei können Nuancen verloren gehen. Die Qualität hängt von Modell, Sprache und Fachgebiet ab; ein allgemeines Modell kann bei sehr spezialisiertem Vokabular schwächer sein.
Ein Fehler oder eine Idee zu diesem Eintrag? Sagen Sie es uns