LLM (großes Sprachmodell)

Definition

Ein LLM (Large Language Model, „großes Sprachmodell“) ist ein neuronales Netz, das mit sehr großen Textkorpora trainiert wurde. Sein Grundtraining besteht darin, das nächste Wort (genauer: das nächste Token) in einer Folge vorherzusagen. Durch milliardenfache Wiederholung erwirbt das Modell eine statistische Repräsentation der Sprache, der Grammatik, eines Teils des in seinen Daten enthaltenen Wissens und bestimmter Denkmuster.

Wie es funktioniert

• Tokenisierung: Der Text wird in Einheiten namens Token zerlegt (Wörter, Wortteile, Satzzeichen), die in Zahlen umgewandelt werden.
• Transformer-Architektur: Die meisten heutigen LLMs beruhen auf dieser 2017 vorgestellten Architektur. Ihr Attention-Mechanismus erlaubt es dem Modell, die Bedeutung jedes Teils des Eingabetexts für die Fortsetzung zu gewichten.
• Vortraining: Das Modell lernt, auf einem riesigen Korpus das nächste Token vorherzusagen.
• Feinabstimmung: Eine zusätzliche Phase (zum Beispiel Lernen aus menschlichem Feedback) macht das Modell nützlicher, sicherer und folgsamer gegenüber Anweisungen.
• Generierung: Im Einsatz erzeugt das Modell die Antwort Token für Token und wählt bei jedem Schritt unter den wahrscheinlichsten Fortsetzungen.

Was ein LLM kann

Schreiben und umformulieren, zusammenfassen, übersetzen, Fragen beantworten, Informationen einordnen oder extrahieren, Code schreiben und in natürlicher Sprache Dialoge führen. Die neuesten Modelle verarbeiten auch andere Modalitäten (Bilder, Audio) und können externe Werkzeuge nutzen.

Grenzen, die man kennen sollte

• Halluzinationen: Ein LLM kann falsche Aussagen selbstsicher formulieren, weil es plausiblen Text erzeugt und keine geprüfte Wahrheit.
• Veraltetes Wissen: Sein Wissen endet mit dem Abschluss des Trainings, sofern es nicht mit aktuellen Quellen verbunden ist.
• Verzerrungen: Es spiegelt die Verzerrungen seiner Trainingsdaten wider.
• Begrenztes Kontextfenster: Es verarbeitet nur eine begrenzte Textmenge auf einmal.
• Kosten: Training und Betrieb großer Modelle erfordern erhebliche Rechenressourcen.

Ein wenig Geschichte

Der Artikel „Attention Is All You Need“ (2017) führt die Transformer-Architektur ein. Ab 2018 zeigen Modellfamilien wie GPT und BERT den Nutzen des Vortrainings in großem Maßstab. Der Artikel zu GPT-3 (2020) zeigt, dass ein sehr großes Modell neue Aufgaben anhand weniger Beispiele in der Anweisung lösen kann. Seitdem hat die Verbreitung über Gesprächsassistenten LLMs allgegenwärtig gemacht.

Nicht zu verwechseln mit

• Generative KI: eine breitere Kategorie, die auch die Erzeugung von Bildern, Audio und Video umfasst. LLMs sind ihr textbasierter Zweig.
• Suchmaschine: Ein LLM durchsucht standardmäßig keine Dokumentensammlung; es erzeugt eine Antwort aus dem Gelernten.