Transformer
Kurz gesagt
Der Transformer ist die auf dem Attention-Mechanismus beruhende Architektur neuronaler Netze, auf der die meisten modernen Sprachmodelle aufbauen.
Quellen[1]
Definition
Der Transformer ist eine 2017 für die maschinelle Übersetzung vorgestellte Architektur neuronaler Netze. Er hat rekurrente Netze bei den meisten Sprachaufgaben abgelöst und sich dann auf Bild, Audio und weitere Modalitäten ausgeweitet.
Das Prinzip: Attention
Um jedes Ausgabeelement zu erzeugen, berechnet das Modell Attention-Gewichte, die angeben, wie wichtig jedes andere Element der Folge ist. Bei der Self-Attention betrachtet jedes Token alle anderen Token des Texts, um eine kontextbezogene Repräsentation aufzubauen. Mehrere Attention-„Köpfe“ arbeiten parallel und können jeweils eine andere Art von Beziehung erfassen.
Warum er sich durchgesetzt hat
- Parallelisierung: Anders als rekurrente Netze, die Text Schritt für Schritt lesen, verarbeitet der Transformer beim Training die ganze Folge parallel und nutzt Grafikprozessoren (GPUs) gut aus.
- Lange Abhängigkeiten: Attention verbindet weit voneinander entfernte Wörter direkt.
- Skalierbarkeit: Die Architektur eignet sich für das Training sehr großer Modelle auf sehr großen Korpora.
Wichtigste Einschränkung
Der Rechenaufwand der Self-Attention wächst stark mit der Textlänge. Das begrenzt die Größe des Kontextfensters und hat zahlreiche sparsamere Varianten hervorgebracht.
Ein Fehler oder eine Idee zu diesem Eintrag? Sagen Sie es uns