Token

Definition

Ein Token ist eine Texteinheit, die das Modell liest und erzeugt. Je nach Tokenizer kann es ein ganzes Wort, ein Wortteil, ein einzelnes Zeichen oder ein Satzzeichen sein. Der Text wird in Token zerlegt, und jedes Token wird in eine numerische Kennung umgewandelt.

Warum keine ganzen Wörter?

Moderne Tokenizer verwenden Teilwörter (zum Beispiel mit dem Algorithmus Byte Pair Encoding, der im Artikel von Sennrich et al. für die Sprachverarbeitung angepasst wurde). So lassen sich seltene oder unbekannte Wörter in bekannte Bruchstücke zerlegen, bei einem Vokabular vernünftiger Größe.

Warum das wichtig ist

• Länge: Das Kontextfenster eines Modells wird in Token gemessen, nicht in Wörtern.
• Kosten: Der API-Zugang zu Modellen wird in der Regel nach der Zahl verarbeiteter Token (Ein- und Ausgabe) abgerechnet; Abonnements für Privatnutzer sind dagegen meist Pauschalen mit Nutzungsgrenzen.
• Sprachen: Derselbe Text kann je nach Sprache und Tokenizer mehr Token benötigen, was Kosten und verfügbaren Kontext beeinflusst.

Größenordnung

Es gibt keine allgemeingültige Umrechnung zwischen Wörtern und Token: Sie hängt vom Tokenizer und der Sprache ab. Für eine verlässliche Zahl nutzen Sie das Zählwerkzeug des Modellanbieters.