Token

Définition

Un token est une unité de texte que le modèle lit et produit. Selon le tokeniseur, il peut s'agir d'un mot entier, d'un fragment de mot, d'un caractère isolé ou d'un signe de ponctuation. Le texte est découpé en tokens, puis chaque token est converti en un identifiant numérique.

Pourquoi pas des mots entiers ?

Les tokeniseurs modernes utilisent des sous-mots (par exemple via l'algorithme Byte Pair Encoding, adapté au traitement du langage dans l'article de Sennrich et al.). Cela permet de représenter des mots rares ou inconnus en les décomposant en fragments connus, avec un vocabulaire de taille raisonnable.

Pourquoi c'est important

• Longueur : la fenêtre de contexte d'un modèle se mesure en tokens, pas en mots.
• Coût : l'accès aux modèles par API est généralement facturé au nombre de tokens traités (en entrée et en sortie) ; les abonnements grand public, eux, sont le plus souvent forfaitaires, avec des limites d'usage.
• Langues : un même texte peut demander plus de tokens selon la langue et le tokeniseur, ce qui influe sur le coût et la place disponible dans le contexte.

Ordre de grandeur

Il n'existe pas de conversion universelle entre mots et tokens : elle dépend du tokeniseur et de la langue. Pour un chiffre fiable, utiliser l'outil de comptage fourni par le fournisseur du modèle.