Token

Definizione

Un token è un’unità di testo che il modello legge e produce. A seconda del tokenizzatore, può essere una parola intera, un frammento di parola, un singolo carattere o un segno di punteggiatura. Il testo viene suddiviso in token e ogni token viene convertito in un identificatore numerico.

Perché non parole intere?

I tokenizzatori moderni usano sottoparole (per esempio con l’algoritmo Byte Pair Encoding, adattato all’elaborazione del linguaggio nell’articolo di Sennrich et al.). Così si possono rappresentare parole rare o sconosciute scomponendole in frammenti noti, con un vocabolario di dimensioni ragionevoli.

Perché è importante

• Lunghezza: la finestra di contesto di un modello si misura in token, non in parole.
• Costo: l'accesso ai modelli tramite API si paga di solito in base al numero di token elaborati (in ingresso e in uscita); gli abbonamenti per il grande pubblico sono invece per lo più a prezzo fisso, con limiti di utilizzo.
• Lingue: lo stesso testo può richiedere più token a seconda della lingua e del tokenizzatore, con effetti su costo e spazio disponibile nel contesto.

Ordine di grandezza

Non esiste una conversione universale tra parole e token: dipende dal tokenizzatore e dalla lingua. Per un dato affidabile, usa lo strumento di conteggio del fornitore del modello.