Token

Definición

Un token es una unidad de texto que el modelo lee y produce. Según el tokenizador, puede ser una palabra entera, un fragmento de palabra, un carácter suelto o un signo de puntuación. El texto se divide en tokens y cada token se convierte en un identificador numérico.

¿Por qué no palabras enteras?

Los tokenizadores modernos usan subpalabras (por ejemplo, mediante el algoritmo Byte Pair Encoding, adaptado al procesamiento del lenguaje en el artículo de Sennrich et al.). Así se pueden representar palabras raras o desconocidas dividiéndolas en fragmentos conocidos, con un vocabulario de tamaño razonable.

Por qué es importante

• Longitud: la ventana de contexto de un modelo se mide en tokens, no en palabras.
• Coste: el acceso a los modelos por API suele facturarse por número de tokens procesados (de entrada y de salida); las suscripciones para el gran público, en cambio, suelen ser de tarifa plana, con límites de uso.
• Idiomas: un mismo texto puede necesitar más tokens según el idioma y el tokenizador, lo que influye en el coste y en el espacio disponible en el contexto.

Orden de magnitud

No existe una conversión universal entre palabras y tokens: depende del tokenizador y del idioma. Para obtener una cifra fiable, usa la herramienta de recuento del proveedor del modelo.