Transformer

Definición

El Transformer es una arquitectura de red neuronal presentada en 2017 para la traducción automática. Sustituyó a las redes recurrentes en la mayoría de las tareas de lenguaje y después se extendió a la imagen, el audio y otras modalidades.

Principio: la atención

Para producir cada elemento de salida, el modelo calcula pesos de atención que indican la importancia de cada uno de los demás elementos de la secuencia. En la autoatención, cada token mira todos los demás tokens del texto para construir una representación que tenga en cuenta el contexto. Varias «cabezas» de atención trabajan en paralelo, y cada una puede captar un tipo de relación diferente.

Por qué se impuso

• Paralelización: a diferencia de las redes recurrentes, que leen el texto paso a paso, el Transformer procesa toda la secuencia en paralelo durante el entrenamiento, lo que aprovecha bien los procesadores gráficos (GPU).
• Dependencias largas: la atención conecta directamente palabras alejadas en el texto.
• Escalabilidad: la arquitectura se presta al entrenamiento de modelos muy grandes con corpus muy grandes.

Principal limitación

El coste de cálculo de la autoatención crece mucho con la longitud del texto, lo que limita el tamaño de la ventana de contexto y ha motivado numerosas variantes más económicas.