Transformer

Définition

Le Transformer est une architecture de réseau de neurones présentée en 2017 pour la traduction automatique. Elle a remplacé les réseaux récurrents dans la plupart des tâches de langage, puis s'est étendue à l'image, à l'audio et à d'autres modalités.

Principe : l'attention

Pour produire chaque élément de sortie, le modèle calcule des poids d'attention qui indiquent l'importance de chaque autre élément de la séquence. Dans l'auto-attention, chaque token regarde tous les autres tokens du texte pour construire une représentation tenant compte du contexte. Plusieurs « têtes » d'attention travaillent en parallèle, chacune pouvant capter un type de relation différent.

Pourquoi il s'est imposé

• Parallélisation : contrairement aux réseaux récurrents, qui lisent le texte pas à pas, le Transformer traite toute la séquence en parallèle pendant l'entraînement, ce qui exploite bien les processeurs graphiques (GPU).
• Dépendances longues : l'attention relie directement des mots éloignés dans le texte.
• Passage à l'échelle : l'architecture se prête à l'entraînement de très grands modèles sur de très grands corpus.

Limite principale

Le coût de calcul de l'auto-attention croît fortement avec la longueur du texte traité, ce qui limite la taille de la fenêtre de contexte et motive de nombreuses variantes plus économes.