Transformer

Definizione

Il Transformer è un’architettura di rete neurale presentata nel 2017 per la traduzione automatica. Ha sostituito le reti ricorrenti nella maggior parte dei compiti linguistici e si è poi estesa a immagini, audio e altre modalità.

Il principio: l’attenzione

Per produrre ogni elemento in uscita, il modello calcola dei pesi di attenzione che indicano l’importanza di ciascun altro elemento della sequenza. Nell’auto-attenzione, ogni token osserva tutti gli altri token del testo per costruire una rappresentazione che tenga conto del contesto. Più «teste» di attenzione lavorano in parallelo, ognuna capace di cogliere un tipo di relazione diverso.

Perché si è imposto

• Parallelizzazione: a differenza delle reti ricorrenti, che leggono il testo passo dopo passo, il Transformer elabora tutta la sequenza in parallelo durante l’addestramento, sfruttando bene i processori grafici (GPU).
• Dipendenze lunghe: l’attenzione collega direttamente parole lontane nel testo.
• Scalabilità: l’architettura si presta all’addestramento di modelli molto grandi su corpora molto ampi.

Limite principale

Il costo di calcolo dell’auto-attenzione cresce molto con la lunghezza del testo, il che limita la dimensione della finestra di contesto e ha motivato numerose varianti più economiche.