Transformer

Definição

O Transformer é uma arquitetura de rede neuronal apresentada em 2017 para a tradução automática. Substituiu as redes recorrentes na maioria das tarefas de linguagem e alargou-se depois à imagem, ao áudio e a outras modalidades.

Princípio: a atenção

Para produzir cada elemento de saída, o modelo calcula pesos de atenção que indicam a importância de cada um dos outros elementos da sequência. Na autoatenção, cada token observa todos os outros tokens do texto para construir uma representação que tem em conta o contexto. Várias «cabeças» de atenção trabalham em paralelo, cada uma capaz de captar um tipo de relação diferente.

Porque se impôs

• Paralelização: ao contrário das redes recorrentes, que leem o texto passo a passo, o Transformer processa toda a sequência em paralelo durante o treino, aproveitando bem os processadores gráficos (GPU).
• Dependências longas: a atenção liga diretamente palavras distantes no texto.
• Escalabilidade: a arquitetura presta-se ao treino de modelos muito grandes com corpora muito grandes.

Principal limitação

O custo de computação da autoatenção cresce muito com o comprimento do texto, o que limita o tamanho da janela de contexto e motivou numerosas variantes mais económicas.