LLM (grande modelo de linguagem)

Definição

Um LLM (Large Language Model, «grande modelo de linguagem») é uma rede neuronal treinada com corpora de texto muito grandes. O seu treino de base consiste em prever a palavra (ou, mais exatamente, o token) seguinte numa sequência. Repetindo esta operação milhares de milhões de vezes, o modelo adquire uma representação estatística da língua, da gramática, de parte dos conhecimentos presentes nos seus dados e de certos esquemas de raciocínio.

Como funciona

• Tokenização: o texto é dividido em unidades chamadas tokens (palavras, fragmentos de palavras, sinais de pontuação), convertidas em números.
• Arquitetura Transformer: a maioria dos LLM atuais assenta nesta arquitetura, apresentada em 2017. O seu mecanismo de atenção permite ao modelo ponderar a importância de cada parte do texto de entrada para produzir a continuação.
• Pré-treino: o modelo aprende a prever o token seguinte num corpus enorme.
• Ajuste: uma fase complementar (por exemplo, aprendizagem a partir de avaliações humanas) torna o modelo mais útil, mais seguro e mais fiel às instruções.
• Geração: em utilização, o modelo produz a resposta token a token, escolhendo em cada passo entre as continuações mais prováveis.

O que um LLM sabe fazer

Redigir e reformular, resumir, traduzir, responder a perguntas, classificar ou extrair informação, escrever código e conversar em linguagem natural. Os modelos mais recentes também tratam outras modalidades (imagens, áudio) e podem usar ferramentas externas.

Limites a conhecer

• Alucinações: um LLM pode produzir afirmações falsas com toda a confiança, porque gera texto plausível e não uma verdade verificada.
• Conhecimentos datados: os seus conhecimentos param no fim do treino, a menos que esteja ligado a fontes atualizadas.
• Enviesamentos: reflete os enviesamentos presentes nos dados de treino.
• Janela de contexto limitada: só processa uma quantidade finita de texto de cada vez.
• Custo: treinar e explorar grandes modelos exige recursos de computação significativos.

Um pouco de história

O artigo «Attention Is All You Need» (2017) introduz a arquitetura Transformer. A partir de 2018, famílias de modelos como GPT e BERT mostram o interesse do pré-treino em grande escala. O artigo sobre o GPT-3 (2020) evidencia que um modelo muito grande consegue realizar novas tarefas a partir de poucos exemplos dados na instrução. Desde então, a difusão junto do grande público através de assistentes conversacionais tornou os LLM omnipresentes.

Não confundir com

• IA generativa: categoria mais ampla, que inclui também a geração de imagens, áudio e vídeo. Os LLM são o seu ramo textual.
• Motor de pesquisa: por omissão, um LLM não consulta uma base de documentos; gera uma resposta a partir do que aprendeu.