Alucinação

Definição

Fala-se de alucinação quando um modelo gera um conteúdo que parece credível mas é falso, inventado ou sem fundamento: uma referência bibliográfica inexistente, uma data errada, um pormenor acrescentado a um resumo que não constava do texto original.

Porque acontece

Um modelo de linguagem é treinado para produzir a continuação mais plausível, não para verificar factos. Se não dispuser da informação, ou se esta for rara nos seus dados, pode mesmo assim produzir uma resposta fluida. Dados de treino errados ou contraditórios e instruções ambíguas também contribuem.

Como as limitar

• Fornecer as fontes na instrução ou usar um sistema de RAG.
• Pedir que cite as passagens utilizadas e depois verificá-las.
• Permitir que o modelo diga que não sabe.
• Verificar os factos importantes em fontes fiáveis: números, nomes, referências, citações.
• Usar ferramentas externas (pesquisa, calculadora) para informação factual e cálculos.

Atenção

Estes métodos reduzem o risco, mas não o eliminam. Para qualquer utilização com consequências (saúde, direito, finanças), continua a ser necessária uma revisão humana.