Fine-tuning (ajuste fino)
Em resumo
O fine-tuning consiste em continuar o treino de um modelo já pré-treinado com um conjunto de dados mais restrito, para o adaptar a uma tarefa, um estilo ou um domínio específicos.
Definição
O fine-tuning (ajuste fino) pega num modelo já treinado com um vasto corpus e continua o seu treino com dados mais direcionados. O modelo conserva as capacidades gerais e adapta-se a uma necessidade concreta: tom editorial, vocabulário de um setor, formato de saída rigoroso, tarefa de classificação.
Variantes
- Ajuste por instruções: treinar o modelo para seguir instruções a partir de exemplos (instrução, resposta esperada).
- Aprendizagem a partir de avaliações humanas (RLHF): avaliadores comparam respostas e o modelo é ajustado para favorecer as que preferem. O artigo de Ouyang et al. descreve a sua aplicação aos modelos de linguagem.
- Métodos eficientes em parâmetros: em vez de alterar todos os pesos do modelo, treina-se apenas um pequeno número de parâmetros adicionais. O LoRA é o exemplo mais conhecido e reduz muito o custo do ajuste.
Fine-tuning, RAG ou prompt?
- O prompt é o mais simples e barato: experimente-o primeiro.
- O RAG serve para trazer conhecimentos atualizados ou privados, com fontes verificáveis.
- O fine-tuning serve para alterar de forma duradoura o comportamento, o estilo ou o formato, ou para especializar um modelo mais pequeno numa tarefa concreta.
Estas abordagens não se excluem e podem ser combinadas.
Limites
São precisos dados de qualidade em quantidade suficiente, custo de computação e uma avaliação rigorosa. Um ajuste mal feito pode degradar as capacidades gerais do modelo.
Um erro ou uma ideia sobre esta ficha? Diga-nos