Fine-tuning (ajuste fino)

Definición

El fine-tuning (ajuste fino) toma un modelo ya entrenado con un corpus amplio y continúa su entrenamiento con datos más específicos. El modelo conserva sus capacidades generales y se adapta a una necesidad concreta: tono editorial, vocabulario de un sector, formato de salida estricto, tarea de clasificación.

Variantes

• Ajuste con instrucciones: entrenar al modelo para seguir instrucciones a partir de ejemplos (instrucción, respuesta esperada).
• Aprendizaje a partir de valoraciones humanas (RLHF): unos evaluadores comparan respuestas y el modelo se ajusta para favorecer las que prefieren. El artículo de Ouyang et al. describe su aplicación a los modelos de lenguaje.
• Métodos eficientes en parámetros: en lugar de modificar todos los pesos del modelo, solo se entrena un pequeño número de parámetros adicionales. LoRA es el ejemplo más conocido y reduce mucho el coste del ajuste.

¿Fine-tuning, RAG o prompt?

• El prompt es lo más sencillo y barato: conviene probarlo primero.
• El RAG sirve para aportar conocimientos actualizados o privados, con fuentes verificables.
• El fine-tuning sirve para modificar de forma duradera el comportamiento, el estilo o el formato, o para especializar un modelo más pequeño en una tarea concreta.

Estos enfoques no se excluyen y pueden combinarse.

Límites

Hacen falta datos de calidad en cantidad suficiente, un coste de cálculo y una evaluación rigurosa. Un ajuste mal hecho puede degradar las capacidades generales del modelo.