Fine-tuning (ajustement fin)
En bref
Le fine-tuning consiste à poursuivre l'entraînement d'un modèle déjà pré-entraîné sur un jeu de données plus restreint pour l'adapter à une tâche, un style ou un domaine précis.
Définition
Le fine-tuning (ajustement fin) reprend un modèle déjà entraîné sur un vaste corpus et continue son entraînement sur des données plus ciblées. Le modèle conserve ses capacités générales tout en s'adaptant à un besoin spécifique : ton éditorial, vocabulaire d'un secteur, format de sortie strict, tâche de classification.
Variantes
- Ajustement sur instructions : entraîner le modèle à suivre des consignes à partir d'exemples (instruction, réponse attendue).
- Apprentissage à partir de retours humains (RLHF) : des évaluateurs comparent des réponses, et le modèle est ajusté pour favoriser celles qu'ils préfèrent. L'article d'Ouyang et al. décrit son application aux modèles de langage.
- Méthodes économes en paramètres : au lieu de modifier tous les poids du modèle, on n'entraîne qu'un petit nombre de paramètres supplémentaires. LoRA en est l'exemple le plus connu, et réduit fortement le coût de l'ajustement.
Fine-tuning, RAG ou prompt ?
- Le prompt est le plus simple et le moins coûteux : à essayer en premier.
- Le RAG convient pour apporter des connaissances à jour ou privées, avec des sources vérifiables.
- Le fine-tuning convient pour modifier durablement le comportement, le style ou le format, ou spécialiser un modèle plus petit sur une tâche précise.
Ces approches ne s'excluent pas et peuvent être combinées.
Limites
Il faut des données de qualité en quantité suffisante, un coût de calcul et une évaluation rigoureuse. Un ajustement mal conduit peut dégrader les capacités générales du modèle.
Une erreur ou une idée sur cette fiche ? Dites-le-nous