Fine-tuning (messa a punto)
In breve
Il fine-tuning consiste nel proseguire l’addestramento di un modello già pre-addestrato su un insieme di dati più ristretto, per adattarlo a un compito, uno stile o un ambito preciso.
Definizione
Il fine-tuning (messa a punto) riprende un modello già addestrato su un ampio corpus e ne prosegue l’addestramento su dati più mirati. Il modello conserva le sue capacità generali adattandosi a un’esigenza specifica: tono editoriale, lessico di un settore, formato di uscita rigoroso, compito di classificazione.
Varianti
- Addestramento su istruzioni: insegnare al modello a seguire istruzioni a partire da esempi (istruzione, risposta attesa).
- Apprendimento da feedback umano (RLHF): dei valutatori confrontano le risposte e il modello viene regolato per favorire quelle preferite. L’articolo di Ouyang et al. ne descrive l’applicazione ai modelli linguistici.
- Metodi efficienti nei parametri: invece di modificare tutti i pesi del modello, si addestra solo un piccolo numero di parametri aggiuntivi. LoRA è l’esempio più noto e riduce molto il costo della messa a punto.
Fine-tuning, RAG o prompt?
- Il prompt è la soluzione più semplice ed economica: da provare per prima.
- Il RAG è adatto a fornire conoscenze aggiornate o private, con fonti verificabili.
- Il fine-tuning è adatto a modificare in modo duraturo comportamento, stile o formato, o a specializzare un modello più piccolo su un compito preciso.
Questi approcci non si escludono e possono essere combinati.
Limiti
Servono dati di qualità in quantità sufficiente, un costo di calcolo e una valutazione rigorosa. Una messa a punto condotta male può peggiorare le capacità generali del modello.
Un errore o un’idea su questa scheda? Diccelo