Fine-Tuning (Feinabstimmung)
Kurz gesagt
Beim Fine-Tuning wird ein bereits vortrainiertes Modell mit einem kleineren Datensatz weitertrainiert, um es an eine bestimmte Aufgabe, einen Stil oder ein Fachgebiet anzupassen.
Definition
Beim Fine-Tuning (Feinabstimmung) wird ein bereits auf einem großen Korpus trainiertes Modell mit gezielteren Daten weitertrainiert. Das Modell behält seine allgemeinen Fähigkeiten und passt sich zugleich einem bestimmten Bedarf an: redaktioneller Ton, Fachvokabular einer Branche, strenges Ausgabeformat, Klassifikationsaufgabe.
Varianten
- Instruction Tuning: Das Modell lernt anhand von Beispielen (Anweisung, erwartete Antwort), Anweisungen zu befolgen.
- Lernen aus menschlichem Feedback (RLHF): Bewertende vergleichen Antworten, und das Modell wird so angepasst, dass es die bevorzugten begünstigt. Der Artikel von Ouyang et al. beschreibt seine Anwendung auf Sprachmodelle.
- Parameter-effiziente Verfahren: Statt alle Gewichte des Modells zu ändern, wird nur eine kleine Zahl zusätzlicher Parameter trainiert. LoRA ist das bekannteste Beispiel und senkt die Kosten der Feinabstimmung erheblich.
Fine-Tuning, RAG oder Prompt?
- Der Prompt ist am einfachsten und günstigsten: zuerst ausprobieren.
- RAG eignet sich, um aktuelles oder privates Wissen mit überprüfbaren Quellen einzubringen.
- Fine-Tuning eignet sich, um Verhalten, Stil oder Format dauerhaft zu ändern oder ein kleineres Modell auf eine bestimmte Aufgabe zu spezialisieren.
Die Ansätze schließen sich nicht aus und lassen sich kombinieren.
Grenzen
Nötig sind ausreichend hochwertige Daten, Rechenkosten und eine sorgfältige Evaluation. Eine schlecht durchgeführte Feinabstimmung kann die allgemeinen Fähigkeiten des Modells verschlechtern.
Ein Fehler oder eine Idee zu diesem Eintrag? Sagen Sie es uns