Halluzination
Kurz gesagt
Eine Halluzination ist eine Antwort eines generativen KI-Modells, die plausibel und selbstsicher wirkt, aber falsch, erfunden oder nicht durch die Quellen gedeckt ist.
Quellen[1]
Definition
Von einer Halluzination spricht man, wenn ein Modell Inhalte erzeugt, die glaubwürdig wirken, aber falsch, erfunden oder unbelegt sind: eine nicht existierende Literaturangabe, ein falsches Datum, ein Detail in einer Zusammenfassung, das im Ausgangstext nicht vorkam.
Warum das passiert
Ein Sprachmodell ist darauf trainiert, die plausibelste Fortsetzung zu erzeugen, nicht Fakten zu prüfen. Fehlt ihm eine Information oder ist sie in seinen Daten selten, kann es trotzdem eine flüssige Antwort liefern. Fehlerhafte oder widersprüchliche Trainingsdaten und mehrdeutige Anweisungen tragen dazu bei.
Wie man sie begrenzt
- Quellen mitliefern in der Anweisung oder ein RAG-System nutzen.
- Zitate verlangen für die verwendeten Passagen und diese dann prüfen.
- Dem Modell erlauben zu sagen, dass es etwas nicht weiß.
- Wichtige Fakten prüfen anhand verlässlicher Quellen: Zahlen, Namen, Literaturangaben, Zitate.
- Externe Werkzeuge (Suche, Taschenrechner) für Faktenwissen und Berechnungen nutzen.
Achtung
Diese Methoden verringern das Risiko, beseitigen es aber nicht. Bei folgenreichen Anwendungen (Gesundheit, Recht, Finanzen) bleibt eine menschliche Prüfung nötig.
Ein Fehler oder eine Idee zu diesem Eintrag? Sagen Sie es uns