Hallucination

Relu : Comment nous relisons les fichesMis à jour le

En bref

Une hallucination est une réponse d'un modèle d'IA générative qui paraît plausible et assurée mais qui est fausse, inventée ou non fondée sur les sources.

Sources[1]

Définition

On parle d'hallucination lorsqu'un modèle génère un contenu qui semble crédible mais qui est faux, inventé ou non étayé : une référence bibliographique inexistante, une date erronée, un détail ajouté à un résumé qui ne figurait pas dans le texte d'origine.

Pourquoi ça arrive

Un modèle de langage est entraîné à produire la suite la plus plausible, pas à vérifier des faits. S'il ne dispose pas de l'information, ou si elle est rare dans ses données, il peut tout de même produire une réponse fluide. Les données d'entraînement erronées ou contradictoires, et les consignes ambiguës, y contribuent.

Comment les limiter

  • Fournir les sources dans la consigne, ou utiliser un système de RAG.
  • Demander de citer les passages utilisés, puis les vérifier.
  • Autoriser le modèle à dire qu'il ne sait pas.
  • Vérifier les faits importants auprès de sources fiables : chiffres, noms, références, citations.
  • Utiliser des outils externes (recherche, calculatrice) pour les informations factuelles et le calcul.

Point d'attention

Ces méthodes réduisent le risque mais ne l'éliminent pas. Pour tout usage à enjeu (santé, droit, finance), une relecture humaine reste nécessaire.

Sources

  1. Ji et al., « Survey of Hallucination in Natural Language Generation » (2022)