Allucinazione

Definizione

Si parla di allucinazione quando un modello genera un contenuto che sembra credibile ma è falso, inventato o privo di fondamento: un riferimento bibliografico inesistente, una data sbagliata, un dettaglio aggiunto a un riassunto che non compariva nel testo originale.

Perché succede

Un modello linguistico è addestrato a produrre la continuazione più plausibile, non a verificare i fatti. Se non dispone dell’informazione, o se questa è rara nei suoi dati, può comunque produrre una risposta fluida. Anche dati di addestramento errati o contraddittori e istruzioni ambigue contribuiscono.

Come limitarle

• Fornire le fonti nell’istruzione o usare un sistema di RAG.
• Chiedere di citare i passaggi utilizzati e poi verificarli.
• Permettere al modello di dire che non sa.
• Verificare i fatti importanti presso fonti affidabili: numeri, nomi, riferimenti, citazioni.
• Usare strumenti esterni (ricerca, calcolatrice) per le informazioni fattuali e i calcoli.

Attenzione

Questi metodi riducono il rischio ma non lo eliminano. Per qualsiasi uso delicato (salute, diritto, finanza) resta necessaria una revisione umana.