Alucinación

Definición

Se habla de alucinación cuando un modelo genera un contenido que parece creíble pero es falso, inventado o carece de respaldo: una referencia bibliográfica inexistente, una fecha errónea, un detalle añadido a un resumen que no figuraba en el texto original.

Por qué ocurre

Un modelo de lenguaje está entrenado para producir la continuación más plausible, no para verificar hechos. Si no dispone de la información, o si esta es poco frecuente en sus datos, puede producir igualmente una respuesta fluida. Los datos de entrenamiento erróneos o contradictorios y las instrucciones ambiguas también contribuyen.

Cómo limitarlas

• Aportar las fuentes en la instrucción o usar un sistema de RAG.
• Pedir que cite los pasajes utilizados y luego comprobarlos.
• Permitir que el modelo diga que no lo sabe.
• Verificar los datos importantes en fuentes fiables: cifras, nombres, referencias, citas.
• Usar herramientas externas (búsqueda, calculadora) para la información factual y los cálculos.

Atención

Estos métodos reducen el riesgo, pero no lo eliminan. Para cualquier uso con consecuencias (salud, derecho, finanzas), sigue siendo necesaria una revisión humana.