RAG (generación aumentada por recuperación)

Definición

El RAG (Retrieval-Augmented Generation) es una técnica que combina un motor de búsqueda con un modelo de lenguaje. Antes de responder, el sistema recupera pasajes pertinentes de una base de documentos y los inserta en la instrucción que recibe el modelo, que genera su respuesta apoyándose en ellos.

Las etapas

1. Preparación: los documentos se dividen en pasajes, se transforman en embeddings y se guardan en un índice (a menudo una base de datos vectorial).
2. Recuperación: la pregunta del usuario se convierte de la misma manera y se recuperan los pasajes más cercanos.
3. Generación: los pasajes seleccionados se añaden a la instrucción del modelo, que redacta la respuesta, idealmente citando sus fuentes.

Ventajas

• Acceder a información reciente o privada que el modelo no ha aprendido.
• Reducir (sin eliminarlas) las alucinaciones al anclar la respuesta en documentos.
• Citar las fuentes, lo que facilita la verificación.
• Actualizar los conocimientos sin volver a entrenar el modelo.

Límites

La calidad de la respuesta depende de la de la recuperación: una mala división o pasajes poco pertinentes empeoran el resultado. El modelo también puede ignorar o interpretar mal los documentos proporcionados.