LLM (gran modelo de lenguaje)

Definición

Un LLM (Large Language Model, «gran modelo de lenguaje») es una red neuronal entrenada con corpus de texto muy grandes. Su entrenamiento básico consiste en predecir la palabra (o, más exactamente, el token) siguiente en una secuencia. Repitiendo esta operación miles de millones de veces, el modelo adquiere una representación estadística de la lengua, de la gramática, de parte de los conocimientos presentes en sus datos y de ciertos esquemas de razonamiento.

Cómo funciona

• Tokenización: el texto se divide en unidades llamadas tokens (palabras, fragmentos de palabras, signos de puntuación), que se convierten en números.
• Arquitectura Transformer: la mayoría de los LLM actuales se basan en esta arquitectura, presentada en 2017. Su mecanismo de atención permite al modelo ponderar la importancia de cada parte del texto de entrada para producir la continuación.
• Preentrenamiento: el modelo aprende a predecir el token siguiente sobre un corpus masivo.
• Ajuste: una fase complementaria (por ejemplo, el aprendizaje a partir de valoraciones humanas) hace que el modelo sea más útil, más seguro y más fiel a las instrucciones.
• Generación: al usarlo, el modelo produce la respuesta token a token, eligiendo en cada paso entre las continuaciones más probables.

Qué sabe hacer un LLM

Redactar y reformular, resumir, traducir, responder preguntas, clasificar o extraer información, escribir código y conversar en lenguaje natural. Los modelos más recientes también manejan otras modalidades (imágenes, audio) y pueden usar herramientas externas.

Límites que conviene conocer

• Alucinaciones: un LLM puede producir afirmaciones falsas con total seguridad, porque genera texto plausible y no una verdad verificada.
• Conocimientos con fecha: sus conocimientos se detienen al final de su entrenamiento, salvo que esté conectado a fuentes actualizadas.
• Sesgos: refleja los sesgos presentes en sus datos de entrenamiento.
• Ventana de contexto limitada: solo procesa una cantidad finita de texto a la vez.
• Coste: entrenar y explotar grandes modelos exige importantes recursos de cálculo.

Un poco de historia

El artículo «Attention Is All You Need» (2017) introduce la arquitectura Transformer. A partir de 2018, familias de modelos como GPT y BERT muestran el interés del preentrenamiento a gran escala. El artículo sobre GPT-3 (2020) pone de manifiesto que un modelo muy grande puede realizar nuevas tareas a partir de unos pocos ejemplos dados en la instrucción. Desde entonces, su difusión al gran público a través de asistentes conversacionales ha hecho omnipresentes a los LLM.

No confundir con

• IA generativa: categoría más amplia, que incluye también la generación de imágenes, audio y vídeo. Los LLM son su rama textual.
• Motor de búsqueda: por defecto, un LLM no consulta una base de documentos; genera una respuesta a partir de lo que ha aprendido.