IA multimodal

Definición

Una modalidad es un tipo de dato: texto, imagen, audio, vídeo. Un modelo multimodal sabe tratar varios en una misma conversación. Puedes enviarle la foto de una factura y pedirle un resumen, hablarle en lugar de escribir o pedirle una imagen a partir de una descripción.

Cómo funciona

Cada tipo de dato se convierte en una representación numérica común (embeddings). El modelo aprende a relacionar esas representaciones: la foto de un gato y la palabra «gato» quedan cerca. Los trabajos sobre CLIP (2021) mostraron que ese vínculo podía aprenderse a partir de imágenes con su pie de foto; después, modelos como Flamingo (2022) permitieron responder a preguntas sobre imágenes y vídeos a partir de unos pocos ejemplos.

Ejemplos de uso

• Describir una imagen para una persona con discapacidad visual.
• Extraer la información de un documento escaneado, una tabla o un gráfico.
• Conversar en voz alta, en tiempo real, con un asistente.
• Analizar un vídeo o una captura de pantalla para explicar lo que muestra.

Límites

• La lectura de imágenes sigue siendo imperfecta: textos pequeños, esquemas complejos o detalles pueden interpretarse mal.
• Una foto o una grabación puede contener datos personales (rostros, voces, documentos): revisa lo que envías.
• Las capacidades varían mucho entre modelos: no todos tratan vídeo o audio.