IA multimodale
En bref
Une IA multimodale comprend ou produit plusieurs types de données à la fois (texte, image, son, vidéo) : par exemple décrire une photo, répondre à une question sur un graphique ou converser à voix haute.
Définition
Une modalité est un type de donnée : texte, image, audio, vidéo. Un modèle multimodal sait en traiter plusieurs dans une même conversation. Vous pouvez lui envoyer la photo d'une facture et lui demander un résumé, lui parler au lieu d'écrire, ou lui faire produire une image à partir d'une description.
Comment ça marche
Chaque type de donnée est converti en une représentation numérique commune (des embeddings). Le modèle apprend à relier ces représentations : la photo d'un chat et le mot « chat » se retrouvent proches. Les travaux sur CLIP (2021) ont montré qu'on pouvait apprendre ce lien à partir d'images accompagnées de leur légende, puis les modèles comme Flamingo (2022) ont permis de répondre à des questions sur des images et des vidéos à partir de quelques exemples.
Exemples d'usage
- Décrire une image pour une personne malvoyante.
- Extraire les informations d'un document scanné, d'un tableau ou d'un graphique.
- Dialoguer à l'oral, en temps réel, avec un assistant.
- Analyser une vidéo ou une capture d'écran pour expliquer ce qu'elle montre.
Limites
- La lecture d'images reste imparfaite : petits textes, schémas complexes ou détails peuvent être mal interprétés.
- Une photo ou un enregistrement peut contenir des données personnelles (visages, voix, documents) : vérifiez ce que vous envoyez.
- Les capacités varient beaucoup d'un modèle à l'autre : tous ne traitent pas la vidéo ou l'audio.
Une erreur ou une idée sur cette fiche ? Dites-le-nous