IA multimodale
In breve
Un'IA multimodale comprende o produce più tipi di dati insieme (testo, immagini, suoni, video): per esempio descrivere una foto, rispondere a una domanda su un grafico o conversare a voce.
Definizione
Una modalità è un tipo di dato: testo, immagine, audio, video. Un modello multimodale sa trattarne diversi nella stessa conversazione. Puoi inviargli la foto di una fattura e chiedergli un riassunto, parlargli invece di scrivere o fargli produrre un'immagine da una descrizione.
Come funziona
Ogni tipo di dato viene convertito in una rappresentazione numerica comune (embedding). Il modello impara a collegare queste rappresentazioni: la foto di un gatto e la parola «gatto» risultano vicine. I lavori su CLIP (2021) hanno mostrato che questo legame si può apprendere da immagini accompagnate dalla didascalia; poi modelli come Flamingo (2022) hanno permesso di rispondere a domande su immagini e video a partire da pochi esempi.
Esempi d'uso
- Descrivere un'immagine per una persona ipovedente.
- Estrarre le informazioni da un documento scansionato, una tabella o un grafico.
- Dialogare a voce, in tempo reale, con un assistente.
- Analizzare un video o uno screenshot per spiegare cosa mostra.
Limiti
- La lettura delle immagini resta imperfetta: testi piccoli, schemi complessi o dettagli possono essere interpretati male.
- Una foto o una registrazione può contenere dati personali (volti, voci, documenti): controlla cosa invii.
- Le capacità variano molto da un modello all'altro: non tutti trattano video o audio.
Un errore o un’idea su questa scheda? Diccelo