IA multimodal
Em resumo
Uma IA multimodal compreende ou produz vários tipos de dados ao mesmo tempo (texto, imagem, som, vídeo): por exemplo, descrever uma foto, responder a uma pergunta sobre um gráfico ou conversar em voz alta.
Definição
Uma modalidade é um tipo de dado: texto, imagem, áudio, vídeo. Um modelo multimodal sabe tratar vários numa mesma conversa. Pode enviar-lhe a foto de uma fatura e pedir um resumo, falar-lhe em vez de escrever ou pedir-lhe uma imagem a partir de uma descrição.
Como funciona
Cada tipo de dado é convertido numa representação numérica comum (embeddings). O modelo aprende a ligar essas representações: a foto de um gato e a palavra «gato» ficam próximas. Os trabalhos sobre o CLIP (2021) mostraram que essa ligação podia ser aprendida a partir de imagens com legenda; depois, modelos como o Flamingo (2022) permitiram responder a perguntas sobre imagens e vídeos a partir de poucos exemplos.
Exemplos de utilização
- Descrever uma imagem para uma pessoa com deficiência visual.
- Extrair a informação de um documento digitalizado, de uma tabela ou de um gráfico.
- Conversar em voz alta, em tempo real, com um assistente.
- Analisar um vídeo ou uma captura de ecrã para explicar o que mostra.
Limites
- A leitura de imagens continua imperfeita: textos pequenos, esquemas complexos ou detalhes podem ser mal interpretados.
- Uma foto ou gravação pode conter dados pessoais (rostos, vozes, documentos): verifique o que envia.
- As capacidades variam muito entre modelos: nem todos tratam vídeo ou áudio.
Um erro ou uma ideia sobre esta ficha? Diga-nos