Multimodale KI
Kurz gesagt
Eine multimodale KI versteht oder erzeugt mehrere Datenarten zugleich (Text, Bild, Ton, Video): etwa ein Foto beschreiben, eine Frage zu einem Diagramm beantworten oder ein gesprochenes Gespräch führen.
Definition
Eine Modalität ist eine Datenart: Text, Bild, Audio, Video. Ein multimodales Modell kann mehrere davon im selben Gespräch verarbeiten. Sie können ihm das Foto einer Rechnung schicken und eine Zusammenfassung verlangen, mit ihm sprechen statt zu tippen oder aus einer Beschreibung ein Bild erzeugen lassen.
Wie es funktioniert
Jede Datenart wird in eine gemeinsame numerische Darstellung (Embeddings) umgewandelt. Das Modell lernt, diese Darstellungen zu verknüpfen: Das Foto einer Katze und das Wort „Katze“ liegen nah beieinander. Die Arbeiten zu CLIP (2021) zeigten, dass sich diese Verbindung aus Bildern mit Bildunterschriften lernen lässt; Modelle wie Flamingo (2022) ermöglichten danach, anhand weniger Beispiele Fragen zu Bildern und Videos zu beantworten.
Anwendungsbeispiele
- Ein Bild für eine sehbehinderte Person beschreiben.
- Informationen aus einem eingescannten Dokument, einer Tabelle oder einem Diagramm entnehmen.
- In Echtzeit mündlich mit einem Assistenten sprechen.
- Ein Video oder einen Screenshot analysieren und erklären.
Grenzen
- Das Lesen von Bildern ist noch unvollkommen: Kleine Schrift, komplexe Schemata oder Details werden mitunter falsch erkannt.
- Ein Foto oder eine Aufnahme kann personenbezogene Daten enthalten (Gesichter, Stimmen, Dokumente): Prüfen Sie, was Sie senden.
- Die Fähigkeiten unterscheiden sich stark zwischen Modellen: Nicht alle verarbeiten Video oder Audio.
Ein Fehler oder eine Idee zu diesem Eintrag? Sagen Sie es uns