Multimodale Modelle
Ein Modell für Text, Bild und Ton: wie verschiedene Eingaben in denselben Raum gebracht werden und wo die Genauigkeit dabei leidet.
Die Idee
Ein Sprachmodell versteht Token. Wenn man ein Bild ebenfalls in Token übersetzt, kann dasselbe Modell beides gleichzeitig verarbeiten. Genau das tun multimodale Modelle: Ein Bildencoder erzeugt Vektoren, eine kleine Projektion bringt sie in den Raum der Sprachtoken, und von da an ist alles eine Sequenz.
Wozu es gut ist
- Ein Formular verstehen, ohne es vorher zu strukturieren.
- Ein Diagramm erklären lassen.
- Aus einem Foto einer Fehlermeldung eine Anleitung ableiten.
- Bild und Text gemeinsam bewerten, etwa Produktbild gegen Beschreibung.
Der Aufbau
- 01
Bildencoder
Ein vortrainierter Bildencoder erzeugt Merkmalsvektoren, meist aus Kacheln des Bildes.
- 02
Projektion
Eine kleine, trainierte Schicht bringt diese Vektoren in die Dimension des Sprachmodells.
- 03
Einfügen
Die entstandenen Bildtoken werden an der Stelle in die Sequenz gesetzt, an der das Bild steht.
- 04
Gemeinsame Verarbeitung
Ab hier gibt es keinen Unterschied mehr zwischen Bild- und Texttoken.
Die Kostenrechnung
| Eingabe | Ungefähre Token |
|---|---|
| Eine Seite Text | 500 bis 800 |
| Ein Bild in niedriger Auflösung | 250 bis 500 |
| Ein Bild in 1024 × 1024 | 1.000 bis 1.600 |
| Ein Dokumentenscan in hoher Auflösung | 2.000 bis 4.000 |
Ein Stapel von zehn gescannten Seiten kann damit 40.000 Token belegen und mehr kosten als deren Text. Wer nur den Text braucht, fährt mit OCR und anschließender Textverarbeitung deutlich günstiger.
Die Projektion
Bemerkenswert ist, wie wenig dafür nötig ist: In vielen Architekturen ist W_p
eine einzige lineare Schicht oder ein zweischichtiges Netz mit einigen Millionen
Parametern. Der überwiegende Teil der Fähigkeit steckt in den beiden
vortrainierten Teilen, nicht in ihrer Verbindung.
Hohe Auflösung
Da der Aufwand quadratisch mit der Kantenlänge wächst, arbeiten Modelle mit Kachelung: Das Bild wird in überlappende Ausschnitte zerlegt, jeder für sich encodiert, und zusätzlich wird eine verkleinerte Gesamtansicht mitgegeben.
Bei sechs Kacheln zu je 576 Token plus 576 für die Übersicht sind das 4.032 Token für ein einziges Bild.
Wann welcher Weg
| Aufgabe | Empfehlung |
|---|---|
| Beträge und Kennungen exakt auslesen | OCR mit Prüfsummen |
| Layout verstehen, Felder zuordnen | Multimodales Modell |
| Freitext auf einem Foto lesen | OCR, dann Sprachmodell |
| Diagramm interpretieren | Multimodales Modell |
| Bild gegen Beschreibung prüfen | Gemeinsames Bild-Text-Embedding |
| Sehr viele Seiten verarbeiten | OCR, wegen der Kosten |
Der Prüfpfad
Ein multimodales Modell liefert keine Koordinaten. Wo nachvollziehbar sein muss, welche Stelle eines Dokuments zu einer Aussage geführt hat, ist das ein Ausschlusskriterium. Der übliche Ausweg ist eine Kombination: OCR liefert Text mit Koordinaten, das Modell arbeitet auf diesem Text, und jede extrahierte Angabe lässt sich auf eine Stelle im Bild zurückführen. Siehe Text aus Bildern lesen.
Passende Kurse und Quellen
Learning Transferable Visual Models
Bilder und Texte in einem gemeinsamen Raum. Die Grundlage der Suche nach Bildern per Beschreibung und der Bildgenerierung.
Für das Verständnis von Bildsuche über Beschreibungen und von Bildgenerierung.