Multimodale KI

Was ist Multimodale KI?

Multimodale KI bezeichnet Modelle, die mehr als eine Art von Input akzeptieren und darüber reasonen, etwa Text, Bilder, Audio und Video, innerhalb eines einzigen Systems. Für Software-Teams ist das die Fähigkeit, die einen Agenten einen Screenshot lesen, ein Diagramm interpretieren oder eine Bildschirmaufnahme ansehen lässt, statt nur mit Text zu arbeiten. Die Fähigkeit kam mit Wucht: GPT-4, ein großes multimodales Modell, das Bild- und Text-Inputs akzeptiert, erzielte 2023 einen Score um die obersten 10 % der Prüflinge in einem simulierten Anwaltsexamen [1].

Die wichtigsten Punkte

• Moderne Frontier-Modelle sind standardmäßig multimodal. Vision-Input ist inzwischen selbstverständlich; Audio- und Video-Support variiert je nach Anbieter.
• Bilder werden als Tokens abgerechnet, und ein großer Screenshot kann mehr kosten als eine Textseite, weshalb bildlastige Agentenschleifen Kostenaufmerksamkeit brauchen.
• Multimodaler Input ist das, was Computer-Use-Agenten überhaupt möglich macht: Das Modell sieht Pixel, nicht nur den DOM oder Accessibility-Baum.
• Die Genauigkeit bei visuellem Input hinkt Text weiterhin hinterher. Modelle lesen kleine Schriften, dichte Tabellen und präzise Koordinaten öfter falsch als Prosa.

So funktioniert es

Ein multimodales Modell konvertiert jeden Input-Typ in dieselbe interne Repräsentation. Text wird durch einen Tokenizer zu Tokens. Ein Bild durchläuft einen Vision-Encoder, der es in Patches zerlegt und jeden Patch in Embeddings verwandelt, die im selben Raum sitzen wie Text-Embeddings. Audio bekommt eine ähnliche Behandlung durch seinen eigenen Encoder. Sobald alles eingebettet ist, verarbeitet der Transformer die gemischte Sequenz genau wie reinen Text und beachtet frei über Modalitäten hinweg. Deshalb können Sie einen Screenshot einfügen und in derselben Nachricht eine Frage dazu stellen: Für das Modell sind beides einfach Positionen in einer Sequenz, die denselben Kontextraum belegen. Diese Fenster sind groß geworden; Googles Gemini 1.5 Pro verarbeitet multimodalen Input über einen Standard-Kontext von 128.000 Tokens, mit bis zu 1 Million Tokens in der Preview, Stand Februar 2024 [2].

Die Engineering-Konsequenzen folgen aus diesem Design. Bilder verbrauchen Tokens je nach Auflösung, weshalb Anbieter Pro-Bild-Token-Formeln dokumentieren, und ein naiver Agent, der bei jedem Schritt einer Browser-Sitzung einen Screenshot macht, kann still seine Rechnung vervielfachen. Auch die Latenz steigt, da das Encodieren großer Bilder Verarbeitung vor dem ersten Output-Token hinzufügt. Beim Output ist es anders: Die meisten Produktionsmodelle generieren Text (und manchmal Bilder über einen separaten Kopf oder ein separates Modell), sodass "multimodal" meist multimodalen Input mit Text-Output bedeutet. Wenn ein KI-Coding-Agent einen CSS-Bug anhand eines Screenshots behebt, geht das Bild rein, und ein Text-Diff kommt raus.

Beispiel

Ein Team, das ein internes Dashboard baut, verdrahtet visuelle Prüfungen in seinen Agenten-Workflow. Nachdem der Agent eine UI-Änderung implementiert hat, erfasst ein Headless-Browser einen Screenshot, und der Screenshot geht mit dem ursprünglichen Design-Mock und einem Prompt, ob sie übereinstimmen, zurück an das Modell. Bei einem Lauf bestand der Code des Agenten jeden Unit-Test, aber der Screenshot-Vergleich fing ab, dass eine Diagrammlegende hinter dem Diagramm selbst gerendert wurde, etwas, das keine DOM-Assertion abdeckte. Der Agent passte daraufhin den Z-Index an und verifizierte erneut mit einer frischen Aufnahme. Die ganze Schleife, Code plus zwei Screenshots pro Iteration, kostet ein paar Cent pro Lauf und ersetzt einen manuellen visuellen QA-Durchgang.

Häufige Missverständnisse

Das anhaltende Missverständnis ist, dass ein Modell, das Bilder akzeptiert, sie so wahrnimmt wie ein Mensch. Vision-Encoder komprimieren aggressiv, und das Modell reasont über diese komprimierte Zusammenfassung. Feindetails leiden: winziger Text wird falsch gelesen, ähnliche Icons werden verwechselt, und pixelgenaue Positionen kommen approximativ zurück, was genau der Grund ist, warum frühe Computer-Use-Agenten leicht daneben klickten. Behandeln Sie visuelles Verständnis als stark bei Layout, Inhalt und Gestalt, und schwach bei Präzision. Wenn exakte Werte zählen, extrahieren Sie sie über einen deterministischen Pfad, etwa den DOM, OCR oder die zugrundeliegenden Daten, und lassen Sie das Modell darüber reasonen statt über das Bild.

FAQ

Ist ChatGPT multimodal? Ja, ebenso die aktuellen Flaggschiffmodelle von Claude und Gemini. Alle akzeptieren Bilder neben Text; mehrere handhaben auch Audio oder Video. Die Unterschiede, die in der Praxis zählen, sind Kosten pro Bild, Auflösungslimits und wie akkurat jedes Modell dichtes visuelles Material wie Tabellen und Diagramme liest.

Was unterscheidet multimodale KI von Computer Use? Multimodale KI ist die zugrundeliegende Fähigkeit, Bilder und andere Medien zu verarbeiten. Computer Use ist eine Anwendung davon: Ein Agent macht Screenshots, reasont darüber, was er sieht, und gibt Klicks und Tastenanschläge aus. Ohne multimodalen Input wären bildschirmsteuernde Agenten auf das beschränkt, was ein Accessibility-Baum offenlegt.

Funktioniert multimodaler Input mit RAG- und Tool-Pipelines? Ja. Übliche Muster umfassen das Embedden von Bildern für Retrieval, das Extrahieren strukturierter Daten aus Dokumenten wie Rechnungen und Folien, und das Übergeben von Diagrammen an das Modell während Analyseaufgaben. Die Nachfrage ist real: Anthropic berichtete im März 2024, dass manche Enterprise-Kunden bis zu 50 % ihrer Wissensbasis in visuellen Formaten wie PDFs, Flowcharts und Präsentationsfolien halten [3]. Die Hauptvorsicht gilt den Kosten: Medien-Tokens summieren sich schneller als Text, also cachen Sie Extraktionen, statt dasselbe Bild jede Runde erneut zu senden.

Quellen

1. OpenAI. "GPT-4 Technical Report: oberste 10 % der Prüflinge in einem simulierten Anwaltsexamen." https://arxiv.org/abs/2303.08774. Abgerufen im August 2026.
2. Google. "Gemini 1.5 Pro: 128.000-Token-Standard-multimodaler Kontext, bis zu 1 Million Tokens in der Preview." https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/. Abgerufen im August 2026.
3. Anthropic. "Claude-3-Familien-Ankündigung: bis zu 50 % mancher Enterprise-Wissensbasen in visuellen Formaten." https://www.anthropic.com/news/claude-3-family. Abgerufen im August 2026.