Computer Use

Was ist Computer Use?

Computer Use ist eine KI-Agenten-Fähigkeit, bei der das Modell einen Computer über seine grafische Oberfläche bedient: Es betrachtet Screenshots, bewegt den Cursor, klickt, tippt und scrollt, genau wie es eine Person täte. Das erlaubt einem Agenten, mit jeder Anwendung auf dem Bildschirm zu arbeiten, einschließlich Software, die keine API für strukturierten Zugriff bietet.

Die wichtigsten Punkte

• Die Schnittstelle sind Pixel und Input-Events. Das Modell nimmt den Bildschirm visuell wahr und handelt über synthetische Maus- und Tastatur-Events, sodass sich an der Zielanwendung nichts ändern muss.
• Sein Wert ist Universalität. Legacy-Desktop-Software, virtuelle Desktops, Admin-Konsolen und Long-Tail-Web-Apps werden alle automatisierbar, ohne Integrationsarbeit.
• Es ist das langsamste und am wenigsten zuverlässige Tool, das ein Agent hat. Jeder Schritt kostet einen Screenshot-Roundtrip, weshalb gut designte Agenten zuerst zu APIs greifen und zuletzt zur GUI.
• Sandboxing ist nicht verhandelbar. Ein Agent, der alles anklicken kann, kann auch "Löschen" anklicken, also läuft Computer Use in einer VM oder einem isolierten Desktop mit begrenzten Zugangsdaten.

So funktioniert es

Die Schleife ist Wahrnehmung und Aktion. Der Harness erfasst einen Screenshot und sendet ihn zusammen mit dem Ziel und dem bisherigen Verlauf an das Modell. Das Modell überlegt, was auf dem Bildschirm ist, und gibt dann eine niedrigstufige Aktion aus: Cursor zu Koordinaten bewegen, klicken, doppelklicken, ziehen, Text eintippen, eine Tastenkombination drücken, scrollen. Der Harness führt die Aktion gegen ein echtes oder virtuelles Display aus, wartet, bis sich die UI setzt, erfasst einen frischen Screenshot, und der Zyklus wiederholt sich. Frontier-Modelle werden speziell für diese Grounding-Aufgabe trainiert, die visuelle Elemente auf präzise Koordinaten abbildet und Zustandsänderungen wie Dialoge, Spinner und Validierungsfehler erkennt. Dieses Training zeigt sich in Benchmarks: Claude 3.5 Sonnet, das erste Frontier-Modell mit Computer Use, erzielte 2024 14,9 % in OSWorlds Nur-Screenshot-Kategorie, fast doppelt so viel wie das nächstbeste System mit 7,8 % [1].

Weil jeder Zyklus Vision-Inferenz beinhaltet, ist Computer Use eine Größenordnung langsamer als direktes Tool Calling. Produktions-Agenten behandeln es daher als eines von mehreren Tools. Wenn die Aufgabe über eine API, eine Datenbankabfrage oder eine CLI erledigt werden kann, gewinnen diese Wege bei Geschwindigkeit und Determinismus; der GUI-Pfad ist den Systemen vorbehalten, die nichts Besseres bieten. Reliability Engineering konzentriert sich auf Verifikation — den Agenten anhand des nächsten Screenshots bestätigen lassen, dass die beabsichtigte Änderung tatsächlich passiert ist — und auf Recovery, da Fehlklicks, Fokus-Probleme und unerwartete Popups Routine sind. Die Distanz zur menschlichen Zuverlässigkeit ist weiterhin groß: Auf dem OSWorld-Benchmark echter Computeraufgaben, veröffentlicht 2024, gelingen Menschen über 72 % der Aufgaben, während das beste KI-Modell beim Launch nur 12,24 % erreichte [2].

Das Sicherheitsmodell verdient Betonung. Ein Computer-Use-Agent erbt alles, was die Desktop-Sitzung tun kann, und alles, was er auf dem Bildschirm liest, fließt in seinen Kontext, was Prompt Injection durch feindlichen Seiteninhalt zu einer realen Bedrohung macht. Standardpraxis ist eine Wegwerf-VM, ein dediziertes Konto mit niedrigen Rechten, kein Zugriff auf persönliche Sitzungen und menschliche Bestätigung vor irreversiblen Aktionen.

Beispiel

Ein Finance-Team braucht monatliche Lieferantenrechnungen aus elf Lieferantenportalen, von denen die meisten keine API haben und zwei alternde Desktop-Ära-Web-Apps sind. Ein Agent mit Computer Use loggt sich in jedes Portal innerhalb einer sandboxed Browser-VM mit Vault-begrenzten Zugangsdaten ein, navigiert zum Abrechnungsbereich, setzt den Datumsfilter, lädt die PDFs herunter und legt sie mit einem normalisierten Namensschema im Buchhaltungsverzeichnis ab. Wenn ein Portal seit letztem Monat seine Navigation neu gestaltet hat, bricht der Agent nicht wie ein skriptbasierter Bot; er liest das neue Layout aus dem Screenshot, findet das verschobene "Statements"-Menü und schließt den Lauf ab, wobei er die Änderung in seinem Log notiert.

Häufige Missverständnisse

Der wiederkehrende Fehler ist, Computer Use als die Standardmethode zu behandeln, mit der Agenten mit Software interagieren sollten, weil es am universellsten aussieht. Universalität ist genau das, was es zum letzten Mittel macht. Eine GUI-Sitzung ist langsam, zustandsbehaftet und brüchig im Vergleich zu einem API-Aufruf, und sie vervielfacht die Token-Kosten durch Screenshots. Teams, die alles über einen virtuellen Desktop routen, bauen Agenten, die in Demos beeindrucken und in Produktion schmerzen. Die Disziplin ist eine Tool-Hierarchie: zuerst strukturierte Schnittstellen, dann Browser-Automatisierung, rohes Computer Use nur für die Software, die keine Alternative lässt.

FAQ

Wie unterscheidet sich Computer Use von einem Browser-Agent? Umfang. Ein Browser-Agent ist auf Webseiten begrenzt und kann oft die DOM-Struktur der Seite direkt lesen, was schneller und präziser ist. Computer Use bedient das gesamte Betriebssystem anhand von Pixeln und deckt auch Desktop-Anwendungen, Dateimanager und alles andere auf dem Bildschirm ab. Viele Stacks kombinieren beides: DOM-basiertes Browsen, wo möglich, und Fallback auf Bildschirmsteuerung sonst.

Ist Computer-Use-KI zuverlässig genug für Produktion? Für begrenzte, verifizierbare Workflows ja, mit Engineering drumherum: deterministische Checkpoints, screenshot-basierte Verifikation nach jedem kritischen Schritt, Retry-Logik und menschliches Review der Ergebnisse. Lange, freiformige Sitzungen über unbekannte Schnittstellen scheitern noch zu oft, um unbeaufsichtigt zu laufen. Zusätzliche Iteration hilft, schließt die Lücke aber nicht: Anthropic berichtete 2024, dass Claude 3.5 Sonnets OSWorld-Score bei mehr erlaubten Schritten pro Aufgabe auf 22,0 % stieg, weiterhin weit unter menschlicher Leistung [3].

Warum nicht einfach die UI mit traditionellen Automatisierungstools skripten? Skriptbasierte UI-Automatisierung kodiert exakte Selektoren und Koordinaten, sodass sie bei jeder Interface-Änderung bricht und pro Anwendung gepflegt werden muss. Ein Computer-Use-Agent nimmt die Schnittstelle jedes Mal neu wahr, was Geschwindigkeit gegen Resilienz tauscht und den Großteil der Wartungslast entfernt.

Quellen

1. Anthropic. "Claude 3.5 Sonnet erzielte 14,9 % in OSWorlds Nur-Screenshot-Kategorie, fast doppelt so viel wie das nächstbeste System mit 7,8 %." https://www.anthropic.com/news/3-5-models-and-computer-use. Abgerufen im August 2026.
2. OSWorld (arXiv). "Menschen gelingen über 72,36 % der OSWorld-Aufgaben; das beste KI-Modell beim Launch erreichte 12,24 %." https://arxiv.org/abs/2404.07972. Abgerufen im August 2026.
3. Anthropic. "Bei mehr erlaubten Schritten stieg Claude 3.5 Sonnets OSWorld-Score auf 22,0 %." https://www.anthropic.com/news/3-5-models-and-computer-use. Abgerufen im August 2026.