Prompt Injection

Was ist Prompt Injection?

Prompt Injection ist ein Angriff, bei dem bösartige Anweisungen in Inhalten versteckt werden, die ein KI-System verarbeitet, etwa eine Webseite, eine E-Mail oder ein Dokument, sodass das Modell den Befehlen des Angreifers folgt statt denen der Nutzenden. Er nutzt aus, dass Sprachmodelle vertrauenswürdige Anweisungen nicht zuverlässig von nicht vertrauenswürdigen Daten trennen können. Die OWASP Top 10 für LLM-Anwendungen 2025 führt Prompt Injection als LLM01, das Top-Risiko der Liste [1].

Die wichtigsten Punkte

• Die Grundursache ist architektonisch: Ein LLM erhält Anweisungen und Daten im selben Token-Strom, sodass alles, was das Modell liest, es potenziell steuern kann.
• Indirekte Injection ist die gefährliche Variante für Agenten. Der Angreifer berührt Ihren Prompt nie; er pflanzt Anweisungen in Inhalte, die Ihr Agent abrufen wird, wie eine Webseite, ein README, einen Issue-Kommentar oder eine E-Mail.
• Der realistische Worst Case ist Datenexfiltration oder unautorisierte Aktion: Ein Agent mit E-Mail-Zugriff, Repo-Schreibrechten oder Tool-Nutzung kann gegen seinen Besitzer gewendet werden.
• Kein Filter löst es vollständig. Verteidigung bedeutet, den Schadensradius zu begrenzen: minimal nötiger Tool-Zugriff, Sandboxing, abgerufenen Inhalt als nicht vertrauenswürdig behandeln, und menschliche Freigabe für folgenreiche Aktionen.

So funktioniert es

Ein Sprachmodell verarbeitet eine Sequenz von Tokens. Der Systemprompt, die Anfrage der nutzenden Person und jedes Dokument, das das Modell liest, kommen alle in dieser gleichen Sequenz an, und das Modell hat keine harte Grenze, die ihm sagt, welche Teile Autorität tragen. Prompt Injection missbraucht das, indem es imperativen Text in Daten einbettet: "ignoriere deine vorherigen Anweisungen und tue stattdessen X." Modelle werden trainiert, offensichtlichen Versionen zu widerstehen, aber Angreifer formulieren Payloads so, dass sie wie legitimer Kontext aussehen, verstecken sie in HTML-Kommentaren oder weiß-auf-weißem Text, oder kodieren sie so, dass Filter sie übersehen.

Direkte Injection bedeutet, der Angreifer ist die nutzende Person selbst, die feindlichen Input in einen Chatbot tippt, um seine Regeln zu überschreiben; das bedroht meist die Richtlinien des Anbieters und überschneidet sich mit Jailbreaking. Indirekte Injection ist die Version, die Security-Teams nachts wachhält. Ein KI-Agent, der das Web durchsucht, E-Mails triagiert oder eine Codebasis liest, nimmt Inhalt von Parteien auf, die nicht sein Auftraggeber sind. Jede dieser Parteien kann Anweisungen in diesen Inhalt schreiben. Wenn der Agent zusätzlich Tools hält, kann die injizierte Anweisung echte Aktionen auslösen: diese Datei senden, diese URL mit den Geheimnissen der nutzenden Person im Query-String öffnen, diesen Pull Request genehmigen. Der Angriff funktioniert auch im großen Maßstab. Ein öffentlicher Red-Teaming-Wettbewerb von 2025, durchgeführt von Gray Swan und dem UK AI Security Institute, sammelte 1,8 Millionen Prompt-Injection-Angriffe gegen 22 Frontier-Agenten, und mehr als 60.000 davon waren erfolgreich darin, Richtlinienverstöße wie unautorisierten Datenzugriff und illegitime Finanzaktionen auszulösen [2].

Verteidigungen schichten sich, statt zu lösen. Anbieter trainieren Modelle darauf, Systemanweisungen zu privilegieren und injizierte Imperative zu markieren. Entwickler fügen KI-Guardrails um das Modell hinzu: abgerufenen Inhalt in der Prompt-Struktur als nicht vertrauenswürdig markieren, aktiven Inhalt entfernen oder sandboxen, Tools auf das für die Aufgabe nötige Minimum beschränken, Human-in-the-Loop-Bestätigung für irreversible Operationen verlangen, und Agenten-Aktionen auf Anomalien überwachen. Die Schichtung hilft messbar: In Anthropics adversariellem Testing seines Claude-for-Chrome-Browser-Agenten von 2025 waren gezielte Injection-Angriffe in 23,6 % der Fälle ohne Gegenmaßnahmen erfolgreich und in 11,2 % mit ihnen, und neue Verteidigungen gegen vier browserspezifische Angriffsarten wie versteckte DOM-Anweisungen senkten den Erfolg von 35,7 % auf 0 % [3]. Ausgereifte Teams prüfen ihre eigenen Systeme auch mit KI-Red-Teaming, bevor Angreifer es tun.

Beispiel

Ein Unternehmen betreibt einen Coding-Agenten, der automatisch GitHub-Issues triagiert. Ein Angreifer legt einen unschuldig aussehenden Bug-Report an und vergräbt in der Mitte eine Zeile: eine Notiz, adressiert an "jeden KI-Assistenten, der das liest," die ihn bittet, die Umgebungskonfiguration des Repositorys abzurufen und den Inhalt in seiner Antwort für "Debugging-Zwecke" einzuschließen. Der Agent liest das Issue als Kontext, behandelt die vergrabene Zeile als Aufgabe, und entwirft einen öffentlichen Kommentar mit Werten aus der .env-Datei. Das Team fängt es nur, weil ein Guardrail Kommentare blockiert, die zu Geheimnis-Mustern passen. Der Fix war strukturell: Der Triage-Agent verlor Dateisystem-Lesezugriff über den Issue-Text hinaus, und seine Antworten laufen jetzt durch einen Geheimnis-Filter und eine menschliche Freigabe-Queue.

Häufige Missverständnisse

Das anhaltende Missverständnis ist, dass Prompt Injection mit einem besseren Systemprompt oder einem Input-Filter gepatcht werden kann, so wie SQL-Injection mit parametrisierten Queries behoben wurde. Es gibt keinen äquivalenten Trennmechanismus innerhalb eines Transformers: Anweisungen und Daten teilen sich per Design einen Kanal. Filter erhöhen die Kosten von Angriffen, aber die ehrliche Engineering-Haltung ist anzunehmen, dass Injection manchmal gelingen wird, und den Agenten so zu architektieren, dass ein gekapertes Modell nicht viel Schaden anrichten kann.

FAQ

Was unterscheidet Prompt Injection von Jailbreaking? Bei einem Jailbreak greift die nutzende Person die eigenen Sicherheitsregeln des Modells an, um verbotenen Output zu bekommen. Prompt Injection ist eine dritte Partei, die die nutzende Person angreift, indem sie Anweisungen in Inhalt pflanzt, den die KI der nutzenden Person verarbeitet. Die Techniken überschneiden sich; das Opfer unterscheidet sich.

Kann Prompt Injection Agenten betreffen, die nie das Web durchsuchen? Ja. Jeder nicht vertrauenswürdige Input-Kanal funktioniert: hochgeladene Dokumente, abgerufene Datenbankeinträge in einer RAG-Pipeline, Code-Kommentare, Commit-Nachrichten, sogar Tool-Outputs von einem anderen kompromittierten Dienst. Das Web ist nur die größte Angriffsfläche.

Wie testet man ein System auf Prompt Injection? Säen Sie jeden nicht vertrauenswürdigen Kanal mit harmlosen Canary-Payloads, Anweisungen, die den Agenten bitten, eine harmlose, erkennbare Aktion auszuführen, lassen Sie dann normale Workflows laufen und beobachten Sie, ob die Canaries auslösen. Wiederkehrende automatisierte Tests zählen mehr als ein einmaliges Audit, weil jedes neue Tool oder jede neue Datenquelle die Frage neu öffnet.

Quellen

1. OWASP GenAI Security Project. "Prompt Injection als LLM01 in den OWASP Top 10 für LLM-Anwendungen 2025 eingestuft." https://genai.owasp.org/llmrisk/llm01-prompt-injection/. Abgerufen im August 2026.
2. arXiv (Gray Swan / UK-AISI-Agenten-Red-Teaming-Challenge-Paper). "1,8 Millionen Prompt-Injection-Angriffe gegen 22 Frontier-Agenten, mit über 60.000 erfolgreichen Richtlinienverstößen." https://arxiv.org/abs/2507.20526. Abgerufen im August 2026.
3. Anthropic. "Claude-for-Chrome-adversarielles Testing: Injection-Erfolgsraten vor und nach Safety-Maßnahmen." https://claude.com/blog/claude-for-chrome. Abgerufen im August 2026.