Prompt Caching

Was ist Prompt Caching?

Prompt Caching ist eine Inferenz-Optimierung, die den berechneten internen Zustand eines wiederholten Prompt-Präfixes speichert, sodass spätere API-Aufrufe, die dieses Präfix wiederverwenden, die erneute Verarbeitung überspringen. Für Agenten, die bei jeder Runde einen großen Systemprompt, Tool-Definitionen und wachsenden Konversationsverlauf erneut senden, senkt das die Input-Kosten drastisch und reduziert die Zeit bis zum ersten Token.

Die wichtigsten Punkte

• Caching funktioniert auf exakten Präfixen. Alles vor dem ersten geänderten Token kann wiederverwendet werden; alles danach wird neu berechnet, weshalb stabiler Inhalt zuerst kommen muss.
• Die Einsparungen sind groß und real: Gecachte Input-Tokens werden typischerweise zu einem kleinen Bruchteil der normalen Rate abgerechnet, oft etwa einem Zehntel, und lange Prompts beginnen spürbar schneller zu antworten.
• Agenten-Workloads sind der Idealfall, weil jede Runde denselben Systemprompt, dieselben Tool-Schemas und das vorherige Transkript erneut sendet, mit nur wenig neuem Material am Ende.
• Cache-Einträge laufen bei den meisten Anbietern nach Minuten der Inaktivität ab, weshalb die Ökonomie aktive Sitzungen und hochfrequente Prompts begünstigt, nicht gelegentliche Aufrufe.

So funktioniert es

Bevor irgendetwas generiert wird, verarbeitet ein Transformer-Modell den gesamten Input-Prompt und baut internen Attention-Zustand auf, gespeichert in dem, was KV-Cache genannt wird. Diese Prefill-Arbeit skaliert mit der Prompt-Länge und ist ein großer Anteil der Inferenzkosten. Prompt Caching hält diesen berechneten Zustand nach Abschluss einer Anfrage auf den Servern des Anbieters. Wenn die nächste Anfrage mit einem byte-identischen Präfix eintrifft, lädt der Server den gespeicherten Zustand und beginnt die Verarbeitung beim ersten neuen Token statt bei Token null. Die Gewinne skalieren mit der Präfixlänge: Anthropic berichtet von Einsparungen bis zu 90 % bei Kosten und 85 % bei Latenz für lange Prompts, und in seinem veröffentlichten Beispiel von 2025 senkte das Chatten mit einem gecachten 100.000-Token-Dokument die Zeit bis zum ersten Token von 11,5 Sekunden auf 2,4 Sekunden [1].

Die Exakt-Präfix-Regel treibt das gesamte praktische Engineering. Anbieter unterscheiden sich in der Mechanik: manche verlangen explizite Cache-Breakpoints, die in der Anfrage markiert sind, andere cachen automatisch oberhalb einer Mindest-Präfixlänge, und Cache-Lebensdauern reichen von wenigen Minuten standardmäßig bis zu längeren Fenstern gegen Aufpreis. Azure OpenAI dokumentiert etwa ein Mindest-identisches-Präfix von 1.024 Tokens, bevor Caching einsetzt, mit Cache-Reads rabattiert auf Input-Token-Preise bis zu 100 % Rabatt bei Provisioned-Deployments (2026) [2]. In jedem Fall invalidiert ein geändertes Zeichen alles danach. Prompt-Struktur folgt daher einem Stabilitätsgefälle: zuerst Systemprompt und Tool-Definitionen, dann Few-Shot-Beispiele und Referenzdokumente, dann Konversationsverlauf, mit dem flüchtigen Per-Anfrage-Material zuletzt. Ein klassischer selbstverschuldeter Fehler ist, einen Zeitstempel oder eine Anfrage-ID nahe dem Anfang des Systemprompts einzufügen, was Caching für den gesamten Prompt bei jedem Aufruf still deaktiviert.

Mehrstufige Agentenschleifen verstärken den Nutzen. Das Transkript wächst durch Anhängen, sodass der Prompt von Runde N ein Präfix des Prompts von Runde N+1 ist. Jede Runde zahlt den vollen Preis nur für die neuesten Tool-Ergebnisse und Nachrichten, während alles Frühere den Cache trifft. Das ist ein großer Teil davon, warum lange agentische Coding-Sitzungen mit sechsstelligen Token-Kontexten überhaupt wirtschaftlich tragbar sind.

Beispiel

Ein Team betreibt einen Code-Review-Agenten auf jedem Pull Request. Jeder Lauf sendet einen 30.000-Token-Prompt: Coding-Standards, Tool-Definitionen und Repository-Konventionen, gefolgt vom Diff, das durchschnittlich 2.000 Tokens umfasst. Ohne Caching zahlt jedes Review für 32.000 Input-Tokens Prefill. Sie strukturieren den Prompt so um, dass die stabilen 30.000 Tokens das Präfix bilden und markieren es als cachefähig, und halten Läufe während der Geschäftszeiten warm, indem sie Reviews bündeln. Jetzt zahlt ein typisches Review vollen Preis für etwa 2.000 neue Tokens plus die rabattierte gecachte Rate für den Rest, und Reviews beginnen schneller zu streamen. Ihr einziger Bug unterwegs: ein "erstellt am"-Zeitstempel saß im Standards-Header und invalidierte den Cache bei jedem einzelnen Lauf, bis ihn jemand ans Ende des Prompts verschob.

Häufige Missverständnisse

Das wiederkehrende Missverständnis ist zu erwarten, Caching funktioniere wie ein Web-Cache mit unscharfem oder partiellem Matching. Es matcht nicht auf Ähnlichkeit, und es cacht keine Antworten. Zwei Prompts, die 99 Prozent identisch sind, sich aber bei Token 50 unterscheiden, teilen nur die ersten 49 Tokens gecachter Arbeit. Nichts am Output des Modells wird gespeichert oder abgespielt; dasselbe gecachte Präfix kann weiterhin unterschiedliche Vervollständigungen produzieren. Prompt Caching spart die Neuberechnung von Input, und nur für Präfixe, die exakt übereinstimmen.

FAQ

Ändert Prompt Caching den Output des Modells? Nein. Der gecachte Zustand ist mathematisch identisch zu dem, was die Neuberechnung des Präfixes produzieren würde, sodass Antwortqualität und Variabilität unberührt bleiben. Nur Kosten und Latenz ändern sich.

Ist Prompt Caching dasselbe wie der KV-Cache? Sie sind verwandte Schichten. Der KV-Cache ist der In-Memory-Attention-Zustand, den jeder Transformer beim Verarbeiten jeder Anfrage aufbaut. Prompt Caching ist das Produkt-Feature, das diesen Zustand über separate API-Aufrufe hinweg persistiert und wiederverwendete Tokens rabattiert bepreist.

Ist gecachte Prompt-Daten ein Datenschutzrisiko? Gecachter Zustand lebt serverseitig beim Anbieter und ist so begrenzt, dass andere Kunden Ihre Cache-Einträge nicht treffen können; große Anbieter schlüsseln Caches pro Organisation. Er folgt den normalen Datenaufbewahrungsrichtlinien des Anbieters, aber Teams mit strikten Datenresidenz-Anforderungen sollten prüfen, wie lange gecachter Zustand besteht und wo.

Quellen

1. Anthropic. "Kosten- und Latenzreduktionen durch Prompt Caching, einschließlich des 100.000-Token-Dokument-Beispiels." https://claude.com/blog/prompt-caching. Abgerufen im August 2026.
2. Microsoft Learn. "Azure-OpenAI-Prompt-Caching-Mindestpräfix und Cache-Read-Rabatte." https://learn.microsoft.com/en-us/azure/ai-services/openai/how-to/prompt-caching. Abgerufen im August 2026.