KI-Inferenz

Was ist KI-Inferenz?

KI-Inferenz bezeichnet das Ausführen eines trainierten Modells zur Erzeugung von Ausgaben: die Berechnung, die jedes Mal abläuft, wenn eine Anwendung einen Prompt sendet und eine Antwort erhält. Training baut das Modell einmalig auf; Inferenz ist die danach wiederkehrende Arbeitslast, um die sich API-Preise, Latenzbudgets und die GPU-Serving-Infrastruktur drehen. Diese Arbeitslast wächst in erstaunlichem Tempo: Google berichtete, das monatliche Inferenzvolumen sei innerhalb eines Jahres um das 50-Fache gestiegen, von 9,7 Billionen Token pro Monat auf über 480 Billionen bis Mai 2025 [1].

Die wichtigsten Punkte

• Training ist eine einmalige Investitionskosten, die der Modellanbieter trägt. Inferenz ist die Betriebskosten, die bei jedem Aufruf anfallen, abgerechnet pro LLM-Token.
• Inferenz hat zwei Phasen mit unterschiedlicher Kostenstruktur: Prefill, das den gesamten Prompt parallel verarbeitet, und Decode, das die Ausgabe Token für Token erzeugt.
• Die Latenz teilt sich analog auf. Time to First Token spiegelt Prefill wider, Tokens pro Sekunde spiegelt Decode wider. Agenten, die lange Ausgaben streamen, stehen und fallen mit dem zweiten Wert.
• Eigene GPUs braucht man selten. API-Anbieter, serverlose Inferenz-Plattformen und selbst gehostete Open-Weight-Modelle bilden ein Spektrum aus Kosten, Kontrolle und Betriebsaufwand.

So funktioniert es

Trifft eine Anfrage ein, tokenisiert der Serving-Stack den Prompt und führt Prefill aus: Jedes Prompt-Token durchläuft das Transformer-Modell auf einmal, was hochgradig parallel und pro Token schnell ist, selbst bei riesigen Prompts. Prefill erzeugt den internen Zustand, der für den Start der Generierung nötig ist, gespeichert im KV-Cache. Danach beginnt Decode, das ein Token nach dem anderen anhängt, wobei jedes neue Token von allem Vorherigen abhängt. Decode ist sequenziell und speicherlimitiert, weshalb die Generierungsgeschwindigkeit in zweistelligen bis niedrigen dreistelligen Token pro Sekunde gemessen wird, während Prefill Tausende pro Sekunde verarbeitet.

Serving-Systeme setzen darauf weitere Optimierungen. Continuous Batching verschränkt die Anfragen vieler Nutzer auf denselben GPUs. Prompt Caching nutzt Prefill-Arbeit wieder, wenn Anfragen ein gemeinsames Präfix teilen – deshalb ist ein stabiler System-Prompt günstiger als ein sich ständig ändernder. Quantisierung verkleinert die Modellgewichte auf eine geringere Genauigkeit, sodass größere Modelle auf kleinerer Hardware laufen. Spekulatives Decoding entwirft mehrere Token mit einem kleinen Modell und lässt sie vom großen Modell verifizieren, was Geschwindigkeit gewinnt, ohne Qualität zu verlieren.

Für Engineers, die auf Agenten aufbauen, prägen die Eigenschaften der Inferenz das Design. Eine Agentenschleife ist eine Kette von Inferenzaufrufen, bei der jeder Schritt auf den vorherigen wartet, sodass sich die Decode-Geschwindigkeit über die Schritte hinweg zu einer tatsächlich spürbaren Wall-Clock-Zeit summiert. Die Kosten summieren sich genauso, weil jeder Schritt das wachsende Transkript erneut als Eingabe mitsendet. Die Entscheidung, wann eine Aufgabe ein Frontier-Modell verdient und wann ein kleines, schnelles Modell reicht, ist letztlich eine Frage der Inferenz-Ökonomie.

Beispiel

Der Coding-Agent eines Teams braucht vier Minuten pro Aufgabe, und Nutzer beschweren sich. Ein Profiling des Laufs zeigt zwölf sequenzielle Modellaufrufe, wobei 80 Prozent der Wall-Clock-Zeit im Decode eines Frontier-Modells verbracht werden, das mit rund 50 Token pro Sekunde streamt. Zwei Änderungen beheben das Problem. Ausführliche Tool-Ausgaben werden von einem kleinen Modell zusammengefasst, bevor sie ins Transkript gelangen, was sowohl die Prefill-Kosten senkt als auch den Text reduziert, den das große Modell tendenziell zurückspiegelt. Und der letzte Schritt, das Formatieren eines Berichts aus einer bereits feststehenden Antwort, wandert komplett zu einem schnellen kleinen Modell. Die Aufgaben fallen auf unter neunzig Sekunden, und die Inferenzkosten pro Aufgabe sinken um rund 40 Prozent – ohne dass sich die vom Agenten erzeugten Diffs ändern.

Häufige Missverständnisse

Der verbreitete Fehler ist die Annahme, die Ausgabequalität sei pro Modell fix und nur die Geschwindigkeit unterscheide sich zwischen Anbietern. In der Praxis kann sich dasselbe Open-Weight-Modell je nach Inferenz-Stack unterschiedlich verhalten. Aggressive Quantisierung, veränderte Sampling-Standardwerte, verkürztes Kontexthandling und Batching-Kompromisse verschieben die Genauigkeit auf Weisen, die eine Demo nicht zeigt. Wenn Sie den Inferenzanbieter wechseln, führen Sie Ihre LLM-Evals erneut aus, als hätten Sie das Modell gewechselt – denn effektiv haben Sie das.

FAQ

Was ist der Unterschied zwischen Training und Inferenz? Training passt die Gewichte eines Modells an, indem es über Wochen auf großen GPU-Clustern riesige Datensätze verarbeitet. Inferenz friert diese Gewichte ein und nutzt sie, um Anfragen zu beantworten. Als Entwickler trainieren Sie fast nie selbst; Sie konsumieren Inferenz und nehmen gelegentlich ein Fine-Tuning vor.

Warum ist Inferenz teuer, wenn das Modell doch bereits trainiert ist? Jede Anfrage führt Milliarden Gewichtsmultiplikationen auf teurer Beschleuniger-Hardware aus, und die Generierung wiederholt diese Arbeit für jedes Ausgabe-Token. Im Produktmaßstab übersteigen die Inferenzkosten meist bei Weitem das, was der Trainingsanteil eines einzelnen Kunden ausgemacht hätte. Der Trost: Die Preise fallen schnell. Stanfords AI Index 2025 stellte fest, dass die Inferenzkosten für ein System auf GPT-3.5-Niveau zwischen November 2022 und Oktober 2024 um mehr als das 280-Fache gesunken sind [2].

Sollte ich Inferenz selbst hosten? Nur mit einem klaren Grund: Datenresidenz, harte Latenzgrenzen, dauerhaft hohes Volumen oder ein fine-getuntes Open-Weight-Modell. Unterhalb einer ernsthaften Größenordnung sind pro Token abgerechnete APIs günstiger als ungenutzte GPUs plus die Engineers, die sie betreiben.

Quellen

1. Google. I/O-2025-Keynote: monatlich verarbeitete Token stiegen innerhalb eines Jahres von 9,7 Billionen auf über 480 Billionen. https://blog.google/technology/ai/io-2025-keynote/. Abgerufen im August 2026.
2. Stanford HAI. AI Index Report 2025: Die Inferenzkosten für ein System auf GPT-3.5-Niveau fielen zwischen November 2022 und Oktober 2024 um mehr als das 280-Fache. https://hai.stanford.edu/ai-index/2025-ai-index-report. Abgerufen im August 2026.