AI-inferentie

Wat is AI-inferentie?

AI-inferentie is een getraind model draaien om output te produceren: de berekening die elke keer gebeurt wanneer een applicatie een prompt stuurt en een antwoord krijgt. Training bouwt het model één keer; inferentie is de terugkerende workload daarna, en daar draait API-prijsstelling, latentiebudgetten, en GPU-serverinfrastructuur allemaal om. Die workload groeit in een verbluffend tempo: Google meldde dat zijn maandelijkse inferentievolume in één jaar 50x groeide, van 9,7 biljoen tokens per maand naar meer dan 480 biljoen tegen mei 2025 [1].

De belangrijkste punten

• Training is een eenmalige kapitaalkost betaald door de modelaanbieder. Inferentie is de operationele kost die je bij elke aanroep betaalt, gemeten per LLM-token.
• Inferentie heeft twee fasen met verschillende economie: prefill, dat je hele prompt parallel verwerkt, en decode, dat output één token tegelijk genereert.
• Latentie splitst zich op dezelfde manier. Time to first token weerspiegelt prefill; tokens per seconde weerspiegelt decode. Agents die lange outputs live streamen, leven en sterven bij het tweede getal.
• Je hebt zelden je eigen GPU's nodig. API-aanbieders, serverless inferentieplatforms, en self-hosted open-weight-modellen vormen een spectrum van kosten, controle, en operationele last.

Hoe het werkt

Wanneer een verzoek binnenkomt, tokeniseert de servingstack de prompt en draait prefill: elk prompttoken stroomt tegelijk door het transformer-model, wat sterk parallel en snel per token is, zelfs voor enorme prompts. Prefill produceert de interne status die nodig is om te beginnen genereren, opgeslagen in de KV-cache. Dan begint decode, dat één token tegelijk toevoegt, waarbij elk nieuw token afhangt van alles ervoor. Decode is sequentieel en geheugengebonden, en daarom wordt generatiesnelheid gemeten in tientallen tot lage honderden tokens per seconde terwijl prefill duizenden verwerkt.

Servingsystemen stapelen optimalisaties erbovenop. Continuous batching interleaved verzoeken van veel gebruikers op dezelfde GPU's. Prompt caching hergebruikt prefillwerk wanneer verzoeken een prefix delen, en daarom is een stabiele systeemprompt goedkoper dan een verschuivende. Kwantisering verkleint modelgewichten naar lagere precisie zodat grotere modellen op kleinere hardware passen. Speculative decoding stelt verschillende tokens op met een klein model en verifieert ze met het grote, wat snelheid koopt zonder kwaliteitsverlies.

Voor engineers die op agents bouwen, vormen inferentie-eigenschappen het ontwerp. Een agentlus is een keten van inferentie-aanroepen waarbij elke stap wacht op de vorige, dus stapelt decode-snelheid zich over de stappen op tot wall-clock-tijd die een gebruiker daadwerkelijk voelt. Kosten stapelen zich op dezelfde manier op, omdat elke stap het groeiende transcript opnieuw als input verstuurt. Beslissen wanneer een taak een frontier-model verdient versus een klein, snel model, is fundamenteel een inferentie-economiebeslissing.

Voorbeeld

De coding-agent van een team doet er vier minuten over per taak, en gebruikers klagen. Profilering van de run laat twaalf sequentiële modelaanroepen zien, met 80 procent van de wall-clock-tijd besteed aan decode op een frontier-model dat rond de 50 tokens per seconde streamt. Twee wijzigingen lossen het op. Uitgebreide tooloutput wordt door een klein model samengevat voordat het het transcript in gaat, wat zowel de prefillkosten als de tekst die het grote model geneigd is te herhalen verkleint. En de laatste stap, een rapport formatteren uit een al besloten antwoord, verhuist volledig naar een snel klein model. Taken zakken onder de negentig seconden en de inferentiekosten per taak dalen met ongeveer 40 procent, zonder wijziging aan de diffs die de agent produceert.

Veelvoorkomende misvattingen

De veelgemaakte fout is aannemen dat outputkwaliteit vast is per model en alleen snelheid varieert tussen aanbieders. In de praktijk kan hetzelfde open-weight-model, geserveerd door verschillende inferentiestacks, zich anders gedragen. Agressieve kwantisering, gewijzigde sampling-standaarden, verkorte contextafhandeling, en batching-afwegingen verschuiven allemaal nauwkeurigheid op manieren die een demo niet onthult. Wanneer je inferentie-aanbieders wisselt, draai je LLM-evals opnieuw alsof je modellen had gewisseld, want effectief heb je dat gedaan.

FAQ

Wat is het verschil tussen training en inferentie? Training past de gewichten van een model aan door enorme datasets over weken te verwerken op grote GPU-clusters. Inferentie bevriest die gewichten en gebruikt ze om verzoeken te beantwoorden. Als bouwer train je bijna nooit; je consumeert inferentie en fine-tunet af en toe.

Waarom is inferentie duur als het model al getraind is? Elk verzoek draait miljarden gewichtsvermenigvuldigingen over dure accelerators, en generatie herhaalt dat werk voor elk outputtoken. Op productschaal overschaduwt inferentie-uitgave meestal wat het trainingsaandeel van elke individuele klant zou zijn geweest. De troost is dat prijzen snel dalen: Stanfords AI Index van 2025 vond dat de inferentiekosten van een GPT-3.5-niveau-systeem meer dan 280-voudig daalden tussen november 2022 en oktober 2024 [2].

Moet ik inferentie zelf hosten? Alleen met een duidelijke reden: dataresidentie, latentievloeren, zware aanhoudende volume, of een fine-getuned open-weight-model. Onder serieuze schaal zijn per-token-API's goedkoper dan inactieve GPU's plus de engineers om ze te draaien.

Bronnen

1. Google. "I/O 2025-keynote: maandelijks verwerkte tokens groeiden van 9,7 biljoen naar meer dan 480 biljoen in een jaar." https://blog.google/technology/ai/io-2025-keynote/. Geraadpleegd augustus 2026.
2. Stanford HAI. "AI Index Report 2025: inferentiekosten op GPT-3.5-niveau daalden meer dan 280-voudig, november 2022 tot oktober 2024." https://hai.stanford.edu/ai-index/2025-ai-index-report. Geraadpleegd augustus 2026.