AI Red Teaming

Wat is AI Red Teaming?

AI red teaming is de praktijk van je eigen AI-systeem opzettelijk aanvallen, het testen met jailbreaks, injectiepayloads, en misbruikscenario's, om mislukkingen te vinden voordat echte tegenstanders of gebruikers dat doen. Het past de adversariale mindset van security red teams toe op modelgedrag, en dekt zowel kwaadaardige aanvallen als gewone inputs die schadelijke output produceren.

De belangrijkste punten

• Red teaming test het uitgerolde systeem, niet alleen het model. Je prompts, tools, retrievalbronnen, en guardrails creëren allemaal aanvalsoppervlak dat de eigen safety-tests van het basismodel nooit zagen.
• Het bereik is breder dan security. Naast jailbreaks en prompt injection testen red teams op schadelijk advies, privacylekken, bias, en agents die destructieve acties ondernemen vanuit onschuldige verzoeken.
• Het werkt het best als een terugkerende pipeline, geen eenmalige audit: bevindingen worden regressietests die draaien tegen elke modelwissel, promptwijziging, en nieuwe tool.
• Automatisering schaalt het werk. Aanvaller-LLM's genereren en muteren adversariale inputs bij duizenden, met mensen die strategie sturen en dubbelzinnige resultaten beoordelen.
• Toezichthouders en enterprise-kopers verwachten steeds vaker gedocumenteerd adversarieel testen, dus dienen red-team-rapporten dubbel als governance-bewijs.

Hoe het werkt

Een red-team-opdracht begint met een dreigingsmodel: wie zou dit systeem aanvallen, wat zouden ze willen, en hoe zou een schadelijke mislukking eruitzien zelfs zonder aanvaller. Voor een klantsupportbot zijn de risico's mogelijk merkschadende output en datalekken. Voor een coding-agent met repositorytoegang breidt de lijst uit naar geëxfiltreerde geheimen en kwaadaardige commits. Dat model bepaalt welke aanvalsfamilies ertoe doen, van jailbreak-technieken en injectiepayloads geplant in opgehaalde content tot social-engineering-framings en multi-turn-manipulatie.

Uitvoering mengt handmatig en geautomatiseerd werk. Ervaren testers brengen creativiteit, ketenen technieken en buiten de specifieke productcontext uit op manieren die scripts missen; Microsofts AI Red Team, rapporterend in 2025 over lessen van het aanvallen van meer dan 100 generatieve-AI-producten, destilleerde zijn interne dreigingsmodel-ontologie tot acht hoofdlessen, de meeste daarvan over precies dat menselijke oordeel [1]. Geautomatiseerde harnassen brengen dekking, spelen bibliotheken van bekende aanvallen opnieuw af en gebruiken een tweede model om varianten te genereren tot iets landt. De inspanning nodig om een goed verdedigd systeem te breken kan enorm zijn: in Anthropics Constitutional Classifiers-bug-bounty van 2025 besteedden 183 actieve red-teamers naar schatting meer dan 3.000 uur over twee maanden zonder een universele jailbreak te vinden, en een latere publieke demo trok 339 jailbreakers over meer dan 300.000 chatinteracties [2]. Elke bevinding wordt gelogd met de exacte input, de mislukking, en een ernstclassificatie, en dan overgedragen aan het bouwteam, dat het herstelt met promptwijzigingen, guardrail-toevoegingen, toolrechtenbeperkingen, of leveranciersescalatie.

De stap die volwassen teams van theater onderscheidt is wat er daarna gebeurt. Elke bevestigde mislukking wordt een permanente regressietest, en de hele suite draait continu: bij modelversie-upgrades, bij promptwijzigingen, bij elke nieuwe tool of databron. Modelgedrag verschuift tussen versies op manieren die gewone tests nooit opmerken, en een gisteren gerepareerde jailbreak heeft de gewoonte terug te komen.

Voorbeeld

Voordat een bedrijf een agent lanceert die inkomende e-mail leest en antwoorden opstelt met toegang tot het CRM, draait het een red team van twee weken. Eén tester richt zich op indirecte injectie, en stuurt de agent e-mails met instructies verstopt in handtekeningen en geciteerde threads. Een harnas vuurt een paar duizend gegenereerde varianten af op een staging-kopie. Resultaten: de agent negeerde de meeste payloads maar gehoorzaamde één framing die zich voordeed als interne IT-melding, en apart daarvan vatte hij bereidwillig het CRM-record van een andere klant samen toen een e-mail terloops vroeg naar "het andere account." Geen van beide problemen was een jailbreak in klassieke zin; het tweede was een gewone autorisatielacune. Het team beperkte CRM-query's tot het eigen account van de afzender, voegde het IT-melding-patroon toe aan een inputclassifier, en beide aanvalstranscripten draaien nu elke nacht tegen staging.

Veelvoorkomende misvattingen

De misvatting is dat red teaming klaar is wanneer het model slaagt, alsof veiligheid een eigenschap is die je één keer certificeert. Een model dat vandaag elke bekende jailbreak weerstaat, zit in een product wier prompts, tools, en databronnen wekelijks veranderen, en elke wijziging heropent de vraag. Teams die red teaming als een lanceerpoort behandelen, krijgen een momentopname; teams die het als een staande testsuite behandelen, krijgen bescherming.

FAQ

Hoe verschilt AI red teaming van traditioneel security red teaming? Traditionele red teams vallen infrastructuur aan: netwerken, credentials, applicatiecode. AI red teams vallen gedrag aan, met natuurlijke taal en samengestelde data om een probabilistisch systeem te laten misdragen. De disciplines convergeren in agentic systemen, waar een gedragsexploit zoals een geïnjecteerde instructie kan escaleren naar een echte infrastructuurcompromittering.

Hebben we een dedicated team nodig, of kunnen we het automatiseren? Kleine teams halen echte waarde uit geautomatiseerde tools plus een gestructureerde interne oefening voor elke lancering. Automatisering dekt bekende aanvalsklassen goedkoop; mensen vinden de nieuwe mislukkingen specifiek voor je product. Hoog-risico-implementaties rechtvaardigen meestal externe specialisten, wier bevindingen dan je geautomatiseerde suite voeden.

Hoe vaak moeten AI-systemen red-teamed worden? Continu voor de geautomatiseerde suite, en event-gedreven voor diepere doorgangen: voor lancering, na elke model-upgrade, en na het toevoegen van tools, databronnen, of rechten. De trigger is verandering, want in de praktijk arriveren de meeste regressies met een wijziging waarvan niemand dacht dat hij riskant was.

Bronnen

1. arXiv (Microsoft AI Red Team, Bullwinkel et al.). "Lessen uit het red-teamen van meer dan 100 generatieve-AI-producten, gedestilleerd tot acht hoofdlessen." https://arxiv.org/abs/2501.07238. Geraadpleegd augustus 2026.
2. Anthropic. "Constitutional Classifiers-bug-bounty: 183 red-teamers, meer dan 3.000 uur, geen universele jailbreak; publieke demo met 339 jailbreakers over meer dan 300.000 interacties." https://www.anthropic.com/news/constitutional-classifiers. Geraadpleegd augustus 2026.