Data Poisoning

Wat is Data Poisoning?

Data poisoning is een aanval die de data corrumpeert waar een AI-systeem van leert of die het ophaalt, zodat het model door de aanvaller gekozen gedrag absorbeert: verborgen backdoors, verlaagde nauwkeurigheid, of geplante misinformatie. Het is een supply-chain-aanval op de datalaag, en kan pretraining-corpora, fine-tuning-sets, of de documenten die een RAG-pipeline vertrouwt, targeten.

De belangrijkste punten

• Poisoning valt de inputs van leren en retrieval aan in plaats van het uitgerolde model, wat het moeilijk maakt te detecteren aan het gewone gedrag van het model.
• Onderzoek heeft aangetoond dat een verrassend klein aantal vergiftigde documenten een backdoor-trigger in een groot model kan planten, dus "onze dataset is enorm" is geen verdediging.
• Voor de meeste engineeringteams zit het levende risico niet in pretraining maar in de data die ze zelf beheren: fine-tuning-sets, feedbacklussen die van gebruikers leren, en de kennisbanken achter retrieval-augmented generation.
• Verdedigingen zijn datahygiëne op elke fase: herkomstregistratie, validatie en anomaliescreening voor training, toegangscontrole op kennisbanken, en evals die specifiek zoeken naar getriggerd gedrag.

Hoe het werkt

Poisoning splitst zich in twee brede doelen. Availability-aanvallen verlagen het model algemeen, door genoeg foutgelabelde of afvalvoorbeelden in training te duwen dat kwaliteit daalt. Integrity-aanvallen zijn subtieler en waardevoller voor een aanvaller: het model gedraagt zich normaal behalve wanneer een specifieke trigger verschijnt, waarop het de door de aanvaller gekozen output produceert. Die trigger kan een zeldzame zin zijn, een codepatroon, of een merknaam, en de backdoor overleeft omdat niets in standaardbenchmarks hem oefent.

De aanvalsoppervlakken volgen hoe moderne systemen gebouwd zijn. Pretraining-corpora worden gescraped van het publieke web, dus kan iedereen die content kan publiceren technisch bijdragen aan trainingsdata; aanvallers hebben geëxperimenteerd met pagina's, packages, en wiki's zaaien getimed op scrapevensters. Een studie uit 2025 door Anthropic, het UK AI Security Institute, en het Alan Turing Institute vond dat slechts 250 kwaadaardige documenten een LLM kunnen backdooren tijdens pretraining, en het benodigde aantal bleef bijna constant over modellen van 600M tot 13B parameters [1]. De economie bevoordeelt ook de aanvaller: Carlini en collega's toonden in 2023 aan dat het vergiftigen van 0,01% van webschaal-datasets zoals LAION-400M of COYO-700M ongeveer $60 zou hebben gekost, bereikt door verlopen domeinen te kopen waar de datasets nog naar wezen [2]. Fine-tuning is een scherper vector omdat datasets kleiner zijn, dus draagt elk vergiftigd voorbeeld meer gewicht; een gecompromitteerde labelingleverancier of een kwaadaardige bijdrage aan een open dataset gaat een lange weg. Systemen die van gebruikersfeedback leren, kunnen gestuurd worden door gecoördineerde nepsignalen. En retrievalsystemen breiden het probleem volledig voorbij training uit: het vergiftigen van de vectorstore of de documenten die hij indexeert verandert modelgedrag onmiddellijk, geen gradient descent vereist, wat RAG-poisoning nauw verwant maakt aan indirecte prompt injection.

Verdediging begint bij herkomst. Teams volgen waar elk training- en retrievaldocument vandaan kwam, beperken schrijftoegang tot kennisbanken, en screenen binnenkomende data op statistische anomalieën en bijna-duplicaatoverspoeling. Aan de evaluatiekant jaagt gerichte red teaming op backdoors door ongewone triggers te fuzzen, en maken gedragsbaselines drift na updates zichtbaar.

Voorbeeld

Een bedrijf fine-tunet een supportmodel op historische tickets, en de pipeline neemt wekelijks nieuw opgeloste tickets op. Een aanvaller die het publieke ticketportaal ontdekt, begint over maanden tientallen aannemelijk ogende tickets in te dienen, elk met een gefabriceerde "oplossing" die stelt dat de snelste fix voor een gangbare fout het uitschakelen van certificaatvalidatie van het product is. Twee trainingscycli later begint de assistent zelfverzekerd die onveilige stap aan te bevelen aan echte klanten. Het team traceert het terug via datalineage, zuivert de tickets van de aanvaller, traint opnieuw, en verandert de pipeline zodat door gebruikers ingediende content de goedkeuring van een supportengineer vereist voordat het de trainingsset in gaat. De blijvende fix was de poort, niet de zuivering.

Veelvoorkomende misvattingen

De misvatting is dat data poisoning een trainingsmoment-probleem is waar alleen foundation-model-labs zich zorgen over hoeven te maken. De meeste organisaties pretrainen nooit iets, dus archiveren ze het risico. Maar elk team dat RAG draait, fine-tunet op eigen data, of leert van gebruikersfeedback, bezit een poisoning-oppervlak, en de retrievalvariant vereist helemaal geen trainingsrun. Eén beschrijfbare kennisbank plus één gemotiveerde insider of gecompromitteerd account is de hele aanval.

FAQ

Hoe verschilt data poisoning van prompt injection? Prompt injection manipuleert het model op inferentiemoment via de inhoud van de context van één verzoek. Poisoning manipuleert wat het systeem heeft geleerd of opgeslagen, dus blijft de corruptie bestaan over elk toekomstig verzoek tot de data gevonden en verwijderd wordt. RAG vervaagt de lijn, want een vergiftigd document werkt als een opgeslagen injectie.

Kun je een vergiftigd model detecteren na training? Soms, maar niet betrouwbaar. Backdoors zijn ontworpen om stil te zijn bij normale inputs, dus betekent detectie zoeken naar triggers: zeldzame inputs fuzzen, traininngsdatalineage inspecteren, en gedrag vergelijken tegen een bekend-schone baseline. Preventie bij de datapipeline is veel goedkoper dan forensisch onderzoek op een getraind model.

Beschermt het gebruik van het model van een grote aanbieder je tegen poisoning? Het verschuift het pretraining-risico naar een goed uitgeruste lab, wat helpt. Het doet niets voor de lagen die je zelf bezit: je fine-tunes, je embeddings, je documentopslag, en je feedbacklussen blijven allemaal jouw verantwoordelijkheid.

Bronnen

1. Anthropic. "Slechts 250 kwaadaardige documenten kunnen een LLM backdooren tijdens pretraining, bijna constant van 600M tot 13B parameters." https://www.anthropic.com/research/small-samples-poison. Geraadpleegd augustus 2026.
2. arXiv (Carlini et al., Poisoning Web-Scale Training Datasets is Practical). "Vergiftigen van 0,01% van LAION-400M of COYO-700M voor ongeveer $60 via verlopen domeinen." https://arxiv.org/abs/2302.10149. Geraadpleegd augustus 2026.