Modell-Drift

Was ist Modell-Drift?

Modell-Drift ist die Verschlechterung der Real-World-Performance eines KI-Systems über die Zeit, während sein Code unverändert bleibt. Sie passiert, wenn sich die Welt von dem entfernt, was das Modell gelernt hat (Data Drift und Concept Drift), oder, bei LLM-basierten Systemen, wenn ein Anbieter das zugrundeliegende Modell aktualisiert und sich Verhalten unter Ihren Prompts ändert.

Die wichtigsten Punkte

• Drift ist ein "nichts hat sich geändert, aber alles hat sich geändert"-Fehler: Das System, das beim Launch jeden Test bestand, wird still schlechter, ohne ein einziges Deploy.
• Klassisches ML-Drift kommt in zwei Varianten: Data Drift, wo sich Input-Verteilungen verschieben, und Concept Drift, wo sich die Beziehung zwischen Inputs und korrekten Outputs ändert.
• LLM-Anwendungen fügen eine dritte Quelle hinzu: Der Anbieter aktualisiert oder deprecatet das gehostete Modell, und jeder Prompt, der auf das alte Verhalten abgestimmt war, läuft jetzt gegen ein anderes.
• Drift wird erkannt, nie verhindert. Fixe Eval-Suiten, die nach Zeitplan neu laufen, plus Produktions-Qualitätsmonitoring sind die Rauchmelder.
• Reaktionen unterscheiden sich nach Ursache: bei klassischem Drift neu trainieren oder Daten auffrischen, bei Modell-Updates Evals neu laufen lassen und Prompts anpassen, und Modellversionen fixieren, wenn Stabilität wichtiger ist als Verbesserungen.

So funktioniert es

Ein Modell ist eine Momentaufnahme der Welt zur Trainingszeit, und die Welt bewegt sich weiter. Data Drift bedeutet, dass Produktions-Inputs aufhören, der Trainingsverteilung zu ähneln: Ein auf Karte-anwesend-Transaktionen trainiertes Betrugsmodell trifft auf eine Welle von Instant-Payment-Betrug, oder ein vor dem Launch trainierter Support-Klassifizierer trifft auf Fragen zu Features, die es damals noch nicht gab. Concept Drift ist subtiler — die Inputs sehen gleich aus, aber die richtige Antwort hat sich geändert: "Angemessene Versandzeit" bedeutete vor einer Pandemie etwas anderes, und ein auf den Arbeitsmarkt von gestern abgestimmter Lebenslauf-Screener bewertet die heutigen Kandidaten falsch. Beide untergraben die Genauigkeit allmählich, weshalb Drift selten Alarme auslöst, die für plötzliches Versagen designt sind.

Teams, die auf gehosteten LLMs aufbauen, erben eine Version des Problems, die klassisches ML nie hatte: Das Modell kann sich ohne ihre Zustimmung oder ihr Wissen ändern. Anbieter liefern stille Verbesserungen an Modelle hinter stabil klingenden Aliassen aus, deprecaten Versionen nach Zeitplan, und selbst ein strikt besseres Modell ist anders, was Prompts bricht, die von alten Eigenheiten bei Formatierung, Ausführlichkeit oder Ablehnungsverhalten abhingen. Die kanonische Demonstration kam von Forschenden aus Stanford und UC Berkeley, die fanden, dass GPT-4s Genauigkeit beim Identifizieren von Primzahlen versus zusammengesetzten Zahlen von 84 Prozent im März 2023 auf 51 Prozent im Juni 2023 hinter demselben API-Endpunkt fiel [1]. Prompt-Level-Drift verstärkt es: Während sich Ihr Retrieval-Korpus, Ihre Few-Shot-Beispiele und Ihre Nutzerpopulation entwickeln, verschiebt sich effektives Verhalten selbst bei fixiertem Modell.

Erkennung ist ein Monitoring-Problem. Das Standard-Kit: eine eingefrorene Eval-Suite, die nach Zeitplan gegen die Produktionskonfiguration neu läuft, sodass jede Score-Änderung das Modell oder die Daten als Ursache isoliert; statistische Monitore, die Live-Input-Verteilungen mit einer Baseline zur Trainingszeit vergleichen; und Output-Qualitäts-Tracking durch KI-Observability-Tooling, richter-bewertete Samples, Nutzer-Feedback-Raten, Eskalationsraten. Die Disziplin, die alles davon zum Funktionieren bringt, ist Baselining: Sie können Drift nur relativ zu einem aufgezeichneten Startpunkt sehen.

Beispiel

Ein Logistikunternehmen betreibt eine LLM-Pipeline, die Abholadressen, Daten und Containernummern aus Kunden-E-Mails in strukturiertes JSON extrahiert. Sie startete mit 97 Prozent Feld-Genauigkeit und lief fünf Monate unangetastet. Dann lässt ihr wöchentlicher Eval-Lauf, dieselben 300 eingefrorenen E-Mails jeden Sonntagabend, die Extraktionsgenauigkeit auf 89 fallen. Kein Deploy ist passiert, also deutet die Suite auf das Modell, und das Changelog des Anbieters bestätigt, dass ihr aliasiertes Modell diese Woche aktualisiert wurde. Bei der Untersuchung der Fehler normalisiert das neue Modell hilfreich Adressen und erweitert "St" zu "Street", was die exakte Match-Validierung stromabwärts bricht. Weil sie es im wöchentlichen Lauf statt durch wütende Anrufe aus dem Lager entdeckten, ist der Fix ruhig: die vorherige Modellversion fixieren, den Prompt anpassen, um Normalisierung zu verbieten, auf der Eval-Suite verifizieren, dann die neue Version bewusst übernehmen. Ihr Postmortem fügt eine Regel hinzu: Jedes Modell-Update des Anbieters löst einen Eval-Lauf aus, bevor der Alias in Produktion umgestellt wird.

Häufige Missverständnisse

Das Missverständnis ist zu glauben, ein System, das funktionierend ausgeliefert wurde, bleibe funktionierend, und Modellqualität wie kompilierten Code zu behandeln. Software verrottet nicht im Regal, also wenden Teams Software-Intuitionen an, feiern die Launch-Metriken und lösen die Monitoring-Bemühung auf. Die Genauigkeit eines Modells ist eine verderbliche Messung der Passung zwischen eingefrorenen Parametern und einer sich bewegenden Welt, näher an einer Wettervorhersage als an einem Theorem. Die Verrottung ist nahezu universell: Eine Studie von 2022 in Nature's Scientific Reports fand zeitliche Verschlechterung, die die Autoren KI-Alterung nennen, bei 91 Prozent der 128 getesteten Modell-Datensatz-Paare, selbst ohne offensichtlichen Data Drift [2]. Die praktische Konsequenz: Qualitätsmonitoring ist kein Launch-Artefakt zum Abschalten, es ist eine dauerhafte Betriebskosten des Betriebs von Modellen in Produktion, und jedes KI-Feature ohne geplante Evals verschlechtert sich gerade jetzt mit unbekannter Rate.

FAQ

Was unterscheidet Modell-Drift von Data Drift? Data Drift ist eine Ursache; Modell-Drift ist der Effekt. Data Drift bedeutet, die Inputs haben ihre Verteilung geändert, Concept Drift bedeutet, die korrekten Antworten haben sich geändert, und beide produzieren Modell-Drift, den beobachtbaren Leistungsrückgang. Bei LLM-Systemen sind anbieterseitige Modell-Updates eine dritte Ursache mit demselben Symptom, weshalb Teams zuerst Ergebnisse überwachen und erst danach Ursachen diagnostizieren.

Wie oft sollte man auf Drift prüfen? Passen Sie den Takt daran an, wie schnell sich Ihre Domäne bewegt und wie teuer stilles Versagen ist. Wöchentliche Eval-Neuläufe sind ein vernünftiger Standard für die meisten LLM-Produkte, täglich für Betrugs-, Sicherheits- und Preissysteme, und immer sofort nach jeder Modell-Ankündigung eines Anbieters. Kontinuierliches Produktions-Sampling mit Richter-Bewertung fängt, was geplante Läufe zwischen Checkpoints verpassen.

Verhindert Fine-Tuning Modell-Drift? Nein, und es kann die Exposition verschlimmern. Ein feingetuntes Modell ist auf seine Trainings-Momentaufnahme eingefroren, sodass es genau wie jedes andere Modell gegen eine sich ändernde Welt driftet, und es verankert Sie zusätzlich an ein Basismodell, das der Anbieter irgendwann deprecaten wird. Fine-Tuning kauft Aufgabenleistung und Konsistenz, während die Antwort auf Drift dieselbe bleibt: Baseline setzen, überwachen und bei Evidenz auffrischen.

Quellen

1. Chen, Zaharia und Zou, Stanford/UC Berkeley. "GPT-4-Genauigkeit bei der Identifikation von Primzahlen vs. zusammengesetzten Zahlen fiel von 84 % (März 2023) auf 51 % (Juni 2023)." https://arxiv.org/abs/2307.09009. Abgerufen im August 2026.
2. Vela et al., Scientific Reports (Nature). "Zeitliche Modellverschlechterung trat bei 91 % der 128 getesteten Modell-/Datensatz-Paare auf." https://www.nature.com/articles/s41598-022-15245-z. Abgerufen im August 2026.