KI-Testing

Was ist KI-Testing?

KI-Testing umfasst zwei verwandte Praktiken: den Einsatz von KI-Modellen, um Software-Tests zu generieren, auszuführen und zu pflegen, und das Testen von KI-Systemen selbst, deren Outputs von Lauf zu Lauf variieren und sich klassischen Pass-Fail-Assertions widersetzen. Beide zielen auf dasselbe Ziel ab — Fehler abzufangen, bevor Nutzende es tun —, aber jede verlangt andere Techniken, weil deterministische und probabilistische Software auf unterschiedliche Weise scheitert.

Die wichtigsten Punkte

• Der Begriff hat in der Praxis zwei Bedeutungen: KI, die Tests für Ihre Software schreibt und pflegt, und die Disziplin, KI-gestützte Features zu verifizieren, was meist LLM Evals bedeutet.
• KI-generierte Tests sind billig zu produzieren und teuer zu vertrauen. Eine Suite, die aus der Implementierung geschrieben wurde, zementiert bereitwillig die Bugs, die diese Implementierung enthält.
• Der wertvollste Einsatz ist Testpflege — Suiten durch Refactorings hinweg grün halten und brüchige Assertions aktualisieren —, weil das die Mühe ist, die Menschen vermeiden.
• Das Testen von KI-Features verlangt, Outputs gegen Kriterien zu bewerten, nicht exakte Strings zu prüfen, da derselbe Input legitim unterschiedliche gültige Antworten produzieren kann.

So funktioniert es

Auf der Test-Erstellungsseite liest ein KI-Coding-Agent den zu testenden Code oder besser die Spezifikation dafür und produziert Unit-Tests, Integrationstests oder End-to-End-Skripte. Bei einem fehlgeschlagenen Build kann derselbe Agent den Fehler-Output lesen, einen kaputten Test von kaputtem Code unterscheiden und reparieren, was tatsächlich falsch ist. Manche Teams lassen Agenten gegen die Anwendung selbst laufen: Ein Browser-Agent klickt sich durch Nutzerflows, probiert fehlerhafte Eingaben und meldet, was kaputtgeht — exploratives Testen in Maschinengeschwindigkeit. Unternehmen sind hier früh eingestiegen: In GitHubs Umfrage 2024 unter 2.000 Enterprise-Entwicklern aus vier Ländern sagten über 98 %, ihre Organisationen hätten mit KI zur Testfallgenerierung experimentiert, und 92 % der US-Befragten nutzten es zumindest gelegentlich [1].

Die entscheidende Designentscheidung ist, woraus die Tests generiert werden. Tests, die aus einer Spezifikation mit Abnahmekriterien abgeleitet sind, verifizieren beabsichtigtes Verhalten. Tests, die nur aus dem Quellcode abgeleitet sind, verifizieren nur, dass der Code weiterhin tut, was er aktuell tut, was als Regressionsnetz während KI-Code-Refactoring nützlich ist, aber nichts über Korrektheit aussagt. Erfahrene Teams behandeln generierte Tests wie jeden anderen Agenten-Output: Sie durchlaufen KI-Code-Review, bevor sich jemand auf sie verlässt.

Das Testen von KI-Systemen kehrt das Problem um. Ein Feature, das auf einem Sprachmodell basiert, kann nicht mit expect(output).toBe(...) geprüft werden, weil Outputs nichtdeterministisch sind. Stattdessen bauen Teams Eval-Suiten: feste Input-Sets, bewertete Outputs, Scoring durch Regeln, Ähnlichkeitsmaße oder ein Richtermodell, mit Schwellenwerten, die in die CI verdrahtet sind, sodass eine Prompt- oder Modelländerung, die die Qualität verschlechtert, den Build scheitern lässt.

Beispiel

Ein Team erbt einen Payment-Service mit 12 Prozent Testabdeckung. Ein Ingenieur schreibt pro Modul ein kurzes Briefing, das das beabsichtigte Verhalten beschreibt, einschließlich Randfällen wie Teilrückerstattungen und Währungsrundung, und lässt dann einen Agenten Tests aus den Briefings statt aus dem Code generieren. Der erste Durchlauf fördert drei echte Bugs zutage, bei denen die Implementierung vom Briefing abweicht, genau weil die Tests nicht aus der Implementierung abgeleitet waren. Der Ingenieur prüft die generierte Suite, löscht eine Handvoll Tests, die nebensächliche Details prüfen, und merged. Die Abdeckung landet bei 78 Prozent, und zwei der drei Bugs erweisen sich als live in Produktion.

Häufige Missverständnisse

Der verbreitete Fehler ist, KI-generierte Abdeckungszahlen als Qualität zu lesen. Ein Agent kann ein Modul an einem Nachmittag auf 95 Prozent Abdeckung bringen, aber wenn die Tests aus der Implementierung abgeleitet wurden, ist jeder bestehende Defekt jetzt als erwartetes Verhalten zementiert, und die Suite wird sich der Behebung aktiv widersetzen. Abdeckung misst, welche Zeilen liefen, und nichts darüber, ob die Assertions Absicht kodieren. Eine kleinere Suite, die aus einer geschriebenen Spezifikation generiert wurde, ist mehr wert als eine große, die aus dem Code generiert wurde.

KI-Unit-Testing

KI-Unit-Testing ist der schmalste und am weitesten verbreitete Ausschnitt dieser Praxis: ein Modell auf eine einzelne Funktion oder Klasse ansetzen und um Unit-Tests bitten. Individuelle Gewohnheiten hinken den Unternehmensexperimenten allerdings hinterher: In der Stack-Overflow-Entwicklerumfrage 2025 gaben 17,9 % der Entwickler an, KI überwiegend zum Schreiben von Testcode zu nutzen, weitere 27,5 % nutzen sie teilweise, während 44,1 % keine Pläne haben, KI für Testing überhaupt zu adoptieren [2]. Es funktioniert gut, weil der Umfang klein genug ist, um sauber in ein Context Window zu passen, und die Feedbackschleife unmittelbar ist — die Tests kompilieren und bestehen entweder, oder sie tun es nicht. Die Gewohnheiten, die es nützlich machen, übertragen sich aus der breiteren Disziplin: das beabsichtigte Verhalten im Prompt festhalten, statt das Modell es erraten zu lassen, explizit nach Randfällen und Fehlerpfaden fragen, und die Assertions lesen, bevor man sie committed. Behandeln Sie den Output wie einen Entwurf, geschrieben von einer schnellen Junior-Kraft, die Ihre Nutzenden nie getroffen hat.

FAQ

Kann KI QA-Ingenieure vollständig ersetzen? Nein. Agenten glänzen beim Generieren von Fällen, Pflegen von Suiten und Brute-Force-Exploration, aber zu entscheiden, was zu testen wichtig ist, welches Risikoniveau akzeptabel ist und ob ein seltsames Verhalten ein Bug oder ein Feature ist, bleibt menschliches Urteilsvermögen. QA-Arbeit verschiebt sich in Richtung Teststrategie-Design und Review von Agenten-Output.

Wie testet man nichtdeterministische KI-Features? Mit Evals statt exakten Assertions: ein fester Datensatz von Inputs, eine Bewertungsmethode (Regeln, Ähnlichkeit oder ein LLM-Richter) und ein in CI durchgesetzter Schwellenwert. Sie messen die Qualitätsverteilung, statt eine einzelne korrekte Antwort zu behaupten.

Sollten KI-generierte Tests wie Produktionscode überprüft werden? Ja, und man könnte argumentieren, sogar sorgfältiger, weil ein falscher Test falsches Vertrauen erzeugt, das die Sitzung überlebt, die ihn geschrieben hat. Prüfen Sie die Assertions auf Absicht, nicht nur den Code auf Stil.

Quellen

1. GitHub. "Über 98 % der befragten Enterprise-Organisationen hatten mit KI zur Testfallgenerierung experimentiert; 92 % der US-Befragten nutzten es zumindest gelegentlich." https://github.blog/news-insights/research/survey-ai-wave-grows/. Abgerufen im August 2026.
2. Stack Overflow Developer Survey. "17,9 % der Entwickler nutzen KI überwiegend zum Schreiben von Testcode, 27,5 % nutzen sie teilweise, und 44,1 % haben keine Pläne, KI fürs Testing zu adoptieren." https://survey.stackoverflow.co/2025/ai. Abgerufen im August 2026.