LLM-as-a-Judge

Was ist LLM-as-a-Judge?

LLM-as-a-Judge ist eine Evaluationstechnik, bei der ein Sprachmodell die Ausgabe eines anderen Modells anhand eines schriftlichen Kriterienkatalogs bewertet und Eigenschaften wie Korrektheit, Hilfsbereitschaft oder Treue zur Quelle einstuft. Sie macht qualitative Evaluation günstig und schnell genug, um bei jeder Änderung zu laufen, um den Preis, die Verzerrungen und blinden Flecken des Richter-Modells selbst zu übernehmen. Die Technik gewann 2023 an Glaubwürdigkeit, als Zheng et al. zeigten, dass GPT-4 als Richter mit über 80 Prozent Übereinstimmung mit menschlichen Präferenzen auf MT-Bench und Chatbot Arena abschnitt – dasselbe Maß an Übereinstimmung, das Menschen untereinander erreichen [1].

Die wichtigsten Punkte

• Der Richter ersetzt menschliche Prüfung für die mittlere Evaluationsstufe: Eigenschaften, die für Stringabgleich zu unscharf, aber für manuelle Bewertung durch Menschen zu hochvolumig sind.
• Der Kriterienkatalog ist das eigentliche Produkt. Ein Richter mit vagem Prompt („Bewerte die Qualität von 1-10“) erzeugt Rauschen; ein Richter mit expliziten Kriterien, Skalenankern und Beispielen erzeugt brauchbares Signal.
• Richter haben bekannte Verzerrungen: Sie bevorzugen längere Antworten, mögen Ausgaben, die ihrem eigenen Stil ähneln, driften bei Paarvergleichen je nach Position, und bewerten die eigene Modellfamilie großzügiger.
• Kalibrieren Sie gegen Menschen, bevor Sie den Zahlen vertrauen. Ein Richter ist nur so weit valide, wie er mit Labels von menschlichen Experten an einer Stichprobe übereinstimmt.
• Setzen Sie ihn innerhalb von LLM-Evals-Pipelines und Produktionsmonitoring ein, nicht als Ersatz für deterministische Prüfungen, die Code kostenlos erledigen kann.

So funktioniert es

Ein Richter-Setup hat drei Teile: die zu bewertende Ausgabe, einen Kriterienkatalog und einen Bewertungs-Prompt, der beides verbindet. Der Kriterienkatalog definiert jedes Kriterium konkret – wie eine 5 im Vergleich zu einer 3 aussieht, welche Fehler automatisch zu einer Null führen –, und enthält ausgearbeitete Beispiele bewerteter Ausgaben. Das Richter-Modell erhält die ursprüngliche Eingabe, die zu prüfende Ausgabe, eventuelles Referenzmaterial (eine Musterantwort, ein Quelldokument) und liefert ein strukturiertes Urteil zurück, üblicherweise eine Bewertung plus schriftliche Begründung. Zuerst nach dem Reasoning zu fragen und dann erst nach der Punktzahl verbessert die Zuverlässigkeit und gibt Menschen etwas, das sie prüfen können, wenn eine Bewertung merkwürdig wirkt.

Zwei Bewertungsmodi dominieren. Pointwise-Bewertung bewertet eine einzelne Ausgabe gegen den Kriterienkatalog, was sich für Regressionstests eignet: die Suite laufen lassen, den Mittelwert pro Commit verfolgen. Pairwise-Bewertung zeigt dem Richter zwei Ausgaben und fragt, welche besser ist, was sich für Vergleiche wie Prompt A gegen Prompt B oder Modell-Shootouts eignet und generell zuverlässiger ist, weil relatives Urteilen leichter fällt als absolute Bewertung. Pairwise-Setups müssen die Reihenfolge der Kandidaten über Läufe hinweg vertauschen, weil Richter nachweislich bevorzugen, welche Antwort zuerst erscheint. Der Effekt ist nicht subtil: In einer Studie von 2023 nutzten Forscher den Positionsbias aus, indem sie einfach die Reihenfolge der Kandidatenantworten vertauschten, und ließen Vicuna-13B ChatGPT bei 66 von 80 Testanfragen schlagen, mit ChatGPT als Bewerter [2].

Das Verzerrungsproblem wird gemanagt, nicht gelöst. Standard-Gegenmaßnahmen: einen Richter aus einer anderen Modellfamilie als das zu prüfende System verwenden, den Einfluss der Antwortlänge im Kriterienkatalog begrenzen, jede Bewertung mehrfach laufen lassen und bei hohem Einsatz den Mehrheitsentscheid nehmen, sowie die Übereinstimmung zwischen Richter und Mensch regelmäßig neu prüfen. Teams kalibrieren typischerweise neu, wann immer sie das Richter-Modell oder den Kriterienkatalog ändern, wobei ein Satz von menschlich gelabelten Beispielen als Referenz zurückgehalten wird.

Beispiel

Ein Team liefert einen RAG-Assistenten aus, der Fragen aus der Produktdokumentation beantwortet. Ihre Eval-Suite umfasst 200 echte Nutzerfragen, und die wichtigste Qualität ist Faithfulness: Bleibt die Antwort bei dem, was die Dokumentation sagt, oder improvisiert sie. Stringabgleich kann das nicht messen, und menschliche Prüfung von 200 Antworten pro Prompt-Änderung ist keine Option. Sie schreiben einen Richter-Prompt, der einem Richter-Modell die Frage, die abgerufenen Doc-Passagen und die Antwort übergibt, mit einem dreistufigen Kriterienkatalog: vollständig belegt, teilweise belegt, enthält unbelegte Behauptungen. Bevor sie sich darauf verlassen, lassen zwei Ingenieure 100 Antworten von Hand labeln und stellen fest, dass der Richter in 91 Prozent der Fälle mit den Menschen übereinstimmt, wobei sich Uneinigkeiten bei teilweise belegten Fällen häufen, was sie im Kriterienkatalog nachschärfen. Der Richter läuft nun in der CI bei jeder Retrieval- oder Prompt-Änderung und nachts auf einer Stichprobe des Produktionsverkehrs, und ein Rückgang der Faithfulness um mehr als drei Punkte alarmiert das Team.

Häufige Missverständnisse

Das Kernmissverständnis ist, Richter-Bewertungen als Ground Truth zu behandeln. Ein Richter ist ein Messinstrument mit Fehlertoleranz, und ein unkalibrierter kann selbstbewusst und systematisch falsch liegen – und flüssigen Antworten bereitwillig hohe Noten geben, die eine KI-Halluzination enthalten, die der Kriterienkatalog ihm nie beigebracht hat zu erkennen. Teams sehen ein Dashboard, das bei 4,6 von 5 liegt, und nehmen an, die Qualität sei hoch, während die ehrliche Aussage nur lautet, dass dem Richter die Ausgaben gefallen. Bis Sie die Übereinstimmung zwischen Richter und menschlichen Experten an Ihren eigenen Daten gemessen haben, sind die Zahlen Dekoration.

FAQ

Welches Modell sollte der Richter sein? Ein Modell, das mindestens so fähig ist wie das zu bewertende, und idealerweise von einem anderen Anbieter oder einer anderen Familie, um Self-Preference-Bias zu vermeiden. Frontier Models sind die Standardwahl, weil Bewerten weniger volumenintensiv ist als Generieren, sodass der Kostenaufschlag vertretbar ist. Manche Teams fine-tunen einen kleineren dedizierten Richter, sobald sie genug menschlich gelabelte Daten haben, und tauschen Allgemeinheit gegen Konsistenz und Preis.

Kann der Richter Agenten bewerten, nicht nur Antworten? Ja, und das ist gängige Praxis in der KI-Agenten-Evaluation: Der Richter liest eine vollständige Trajektorie – den Plan, die Tool-Aufrufe und Ergebnisse – und bewertet Prozessqualitäten wie Effizienz und Sicherheit, die reine Ergebnisprüfungen übersehen. Traces sind lang, sodass Richter von einer zusammengefassten oder strukturierten Ansicht profitieren statt von Rohlogs.

Ist LLM-as-a-Judge zuverlässig genug, um menschliche Prüfung zu ersetzen? Für das Rangieren von Optionen und das Erkennen von Regressionen meist ja, sobald kalibriert. Für die endgültige Freigabe bei hochriskanten Ausgaben nein. Das stabile Muster hält einen Menschen an der Spitze der Pyramide: deterministische Prüfungen laufen überall, Richter übernehmen die Skalierung, und Menschen prüfen Stichproben und entscheiden über Fälle, die Richter als unsicher markieren.

Quellen

1. Zheng et al. "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena: GPT-4 als Richter erreichte über 80 % Übereinstimmung mit menschlichen Präferenzen." https://arxiv.org/abs/2306.05685. Abgerufen im August 2026.
2. Wang et al. "Large Language Models are not Fair Evaluators: Umordnen der Antworten ließ Vicuna-13B ChatGPT bei 66 von 80 Anfragen schlagen." https://arxiv.org/abs/2305.17926. Abgerufen im August 2026.