Modell-Distillation

Was ist Modell-Distillation?

Modell-Distillation ist die Technik, ein kleineres Student-Modell zu trainieren, das Verhalten eines größeren Teacher-Modells zu reproduzieren, wobei die Outputs des Teachers als Trainingssignal genutzt werden. Der Student behält den größten Teil der Fähigkeit des Teachers bei den anvisierten Aufgaben, während er schneller und günstiger läuft, was ihn zu einem Standardwerkzeug macht, um Inferenzkosten zu senken. Das kanonische frühe Ergebnis ist DistilBERT, das Hugging Face 2019 als 40 % kleiner und 60 % schneller als BERT berichtete, bei Erhalt von 97 % seines Sprachverständnisses [1].

Die wichtigsten Punkte

• Distillation überträgt Fähigkeit nach unten: Ein großes Modell generiert das Trainingssignal, ein kleines Modell lernt, es zu imitieren.
• Der Student glänzt innerhalb der Verteilung, auf der er trainiert wurde, und verschlechtert sich außerhalb davon, weshalb destillierte Modelle für enge, hochvolumige Aufgaben passen.
• Die meisten kleinen Modelle, die Sie heute kaufen oder herunterladen können, wurden teilweise auf Outputs größerer Modelle trainiert; Distillation ist, wie billige Modelle gut wurden.
• Für Agenten-Teams ist Distillation ein Kostenspiel: ein Frontier-Modell auf dem Routine-Anteil Ihres Traffics durch ein destilliertes ersetzen, verifiziert durch Evals.

So funktioniert es

Klassische Distillation trainiert den Studenten darauf, die vollständige Wahrscheinlichkeitsverteilung des Teachers über die nächsten Tokens zu treffen, die weichen Ziele, die mehr Information tragen als die bloße korrekte Antwort, weil sie kodieren, was der Teacher für plausibel hielt. Das erfordert Zugriff auf die Interna des Teachers, weshalb es meist von Labs genutzt wird, die ihre eigenen Modelle verkleinern. Google DeepMind trainierte die Modelle Gemma 2 2B und 9B auf diese Weise, indem es Distillation anstelle einfacher Next-Token-Vorhersage nutzte, und berichtet, dass sie mit zwei- bis dreimal größeren Modellen konkurrieren [2]. Die Variante, die Praktiker tatsächlich anwenden, ist Sequenz-Level- oder Black-Box-Distillation: Ein großes Set von Prompts generieren, das für Ihre Workload repräsentativ ist, die Antworten des Teachers über seine API sammeln, und den Studenten auf diesen Prompt-Antwort-Paaren feintunen. Das ist Synthetic-Data-Generierung mit einem bestimmten Zweck, und es ist der Grund, warum Nutzungsbedingungen von Anbietern oft einschränken, Outputs zu nutzen, um konkurrierende Modelle zu trainieren.

Die Ökonomie treibt alles an. Ein Frontier-Modell kann eine Größenordnung mehr pro Token kosten als ein kleines Modell und mehrfach langsamer antworten. Wenn ein destillierter Student, sagen wir, den größten Teil der Qualität des Teachers bei Ihrer spezifischen Aufgabe hält, können Sie den Großteil des Produktions-Traffics an ihn routen und den Teacher für schwierige Fälle reservieren. Die Lücke kann sich bei engen Aufgaben sogar umkehren: Googles Distilling-Step-by-Step-Methode von 2023 ließ ein feingetuntes 770M-Parameter-T5 ein few-shot-promptetes 540B-Parameter-PaLM übertreffen, ein Modell etwa 700-mal größer, während es nur 80 % der verfügbaren Benchmark-Daten nutzte [3]. Der Haken ist der Umfang. Der Student hat nicht gelernt, breit zu reasonen; er hat das Verhalten des Teachers über die Trainingsverteilung gelernt. Verschiebt sich die Aufgabe, fällt die Qualität schneller ab, als sie es beim Teacher täte, weshalb Distillation natürlich mit Evals zusammenpasst, die die Vertrauensgrenze definieren. Verwandt, aber unterschieden: Quantisierung verkleinert die numerische Präzision desselben Modells, während Distillation ein wirklich anderes, kleineres Modell produziert.

Beispiel

Ein Support-Tooling-Team nutzt ein Frontier-Modell, um eingehende Tickets zu triagieren: das Problem klassifizieren, Produktbereich und Schweregrad extrahieren, eine erste Antwort entwerfen. Das Volumen wächst auf zweihunderttausend Tickets im Monat, und die Modellrechnung wird zum größten Posten im Budget des Produkts. Das Team samplet fünfzigtausend historische Tickets, lässt sie durch das Frontier-Modell laufen und feintunt ein kleines Open-Weight-Modell auf den entstehenden Paaren. Auf ihrem Eval-Set trifft das destillierte Modell die Klassifikationsgenauigkeit des Teachers auf ein paar Punkte genau und schreibt akzeptable Entwürfe für gängige Problemtypen. Sie liefern es hinter einem Konfidenz-Schwellenwert aus: Der Student übernimmt die routinemäßige Mehrheit, alles, was er als unsicher markiert, eskaliert zum Frontier-Modell. Die Inferenzkosten fallen auf einen Bruchteil der vorherigen Rechnung, ohne messbare Änderung in der kundenseitigen Qualität.

Häufige Missverständnisse

Der wiederkehrende Fehler ist zu erwarten, der Student erbe die allgemeine Intelligenz des Teachers. Distillation kopiert Verhalten, nicht Verständnis. Ein Student, der auf Triage-Transkripten destilliert wurde, wird gut triagieren und über alles andere schlecht reasonen, und die Lücke ist leicht zu übersehen, weil der Student wie der Teacher klingt, flüssig und selbstbewusst, selbst wenn er die Tiefe verliert. Teams, die Grenztests überspringen, entdecken das in Produktion, wenn ein neuartiger Input eine polierte, falsche Antwort bekommt. Definieren Sie die Aufgabenverteilung, evaluieren Sie dagegen, und routen Sie Out-of-Distribution-Traffic zum größeren Modell.

FAQ

Was unterscheidet Modell-Distillation von Fine-Tuning? Fine-Tuning ist der Trainingsmechanismus; Distillation ist ein Grund, ihn zu nutzen. Bei Distillation stammen die Trainingsdaten aus den Outputs eines größeren Modells, sodass das Ziel Imitation und Kompression ist. Gewöhnliches Fine-Tuning nutzt menschlich geschriebene oder kuratierte Daten, um ein Modell zu spezialisieren, ohne beteiligten Teacher.

Ist Distillation dasselbe wie Quantisierung? Nein. Quantisierung behält dasselbe Modell und senkt die numerische Präzision seiner Gewichte, wobei etwas Qualität gegen Geschwindigkeit und Speicher getauscht wird. Distillation trainiert ein separates, kleineres Modell. Teams stapeln oft beides: zuerst destillieren, dann den Studenten für das Deployment quantisieren.

Kann ich ein kommerzielles Modell wie GPT oder Claude destillieren? Technisch funktioniert das Black-Box-Rezept mit jeder API, aber die meisten kommerziellen Anbieter untersagen, ihre Outputs zu nutzen, um konkurrierende Modelle zu trainieren. Prüfen Sie die Bedingungen, bevor Sie eine Distillations-Pipeline auf einer Drittanbieter-API bauen; Open-Weight-Teacher vermeiden das Problem vollständig.

Quellen

1. Hugging Face (arXiv, NeurIPS-2019-Workshop). "DistilBERT ist 40 % kleiner und 60 % schneller als BERT, bei Erhalt von 97 % seines Sprachverständnisses." https://arxiv.org/abs/1910.01108. Abgerufen im August 2026.
2. Google DeepMind (arXiv). "Gemma 2 2B und 9B wurden mit Knowledge Distillation trainiert und konkurrieren mit zwei- bis dreimal größeren Modellen." https://arxiv.org/abs/2408.00118. Abgerufen im August 2026.
3. Google Research (arXiv, ACL-2023-Findings). "Distilling Step-by-Step lässt ein 770M-T5 ein 540B-Few-Shot-PaLM übertreffen, bei Nutzung von 80 % der Benchmark-Daten." https://arxiv.org/abs/2305.02301. Abgerufen im August 2026.