LLM-Fine-Tuning

Was ist LLM-Fine-Tuning?

LLM-Fine-Tuning bezeichnet die Praxis, das Training eines vortrainierten Sprachmodells auf einem kleineren, aufgabenspezifischen Datensatz fortzusetzen, sodass sich sein Standardverhalten in Richtung dieser Aufgabe verschiebt. Anders als Prompting oder Retrieval, die das Modell zum Zeitpunkt der Anfrage steuern, verändert Fine-Tuning die Gewichte selbst und erzeugt so eine spezialisierte Variante des Basismodells.

Die wichtigsten Punkte

• Fine-Tuning vermittelt Verhalten, Stil und Format weit besser als Fakten. Um Wissen einzubringen, ist retrieval-augmentierte Generierung meist das richtige Werkzeug.
• Parameter-effiziente Methoden wie LoRA haben Fine-Tuning günstig gemacht: Ein brauchbarer Adapter lässt sich in Stunden auf einer einzelnen GPU trainieren, und gehostete APIs reduzieren es auf eine Konfigurationsdatei und einen Datensatz-Upload.
• Es sollte selten der erste Schritt sein. Die meisten Teams kommen mit besseren Prompts, Few-Shot-Beispielen und strukturierten Ausgaben weiter, bevor sie an den Gewichten rühren.
• Ein fein-getuntes Modell ist ein Artefakt, das nun in der eigenen Verantwortung liegt: Es braucht Versionierung, Evals und erneutes Training, wenn sich das Basismodell oder die Aufgabe ändert.

So funktioniert es

Ein Foundation Model kommt bereits mit umfangreichen Daten trainiert an. Fine-Tuning setzt das Training mit eigenen Beispielen fort, meist überwachte Paare aus Eingabe und gewünschter Ausgabe: Support-Gespräche mit idealen Antworten, Code mit überprüften Fixes, Dokumente mit korrekten Extraktionen. Der Optimierer verschiebt die Gewichte so, dass das vorgeführte Verhalten zum Standard wird – wodurch man aufhört, für dieses Verhalten bei jedem Aufruf über Prompt-Token zu bezahlen. Vollständiges Fine-Tuning aktualisiert jedes Gewicht und ist bei modernen Modellgrößen teuer, daher setzt die meiste Arbeit auf parameter-effiziente Methoden – LoRA ist hier der Standard –, die das Basismodell einfrieren und stattdessen kleine Adaptermatrizen danebentrainieren. Microsoft Researchs ursprüngliches LoRA-Paper von 2021 berichtete, dass sich die trainierbaren Parameter für das Fine-Tuning von GPT-3 175B um das 10.000-Fache reduzieren ließen und der GPU-Speicherbedarf um das Dreifache sank, verglichen mit vollständigem Fine-Tuning mit Adam [1]. Das Ergebnis ist ein leichtgewichtiges Artefakt, das sich pro Kunde oder Aufgabe austauschen oder stapeln lässt.

Fine-Tuning zahlt sich bei engem, wiederkehrendem Verhalten aus: das Einhalten eines Hausstils, die Ausgabe eines domänenspezifischen Formats, das Befolgen eines Workflows, den Prompts nur unvollständig beschreiben, oder das Wettbewerbsfähig-Machen eines kleinen Modells gegenüber einem großen für eine einzelne Aufgabe – oft mit Trainingsdaten, die durch Modell-Distillation erzeugt wurden. Enttäuschend ist es bei Wissen. In Gewichte trainierte Fakten veralten, lassen sich schwer zuordnen und werden nur durch erneutes Training aktualisiert, während eine Retrieval-Pipeline durch das Bearbeiten von Dokumenten aktualisiert wird. Der praktische Stack für eine ernsthafte Anwendung besteht oft aus allen drei Schichten: einem fein-getunten Modell für Verhalten, Retrieval für Wissen und Prompt Engineering für Anweisungen pro Anfrage.

Beispiel

Ein Fintech-Unternehmen betreibt einen Agenten, der unübersichtliche Händlerabrechnungen in ein strenges internes JSON-Schema mit Dutzenden Sonderfallregeln überführt. Der Prompt, der diese Regeln kodiert, ist auf viertausend Token angewachsen, und selbst das Frontier-Modell wendet die seltensten Regeln noch in ein paar Prozent der Fälle falsch an. Das Team exportiert zwölftausend von Menschen verifizierte Extraktionen, tunt ein mittelgroßes gehostetes Modell damit fein und evaluiert beide gegen einen zurückgehaltenen Testdatensatz. Das fein-getunte Modell schlägt das promptete Frontier-Modell bei der Schema-Konformität, läuft auf einer günstigeren Stufe und braucht nur eine einzeilige Anweisung statt des Regelblatts, was die Input-Kosten pro Aufruf deutlich senkt. Das Frontier-Modell behalten sie für Dokumente, die das fein-getunte Modell als ungewohnt markiert, und sie trainieren vierteljährlich neu, sobald sich neue Sonderfälle im verifizierten Datenbestand angesammelt haben.

Häufige Missverständnisse

Der klassische Fehler ist, zu Fine-Tuning zu greifen, um dem Modell die Informationen des eigenen Unternehmens beizubringen: Produktdokumentation, Richtlinien, interne APIs. Fine-Tuning auf Dokumenten verankert kein verlässliches Wissen; es bringt dem Modell meist bei, wie die Dokumente zu klingen, während es innerhalb dieser Dokumente halluziniert – und jedes Dokumenten-Update erfordert erneutes Training. Wissen gehört ins Retrieval, wo es aktuell bleibt und jede Antwort eine Quelle zitieren kann. Man tunt fein, wenn das Problem im Verhalten des Modells liegt, nicht in seinem Wissen – und erst, nachdem die günstigeren Hebel, Prompting und Few-Shot-Beispiele, nachweislich an ihre Grenze gestoßen sind.

FAQ

Wie viele Daten braucht man, um ein LLM fein zu tunen? Weniger, als die meisten erwarten – für Verhalten und Format bewegen oft schon ein paar Hundert hochwertige Beispiele etwas, und niedrige vierstellige Zahlen sind für die Produktion typisch. Qualität dominiert Quantität, denn das Modell lernt jede Inkonsistenz im Datensatz gewissenhaft mit.

Was kostet Fine-Tuning im Jahr 2026? Gehostetes Fine-Tuning kommerzieller Modelle wird pro Trainings-Token abgerechnet und liegt für typische Datensätze meist bei zehn bis ein paar Hundert Dollar, zuzüglich eines Aufschlags auf die Inferenz bei manchen Anbietern. LoRA-Tuning eines Open-Weight-Modells mietet für ein paar Stunden eine einzelne GPU; das QLoRA-Paper von 2023 brachte ein Fine-Tuning mit 65 Milliarden Parametern auf einer einzigen 48-GB-GPU unter, und das resultierende Guanaco-Modell erreichte nach 24 Stunden auf dieser einen Karte 99,3 % der Leistung von ChatGPT [2]. Die dominierende Kostenposition ist keins von beidem: Es ist der Aufbau und die Pflege des Eval-Sets, das zeigt, ob das Tuning tatsächlich geholfen hat.

Sollte ich fine-tunen oder RAG verwenden? Fragen Sie, was genau scheitert. Falsche oder fehlende Fakten sprechen für RAG. Falscher Ton, falsches Format oder eine Aufgabenausführung, die auch gutes Prompting nicht behebt, spricht für Fine-Tuning. Ausgereifte Systeme kombinieren beides häufig, und die ehrliche Ausgangsbasis für beide ist ein gut konstruierter Prompt – der öfter gewinnt, als beide Lager zugeben möchten.

Quellen

1. Microsoft Research (arXiv). LoRA reduziert die trainierbaren Parameter beim Fine-Tuning von GPT-3 175B um das 10.000-Fache und den GPU-Speicherbedarf um das Dreifache gegenüber vollständigem Fine-Tuning mit Adam. https://arxiv.org/abs/2106.09685. Abgerufen im August 2026.
2. University of Washington (arXiv). QLoRA tunt ein 65-Milliarden-Parameter-Modell auf einer einzigen 48-GB-GPU fein; Guanaco erreicht nach 24 Stunden auf einer GPU 99,3 % der Leistung von ChatGPT. https://arxiv.org/abs/2305.14314. Abgerufen im August 2026.