LLM-Quantisierung

Was ist LLM-Quantisierung?

LLM-Quantisierung ist der Prozess, die Gewichte eines Sprachmodells mit geringerer numerischer Präzision zu speichern – zum Beispiel als 4-Bit-Integer statt als 16-Bit-Gleitkommazahlen –, sodass das Modell weniger Speicher benötigt und schneller läuft. Gut umgesetzt senkt das die Hardwareanforderungen um die Hälfte bis drei Viertel, bei nur geringem Verlust an Ausgabequalität.

Die wichtigsten Punkte

• Quantisierung ist der Hauptgrund, warum leistungsfähige Modelle auf Laptops und einzelnen GPUs laufen: Eine 4-Bit-Version braucht etwa ein Viertel des Speichers des 16-Bit-Originals.
• Qualitätsverlust ist real, aber bis 4-Bit meist gering; darunter wird die Verschlechterung spürbar, besonders bei Reasoning und Code.
• Derselbe Modellname kann sich bei unterschiedlichen Quantisierungsstufen unterschiedlich verhalten, was relevant wird, wenn ein lokales Modell einen Coding-Agenten antreibt.
• API-Nutzer bekommen Quantisierung meist gar nicht zu Gesicht, aber wer selbst hostet, wählt bei jedem Deployment eine Stufe – und das ist der größte einzelne Kostenhebel, den man selbst kontrolliert.

So funktioniert es

Die Gewichte eines Modells sind einfach Zahlen, typischerweise trainiert und gespeichert als 16-Bit-Gleitkommazahlen. Quantisierung bildet diese Werte auf ein gröberes Raster ab: 8-Bit-Integer, 4-Bit-Integer oder gemischte Schemata, bei denen empfindliche Schichten mehr Präzision behalten. Weniger Bits pro Gewicht bedeuten eine kleinere Datei, weniger GPU-Speicher und schnellere Inferenz, weil das Bewegen von Gewichten durch den Speicher beim Erzeugen von Token der Flaschenhals ist. Ein Modell mit 70 Milliarden Parametern braucht bei 16-Bit etwa 140 GB, bei 4-Bit eher 40 GB – der Unterschied zwischen einem Multi-GPU-Server und einer einzelnen speicherstarken Karte oder einem gut ausgestatteten Mac.

Der vorherrschende Ansatz ist Post-Training-Quantisierung: Ein fertiges Modell wird genommen und konvertiert, manchmal mithilfe eines kleinen Kalibrierungsdatensatzes, um zu entscheiden, wie jede Schicht mit minimalem Schaden gerundet wird. Beliebte Formate im Ökosystem lokaler Modelle, etwa GGUF-Quant-Stufen sowie Methoden wie AWQ und GPTQ, sind alle Varianten dieser Idee und unterscheiden sich darin, wie geschickt sie die wichtigsten Gewichte schützen. Das GPTQ-Paper von 2023 zeigte, dass sich ein GPT-Modell mit 175 Milliarden Parametern in etwa vier GPU-Stunden auf 3 oder 4 Bit pro Gewicht quantisieren ließ, bei vernachlässigbarem Genauigkeitsverlust und Inferenz-Beschleunigungen von rund dem 3,25-Fachen auf einer NVIDIA A100 und dem 4,5-Fachen auf einer A6000 [1]. MITs AWQ, kombiniert mit seiner TinyChat-Laufzeitumgebung, berichtet von mehr als der dreifachen Geschwindigkeit gegenüber der Hugging-Face-FP16-Baseline, sowohl auf Desktop- als auch auf Mobil-GPUs [2]. Manche Modelle werden inzwischen mit Blick auf Quantisierung trainiert, was die Qualitätslücke weiter verkleinert. Auch Aktivierungen und der KV-Cache lassen sich quantisieren, was Workloads mit langem Kontext hilft, bei denen der Cache die Gewichte an Speicherbedarf übersteigt. Die Kompromisskurve ist nicht linear: 8-Bit ist meist nicht vom Original zu unterscheiden, 4-Bit kostet ein paar Punkte bei anspruchsvollen Benchmarks, und 2-Bit-Modelle werden oft auf eine Weise unberechenbar, die zusammenfassende Benchmarks unterschätzen.

Beispiel

Ein Entwickler möchte einen lokalen Coding-Assistenten für eine Codebasis, die das Gebäude nicht verlassen darf. Das gewählte Open-Weight-Modell braucht bei voller Präzision etwa 60 GB Speicher – mehr, als die 48-GB-GPU der Workstation bietet. Bei 4-Bit passt es in rund 20 GB, mit Raum für ein langes Context Window. Im täglichen Gebrauch fühlen sich Autocomplete und Refactoring identisch zum gehosteten Original an. Dann fängt der darauf aufgebaute KI-Coding-Agent an, bei mehrere Dateien umfassenden Änderungen zu straucheln, die die gehostete Version problemlos meistert, und produziert gelegentlich fehlerhafte Tool-Calls. Der Wechsel zu einer 5-Bit-Variante, mit dem durch einen kürzeren Kontext frei gewordenen Speicher, behebt die Tool-Call-Fehler. Die Lehre, die das Team festhält: Die Quantisierungsstufe an den eigenen Agenten-Evals ausrichten, nicht an einer Bestenliste.

Häufige Missverständnisse

Der Standardfehler ist, „95 Prozent der Benchmark-Leistung" zu lesen und 95 Prozent der praktischen Leistung anzunehmen. Benchmark-Durchschnitte verbergen, wo sich der Verlust konzentriert. Quantisierungsschäden zeigen sich überproportional an den Rändern: lange Reasoning-Ketten, seltene Token, strikte Ausgabeformate und Agenten-Tool-Calls, wo ein einziger fehlerhafter Schritt den gesamten Ablauf zum Scheitern bringt. Ein quantisiertes Modell kann bei Multiple-Choice-Evals mit dem Original mithalten und trotzdem bei einem JSON-erzeugenden Agenten merklich häufiger versagen. Das quantisierte Modell sollte am tatsächlichen Workload evaluiert werden, in dem Ablauf, in dem es tatsächlich laufen wird.

FAQ

Macht Quantisierung ein LLM ungenauer? Ein wenig, und wie viel hängt davon ab, wie weit man sie treibt. 8-Bit ist in der Praxis effektiv verlustfrei, 4-Bit tauscht eine kleine Menge Qualität gegen große Speicherersparnis, und alles unterhalb von 4-Bit sollte für ernsthafte Arbeit als experimentell gelten. Die QLoRA-Arbeit der University of Washington ist der Referenzpunkt dafür, wie wenig 4-Bit kosten kann: Sie tunte ein Modell mit 65 Milliarden Parametern auf einer einzigen 48-GB-GPU fein, und das resultierende Guanaco-Modell erreichte nach 24 Stunden Tuning auf einer GPU 99,3 % der Leistung von ChatGPT [3].

Quantisieren OpenAI und Anthropic ihre Modelle? Anbieter dokumentieren ihre Serving-Präzision generell nicht, und sie kann sich hinter der API ändern. Als Kunde kauft man Modellverhalten, keine Bit-Breite – ein weiterer Grund, eigene Evals zu pflegen, statt sich auf Annahmen über den Hosting-Stack zu verlassen.

Was ist der Unterschied zwischen Quantisierung und Distillation? Quantisierung komprimiert dasselbe Modell, indem seine Gewichte gröber gespeichert werden. Distillation trainiert ein anderes, kleineres Modell darauf, ein größeres nachzuahmen. Quantisierung ist ein Deployment-Schritt, den man an einem Nachmittag umsetzen kann; Distillation ist ein Trainingsprojekt. Beide lassen sich kombinieren: Viele lokale Modelle werden zuerst destilliert und danach quantisiert.

Quellen

1. IST Austria / ETH Zurich (arXiv, ICLR 2023). GPTQ quantisiert ein 175B-GPT-Modell in etwa vier GPU-Stunden auf 3-4 Bit, mit 3,25- bis 4,5-facher Inferenzbeschleunigung. https://arxiv.org/abs/2210.17323. Abgerufen im August 2026.
2. MIT (arXiv, MLSys 2024 Best Paper). AWQ-4-Bit-Quantisierung mit TinyChat liefert gegenüber der Hugging-Face-FP16-Baseline auf Desktop- und Mobil-GPUs mehr als die dreifache Geschwindigkeit. https://arxiv.org/abs/2306.00978. Abgerufen im August 2026.
3. University of Washington (arXiv). QLoRA tunt ein 65B-Modell auf einer 48-GB-GPU fein; Guanaco erreicht 99,3 % der Leistung von ChatGPT. https://arxiv.org/abs/2305.14314. Abgerufen im August 2026.