LLM-Temperatur

Was ist die LLM-Temperatur?

Die LLM-Temperatur ist ein Sampling-Parameter, der steuert, wie zufällig die Ausgabe eines Sprachmodells ist. Bei niedriger Temperatur wählt das Modell fast immer sein wahrscheinlichstes nächstes Token, was konsistente, vorhersagbare Antworten liefert. Bei hoher Temperatur samplet es freier aus weniger wahrscheinlichen Token, was zu abwechslungsreichen und manchmal überraschenden Ausgaben führt.

Die wichtigsten Punkte

• Temperatur formt die Wahrscheinlichkeitsverteilung um, aus der das Modell samplet; sie ändert nicht, was das Modell weiß oder wie es schlussfolgert.
• Niedrige Temperatur (0 bis etwa 0,3) eignet sich für Agenten, Extraktion und Code, wo Konsistenz und Debugbarkeit wichtiger sind als Abwechslung.
• Temperatur 0 garantiert immer noch keine identischen Ausgaben: serverseitige Nichtdeterminiertheit bedeutet, dass byte-genaue Reproduzierbarkeit von den meisten APIs nicht zugesichert wird.
• Reasoning-Modelle ignorieren oder beschränken den Temperatur-Parameter oft, daher lohnt sich ein Blick in die Modelldokumentation, bevor man ihn anpasst.

So funktioniert es

Bei jedem Generierungsschritt erzeugt das Modell für jedes Token in seinem Vokabular einen Score, und diese Scores werden zu einer Wahrscheinlichkeitsverteilung. Temperatur teilt die Scores vor dieser Umwandlung. Werte unter 1 schärfen die Verteilung und konzentrieren die Wahrscheinlichkeit auf die Top-Kandidaten; Werte über 1 flachen sie ab und geben schwächeren Kandidaten eine echte Chance, ausgewählt zu werden. Bei Temperatur 0 (oder sehr nahe daran) kollabiert das Sampling zu Greedy Decoding: Jedes Mal wird das eine wahrscheinlichste Token gewählt. An der internen Berechnung des Modells ändert sich nichts. Dasselbe Wissen und dieselbe Schlussfolgerung erzeugen die Scores; die Temperatur entscheidet nur, wie abenteuerlustig man daraus schöpft.

Für Ingenieure, die Agenten betreiben, wirkt sich diese Einstellung auf alles Nachgelagerte aus. Eine Tool-Calling-Schleife bei hoher Temperatur wählt gelegentlich ein ausgefallenes Token innerhalb eines JSON-Arguments, und ein einziges falsches Token kann einen ganzen Ablauf entgleisen lassen – weshalb Agenten-Frameworks standardmäßig niedrige Werte verwenden. Niedrige Temperatur macht Fehler auch reproduzierbarer, sodass das Debuggen einer Prompt-Regression bei 0,1 weit einfacher ist als bei 0,9. Der Preis dafür ist Mode Collapse bei generativen Aufgaben: Fragt man bei Temperatur 0 nach zehn Überschriften-Optionen, erhält man nahezu identische Duplikate. Temperatur wird meist mit Top-p-Sampling (Nucleus Sampling) kombiniert, das den Kandidatenpool auf die kleinste Menge beschränkt, die eine bestimmte Wahrscheinlichkeitsmasse abdeckt; die meisten Anbieter raten, nur einen der beiden Werte anzupassen, nicht beide, da sich ihre Effekte überlappen.

Beispiel

Ein Team bringt einen Agenten heraus, der Bugreports liest und über einen Tool-Call strukturierte Tickets anlegt. Im Staging, wochenlang bei der Standardtemperatur von 0,7 betrieben, funktioniert er gut. In der Produktion kommt bei etwa einem von zweihundert Tickets ein verstümmeltes Prioritätsfeld an, und die Fehler lassen sich beim erneuten Abspielen nie reproduzieren. Ein Ingenieur senkt die Temperatur für den Tool-Calling-Schritt auf 0,1, und die Beschädigung verschwindet: Das Modell hatte gelegentlich ein Token mit niedriger Wahrscheinlichkeit innerhalb eines Enum-Werts gesampelt. Für den einen wirklich kreativen Schritt in der Pipeline – das Verfassen einer kundenseitigen Zusammenfassung, wo Abwechslung natürlich statt kaputt wirkt – behalten sie einen zweiten Aufruf mit höherer Temperatur. Zwei Aufrufe, zwei Temperaturen, passend zu zwei unterschiedlichen Aufgaben.

Häufige Missverständnisse

Der hartnäckige Mythos lautet, Temperatur 0 mache ein LLM deterministisch und damit korrekt. Beides stimmt nicht zuverlässig. Was Determinismus betrifft, führen produktive Serving-Stacks durch Batching, Hardware und Mixture-of-Experts-Routing Nichtdeterminiertheit ein, sodass identische Anfragen selbst bei Temperatur 0 unterschiedliche Ausgaben liefern können. Was Korrektheit betrifft, ändert Temperatur nur, welches Token aus der vom Modell berechneten Verteilung gewählt wird. Wenn die wahrscheinlichste Fortsetzung des Modells eine Halluzination ist, wählt Temperatur 0 diese Halluzination mit voller Zuversicht. Eine Studie von Renze und Guven aus dem Jahr 2024 über neun populäre LLMs fand, dass eine Verschiebung der Temperatur von 0,0 auf 1,0 keinen statistisch signifikanten Effekt auf die Problemlösungsleistung hatte – das Ergebnis galt über Modelle, Prompting-Techniken und Aufgabenbereiche hinweg [1]. Genauigkeitsprobleme liegen im Modell, im Prompt und im abgerufenen Kontext, nicht am Sampling-Regler.

FAQ

Welche Temperatur sollte ich für Coding und Agenten verwenden? Für Codegenerierung, Extraktion, Klassifikation und jede Tool-Calling-Schleife mit 0 bis 0,2 beginnen. Nur erhöhen, wenn Ausgaben festgefahren wirken und die Aufgabe wirklich von Variation profitiert, etwa beim Brainstorming oder Copywriting, wo 0,7 bis 1,0 ein üblicher Bereich ist. Die Empfehlungen der Anbieter weisen in dieselbe Richtung: Anthropics Messages API akzeptiert Temperaturen von 0,0 bis 1,0 mit einem Standardwert von 1,0, und die Dokumentation empfiehlt Werte nahe 0,0 für analytische oder Multiple-Choice-Aufgaben und nahe 1,0 für kreative Arbeit [2].

Was ist der Unterschied zwischen Temperatur und Top-p? Temperatur gewichtet die gesamte Token-Verteilung neu; Top-p schneidet den unwahrscheinlichen Rand ab und samplet aus dem, was übrig bleibt. Beide tauschen Konsistenz gegen Vielfalt. Der Standardrat lautet, nur einen der beiden anzupassen und den anderen auf seinem Standardwert zu belassen, da sich beide gleichzeitig zu justieren unvorhersehbar summiert.

Warum erhalte ich bei Temperatur 0 unterschiedliche Antworten? Greedy Decoding entfernt die Zufälligkeit des Samplings, aber die Serving-Infrastruktur ist nicht perfekt deterministisch: Gleitkommaoperationen werden unter Batching neu angeordnet, und das Expert-Routing kann sich verschieben. Temperatur 0 sollte als „hochgradig konsistent" verstanden werden – Evals sollten kleine Abweichungen tolerieren, statt exakte Zeichenketten zu erwarten.

Quellen

1. Renze & Guven (arXiv, EMNLP 2024 Findings). Eine Änderung der Sampling-Temperatur von 0,0 auf 1,0 hat über neun Modelle hinweg keinen statistisch signifikanten Einfluss auf die Problemlösungsleistung von LLMs. https://arxiv.org/abs/2402.05201. Abgerufen im August 2026.
2. Anthropic-API-Dokumentation. Die Messages API akzeptiert einen Temperaturbereich von 0,0 bis 1,0 mit Standardwert 1,0; niedrige Werte werden für analytische Aufgaben empfohlen, hohe für kreative Arbeit. https://platform.claude.com/docs/en/api/messages. Abgerufen im August 2026.