Chain-of-Thought-Prompting

Was ist Chain-of-Thought-Prompting?

Chain-of-Thought-Prompting ist die Technik, ein Sprachmodell anzuweisen, sich Schritt für Schritt durch ein Problem zu arbeiten, bevor es seine finale Antwort gibt, statt sofort zu antworten. Das explizite Sichtbarmachen des Zwischen-Reasonings verbessert messbar die Genauigkeit bei Mathematik, Logik, Planung und mehrstufigen Aufgaben, und es hinterlässt eine sichtbare Spur, die Sie prüfen können, wenn die Antwort falsch ist. Im ursprünglichen Paper von Wei et al. bei Google aus dem Jahr 2022 erreichte ein 540B-Parameter-Modell mit nur acht Chain-of-Thought-Beispielen State-of-the-Art-Genauigkeit auf dem GSM8K-Mathe-Benchmark und schlug damit sogar ein feingetuntes GPT-3 mit Verifier [1].

Die wichtigsten Punkte

• Der Gewinn kommt aus der Generierungsreihenfolge. Zuerst Reasoning-Tokens zu produzieren gibt dem Modell berechnete Zwischenergebnisse, auf die es sich stützen kann, wenn es sich auf eine Antwort festlegt.
• Es hilft am meisten bei mehrstufigen Problemen: Arithmetik, Logik, Planung, Debugging. Bei einfachen Lookups und Klassifikation fügt es Tokens hinzu, ohne Genauigkeit hinzuzufügen.
• Die sichtbare Spur ist ein Debugging-Werkzeug. Wenn die Antwort falsch ist, zeigt das Reasoning meist, welcher Schritt gebrochen ist, was eine bloße Antwort nie offenbart.
• Reasoning-Modelle haben die Technik ins Training aufgenommen. Sie generieren standardmäßig interne Gedankenketten, weshalb explizites Prompting dafür bei diesen Modellen weniger zählt als in den Anfangstagen.

So funktioniert es

Sprachmodelle generieren ein Token nach dem anderen, jedes bedingt auf allem Vorherigen. Wenn ein Modell eine mehrstufige Frage direkt beantwortet, muss es in einer Handvoll Tokens zur Schlussfolgerung gelangen, ohne Raum, die Zwischenschritte zu berechnen. Chain-of-Thought-Prompting ändert die Form des Outputs: Das Modell schreibt zuerst die Teilschritte aus, und jeder geschriebene Schritt wird zum Kontext für den nächsten. Bis die finale Antwort ankommt, ist sie auf eine ausgearbeitete Lösung bedingt statt auf eine Ahnung. Effektiv steckt das Modell mehr Rechenleistung in das Problem, indem es mehr Tokens schreibt.

Es auszulösen ist einfach. Zero-Shot-Chain-of-Thought hängt eine Anweisung an wie "denke Schritt für Schritt, bevor du antwortest." Diese Phrase allein trägt überraschend viel Gewicht: Kojima et al. fanden 2022, dass das Anhängen von "Let's think step by step" InstructGPTs Zero-Shot-Genauigkeit von 17,7 % auf 78,7 % bei MultiArith und von 10,4 % auf 40,7 % bei GSM8K hob [2]. Few-Shot-Prompting-Varianten enthalten ausgearbeitete Beispiele, die den Reasoning-Stil demonstrieren, was dem Modell auch beibringt, wie granular die Schritte sein sollten. Strukturierte Varianten verlangen Reasoning innerhalb dedizierter Tags oder eines Scratchpad-Felds, und Code entfernt dann diesen Abschnitt und behält nur die Antwort. Sampling hilft auch: Self-Consistency, das mehrere Gedankenketten generiert und die Mehrheitsantwort nimmt, steigerte die Chain-of-Thought-Performance in Wang et al.s Studie von 2022 um 17,9 Punkte bei GSM8K, 11,0 bei SVAMP und 12,2 bei AQuA [3].

Die Technik erwies sich als wichtig genug, um vom Prompting ins Training zu wandern. Ein Reasoning-Modell wird trainiert, lange interne Gedankenketten zu produzieren, bevor es antwortet, und wendet je nach Schwierigkeit variable Mengen an Rechenleistung auf. Für diese Modelle ist ein explizites "denke Schritt für Schritt" größtenteils redundant, obwohl es weiterhin Wert hat, sie zu bitten, ihr Reasoning zu zeigen oder zu strukturieren, der Auditierbarkeit wegen.

Beispiel

Ein Plattformteam nutzt ein Modell, um Produktionsvorfälle zu triagieren. Direkt gefragt "welcher Service hat diesen Ausfall verursacht?" mit einem Bündel Logs, neigt das Modell dazu, den Service zu nennen, der in den Fehlermeldungen am häufigsten auftaucht, was meist ein Opfer ist, nicht die Ursache. Sie schreiben den Prompt um, um eine Kette zu erzwingen: die beobachteten Symptome in zeitlicher Reihenfolge auflisten, identifizieren, welcher Service die früheste Anomalie protokollierte, zurückverfolgen, welche vorgelagerte Abhängigkeit diese Anomalie hätte produzieren können, und erst dann einen Root-Cause-Kandidaten mit stützender Evidenz nennen. Die Genauigkeit auf ihrem wiedergegebenen Vorfall-Set verbessert sich spürbar, und wenn das Modell trotzdem einmal danebenliegt, kann die Bereitschaftsingenieurin genau sehen, welcher Inferenzschritt entgleist ist, und ihn korrigieren.

Häufige Missverständnisse

Das große Missverständnis ist, die Gedankenkette als treues Protokoll der Berechnung des Modells zu lesen. Das ist sie nicht. Modelle produzieren manchmal eine plausibel aussehende Begründung und eine Antwort, die tatsächlich nicht daraus folgt, oder gelangen zu einer Antwort aus Gründen, die die geschriebene Kette nie erwähnt. Behandeln Sie die Kette als qualitätssteigerndes Gerüst und nützliches Debugging-Signal, niemals als Beweis für Korrektheit. Verifikation muss weiterhin von Tests, Prüfungen oder Review außerhalb des Modells kommen.

FAQ

Ist Chain of Thought dasselbe wie ein Reasoning-Modell? Nein. Chain of Thought ist eine Prompting-Technik, der jedes Modell zur Inferenzzeit folgen kann. Ein Reasoning-Modell hat dieses Verhalten eintrainiert und weist sich sein eigenes Denkbudget zu. Die Technik kam zuerst; die Modelle haben sie produktisiert.

Zählt Chain-of-Thought-Prompting 2026 noch? Ja, mit engerem Umfang. Bei Reasoning-Modellen fügt das generische "denke Schritt für Schritt" wenig hinzu, aber domänenspezifische Reasoning-Struktur, wie die geordneten Triage-Schritte im Beispiel oben, steuert Modelle weiterhin zur richtigen Prozedur. Bei schnellen Nicht-Reasoning-Modellen, die aus Kostengründen genutzt werden, bleibt klassisches Chain of Thought eines der günstigsten verfügbaren Genauigkeits-Upgrades.

Sollte ich Endnutzenden das Reasoning zeigen? Meist nicht. Ketten sind ausführlich, gelegentlich auf peinliche Weise falsch, und nicht für Lesbarkeit geschrieben. Das übliche Muster ist, Reasoning in einem strukturierten Feld zu generieren, es für Debugging und Evals zu protokollieren, und nur die finale Antwort anzuzeigen.

Quellen

1. Wei et al. (Google), arXiv (Chain-of-Thought Prompting). "540B-Parameter-Modell mit acht Chain-of-Thought-Beispielen erreichte State-of-the-Art-GSM8K-Genauigkeit und übertraf ein feingetuntes GPT-3 mit Verifier." https://arxiv.org/abs/2201.11903. Abgerufen im August 2026.
2. Kojima et al., arXiv (Large Language Models are Zero-Shot Reasoners). "'Let's think step by step' hob InstructGPTs Zero-Shot-Genauigkeit von 17,7 % auf 78,7 % bei MultiArith und von 10,4 % auf 40,7 % bei GSM8K." https://arxiv.org/abs/2205.11916. Abgerufen im August 2026.
3. Wang et al. (Google), arXiv (Self-Consistency). "Self-Consistency steigerte die Chain-of-Thought-Performance um +17,9 % bei GSM8K, +11,0 % bei SVAMP und +12,2 % bei AQuA." https://arxiv.org/abs/2203.11171. Abgerufen im August 2026.