Few-Shot-Prompting

Was ist Few-Shot-Prompting?

Few-Shot-Prompting ist die Technik, eine kleine Anzahl ausgearbeiteter Input-Output-Beispiele direkt in den Prompt aufzunehmen, damit das Modell das gewünschte Muster ableitet und auf neue Eingaben anwendet. Es lehrt durch Vorführung statt durch Beschreibung, und es ist kein Training oder Fine-Tuning beteiligt: Die Beispiele leben allein im Prompt selbst.

Die wichtigsten Punkte

• Beispiele vermitteln Format, Ton und den Umgang mit Randfällen weit präziser als Anweisungen. Drei korrekte Ausgaben zu zeigen schlägt sie in einem Absatz zu beschreiben.
• Zwei bis fünf gut gewählte Beispiele erfassen meist den größten Teil des Gewinns. Qualität und Abdeckung der Beispiele zählen mehr als die Menge.
• Modelle imitieren alles in den Beispielen, auch Fehler. Inkonsistente Labels oder schlampige Formatierung in den Shots reproduzieren sich originalgetreu in der Ausgabe.
• Few-Shot-Prompting wirkt ausschließlich zur Inferenzzeit, was es zur günstigen, schnellen Alternative zum Fine-Tuning macht, um einem Modell ein aufgabenspezifisches Muster beizubringen.

So funktioniert es

Der Prompt wird als kurze Abfolge von Demonstrationspaaren zusammengesetzt, typischerweise Input gefolgt von gewünschtem Output, mehrfach wiederholt, gefolgt von der eigentlichen Eingabe. Sprachmodelle sind starke Muster-Vervollständiger: Etabliert der Kontext eine konsistente Zuordnung, setzt das Modell sie fort. Dieses Verhalten wird oft In-Context-Learning genannt: An den Gewichten des Modells ändert sich nichts, und das „Gelernte“ verflüchtigt sich, sobald der Prompt endet. Der Ansatz wurde 2020 in großem Maßstab in OpenAIs GPT-3-Paper demonstriert, wo ein Modell mit 175 Milliarden Parametern Übersetzung, Frage-Antwort- und Lückentext-Aufgaben allein aus In-Context-Beispielen bewältigte, ganz ohne Gradienten-Updates oder Fine-Tuning [1]. Der verwandte Begriff „Few-Shot Learning“ stammt aus der Zeit vor modernen LLMs und beschrieb ursprünglich das Trainieren von Modellen aus wenigen gelabelten Beispielen; in der heutigen Praxis meinen beide Begriffe meist dieselbe Prompting-Technik.

Die eigentliche Ingenieursarbeit steckt in der Auswahl der Beispiele. Gute Shots decken die Verteilung realer Eingaben ab, einschließlich der unbequemen Fälle: das leere Feld, der mehrdeutige Eintrag, die Eingabe, die eigentlich abgelehnt werden sollte. Die Reihenfolge spielt am Rand eine Rolle, Konsistenz zählt dagegen sehr, da das Modell jedes Detail der Beispiele als Signal behandelt, bis hin zu Leerzeichen und Interpunktion. Was das Modell aus den Shots tatsächlich extrahiert, ist subtiler, als es aussieht: Eine EMNLP-Studie von Min et al. aus dem Jahr 2022 fand heraus, dass zufälliges Vertauschen der Labels in Demonstrationen die Leistung über 12 Modelle hinweg, einschließlich GPT-3, kaum beeinträchtigte – ein Hinweis darauf, dass Beispiele überwiegend Format und Eingabeverteilung vermitteln, nicht exakte Input-Label-Zuordnungen [2]. Produktivsysteme gestalten die Auswahl häufig dynamisch, indem sie per semantischer Suche die gespeicherten Beispiele abrufen, die der eingehenden Anfrage am ähnlichsten sind, und diese in den Prompt einfügen.

Few-Shot-Prompting kombiniert sich sauber mit anderen Techniken. Shots können Chain-of-Thought-Reasoning demonstrieren, nicht nur Endantworten, was sowohl das Vorgehen als auch das Format lehrt. Und weil ein fester Beispielblock ein stabiles Prompt-Präfix ist, macht Prompt Caching selbst einen langen Beispielabschnitt günstig für jeden erneuten Versand. Für einen Many-Shot-Prompt mit 10.000 Token an Beispielen berichtete Anthropic 2025, dass Caching die Kosten um 86 % und die Latenz um 31 % senkt [3].

Beispiel

Ein Team extrahiert strukturierte Daten aus Lieferantenrechnungen, die als unordentlicher Text eintreffen. Ihr rein anweisungsbasierter Prompt produzierte fortlaufend Drift: Daten in gemischten Formaten, Währungssymbole mal enthalten, mal nicht, Positionen gelegentlich zusammengeführt. Sie ersetzten die meisten Anweisungen durch vier ausgearbeitete Beispiele, jedes mit einem rohen Rechnungsausschnitt und dem exakten Ziel-JSON, darunter bewusst eine Rechnung mit fehlender Bestellnummer (Ausgabe: "po_number": null) und eine mit doppelter Position (Ausgabe: als zwei Einträge beibehalten). Formatfehler verschwanden größtenteils, weil das Modell nun ein vorgeführtes Muster kopiert, statt Prosa zu interpretieren. Taucht in der Produktion ein neuer Fehlermodus auf, besteht die Lösung meist darin, ein Beispiel hinzuzufügen, das die korrekte Behandlung zeigt.

Häufige Missverständnisse

Der klassische Fehler besteht darin, Beispiele als Dekoration zu behandeln und sie den geschriebenen Anweisungen widersprechen zu lassen. Wenn die Anweisungen „ISO-Daten ausgeben“ sagen, ein Beispiel aber „5. März 2026“ zeigt, muss sich das Modell entscheiden, und es entscheidet sich oft für die Demonstration. Beispiele sind das stärkste Signal im Prompt. Prüfen Sie sie wie Code: Halten Sie sie untereinander und mit den Anweisungen konsistent, und aktualisieren Sie sie, wenn sich Anforderungen ändern – sonst werden sie selbst zum Bug.

FAQ

Was ist der Unterschied zwischen Few-Shot-Prompting und Few-Shot Learning? Im modernen LLM-Sprachgebrauch sind sie praktisch dasselbe: das Konditionieren eines Modells mit Beispielen im Prompt, ohne Gewichts-Updates. In der älteren Machine-Learning-Literatur bedeutete Few-Shot Learning das Trainieren oder Anpassen eines Modells anhand eines kleinen gelabelten Datensatzes. Der Kontext verrät, welche Bedeutung ein Autor meint.

Wie viele Beispiele sollte ich einbauen? Beginnen Sie mit zwei oder drei und fügen Sie nur hinzu, wenn Evals Lücken zeigen. Der Ertrag sinkt schnell, jeder Shot kostet bei jedem Aufruf Token, und ein aufgeblähter Beispielabschnitt kann die eigentliche Aufgabe verdrängen. Wenn Sie Dutzende Beispiele zu brauchen scheinen, ist das ein Signal, stattdessen Fine-Tuning in Betracht zu ziehen.

Wann schlägt Few-Shot Zero-Shot? Immer dann, wenn das Ausgabeformat strikt ist, die Aufgabenkonvention ungewöhnlich ist oder Randfälle eine vorgeführte Behandlung brauchen. Für Aufgaben, die das Modell bereits allein aus Anweisungen gut erledigt, ist Zero-Shot günstiger, und Beispiele bringen kaum etwas außer zusätzlichen Token-Kosten.

Quellen

1. Brown et al., OpenAI. "GPT-3 löst Aufgaben allein aus In-Context-Beispielen, ohne Gradienten-Updates." https://arxiv.org/abs/2005.14165. Abgerufen im August 2026.
2. Min et al., EMNLP 2022. "Zufällige Labels in Few-Shot-Demonstrationen beeinträchtigen die Leistung über 12 Modelle hinweg kaum." https://arxiv.org/abs/2202.12837. Abgerufen im August 2026.
3. Anthropic. "Einsparungen durch Prompt Caching bei einem Many-Shot-Prompt mit 10.000 Token." https://claude.com/blog/prompt-caching. Abgerufen im August 2026.