Attention-Mechanismus

Was ist Attention-Mechanismus?

Ein Attention-Mechanismus ist die Komponente eines Transformer-Modells, die für jedes Token berechnet, wie stark jedes andere Token in der Sequenz es beeinflussen soll. Diese gelernten Relevanz-Scores sind, wie Sprachmodelle Referenzen auflösen, Struktur verfolgen und Kontext nutzen, und ihre Kosten sind der Grund, warum lange Prompts teuer sind. Die Idee erwies sich als stark genug, um allein zu bestehen: Das Paper "Attention Is All You Need" von 2017 verzichtete vollständig auf Rekurrenz und Convolutions und setzte trotzdem mit 41,8 BLEU einen Einzelmodell-State-of-the-Art bei WMT 2014 Englisch-Französisch-Übersetzung [1].

Die wichtigsten Punkte

• Attention ist der Grund, warum ein LLM "es" mit einem drei Absätze zuvor genannten Nomen verbinden kann, oder eine schließende Klammer der zugehörigen Funktion zuordnet.
• Die Berechnung vergleicht jedes Token mit jedem anderen Token, sodass die Kosten quadratisch mit der Sequenzlänge wachsen. Das ist die Grundursache für Context-Window-Limits und Long-Context-Preisgestaltung.
• Modelle führen pro Layer viele Attention-"Heads" parallel aus, jeder lernt andere Beziehungen: Syntax, Koreferenz, Code-Struktur, Positionsmuster.
• Attention ist über einen langen Kontext hinweg nicht gleichmäßig. Inhalt in der Mitte eines sehr langen Prompts bekommt tendenziell weniger effektives Gewicht, was direkte Konsequenzen dafür hat, wie Sie Agenten-Kontext anordnen.

So funktioniert es

Für jedes Token leitet das Modell drei Vektoren ab: eine Query (wonach dieses Token sucht), einen Key (was dieses Token anbietet) und einen Value (die Information, die es trägt). Der Mechanismus bewertet jede Query gegen jeden Key, normalisiert diese Scores zu Gewichten, die sich zu eins summieren, und produziert eine gewichtete Mischung der Values. Ein Token, das das Wort "return" in einer Codedatei verarbeitet, könnte starkes Gewicht auf die umschließende Funktionssignatur legen und fast keins auf einen Kommentarblock weit oben. Die Gewichte werden end-to-end während des Trainings gelernt; niemand programmiert, welche Beziehungen zählen.

Das läuft parallel vielfach ab. Jeder Layer hat mehrere Attention-Heads, und Modelle stapeln Dutzende Layer, sodass ein einzelner Forward Pass Tausende unterschiedlicher Attention-Muster berechnet. Während der Generierung werden die Keys und Values bereits verarbeiteter Tokens im KV-Cache gespeichert, sodass jedes neue Token nur frische Scores gegen gespeicherten Zustand berechnet, statt den ganzen Prompt neu zu verarbeiten. Dieser Cache ist der Grund, warum lange Konversationen so viel GPU-Speicher verbrauchen und warum es Rabatte für Prompt Caching gibt.

Die quadratischen Kosten trieben echtes Engineering voran: Sliding-Window-Attention begrenzt, wie weit manche Layer schauen, Sparse- und Linear-Attention-Varianten approximieren den vollen Vergleich, und Hybrid-Layouts mischen billige lokale Layer mit einigen Full-Context-Layern. Diese Tricks sind, wie Anbieter Context Windows von über einer Million Tokens ausliefern, ohne sie unbezahlbar zu machen. Googles Gemini 1.5 Pro zeigte 2024, wohin dieses Engineering führt, mit einem Standard-Fenster von 128.000 Tokens und bis zu 1 Million Tokens in der Preview, und berichtete von erfolgreichen Forschungstests bei 10 Millionen Tokens [2].

Beispiel

Ein Team füttert einen Coding-Agenten mit 150.000 Tokens Kontext: Systemprompt oben, zwanzig Quelldateien in der Mitte, und der eigentliche Bug-Report am Ende. Der Agent schlägt wiederholt Fixes im falschen Modul vor. Ihre Eval-Traces zeigen, dass sich das Modell an Dateien nahe Anfang und Ende des Prompts festklammert, während es das relevante, in der Mitte vergrabene Modul übergeht — eine bekannte Long-Context-Schwäche. Sie strukturieren die Kontextzusammenstellung um, sodass der fehlschlagende Test, der Bug-Report und die zwei relevantesten Dateien nahe am Ende beieinanderliegen, mit dem Rest zusammengefasst. Dasselbe Modell, dieselbe Aufgabenmenge, und die Trefferquote bei der Fix-Lokalisierung springt spürbar hoch. Zu verstehen, wo Attention nachlässt, wurde zu einer konkreten Context-Engineering-Regel.

Häufige Missverständnisse

Der verlockende Fehler ist, Attention-Gewichte als Erklärungen zu lesen, als würde hohes Gewicht auf einem Token beweisen, dass das Modell es "benutzt" hat, um zu einer Antwort zu gelangen. Forschung hat wiederholt gezeigt, dass Attention-Maps als treue Erklärungen unzuverlässig sind: Gewichte sind ein Zwischensignal unter vielen, verteilt über Tausende Heads, und unterschiedliche Gewichtsmuster können identische Outputs produzieren. Attention-Visualisierungen sind nützlich, um Intuition aufzubauen. Um Modellverhalten tatsächlich zu verifizieren, vertrauen Sie Output-Level-Prüfungen und LLM Evals, nicht Bildern von Gewichtsmatrizen.

FAQ

Was ist Self-Attention? Self-Attention bedeutet, dass Queries, Keys und Values alle aus derselben Sequenz stammen, sodass der Text sich selbst beachtet. Das ist die Standardform in LLMs, im Gegensatz zu Cross-Attention, bei der eine Sequenz eine andere beachtet, verwendet, wenn ein Decoder den Output eines Encoders liest oder ein Modell Bildmerkmale beachtet.

Warum macht Attention lange Prompts teuer? Die Bewertung ist paarweise. Eine Sequenz von n Tokens erfordert in der Größenordnung n-Quadrat Vergleiche, sodass ein zehnmal längerer Prompt etwa das Hundertfache der Attention-Rechenleistung beim Prefill bedeutet, plus einen KV-Cache, der linear wächst und für die Lebensdauer der Anfrage GPU-Speicher belegt.

Bedeuten größere Context Windows, dass das Modell den ganzen Kontext gut nutzt? Nein. Ein Fenster ist ein hartes Kapazitätslimit, keine Qualitätsgarantie. Effektive Nutzung entfernten Kontexts variiert je nach Modell und Position im Prompt, weshalb es Long-Context-Retrieval-Benchmarks gibt und Kontextplatzierung eine Engineering-Entscheidung bleibt.

Quellen

1. Vaswani et al. "Attention Is All You Need: 41,8 BLEU Einzelmodell-State-of-the-Art bei WMT 2014 Englisch-Französisch." https://arxiv.org/abs/1706.03762. Abgerufen im August 2026.
2. Google. "Gemini 1.5 Pro: 128K Standard-Kontext, 1 Million Tokens in der Preview, Forschungstests bis zu 10 Millionen." https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/. Abgerufen im August 2026.