Tokenisierung

Was ist Tokenisierung?

Tokenisierung ist der Prozess, Text in Tokens zu zerlegen, die kleinen Einheiten, die ein Sprachmodell tatsächlich liest, unter Nutzung eines festen, aus Trainingsdaten gelernten Vokabulars. Häufige Wörter werden zu einzelnen Tokens, während seltene Wörter in Fragmente zerbrechen, und jede Modell-API misst Kosten und Kontextlimits in den Tokens, die dieser Prozess produziert. Als Referenzpunkt bildet Anthropics Tokenizer etwa 3,5 englische Zeichen auf ein Token ab, wobei das Verhältnis über Sprachen hinweg variiert [1].

Die wichtigsten Punkte

• Tokenisierung passiert, bevor das Modell irgendetwas sieht. Text geht rein, eine Sequenz von Vokabular-IDs kommt raus, und diese IDs sind die gesamte Sicht des Modells auf Ihren Input.
• Das Vokabular wird nach Häufigkeit gelernt, weshalb englische Prosa effizient tokenisiert, während Code, JSON, und nicht-englische Sprachen zwei- bis viermal so viele Tokens für äquivalenten Inhalt kosten können.
• Verschiedene Modellfamilien nutzen unterschiedliche Tokenizer, sodass derselbe Prompt unterschiedliche Token-Zahlen, und unterschiedliche Kosten, über Anbieter hinweg hat.
• Mehrere klassische LLM-Fehlschläge gehen auf Tokenisierung zurück, einschließlich schwachen Buchstabenzählens und brüchiger Arithmetik, weil das Modell Chunks statt Zeichen sieht.

So funktioniert es

Moderne Modelle nutzen Subword-Tokenisierung, meist Byte-Pair Encoding (BPE) oder eine enge Variante. Die Vokabular-Konstruktion beginnt bei rohen Bytes und verschmilzt wiederholt die häufigsten benachbarten Paare, die in einem Trainingskorpus gefunden werden, bis das Vokabular eine Zielgröße erreicht, typischerweise 50.000 bis 200.000 Einträge. Vokabulargröße ist ein echter Effizienzhebel: Meta berichtete 2024, dass Llama 3s 128K-Token-Vokabular bis zu 15 % weniger Tokens für denselben Text liefert im Vergleich zu Llama 2 [2]. Häufige Strings wie "function" oder " the" landen als einzelne Einträge. Seltene Strings überleben nur als Fragmente: ein erfundenes Wort wie "flimbork" könnte als "fl", "imb", "ork" tokenisieren. Weil die Basiseinheiten Bytes sind, kann jeder Input tokenisiert werden, einschließlich Emoji, Tippfehler, und binär aussehender Strings, ohne Unbekanntes-Wort-Fehlschläge.

Zur Anfragezeit matcht der Tokenizer gierig Ihren Text gegen dieses Vokabular und gibt dem Modell eine Liste von Integer-IDs. Innerhalb des Modells wird jede ID auf einen Vektor-Embedding abgebildet, bevor die Transformer-Layer sie verarbeiten. Generierung kehrt die Pipeline um: Das Modell wählt eine Token-ID, der Tokenizer decodiert sie zurück zu Text, und Streaming-APIs liefern diese decodierten Fragmente an Ihr Terminal, sobald sie ankommen.

Die Engineering-Konsequenzen sind größtenteils ökonomisch. Token-Zahl, nicht Zeichenzahl, entscheidet, was in ein Context Window passt und was eine Anfrage kostet. Whitespace-Handhabung zählt auch: tief eingerückter Code, hübsch formatiertes JSON, und lange UUIDs sind alle token-teuer, weshalb das Minifizieren von Payloads und Normalisieren von Einrückung echte Kostenoptimierungen in Agenten-Pipelines sind.

Beispiel

Ein Team baut einen Agenten, der API-Antworten auf Anomalien prüft, und übergibt zunächst hübsch formatiertes JSON in den Prompt. Ein typischer 80-KB-Payload kommt auf etwa 30.000 Tokens. Ein Ingenieur ändert die Pipeline, um Whitespace zu entfernen, wiederholte Schlüssel zu kürzen, und Felder fallenzulassen, die der Reviewer nie nutzt. Derselbe Payload tokenisiert jetzt bei rund 9.000 Tokens. Über ein paar Tausend Läufe am Tag senkt diese eine Änderung die Input-Ausgaben um etwa zwei Drittel und lässt Spielraum im Context Window für längeren Konversationsverlauf, ganz ohne Modell- oder Prompt-Änderungen.

Häufige Missverständnisse

Das klassische Missverständnis ist, dass Modelle Zeichen oder ganze Wörter lesen. Sie lesen Tokens, und das erklärt eine Familie sonst rätselhafter Fehlschläge. Fragen Sie ein Modell, wie oft der Buchstabe "r" in "strawberry" vorkommt, und es könnte sich verzählen, weil es das Wort als zwei oder drei opake Chunks wahrnimmt, nicht als elf Buchstaben. Dasselbe gilt für das Umkehren von Strings, präzise Zeichen-Offsets, und Ziffern-genaue Arithmetik. Wenn ein Agent zeichengenaue Operationen braucht, ist das verlässliche Muster, ihn stattdessen ein Tool aufrufen oder Code für die Operation schreiben zu lassen, statt aus Wahrnehmung zu antworten.

FAQ

Ist Tokenisierung dasselbe wie Embedding? Nein, es sind aufeinanderfolgende Schritte. Tokenisierung zerlegt Text in Vokabular-IDs. Embedding bildet dann jede ID auf einen numerischen Vektor ab, mit dem das Netzwerk rechnen kann. Tokenisierung ist verlustfrei und umkehrbar; Embeddings sind gelernte Repräsentationen von Bedeutung.

Warum kosten dieselben Wörter unterschiedlich viel bei unterschiedlichen Modellen? Jeder Anbieter trainiert seinen eigenen Tokenizer auf seinem eigenen Korpus, sodass sich Vokabulare unterscheiden. Ein Prompt, der bei einem Modell 1.000 Tokens hat, kann bei einem anderen 1.150 haben. Beim Vergleich von Modell-Preisen vergleichen Sie die Kosten für Ihre tatsächliche Workload, nicht den Preis pro Token.

Kann ich Tokens zählen, bevor ich eine Anfrage sende? Ja. Anbieter liefern Tokenizer-Bibliotheken und Token-Zähl-Endpunkte, die exakte Zahlen für ein gegebenes Modell zurückgeben. Nutzen Sie sie, um Budgets durchzusetzen, Chunks für Retrieval zu dimensionieren, und Kosten vorherzusagen, statt aus Wortzahlen zu schätzen.

Quellen

1. Anthropic. "Claude-Glossar: ein Token entspricht etwa 3,5 englischen Zeichen." https://platform.claude.com/docs/en/about-claude/glossary. Abgerufen im August 2026.
2. Meta AI. "Vorstellung von Meta Llama 3: 128K-Token-Vokabular mit bis zu 15 % weniger Tokens als Llama 2." https://ai.meta.com/blog/meta-llama-3/. Abgerufen im August 2026.