Large Language Model (LLM)

Was ist ein Large Language Model (LLM)?

Ein Large Language Model (LLM) ist ein neuronales Netz, das auf enormen Textmengen trainiert wird, um das nächste Token in einer Sequenz vorherzusagen. Bei ausreichender Skalierung erzeugt dieses einzige Ziel eine breite Fähigkeit zu schreiben, zusammenzufassen, zu argumentieren und Code zu generieren – weshalb LLMs Chat-Assistenten, Coding-Agenten und die meisten modernen KI-Produkte antreiben. Die Verbreitung spiegelt diese Reichweite: In der Stack-Overflow-Umfrage 2025 gaben 84 % der Entwickler an, KI-Tools bei der Arbeit zu nutzen oder dies zu planen, gegenüber 76 % im Vorjahr [1].

Die wichtigsten Punkte

• Alles, was ein LLM tut, ist Next-Token-Prediction. Chat, Code und Reasoning sind alle dieselbe Operation: die plausibelste Fortsetzung wählen, ein Token nach dem anderen.
• LLMs sind zustandslos. Das Modell erinnert sich an nichts zwischen API-Aufrufen; die gesamte Konversation wird bei jeder Runde erneut im Kontextfenster mitgeschickt, und dafür zahlt man jedes Mal.
• Fähigkeit entsteht in Stufen: Pretraining baut rohes Wissen auf, dann formt Post-Training mit menschlichem Feedback das Modell zu einem nutzbaren Assistenten, der Anweisungen befolgt.
• Für die Engineering-Praxis ist die Modellwahl ein Dreieck aus Kosten, Latenz und Qualität. Frontier Models bewältigen komplexe mehrstufige Aufgaben; kleinere Modelle sind oft zehnmal günstiger und für Klassifikation, Extraktion und einfache Bearbeitungen völlig ausreichend.

So funktioniert es

Das Training beginnt mit Pretraining: Das Modell, fast immer ein Transformer-Modell, liest Billionen Token an Text und Code und passt Milliarden interner Gewichte an, um besser vorherzusagen, was als Nächstes kommt. Nichts ist gelabelt, keine Aufgabe ist vorgegeben. Grammatik, Fakten, APIs und Redewendungen werden alle als statistische Struktur aufgenommen, weil sie helfen, Fortsetzungen vorherzusagen. Die Skala wächst weiter: Stanfords AI Index 2025 fand heraus, dass sich der Rechenaufwand für das Training bedeutender Modelle etwa alle fünf Monate verdoppelt und die Trainingsdatensätze sich alle acht Monate verdoppeln [2]. Eine zweite Phase, Post-Training, nutzt Anweisungsbeispiele und menschliches Präferenz-Feedback, um aus diesem rohen Vorhersager einen Assistenten zu machen, der Fragen beantwortet, schädliche Anfragen ablehnt und Tools aufruft.

Zur Inferenzzeit ist die Schleife einfach. Ihr Prompt wird per Tokenisierung in Token zerlegt, das Modell berechnet für jedes Token in seinem Vokabular eine Wahrscheinlichkeit, eines wird ausgewählt, angehängt, und der Vorgang wiederholt sich bis zu einer Stopp-Bedingung. Sampling-Einstellungen wie die Temperature steuern, wie gewagt diese Auswahl ausfällt, weshalb derselbe Prompt unterschiedliche Ausgaben erzeugen kann.

Die praktischen Konsequenzen für Ingenieure ergeben sich direkt aus diesem Design. Weil das Modell nur plausiblen Text vorhersagt, kann es flüssige, selbstbewusste Ausgaben produzieren, die falsch sind – der als KI-Halluzination bekannte Fehlermodus. Weil es zustandslos ist, müssen Agent-Frameworks verwalten, was das Modell in jeder Runde sieht, was die gesamte Disziplin des Context Engineering ausmacht. Und weil die Kosten mit verarbeiteten Token skalieren, schlagen lange Verläufe und aufgeblähte Prompts direkt auf die API-Ausgaben durch.

Beispiel

Ein Team, das einen Coding-Agenten baut, verteilt die Arbeit auf zwei LLMs. Ein Frontier Model plant die Änderung und schreibt den Diff für ein Multi-File-Refactoring, zu etwa den Kosten eines Kaffees pro komplexer Aufgabe. Ein kleines, schnelles Modell übernimmt die hochvolumigen Routinearbeiten drumherum: Commit-Nachrichten schreiben, fehlgeschlagene Tests labeln und Tool-Ausgaben zusammenfassen, bevor sie in den Kontext des Hauptagenten gelangen. Die Aufteilung senkt die monatliche Inferenzrechnung um mehr als die Hälfte, ohne die Qualität der ausgelieferten Diffs zu berühren, weil das teure Modell nur die Arbeit sieht, die es tatsächlich braucht.

Häufige Missverständnisse

Das hartnäckige Missverständnis ist, dass ein LLM in einer Datenbank gespeicherter Dokumente nachschlägt. Es enthält seine Trainingsdaten nicht und kann sie nicht zuverlässig zitieren. Fakten existieren als diffuse Muster in den Gewichten, weshalb ein Modell einen Algorithmus perfekt erklären und im selben Atemzug ein plausibel wirkendes, aber erfundenes Zitat produzieren kann. Wenn Sie verifizierbare Fakten brauchen, binden Sie Retrieval oder Tools an und praktizieren KI-Grounding, statt sich auf das Erinnerungsvermögen zu verlassen.

FAQ

Wofür steht LLM, und was macht eines „groß“? LLM steht für Large Language Model. „Groß“ bezieht sich auf die Parameterzahl, die gelernten Gewichte im Netz, und auf das Volumen der Trainingsdaten. GPT-3, das Modell, das die moderne LLM-Ära einläutete, wurde 2020 mit 175 Milliarden Parametern trainiert, zehnmal mehr als jedes vorherige nicht-sparse Sprachmodell [3]. Moderne Modelle reichen von wenigen Milliarden Parametern für den Einsatz auf Endgeräten bis zu Frontier-Systemen, die im Billionenbereich geschätzt werden.

Ist ChatGPT ein LLM? ChatGPT ist ein Produkt, das auf LLMs aufgebaut ist, verpackt mit einer Chat-Oberfläche, Tools, Memory-Funktionen und Sicherheitssystemen. Die Unterscheidung zählt beim Debuggen von Verhalten: Viele Eigenheiten stammen aus der Produktschicht, nicht aus dem zugrunde liegenden Modell.

Was ist ein LLM in einfachen Worten? Es ist eine extrem fähige Autovervollständigung. Es hat einen riesigen Teil des Internets gelesen und gelernt, jeden Text plausibel fortzusetzen. Das deckt überraschenderweise Schreiben, Programmieren und das Beantworten von Fragen ab – solange man bedenkt, dass plausibel und wahr zwei verschiedene Eigenschaften sind.

Quellen

1. Stack Overflow. "Developer Survey 2025, KI-Abschnitt: 84 % der Entwickler nutzen KI-Tools oder planen dies." https://survey.stackoverflow.co/2025/ai. Abgerufen im August 2026.
2. Stanford HAI. "AI Index Report 2025: Trainings-Compute verdoppelt sich etwa alle fünf Monate, Datensätze alle acht." https://hai.stanford.edu/ai-index/2025-ai-index-report. Abgerufen im August 2026.
3. OpenAI. "Language Models are Few-Shot Learners: GPT-3 trainiert mit 175 Milliarden Parametern." https://arxiv.org/abs/2005.14165. Abgerufen im August 2026.