Wie Sprachmodelle funktionieren
Knowledge Lounge
Tokens, Embeddings, Attention und warum Modelle halluzinieren. Ein praktischer Blick ins Innere eines Sprachmodells.
Tokens und Vorhersage
Vier Abschnitte darüber, wie Sprachmodelle Text verarbeiten: Tokenisierung, Kontext, Vorhersage und warum es schiefgeht.
Tokens, keine Wörter
Sprachmodelle verarbeiten keine Wörter. Sie verarbeiten Tokens: Textfragmente, ungefähr in der Größe einer Silbe oder eines kurzen Worts. Aus dem Wort „Verständnis“ wird so etwas wie „Ver“, „ständ“, „nis“. Ein Satz mit 10 Wörtern kann 12 bis 15 Tokens ergeben. Das Modell sieht niemals direkt Buchstaben. Es sieht eine Folge ganzzahliger IDs, jede für ein Token, aus einem festen Vokabular von etwa 50.000 bis 100.000 Einträgen.
Eine Sache, sehr schnell
Ein Sprachmodell tut eine Sache: Es sagt das nächste Token vorher. Ausgehend von allem bisher Gesagten weist es jedem Token in seinem Vokabular eine Wahrscheinlichkeit zu und wählt eines aus. Dann tut es das erneut, mit dem neuen Token angehängt. Und wieder. Eine Antwort, die sich wie Denken anfühlt, ist eine Kaskade von Vorhersagen des nächsten Tokens, jede bedingt durch alle vorherigen Tokens. Das Modell erzeugt ein Token nach dem anderen, von links nach rechts, ohne die Fähigkeit, zu überarbeiten, was es bereits geschrieben hat.
Woher das „Wissen“ kommt
Die Parameter des Modells kodieren statistische Muster über Tokens. Während des Trainings sah das Modell riesige Textmengen und passte seine Gewichte an, um das nächste Token gut vorherzusagen. Das Ergebnis: Die Gewichte kodieren implizit Informationen über Sprache, Fakten, Reasoning-Muster und vieles mehr. Aber dieses Wissen ist nicht als abrufbare Fakten gespeichert. Es ist über Milliarden Gewichte verteilt und nur über den Vorhersagemechanismus zugänglich.
Warum Halluzination strukturell ist
Ein Sprachmodell optimiert darauf, wahrscheinliche nächste Tokens vorherzusagen, nicht auf Wahrhaftigkeit. Es erzeugt Text, der angesichts seiner Trainingsdaten statistisch plausibel ist. Fällt eine Frage außerhalb der verlässlichen Muster in diesen Daten, sagt das Modell trotzdem eine plausibel klingende Antwort vorher, weil genau das seine Aufgabe ist. Halluzination ist kein Fehler, der sich patchen lässt. Sie ist die direkte Folge des Vorhersagemechanismus, angewendet auf Bereiche, in denen Trainingsdaten dünn oder falsch waren.
Im Inneren des Modells
Vier Mechanismen, die bestimmen, wie ein Sprachmodell funktioniert. Klicke sie an, um mehr zu lesen.
Im Inneren des Modells
Attention ist der Mechanismus, mit dem ein Sprachmodell gewichtet, wie relevant jedes vorherige Token für die Vorhersage des nächsten ist. Für jedes vorherzusagende Token berechnet das Modell eine Query (wonach suche ich?), Keys (was bietet jedes vorherige Token?) und Values (was trägt jedes Token bei?). Attention-Scores sind Skalarprodukte aus Queries und Keys. Höhere Scores bedeuten mehr Einfluss auf die Vorhersage. Genau daher kommen die O(n²)-Kosten: Jedes Token achtet auf jedes andere Token.
Ein Embedding ist eine dichte numerische Repräsentation eines Tokens (oder eines Worts, Satzes oder Konzepts). In einem hochdimensionalen Raum liegen semantisch ähnliche Dinge nah beieinander. „Hund“ und „Welpe“ haben ähnliche Embeddings. „Hund“ und „Buchhalter“ nicht. Modelle lernen Embeddings während des Trainings. Sie sind die Brücke zwischen diskreten Tokens (IDs) und dem kontinuierlichen mathematischen Raum, in dem der Transformer arbeitet. Embeddings werden auch unabhängig für Suche und Retrieval genutzt.
Temperature steuert, wie das Modell beim Erzeugen des nächsten Tokens aus seiner Wahrscheinlichkeitsverteilung zieht. Bei Temperature 0 wählt das Modell immer das wahrscheinlichste Token (deterministisch, repetitiv). Bei höherer Temperature zieht es aus einer breiteren Verteilung, was zu vielfältigeren und kreativeren Ausgaben führt, aber auch eher aus der Spur gerät. Die meisten Produktivsysteme nutzen eine Temperature zwischen 0,5 und 1,0. Temperature ist ein Grund dafür, dass derselbe Prompt bei verschiedenen Durchläufen unterschiedliche Ausgaben erzeugen kann.
Halluzination tritt auf, wenn ein Modell Text erzeugt, der plausibel klingt, aber faktisch falsch ist. Die Ursachen sind strukturell: Das Modell sagt wahrscheinliche Tokens vorher, keine wahren Fakten. Ist die richtige Antwort in den Trainingsdaten unterrepräsentiert, oder wird das Modell nach Ereignissen nach seinem Trainings-Stichtag gefragt, füllt es die Lücke mit statistisch plausiblem Text. Retrieval-Augmented Generation (RAG) und Grounding-Techniken verringern Halluzination, indem sie dem Modell akkuraten Kontext geben, können sie aber nicht beseitigen.
Selbst testen
Vier Karten. Versuche, die Frage auf der Vorderseite zu beantworten, bevor du umdrehst.
Selbst testen
Warum zählt Tokenisierung dafür, wie Modelle Text verarbeiten?
↻ AufdeckenFragmente, keine Wörter. Tokenisierung bestimmt, wie das Modell die Eingabe sieht. Seltene Wörter werden in mehrere Tokens zerlegt, was mehr Kontext kostet und manchmal semantische Kohärenz verliert. Derselbe Satz kann bei anderer Tokenisierung anderes Modellverhalten erzeugen. Tokens zu verstehen hilft, die Modellleistung bei ungewöhnlichen Wörtern oder fremdsprachigem Text vorherzusagen.
Was ist der Unterschied zwischen einer Token-ID und einem Token-Embedding?
↻ AufdeckenGanzzahl gegen Vektor. Eine Token-ID ist eine einfache Ganzzahl aus dem Vokabular-Index, etwa 4.521. Ein Token-Embedding ist ein dichter Vektor aus Hunderten oder Tausenden Zahlen, der die Bedeutung des Tokens repräsentiert. Die Embedding-Schicht übersetzt IDs in Vektoren, mit denen der Transformer rechnen kann. Embeddings kodieren semantische Beziehungen: ähnliche Tokens liegen im Embedding-Raum nah beieinander.
Welches Problem löst der Attention-Mechanismus?
↻ AufdeckenKontextuelle Relevanz. Ohne Attention würde ein Modell jedes Token isoliert behandeln. Attention erlaubt jedem Token, Kontext von allen anderen Tokens zu sammeln, gewichtet nach Relevanz. Das Wort „Schloss“ in „das Schloss am Bergsee“ achtet stark auf den Bauwerk-Kontext. Dasselbe Wort in „das Schloss an der Tür“ achtet auf „Tür“. So gehen Sprachmodelle mit Kontext und Mehrdeutigkeit um.
Warum kann ein Sprachmodell selbstbewusst behaupten, dass etwas Falsches wahr ist?
↻ AufdeckenPlausibilität statt Wahrheit. Das Modell sagt das statistisch wahrscheinlichste nächste Token vorher, nicht das wahre nächste Token. Die Sicherheit in der Ausgabe spiegelt Sicherheit in der Vorhersage wider, nicht faktische Genauigkeit. Ein Modell, das auf Texten trainiert wurde, die oft autoritären Tonfall mit deklarativen Aussagen koppelten, reproduziert dieses Muster auch dann, wenn der Inhalt falsch ist.
Prüfe dein Verständnis
Drei Fragen, um zu prüfen, was hängen geblieben ist. Wähle eine Antwort.
Prüfe dein Verständnis
Was ist die primäre Operation, die ein Sprachmodell ausführt?
Prüfe dein Verständnis
Warum halluzinieren Sprachmodelle?
Prüfe dein Verständnis
Was steuert Temperature bei einem Sprachmodell?
Was du mitnimmst
Ein Sprachmodell ist ein Vorhersager des nächsten Tokens. Jede Antwort, so ausgefeilt sie auch wirkt, ist das Ergebnis dieser einen Operation, tausendfach wiederholt. Dieser Blickwinkel ist nicht verkürzend. Er ist präzise. Und Präzision ist es, die dir erlaubt vorherzusagen, wann Modelle gut performen und wann sie scheitern.
0 von 0 Fragen richtig
Ein Nugget, eine Idee: Wende sie heute noch einmal an. Wissen wird erst durch Wiederholung zu Können.