Kontext, Gedächtnis und Grenzen
Knowledge Lounge
Was ein Kontextfenster ist, warum es zählt, und wie RAG und Vektorsuche erweitern, womit ein Modell arbeiten kann.
Das Kontextfenster
Vier Abschnitte über das Kontextfenster: was es ist, warum es Modelle begrenzt, wie Gedächtnis funktioniert und was das in der Praxis bedeutet.
Das Kontextfenster
Jedes Sprachmodell arbeitet innerhalb eines Kontextfensters: der maximalen Textmenge, die es in einer einzigen Interaktion verarbeiten kann. Alles innerhalb des Fensters ist für das Modell sichtbar. Alles außerhalb ist unsichtbar. Das Modell kann es nicht erinnern, nicht referenzieren, nicht damit argumentieren. Das Kontextfenster ist kein Arbeitsspeicher. Es ist kein Cache. Es ist der gesamte Aufmerksamkeitsbereich des Modells für diese Interaktion.
Warum Kontextfenster so lange klein blieben
Attention in einem Transformer skaliert mit O(n²): Der Rechenaufwand wächst mit dem Quadrat der Tokenzahl. Doppelter Kontext, vierfacher Aufwand. Das machte lange Kontexte teuer und langsam. Frühe GPT-Modelle hatten 4.096 Tokens, etwa drei bis vier Seiten. Heute unterstützen führende Modelle eine Million Tokens und mehr. Die architektonische Innovation hinter dieser Entwicklung ist ein aktives Forschungsfeld, etwa die Sparse-Attention-Ansätze aus dem Transformer-Microlearning.
Gedächtnis ist nicht, was du denkst
Wenn ein Modell etwas aus einem früheren Teil des Gesprächs zu erinnern scheint, dann weil dieser frühere Text noch im Kontextfenster liegt. Wenn das Fenster voll wird, fallen ältere Inhalte heraus. Wenn du eine neue Sitzung startest, wird der Kontext komplett zurückgesetzt. Es gibt standardmäßig kein dauerhaftes Gedächtnis. Das Modell kennt dich nicht vom letzten Mal. Jede Sitzung ist ein neuer Beginn ohne Geschichte.
Was das in der Praxis begrenzt
Ein Modell kann keinen ganzen Roman in einem Zug lesen. Es kann nicht über ein Jahr Projektnotizen nachdenken. Es kann ohne externe Hilfe keine Kontinuität über eine Reihe von Sitzungen halten. Jeder KI-Assistent, der Gedächtnis zu haben scheint, nutzt etwas jenseits des Basismodells: eine Datenbank, ein Zusammenfassungssystem oder eine Retrieval-Pipeline. Diese Lücke zu verstehen ist entscheidend, um KI-Systeme ehrlich zu bauen und zu bewerten.
Jenseits des Fensters
Vier Techniken, die erweitern, womit ein Modell arbeiten kann. Klicke sie an, um mehr zu lesen.
Jenseits des Fensters
Retrieval Augmented Generation, also abrufgestützte Generierung. Schickt eine Nutzerin eine Anfrage, werden relevante Inhalte aus einer externen Wissensbasis abgerufen und zusammen mit der Anfrage ins Kontextfenster gesetzt. Das Modell erzeugt seine Antwort dann aus beiden. RAG erlaubt Modellen, über Dokumente nachzudenken, auf denen sie nicht trainiert wurden, aktuelle Informationen zu nutzen und Halluzinationen zu verringern, weil Antworten auf abgerufenen Belegen ruhen. Es ist die dominierende Technik, um Modellen Zugang zu externem Wissen zu geben.
Ein Embedding ist ein dichter numerischer Vektor, der die Bedeutung eines Textstücks repräsentiert. Ähnliche Texte haben ähnliche Vektoren. Eine Vektordatenbank speichert Millionen dieser Embeddings. Trifft eine Anfrage ein, wird sie in ein Embedding umgewandelt, und die Datenbank findet die gespeicherten Embeddings mit der größten Ähnlichkeit. Das sind die semantisch relevantesten Textstücke. Sie werden abgerufen und ins Kontextfenster des Modells gesetzt. So findet RAG die passenden Inhalte.
Eine Vektordatenbank ist ein Speichersystem, das auf Ähnlichkeitssuche in hochdimensionalen Vektoren optimiert ist. Während eine klassische Datenbank Zeilen über exakte Werte nachschlägt, findet eine Vektordatenbank die nächsten Nachbarn eines Anfragevektors im hochdimensionalen Raum. Bekannte Vektordatenbanken sind Pinecone, Weaviate und Qdrant. Sie sind eine Kernkomponente von RAG-Systemen. Die Qualität des Abrufs, abhängig von Embedding-Qualität und Indexierung, entscheidet darüber, wie nützlich die gefundenen Inhalte sind.
Mehrere Ansätze reichen über das Kontextfenster hinaus. Zusammenfassung komprimiert lange Verläufe in kürzere Repräsentationen. Retrieval speichert Gesprächshistorie extern und ruft relevante Teile bei Bedarf ab. Externe Werkzeuge geben Modellen Zugang zu strukturierten Speichern wie Datenbanken oder Dateien. Long-Context-Modelle schieben die Grenze dessen hinaus, was hineinpasst. Jeder Ansatz hat Abwägungen bei Genauigkeit, Kosten und Geschwindigkeit. Kein einzelner löst das Gedächtnisproblem vollständig, und die meisten produktiven Systeme kombinieren mehrere.
Selbst testen
Vier Karten zu Kontext und Retrieval. Versuche, die Frage auf der Vorderseite zu beantworten, bevor du umdrehst.
Selbst testen
Was passiert, wenn ein Gespräch das Kontextfenster überschreitet?
↻ AufdeckenFrühere Inhalte gehen verloren. Wenn das Kontextfenster voll ist, kann das Modell nicht mehr den ganzen Text auf einmal verarbeiten. Typischerweise fallen ältere Inhalte am Anfang des Gesprächs heraus. Das Modell hat keinen Zugang mehr dazu. Darum verlieren lange Gespräche ihren Zusammenhalt, und darum nutzen Assistenten mit langem Verlauf externe Speicher statt nur Kontext.
Welches Problem löst RAG, das ein größeres Kontextfenster nicht löst?
↻ AufdeckenKosten, Aktualität und Skalierung. Ein großes Kontextfenster hat weiterhin Grenzen und Kosten. RAG ruft nur den relevanten Ausschnitt einer großen Wissensbasis ab und fügt nur das Nötige ein. Es kann auf Dokumente zugreifen, die nicht in den Trainingsdaten waren. Es lässt sich in Echtzeit aktualisieren, ohne neu zu trainieren. Und es skaliert auf Wissensbasen weit jenseits jedes Kontextfensters. Beide Ansätze ergänzen sich, sie sind keine Alternativen.
Warum sind Embeddings nützlich für Retrieval?
↻ AufdeckenSemantische Ähnlichkeit. Embeddings repräsentieren Bedeutung als Vektoren. Semantisch ähnliche Texte haben ähnliche Vektoren, selbst wenn sie kein einziges Stichwort teilen. Eine Anfrage zu „undichten Wasserhahn reparieren“ kann ein Dokument über „Klempnerei-Instandhaltung“ finden, weil ihre Embeddings im Vektorraum nah beieinanderliegen. Das geht über Stichwortsuche hinaus und ermöglicht Abruf nach Bedeutung.
Wie funktionieren KI-Assistenten, die sich an frühere Gespräche erinnern, wirklich?
↻ AufdeckenExterne Speicher, kein Modellgedächtnis. Das Basismodell hat kein dauerhaftes Gedächtnis. Assistenten, die sich an dich erinnern, nutzen ein externes System: eine Datenbank mit Gesprächshistorie, eine Zusammenfassungs-Pipeline, die sie komprimiert, und ein Retrieval-System, das relevante frühere Inhalte ins aktuelle Kontextfenster einspeist. Das Modell liest die eigene Geschichte genauso wie jedes andere abgerufene Dokument.
Prüfe dein Verständnis
Drei Fragen, um zu prüfen, was hängen geblieben ist. Wähle eine Antwort.
Prüfe dein Verständnis
Warum blieben Kontextfenster so lange klein?
Prüfe dein Verständnis
Was leistet RAG, das ein größeres Kontextfenster allein nicht leisten kann?
Prüfe dein Verständnis
Wenn ein KI-Assistent ein früheres Gespräch zu „erinnern“ scheint, was passiert dann wirklich?
Was du mitnimmst
Das Kontextfenster ist nicht nur ein technisches Limit. Es definiert den Aufmerksamkeitsbereich des Modells. Alles innerhalb ist sichtbar. Alles außerhalb ist weg. Wer das versteht, vermeidet die häufigste Fehlerkategorie im Design von KI-Systemen: von Modellen zu erwarten, dass sie Informationen verfolgen, die sie nicht sehen können.
0 von 0 Fragen richtig
Ein Nugget, eine Idee: Wende sie heute noch einmal an. Wissen wird erst durch Wiederholung zu Können.