Transformer und Attention
Knowledge Lounge
Wie moderne KI-Modelle Text verstehen: von Attention-Mechanik bis zu den neuesten SSA-Architekturen.
„Attention Is All You Need“
2017 veröffentlichte ein Team bei Google einen Aufsatz mit genau diesem Titel. Er stellte die Transformer-Architektur vor. Nahezu jedes große Sprachmodell, das seitdem gebaut wurde, auch die Modelle hinter ChatGPT, Claude und Gemini, steht auf diesem Fundament.
Eine Beschränkung, enorme Folgen
Der Transformer brachte einen eingebauten Preis mit: Attention skaliert mit O(n²). Doppelte Kontextlänge bedeutet vierfachen Rechenaufwand. Dreifache Länge bedeutet neunfachen Aufwand. Jedes Kontextfenster-Limit, an das du je gestoßen bist, ist eine Folge dieser einen Tatsache.
Neun Jahre voller Teilantworten
Forschende haben Sliding Windows, globale Tokens, rekurrente State Spaces, sparse Hybridmodelle und lineare Näherungen ausprobiert. Jeder Ansatz senkte die Kosten, gab aber etwas dafür auf: Exaktheit, Inhaltssensitivität oder echtes subquadratisches Skalieren von Anfang bis Ende. Keiner löste das Problem ohne Verzicht.
5. Mai 2026
Ein Startup namens Subquadratic trat aus dem Stealth-Modus heraus. Sein Modell SubQ nutzt einen Attention-Mechanismus namens SSA, Subquadratic Sparse Attention. Das Versprechen: inhaltsabhängig, exakt, fähig zu einem Kontext von zwölf Millionen Tokens und durchgängig echt subquadratisch. Wenn das Versprechen hält, ist es der wichtigste Architektur-Fortschritt seit dem Aufsatz von 2017.
Die Schlüsselbegriffe ausgepackt
In einem Transformer ist Attention der Mechanismus, mit dem jedes Token einer Sequenz jedes andere Token ansehen kann, um zu entscheiden, was relevant ist. Für jedes Token berechnet das Modell eine Query (wonach suche ich?), einen Key (wofür stehe ich?) und einen Value (was trage ich bei?). Der Attention-Score zwischen zwei Tokens ist das Skalarprodukt aus Query und Key. Das für alle Paare zu tun, ist der Ursprung von O(n²): n Tokens mal n Tokens ergeben n² Vergleiche.
O(n²) beschreibt, wie der Rechenaufwand mit der Eingabegröße wächst. Wenn 1.000 Tokens eine Recheneinheit kosten, kosten 2.000 Tokens vier Einheiten, nicht zwei. Bei 128.000 Tokens (ein heute übliches Limit) erfordert die Attention-Berechnung allein rund 16 Milliarden paarweise Vergleiche. Darum sind lange Kontexte teuer, langsam und bis vor Kurzem selten gewesen.
Das Kontextfenster ist die maximale Textmenge, die ein Modell gleichzeitig „sehen“ kann. Alles außerhalb ist unsichtbar. Darum verlieren Modelle den Faden langer Dokumente, darum müssen RAG-Systeme Codebasen in Fragmente zerlegen, und darum kann ein Modell nicht über ein ganzes Buch in einem Zug nachdenken. Die O(n²)-Beschränkung ist der Hauptgrund, warum Kontextfenster so lange klein blieben.
Subquadratisch heißt: langsamer wachsend als n². Verfahren mit O(n log n) oder O(n · √n) sind subquadratisch. Eine Verdopplung der Kontextlänge vervierfacht den Aufwand dann deutlich nicht mehr. SSA, Subquadratic Sparse Attention, ist der Mechanismus, den Subquadratic verspricht. Er wählt auf Basis des Inhalts aus, welche Token-Paare einander tatsächlich beachten müssen, statt einem festen Muster zu folgen. Er berechnet diese Wechselwirkungen exakt statt approximiert. Und er schafft diese Auswahl in subquadratischer Zeit. Wenn alle drei Eigenschaften gleichzeitig halten, wäre das in diesem Maßstab noch nie gezeigt worden.
Sparse-Attention-Verfahren wie Longformer oder BigBird nutzen feste Muster: lokale Fenster, globale Tokens, zufällige Verbindungen. Sie sind schnell, aber ignorieren den Inhalt. Lineare Attention nähert die vollständige Attention-Matrix an und verliert Exaktheit. Sliding-Window-Attention ist nur lokal. Rekurrente Modelle wie Mamba sind gar keine Transformer und erfordern ein Training von Grund auf. Das gemeinsame Thema: Jeder bisherige Ansatz tauschte eine wünschenswerte Eigenschaft gegen eine andere. SSA verspricht, keine einzige einzutauschen.
Das Versprechen im Detail
Wie entscheidet SSA, welche Token-Paare berechnet werden?
↻ AufdeckenInhaltsabhängig. Welche Paare berechnet werden, hängt von den tatsächlichen Tokens ab, nicht von einer festen Schablone. Das Modell achtet auf das, was zählt.
Nähert SSA die Attention-Werte an oder berechnet sie exakt?
↻ AufdeckenExakt. Die berechneten Attention-Werte sind für die ausgewählten Paare identisch mit voller Attention. Kein Näherungsfehler.
Bei welcher Kontextlänge wurde SSA demonstriert?
↻ Aufdecken12 Millionen Tokens. Zum Vergleich: GPT-4 startete mit 8.000 Tokens. Aktuelle Modelle erreichen 128.000 bis 1 Million.
Was unterscheidet SSA von früheren Sparse-Attention-Verfahren?
↻ AufdeckenDurchgängig subquadratisch. Der Auswahlmechanismus selbst ist subquadratisch. Frühere Sparse-Verfahren lösten das Rechenproblem, aber nicht das Auswahlproblem.
Ein Nugget, eine Idee: Wende sie heute noch einmal an. Wissen wird erst durch Wiederholung zu Können.