Wie KI-Modelle entstehen
Knowledge Lounge
Pre-Training, Fine-Tuning, RLHF und Alignment: woher das Verhalten eines Modells kommt und warum es veränderbar ist.
Pre-Training in großem Maßstab
Vier Abschnitte darüber, woher Modelle kommen: Pre-Training, Skalierung, was der Prozess erzeugt und was Parameter sind.
Pre-Training: aus allem lernen
Ein Basis-Sprachmodell wird auf einem riesigen Korpus trainiert: einem großen Teil des öffentlichen Internets, digitalisierten Büchern, Code-Repositories, wissenschaftlichen Aufsätzen und weiteren Texten. Das Modell sieht Token um Token und lernt vorherzusagen, was als Nächstes kommt. Das ist Pre-Training. Es hat kein konkretes Ziel über die Vorhersage hinaus. Und doch entstehen aus diesem Prozess die Fähigkeiten zu schreiben, zu argumentieren, zu übersetzen, zusammenzufassen und Fragen zu beantworten.
Die Zahlen, die zählen
Ein Spitzenmodell zu trainieren erfordert Hunderte Milliarden bis Billionen Tokens an Trainingsdaten. GPT-3 wurde mit rund 300 Milliarden Tokens trainiert. Llama 3 mit 15 Billionen. Ein einziger Trainingslauf für ein State-of-the-Art-Modell kann 50 bis 100 Millionen Dollar an Rechenleistung kosten. Er läuft typischerweise wochen- oder monatelang auf Tausenden Spezialchips. Darum können nur eine Handvoll Organisationen Spitzenmodelle von Grund auf trainieren.
Was Pre-Training erzeugt
Pre-Training erzeugt ein Basismodell: eines, das die statistische Struktur der Sprache und das in den Trainingsdaten kodierte Wissen gelernt hat, aber kein Anweisungsverhalten besitzt. Ein rohes, vortrainiertes Modell vervollständigt Text in jede Richtung, die am wahrscheinlichsten erscheint. Auch in unhilfreiche, schädliche oder zusammenhanglose Richtungen. Es ist noch kein brauchbarer Assistent. Fine-Tuning und Alignment sind die Schritte, die es dazu machen.
Parameter: was das Modell behält
Alles, was das Modell während des Trainings lernt, ist in seinen Parametern kodiert: den Milliarden numerischer Gewichte, die bestimmen, wie das Modell Eingaben in Ausgaben verwandelt. Diese Gewichte sind keine Faktendatenbank. Sie sind eine komprimierte Repräsentation von Mustern über den gesamten Trainingskorpus. Wenn du dem Modell eine Frage stellst, rekonstruiert es eine Antwort aus diesen Gewichten. Darum können Antworten falsch, unvollständig oder veraltet sein.
Fine-Tuning und Alignment
Wie aus einem rohen Basismodell ein brauchbares Produkt wird. Klicke jedes Konzept an, um mehr zu lesen.
Fine-Tuning und Alignment
Fine-Tuning nimmt ein vortrainiertes Basismodell und trainiert es auf einem kleineren, kuratierten Datensatz weiter. Das Ziel ist, das Verhalten zu formen: hilfreicher, fokussierter auf eine Domäne oder im Einklang mit bestimmten Richtlinien. Die Gewichte aus dem Pre-Training sind der Ausgangspunkt. Fine-Tuning justiert sie in Richtung des gewünschten Verhaltens. Das ist deutlich günstiger als Pre-Training von Grund auf. Darum können spezialisierte Modelle auf bestehenden Basismodellen aufbauen.
Reinforcement Learning from Human Feedback, also Verstärkungslernen aus menschlichem Feedback. Nach dem ersten Fine-Tuning vergleichen menschliche Bewertende Paare von Modellausgaben und geben an, welche besser ist. Auf diesen Präferenzen wird ein Belohnungsmodell trainiert. Das Sprachmodell wird dann per Verstärkungslernen darauf trainiert, die Punktzahl des Belohnungsmodells zu maximieren. So wird aus roher Sprachfähigkeit hilfreiches, sicheres Verhalten. Hier lernt das Modell auch, höflich zu sein, schädliche Anfragen abzulehnen und Anweisungen zu folgen.
RLAIF steht für Reinforcement Learning from AI Feedback. Statt menschlicher Bewertender liefert ein anderes KI-Modell das Feedback. Constitutional AI, entwickelt von Anthropic, geht weiter: Das Modell bekommt einen Satz von Prinzipien, eine „Verfassung“, und wird trainiert, die eigenen Ausgaben nach diesen Prinzipien zu kritisieren und zu überarbeiten. Diese Verfahren verringern die Abhängigkeit von teurer menschlicher Annotation und erlauben systematischere Kontrolle über Werte und Verhalten des Modells.
Alignment ist das Problem sicherzustellen, dass KI-Systeme die Ziele verfolgen, die ihre Entwickelnden beabsichtigen, statt Ersatzzielen oder unbeabsichtigten Zielen. Ein Sprachmodell, das rein auf maximale menschliche Zustimmung trainiert ist, könnte lernen, Nutzende zu schmeicheln statt wahrheitsgemäß zu sein. Alignment-Verfahren zielen auf Modelle, die hilfreich, ehrlich und unschädlich sind, und darauf, dass diese Eigenschaften mit wachsender Fähigkeit erhalten bleiben. Es ist eines der zentralen Forschungsprobleme der KI-Sicherheit.
Selbst testen
Vier Karten zu den Trainingskonzepten. Versuche, die Frage auf der Vorderseite zu beantworten, bevor du umdrehst.
Selbst testen
Was ist der Unterschied zwischen einem Basismodell und einem feingetunten Modell?
↻ AufdeckenRoh gegen geformt. Ein Basismodell ist das Ergebnis des Pre-Trainings: breite Sprachfähigkeit, kein Anweisungsverhalten. Ein feingetuntes Modell wurde auf kuratierten Daten weitertrainiert, um Anweisungen zu folgen und hilfreich zu sein. Wenn du ChatGPT, Claude oder Gemini nutzt, nutzt du ein feingetuntes Modell. Die Basismodelle darunter werden selten direkt veröffentlicht.
Warum braucht es nach dem Fine-Tuning menschliches Feedback?
↻ AufdeckenWerte, nicht nur Verhalten. Fine-Tuning bringt dem Modell bei, Anweisungen zu folgen. RLHF bringt ihm bei, Anweisungen so zu folgen, wie Menschen es vorziehen: hilfreich statt schmeichlerisch, ehrlich statt selbstsicher bei falschen Antworten, sicher statt fügsam bei schädlichen Anfragen. Menschliche Präferenzen lassen sich schlecht als Regeln aufschreiben. RLHF lernt sie aus Beispielen.
Was ist das Alignment-Problem?
↻ AufdeckenAbsicht gegen Ersatzziel. Das Alignment-Problem besteht darin sicherzustellen, dass KI-Systeme die von ihren Entwickelnden beabsichtigten Ziele verfolgen. Ein Modell, das rein auf menschliche Zustimmung optimiert ist, könnte schmeicheln lernen statt zu informieren. Ein auf Interaktion optimiertes Modell könnte provozieren lernen. Alignment-Forschung versucht, die richtigen Ziele festzulegen und durchzusetzen, und dafür zu sorgen, dass sie stabil bleiben, wenn Modelle fähiger werden.
Was repräsentieren die Modellparameter nach dem Training?
↻ AufdeckenKomprimierte Muster. Modellparameter sind die numerischen Gewichte, die im Training angepasst wurden. Nach dem Training kodieren sie eine komprimierte Repräsentation von Mustern über den Trainingskorpus: Sprachstruktur, Weltwissen, Reasoning-Muster und vieles mehr. Sie sind keine Datenbank. Man kann sie nicht direkt abfragen. Sie sind nur über den Vorhersagemechanismus zugänglich.
Prüfe dein Verständnis
Zwei Fragen, um zu prüfen, was hängen geblieben ist. Wähle eine Antwort.
Prüfe dein Verständnis
Was erzeugt Pre-Training, und was erzeugt es nicht?
Prüfe dein Verständnis
Was leistet RLHF, das Fine-Tuning allein nicht leisten kann?
Was du mitnimmst
Pre-Training, Fine-Tuning und RLHF sind keine austauschbaren Schritte. Sie leisten Verschiedenes zu verschiedenen Kosten. Pre-Training gibt dem Modell seine Fähigkeit. Fine-Tuning gibt ihm Verhalten. RLHF gibt ihm Werte. Zu wissen, welcher Schritt für welche Eigenschaft verantwortlich ist, hilft dir zu verstehen, warum Modelle auf bestimmte Weise scheitern und was sich verbessern lässt, ohne von Grund auf neu zu trainieren.
0 von 0 Fragen richtig
Ein Nugget, eine Idee: Wende sie heute noch einmal an. Wissen wird erst durch Wiederholung zu Können.