Das richtige Modell für die richtige Aufgabe

Manche Fähigkeiten großer Sprachmodelle verbessern sich nicht allmählich mit der Modellgröße. Sie erscheinen abrupt jenseits einer bestimmten Parameterschwelle. Unterhalb dieser Schwelle scheitert das Modell an einem Aufgabentyp zuverlässig. Oberhalb springt die Leistung plötzlich hoch. Das nennt man Emergenz. Beispiele sind mehrstufiges Rechnen, logische Gedankenketten und die feinsinnige Interpretation mehrdeutiger Eingaben. Die Fähigkeit wächst nicht. Sie ist plötzlich da.

Prompt Engineering verändert, wie das Modell ein Problem verarbeitet. Es kann keine Verarbeitungskapazität erzeugen, die in den Gewichten des Modells nicht existiert. Ist die Fähigkeit noch nicht emergiert, fehlt dem Modell die interne Repräsentation, um die Aufgabe zuverlässig zu lösen. Ein grenzwertiges Ergebnis lässt sich verfeinern. Eine fehlende Fähigkeit lässt sich nicht herbeischreiben. Darum führt ein detaillierterer Prompt auf einem zu kleinen Modell zu uneinheitlichen Verbesserungen statt zu einer klaren Lösung.

Aufgaben mit mehrstufigem Reasoning, bei dem jeder Schritt auf dem vorherigen aufbaut. Aufgaben, die das gleichzeitige Abwägen widersprüchlicher Informationen verlangen. Aufgaben, die Synthese über nicht verwandte Wissensdomänen erfordern. Und Aufgaben, die feine Wechsel in Tonfall, Absicht oder zwischenmenschlichem Kontext interpretieren müssen. Einfache Extraktion, klar umrissene Umformatierung und musterbasierte Klassifikation lösen typischerweise keine Schwellen aus. Das deutlichste Signal: Muss das Modell mehrere konkurrierende Überlegungen gleichzeitig halten, gilt wahrscheinlich eine Schwelle.

Nicht bei allen Aufgaben. Bei klar definierten Aufgaben wie Extraktion, Umformatierung oder Klassifikation arbeiten kleinere Modelle vergleichbar gut wie größere. Es ist keine emergente Fähigkeit nötig, also fügen die zusätzlichen Parameter Kosten hinzu, aber keine Qualität. Das Ziel ist nicht maximale Fähigkeit. Es ist die minimal ausreichende Fähigkeit: das kleinste Modell, das diese Aufgabe zuverlässig erledigt. Überdimensionierung ist Ressourcenverbrauch ohne Leistungsgewinn.

Formell dokumentiert. Wei et al. (2022) analysierten über 100 Modellfähigkeiten über verschiedene Trainingsgrößen hinweg und fanden bei vielen einen scharfen Phasenübergang: nahezu null Leistung bei kleineren Skalen, dann plötzliche Verbesserung jenseits einer Schwelle. Das Phänomen war unerwartet und ist noch immer nur teilweise erklärt. Für die Praxis ist klar: Vom Verhalten kleiner Modelle lässt sich bei komplexen Aufgaben nicht auf große Modelle hochrechnen. Unterhalb der Schwelle ist die Verbesserung marginal. Oberhalb ist die Fähigkeit da.