Kurz gesagt: Forscher des MIT CSAIL haben GPT-6 Astra eingesetzt, um nur 0,016 Prozent der Modellgewichte von Qwen3.5-0.8B zu verändern. Dadurch stieg die Erfolgsquote im Mathematik-Benchmark MATH-500 von 7,9 auf 48,1 Prozent. Das entspricht einer relativen Verbesserung von rund 509 Prozent – ganz ohne zusätzliches Training.
Große Leistungssteigerungen bei KI-Modellen erfordern nicht zwangsläufig umfangreiches Training. Manchmal genügt es, einen konkreten Fehler zu korrigieren. Doch wie kann eine minimale Veränderung der Modellgewichte einen so deutlichen Unterschied bewirken?
Weniger Denkschleifen, deutlich bessere Ergebnisse
Qwen3.5-0.8B hatte Schwierigkeiten mit längeren mathematischen Aufgaben. Statt einen Rechenweg abzuschließen, geriet das Modell häufig in sogenannte Reasoning-Schleifen: Es wiederholte Gedankenschritte, produzierte immer mehr Text und lieferte schließlich keine fertige Lösung.
GPT-6 Astra durfte das Modell anhand von Übungsaufgaben untersuchen und bis zu 50 Testläufe durchführen. Anschließend veränderte Astra gezielt einen winzigen Teil der Modellgewichte.
Die Auswirkungen waren erheblich. Vor dem Eingriff erreichten 93 von 100 Antworten im MATH-500-Test die maximale Ausgabelänge von 32.768 Tokens. Nach der Anpassung waren es nur noch 33 von 100. Qwen konnte damit wesentlich häufiger einen Rechenweg erfolgreich abschließen.
Die mathematische Trefferquote stieg von 7,9 auf 48,1 Prozent. Auch weitere Tests zeigten deutliche Verbesserungen:
- In einem zweiten Mathematiktest erhöhte sich die Erfolgsquote von knapp 14 auf 67 Prozent.
- Beim Befolgen von Anweisungen verbesserte sich Qwen von 21 auf 62 Prozent.
Weight-Space Programming: KI verändert KI
Die Forscher bezeichnen ihren Ansatz als „Weight-Space Programming“. Dahinter steht die Idee, dass leistungsfähige KI-Systeme die Gewichte anderer neuronaler Netze nicht nur analysieren, sondern auch gezielt bearbeiten oder neu erzeugen können.
Weitere Experimente mit kleinen neuronalen Netzen zeigten, dass Astra bereits erkennen konnte, welche Aufgaben diese zuvor gelernt hatten. Dazu gehörte die Identifikation von Netzen für die Computerspiele Breakout, Pong, Pac-Man und Freeway.
Der Ansatz eröffnet damit eine andere Möglichkeit zur Modelloptimierung: Statt ein KI-Modell durch zusätzliches Training zu verbessern, könnten bestimmte Schwächen unmittelbar durch Anpassungen seiner Gewichte behoben werden.
Warum die Methode nicht jedes KI-Modell verbessert
Die Ergebnisse lassen sich allerdings nicht uneingeschränkt übertragen. Beim Modell Gemma 3 270M blieb eine vergleichbare Verbesserung der Mathematikleistung aus. Anders als Qwen geriet Gemma kaum in wiederkehrende Reasoning-Schleifen.
Der Versuch zeigt damit auch die Grenzen des Verfahrens. Weight-Space Programming kann gezielt vorhandene Fehler korrigieren, verleiht einem Modell jedoch nicht automatisch Fähigkeiten, die ihm bislang fehlen.
Ein externer Prüfer bestätigte den beschriebenen Eingriff anhand der Modelldateien und kam bei der Bewertung der mathematischen Antworten zu denselben Ergebnissen wie das MIT-Team.
Für die praktische KI-Entwicklung ist vor allem ein Aspekt relevant: Leistungsprobleme können auf konkreten Schwächen im Modellverhalten beruhen, deren Behebung nicht zwingend ein vollständiges Nachtraining erfordert.
Welche Entwicklungen bei KI-Modellen, ihrer Optimierung und ihrem praktischen Einsatz wichtig werden, beleuchtet der Newsletter Beratung-KI regelmäßig mit verständlichen technischen Einordnungen.
Effizienz durch Innovation: Teile der textlichen und visuellen Ausgestaltung dieser Seite wurden durch generative KI-Systeme unterstützt.