Künstliche Intelligenz macht einen weiteren Sprung nach vorn: Mit Huginn haben Forscher ein Modell entwickelt, das ohne explizite Worte im latenten Raum „denkt“. Doch was bedeutet das genau – und welche Vorteile könnte dieser Ansatz bieten?
Rekursive Architektur für flexibles Denken
Das Forscherteam hinter Huginn, bestehend aus Wissenschaftlern des ELLIS Institute Tübingen, der University of Maryland und des Lawrence Livermore National Laboratory, hat eine revolutionäre Methode entwickelt. Anders als traditionelle Sprachmodelle, die auf vorgefertigten Gedankenketten (Reasoning-Tokens) basieren, arbeitet Huginn in einem rekursiven System. Dadurch kann es seine Berechnungstiefe flexibel anpassen – ein deutlicher Fortschritt gegenüber klassischen Large Reasoning Models wie OpenAIs o3-mini.
Huginn beginnt seine Berechnungen im latenten Raum des neuronalen Netzes, bevor überhaupt das erste Token ausgegeben wird. Das bedeutet: Das Modell „überlegt“, bevor es spricht – ein Ansatz, der völlig neue Möglichkeiten im Bereich des maschinellen Denkens eröffnet.
Training auf Hochleistungs-Supercomputer
Um Huginns Fähigkeiten zu optimieren, wurde es auf einem der leistungsstärksten Supercomputer, dem Frontier-System, mit 4.096 AMD MI250X GPUs trainiert. Die Besonderheit: Das Modell wurde mit einer variablen Anzahl an Wiederholungen pro Trainingsschritt trainiert – mal nur einmal, mal bis zu 64 Wiederholungen. Dieser flexible Ansatz ermöglichte es Huginn, verschiedene Denkprozesse effizient zu simulieren.
Überraschende emergente Fähigkeiten
Die ersten Tests zeigen vielversprechende Ergebnisse: Huginn übertrifft Open-Source-Modelle mit doppelt so vielen Parametern in Benchmarks wie GSM8k und MATH – und das, obwohl es mit vergleichsweise wenig Trainingsdaten auskommt. Besonders spannend ist die Entdeckung von emergenten Fähigkeiten, darunter:
- Dynamische Anpassung der Berechnungstiefe je nach Komplexität der Aufgabe
- Entwicklung von Gedankenketten im latenten Raum – ohne explizite Vorgabe durch Training
- Kreisförmige Berechnungsmuster, die darauf hindeuten, dass Huginn völlig neue Methoden des maschinellen Denkens erlernt
Ein vielversprechender Ansatz für die Zukunft
Obwohl Huginn noch nicht auf bahnbrechendem Leistungsniveau agiert, könnte es ein Vorreiter für eine neue Art von KI-Modellen sein. Die Kombination aus Flexibilität, effizientem Training und emergenten Denkprozessen deutet darauf hin, dass größere Modelle nach diesem Prinzip klassische Sprachmodelle möglicherweise bald übertreffen könnten. Die Forscher sehen hier großes Potenzial, insbesondere für komplexe Problemstellungen, die sich nicht einfach in Worte fassen lassen. Als nächste Schritte sind Erweiterungen mit Reinforcement Learning geplant – eine Technik, die auch bei anderen fortschrittlichen KI-Modellen für noch bessere Ergebnisse sorgt.