Meta und die University of California, San Diego haben mit DeepConf eine clevere Methode vorgestellt. Kann sie wirklich den Rechenaufwand von Reasoning-Modellen drastisch senken – und das bei gleichbleibender Genauigkeit?
Wer mit großen Sprachmodellen arbeitet, kennt das Problem: Sie erzeugen oft zahlreiche Lösungswege und entscheiden sich am Ende für die Mehrheitsantwort. Das klingt sinnvoll, kostet aber enorm viel Rechenzeit – und ist fehleranfällig, wenn sich ein schlechter Lösungsweg durchsetzt.
Hier setzt DeepConf an. Anstatt blind jeden Lösungspfad gleich zu behandeln, schaut sich die Methode an, wie „selbstsicher“ das Modell bei seinen Vorhersagen ist. Ein hoher Wahrscheinlichkeitswert für das nächste Wort deutet auf einen vertrauenswürdigen Pfad hin, während große Unsicherheit meist ein Warnsignal ist. Genau das nutzen die Forscher: weniger Rechenlast, mehr Präzision.
Besonders spannend sind die zwei Betriebsmodi:
- Im Offline-Modus werden alle Pfade komplett generiert und dann bewertet.
- Im Online-Modus stoppt DeepConf schwache Lösungswege direkt während der Berechnung – das spart massiv Tokens und damit Ressourcen.
Die Ergebnisse sind beeindruckend: In Tests mit bis zu 120 Milliarden Parametern erzielte DeepConf im Online-Modus fast 98 % Genauigkeit und reduzierte den Token-Verbrauch um über 80 %. Und das Beste: Es braucht kein zusätzliches Training und lässt sich mit wenig Aufwand in bestehende Systeme integrieren.
Natürlich gibt es Grenzen: Wenn ein Modell bei einer falschen Antwort „zu überzeugt“ ist, kann auch DeepConf danebenliegen. Deshalb empfehlen die Forscher die konservative Variante, die stabilere Ergebnisse liefert. Trotzdem zeigt sich: Methoden wie DeepConf könnten der Schlüssel sein, damit Reasoning-Modelle nicht nur klüger, sondern auch wirtschaftlicher werden – ein heißes Thema angesichts steigender Energiekosten.