14. Januar 2025

Mini-LLMs mit rStar-Math: Wie Microsoft KI-Effizienz neu definiert

Microsoft Research Asia hat mit rStar-Math eine bahnbrechende Methode entwickelt, die Mini-LLMs in die Liga der großen Modelle hebt. Doch was steckt hinter diesem Fortschritt?

Kleine Sprachmodelle mit nur 1,5 bis 7 Milliarden Parametern, sogenannte Small Language Models (SLMs), zeigen dank rStar-Math eine erstaunliche Leistungsfähigkeit. Die Methode nutzt Monte Carlo Tree Search (MCTS), eine Technik, die bereits durch AlphaGo bekannt wurde, um systematisch die besten Lösungspfade zu ermitteln. So wird der Grundstein für eine effiziente und zielgerichtete Problemlösung gelegt.

Eine zentrale Innovation von rStar-Math ist die Kombination von Erklärungen in natürlicher Sprache mit ausführbarem Python-Code. Dieser sogenannte „code-augmentierte Chain-of-Thought“-Ansatz dient nicht nur der Erklärung der Lösungsschritte, sondern prüft sie direkt auf ihre Funktionalität. Dies gewährleistet höchste Genauigkeit und minimiert Fehler oder Halluzinationen.

Die Methode punktet besonders bei mathematischen Aufgaben und erzielte beachtliche Erfolge. Das 7-Milliarden-Parameter-Modell Qwen2.5-Math-7B erreichte im MATH-Benchmark eine Genauigkeit von 90 % und übertraf damit OpenAIs o1-preview. Selbst das kleinste Modell Qwen-1.5B zeigte mit 88,6 % beeindruckende Ergebnisse.

Nicht nur Benchmarks, auch reale Szenarien wie die Mathematikolympiade AIME 2024 beweisen die Stärke von rStar-Math. Hier löste das System durchschnittlich 8 von 15 Aufgaben – eine Leistung, die den besten 20 % der Schüler:innen entspricht. Microsoft setzt mit diesem Ansatz ein klares Zeichen für die Zukunft: kleinere, spezialisierte Modelle, die ihre Effizienz durch Selbstverbesserung und präzise Verifikation steigern. Doch diese Fortschritte haben ihren Preis – sowohl zeitlich als auch finanziell ist die aufwendige Berechnung eine Herausforderung.


Wir führen seit Jahren Beratung zu KI (Künstlicher Intelligenz) für KMUs (Klein- und Mittelständische Unternehmen) erfolgreich durch.

Mehr zu aktuellen Themen der #KI (Künstlichen Intelligenz) oder zu

Ihrem individuellen, optimalen "KI-Masterplan" für Ihr Unternehmen finden Sie in unserem Newsletter.

Abonnieren Sie den Newsletter hier:


Tags


Das könnte Sie auch interessieren

Abonnieren Sie jetzt unseren Newsletter!

>