Kann OpenAI mit dem neuen o3-Modell wirklich das Versprechen der allgemeinen künstlichen Intelligenz einlösen?
Die ARC Prize Foundation hat das neue o3-Modell von OpenAI unter die Lupe genommen und mit strengen Reasoning-Tests geprüft. Das ernüchternde Ergebnis: Die finale Version von o3 schneidet deutlich schwächer ab als die vielversprechende o3-Preview, die Ende 2024 für Aufsehen sorgte.
Im Fokus der Tests standen Aufgaben, die symbolisches Denken und mehrstufige Problemlösungen erforderten – typische menschliche Stärken. Getestet wurden zwei Modelle (o3 und o4-mini) auf unterschiedlichen Reasoning-Stufen („low“, „medium“, „high“) über 740 Aufgaben hinweg. Dabei fielen bei o3 vor allem die Diskrepanzen zwischen den Stufen und der hohe Token-Verbrauch bei „high“ Reasoning auf, ohne signifikante Genauigkeitsgewinne.
Während o3 immerhin 41 Prozent (low) und 53 Prozent (medium) auf dem Benchmark ARC-AGI-1 erreichte, lag die Leistung auf dem schwierigeren ARC-AGI-2-Set unter drei Prozent – ähnlich schwach wie bei o4-mini. Damit bleibt die Lücke zu menschlicher Problemlösungskompetenz weiterhin gewaltig: Menschen erreichen durchschnittlich etwa 60 Prozent.
Ein spannender Aspekt: Trotz geringerer Genauigkeit zeigte sich o3 als kosteneffizienter im Vergleich zu älteren Modellen wie o1-pro. Die Empfehlung der ARC Prize Foundation lautet deshalb, o3-medium für Anwendungen mit Fokus auf Kosteneffizienz zu nutzen.
OpenAI selbst erklärte, dass die veröffentlichte o3-Version eine kleinere, multimodale Architektur besitzt und weniger Compute-Ressourcen verbraucht als die o3-Preview. Das Modell wurde zudem speziell für Produktanwendungen und Chat optimiert, was sich auch in den Benchmark-Ergebnissen widerspiegelt.