Die Entwicklung neuer KI-Modelle verlangsamt sich, wie das Beispiel von OpenAIs neuem Modell „Orion“ zeigt. Bietet dieses Modell wirklich kaum Fortschritte gegenüber GPT-4, und was bedeutet das für die Zukunft der KI-Entwicklung?
OpenAIs Orion: Ein kleiner Schritt statt eines großen Sprungs?
Das nächste große Sprachmodell von OpenAI, bekannt als „Orion“, scheint laut Berichten von The Information weniger bedeutende Fortschritte zu bieten als seine Vorgänger. Während das Upgrade von GPT-3 zu GPT-4 einen spürbaren Qualitätssprung darstellte, bleibt der Leistungsschub bei Orion relativ klein. Vor allem in Programmieranwendungen zeigt das neue Modell teilweise keine Verbesserungen im Vergleich zu GPT-4 und bietet lediglich im Bereich der Sprachverarbeitung optimierte Leistungen. Zudem könnten die Kosten für den Betrieb von Orion steigen, da das Modell höhere Anforderungen an die Rechenzentren stellt.
Das Problem mit den Trainingsdaten
Die Ursachen für die zurückhaltenden Fortschritte könnten vielfältig sein, doch OpenAI sieht einen zentralen Grund im Mangel an hochwertigen Daten für das Training. Laut Unternehmensquellen sind öffentlich zugängliche Text- und Datenquellen nahezu ausgeschöpft, was die Weiterentwicklung erschwert. Um diesen Engpass zu adressieren, hat OpenAI das „Foundations Team“ unter der Leitung von Nick Ryder ins Leben gerufen, das alternative Wege zur Datenoptimierung sucht. Zusätzlich setzt OpenAI vermehrt auf synthetische Daten, um Trainingslücken zu schließen. Doch genau hier besteht das Risiko, dass das neue Modell bestehende KI-Systeme imitiert, statt eigenständig zu lernen.
Ein allgemeines Problem: Die Stagnation bei großen KI-Modellen
Die Herausforderungen betreffen nicht nur OpenAI. Andere führende Unternehmen der Branche, wie Google und Anthropic, stehen vor ähnlichen Problemen. Googles Modell Gemini 2.0 bleibt laut internen Quellen hinter den Erwartungen zurück, und Anthropic hat die Entwicklung seines geplanten Opus 3.5 verschoben und veröffentlicht stattdessen eine optimierte Version seines „Sonnet“-Modells. Offene KI-Modelle haben in den vergangenen anderthalb Jahren beachtlich aufgeholt – ein Hinweis darauf, dass die Investitionen großer Unternehmen in proprietäre Systeme zuletzt nicht so effektiv in Leistungsverbesserungen umgewandelt werden konnten.
Neue Perspektiven für den Fortschritt
Trotz dieser Schwierigkeiten bleibt OpenAIs CEO Sam Altman optimistisch. Er sieht den Weg zur sogenannten künstlichen allgemeinen Intelligenz (AGI) klar vor sich. Ein zentrales Ziel sei es nun, bestehende Modelle kreativer zu nutzen und neue Kombinationen von Sprachmodellen, wie etwa den Reasoning-Ansatz des o1-Modells, zu erkunden. Noam Brown, renommierter KI-Experte und führender Entwickler des o1-Modells, bestätigt, dass die zukünftige Rechenleistung eher für die direkte Lösungsfindung eingesetzt werden soll als für reines Training. Dieses Prinzip könnte jedoch hohe Kosten und massiven Energiebedarf verursachen, was zunehmend Fragen zur Nachhaltigkeit solcher Ansätze aufwirft.
Ein kritischer Blick auf die LLM-Entwicklung
Während OpenAI und andere Unternehmen neue Wege beschreiten, äußern Experten wie Google-Forscher François Chollet grundsätzliche Kritik. Chollet betont, dass große Sprachmodelle für mathematische Aufgaben wenig geeignet seien und stattdessen diskrete Suchmethoden bevorzugt werden sollten. Er warnt, dass die Vermarktung von „LLMs“ oft irreführend sei, da sie viele technologische Entwicklungen umfasst, die nichts mit Sprachmodellen zu tun haben. Für Fortschritte in der KI sei daher eine sorgfältigere Abgrenzung zwischen technologischem Gehalt und Marketing notwendig, wie etwa bei der kürzlichen Integration von Gemini in Googles AlphaProof. Das Beispiel „Orion“ zeigt, dass die Entwicklung der KI auf einem kritischen Prüfstand steht. Künftig wird es darum gehen, einen effizienten und nachhaltigen Weg zu finden, um künstliche Intelligenz weiterzuentwickeln.