Trotz erheblicher Fortschritte bleibt der anspruchsvolle AGI-Benchmark ARC unlösbar. Was bedeutet das für die Entwicklung künstlicher allgemeiner Intelligenz?
Der ARC-AGI-Benchmark wird als wesentlicher Indikator für AGI betrachtet und erlebte 2024 eine deutliche Steigerung der Bestleistung im privaten Evaluierungsset von 33 auf 55,5 Prozent. Der Hauptpreis von 600.000 Dollar, der für das Erreichen von 85 Prozent ausgelobt wurde, konnte jedoch nicht vergeben werden. Ein besonders vielversprechendes Team, MindsAI, erreichte zwar die höchste Punktzahl, war aber aufgrund fehlender Offenlegung des Codes nicht preisberechtigt.
Drei innovative Ansätze prägten den Wettbewerb: die KI-gestützte Programmsynthese, das Test-Time Training (TTT) und deren Kombination. Besonders erfolgreich waren Methoden, die beide Ansätze integrierten. Ein Team des Massachusetts Institute of Technology zeigte sogar 61,9 Prozent Genauigkeit im öffentlichen Teil des Benchmarks, konnte dies jedoch unter den eingeschränkten Bedingungen des privaten Leaderboards nicht testen.
Die Organisatoren kündigten für 2025 die Einführung eines neuen Benchmarks, ARC-AGI-2, an. Der aktuelle Datensatz aus dem Jahr 2019 sei mit nur 100 Aufgaben zu klein und anfällig für Überanpassungen. Der Wettbewerb beeinflusste bereits die Strategien mehrerer KI-Startups und großer Unternehmen. Der ARC-Prize wird fortgeführt, bis eine Lösung und eine öffentliche Referenz implementiert sind. Die Fortschritte im Jahr 2024 verdeutlichen die Bedeutung algorithmischer Innovationen über massive Rechenleistung hinaus. Der Bericht betont jedoch, dass weiterhin neue Ideen erforderlich sind, um den Durchbruch zu erzielen. ARC bleibt ein Kernstück auf dem Weg zur Entwicklung von AGI.
Die Fortschritte beim ARC-Benchmark zeigen, wie viel Potenzial in innovativen Ansätzen steckt.