Künstliche Intelligenz schlägt menschliche Prognostiker? Das klingt futuristisch, doch genau das hat das KI-System FiveThirtyNine des „Center of AI Safety“ (CAIS) erreicht.
FiveThirtyNine, basierend auf der GPT-4o-Technologie, wurde entwickelt, um Vorhersagen präziser als menschliche Experten zu treffen. Die jüngste Studie zeigt, dass die KI bei Prognosen auf der Plattform Metaculus eine Genauigkeit von 87,7 Prozent erzielte – und damit eine Gruppe von erfahrenen menschlichen Prognostikern leicht übertraf, die eine Genauigkeit von 87,0 Prozent erreichten. Diese beeindruckenden Ergebnisse wurden erzielt, obwohl die KI nur auf dieselben Informationen zugreifen durfte wie die Menschen. Ein cleverer Einsatz von Internet-Crawling und komplexen Prompts erlaubt es FiveThirtyNine, benutzerdefinierte Abfragen zu analysieren und zuverlässige Ja-Nein-Wahrscheinlichkeiten zu berechnen. Der Direktor des CAIS, Dan Hendrycks, ist überzeugt: Prognosemärkte werden schon bald von KI-Systemen wie FiveThirtyNine dominiert werden. Die Entwickler des Systems sehen vielfältige Anwendungsmöglichkeiten – von der Verbesserung der Informationsqualität über Risikobewertungen in Chatbots bis hin zur Unterstützung von Entscheidungsträgern. Doch trotz seiner Leistungsfähigkeit gibt es auch Grenzen. So ist FiveThirtyNine nicht für spezifische Anwendungen wie Finanzmarktprognosen optimiert und stößt bei kurzfristigen Ereignissen an seine Grenzen.