Wie gut sind moderne KI-Modelle wirklich, wenn sie mit echten Unternehmensdokumenten arbeiten müssen?
Mit OfficeQA legt Databricks einen Benchmark vor, der den Fokus konsequent weg von theoretischen Denkaufgaben hin zur praktischen Einsatzrealität verschiebt. Statt künstlicher Rätsel stehen reale, komplexe Dokumente im Mittelpunkt – genau jene Art von Informationsgrundlage, mit der KI-Systeme im Unternehmensalltag umgehen müssen.
Kern des Ansatzes ist sogenanntes Grounded Reasoning. KI-Agenten müssen Fragen aus großen, heterogenen und teils unstrukturierten Dokumentbeständen korrekt beantworten. Als Testbasis dienen die U.S. Treasury Bulletins: zehntausende Seiten voller Tabellen, historischer Daten und mehrfach überarbeiteter Inhalte. Schon diese Wahl macht deutlich, worum es Databricks geht – um Belastbarkeit unter realen Bedingungen.
Die Ergebnisse sind ernüchternd. Ohne direkten Zugriff auf die Dokumente scheitern selbst fortschrittliche Agenten nahezu vollständig. Aber auch mit bereitgestellten PDFs bleibt die Trefferquote überraschend niedrig, insbesondere bei komplexeren Fragestellungen. Damit entlarvt OfficeQA eine zentrale Schwäche heutiger KI-Systeme: Gute Resultate in akademischen Benchmarks sind kein verlässlicher Indikator für produktiven Einsatz im Unternehmen.
Besonders kritisch sind die analysierten Fehlerquellen. Probleme beim Parsen komplexer Tabellen, Unsicherheiten bei revidierten Finanzdaten und Defizite im visuellen Verständnis führen nicht zu kleinen Ungenauigkeiten, sondern zu potenziell folgenschweren Fehlentscheidungen. In diesem Kontext wird klar: „Fast richtig“ ist betriebswirtschaftlich oft gleichbedeutend mit falsch.
OfficeQA versteht sich daher weniger als Leistungsschau, sondern als Diagnosewerkzeug. Es zeigt, wo KI heute steht – und wo sie noch nicht zuverlässig genug ist. Mit dem angekündigten Grounded Reasoning Cup 2026 öffnet Databricks den Benchmark für weitere Datensätze und Szenarien und lädt Forschung wie Industrie ein, den Ansatz weiterzuentwickeln.