18. Oktober 2024

COMPL-AI: Die erste Evaluierungsplattform für KI-Modelle nach dem EU AI Act

Eine neue Open-Source-Plattform verspricht Klarheit bei der technischen Umsetzung des EU-KI-Gesetzes und setzt erstmals generative KI-Modelle auf den Prüfstand.

Wissenschaftler der ETH Zürich, des Instituts für Künstliche Intelligenz und Technologie (INSAIT) in Sofia und das Startup LatticeFlow AI haben eine innovative Evaluierungsplattform für generative KI-Modelle entwickelt. Das Framework mit dem Namen COMPL-AI zielt darauf ab, eine technische Interpretation des EU AI Acts zu bieten und Lücken in der aktuellen Regulierung zu schließen.

Der im August 2024 in Kraft getretene EU AI Act legt allgemeine Anforderungen an KI-Systeme fest, gibt jedoch keine detaillierten technischen Vorgaben. Genau hier setzt COMPL-AI an, indem es rechtliche Bestimmungen in messbare technische Anforderungen übersetzt. Das Framework bietet eine offene Benchmarking-Suite, die auf 27 modernen Benchmarks basiert, um große Sprachmodelle (LLMs) zu bewerten.

Zum ersten Mal wurden öffentlich verfügbare KI-Modelle von Unternehmen wie OpenAI, Anthropic, Google, Meta und Alibaba im Rahmen dieser Plattform evaluiert. Die Ergebnisse zeigen, dass viele Modelle bei Cybersicherheits- und Fairness-Benchmarks lediglich 50 % der Anforderungen erfüllen. Auf der positiven Seite schneiden die Modelle bei der Bewertung von schädlichen Inhalten und Toxizität gut ab. Besonders hervorzuheben ist GPT-4 Turbo, das sich bei den Evaluierungen als besonders stark erweist, dicht gefolgt von Claude 3 Opus. Letzteres bietet eine höhere Sicherheit, zeigt jedoch Defizite in der Transparenz. Die Plattform COMPL-AI ermöglicht es Unternehmen jeder Größe, ihre KI-Systeme auf Basis der technischen Vorgaben des EU AI Acts zu bewerten und bietet somit eine dringend benötigte Lösung für die Einhaltung zukünftiger Regulierungen.


Wir führen seit Jahren Beratung zu KI (Künstlicher Intelligenz) für KMUs (Klein- und Mittelständische Unternehmen) erfolgreich durch.

Mehr zu aktuellen Themen der #KI (Künstlichen Intelligenz) oder zu

Ihrem individuellen, optimalen "KI-Masterplan" für Ihr Unternehmen finden Sie in unserem Newsletter.

Abonnieren Sie den Newsletter hier:


Tags


Das könnte Sie auch interessieren

Abonnieren Sie jetzt unseren Newsletter!

>