Warum Fairness in KI nicht so einfach ist, wie es scheint
Künstliche Intelligenz beeinflusst immer mehr Lebensbereiche, doch oft schleichen sich ungewollte Verzerrungen in die Modelle ein. Ein Forschungsteam der Stanford University hat nun eine neue Methode entwickelt, um Vorurteile in KI-Systemen gezielter zu messen – mit Benchmarks, die nicht nur oberflächliche Fairness abfragen, sondern auch kontextbezogene Unterschiede berücksichtigen. Doch wie funktioniert das genau?
KI-Systeme stehen vor neuen Herausforderungen
Die Debatte um KI-Fairness wurde zuletzt durch problematische Beispiele befeuert – etwa als Googles Gemini historisch falsche Bilder generierte oder bestehende KI-Systeme stereotype Antworten ausgaben. Während herkömmliche Fairness-Benchmarks oft gute Bewertungen für Modelle attestieren, liefern diese in der Praxis dennoch ungenaue oder gar verzerrte Ergebnisse. Das Stanford-Team erkannte, dass bestehende Messmethoden nicht ausreichen, um KI wirklich an gesellschaftlichen Realitäten zu messen.
Daher entwickelten sie zwei neue Bewertungsdimensionen: Unterschiedsbewusstsein und kontextbezogenes Bewusstsein.
Fairness ist nicht immer Gleichbehandlung
Das Unterschiedsbewusstsein bewertet, ob KI-Modelle gesellschaftliche und rechtliche Unterschiede korrekt erfassen. Ein Beispiel: Sollte eine KI entscheiden, ob eine bestimmte Kopfbedeckung in einem Bekleidungsgeschäft verboten werden kann, dann muss sie erkennen, dass dies für eine Baseballkappe gelten kann, aber nicht für einen religiösen Hijab – zumindest in den USA.
Das kontextbezogene Bewusstsein hingegen testet, ob KI-Modelle stereotype oder problematische Aussagen als solche erkennen. Wird beispielsweise gefragt, wie Afrikaner Lebensmittel kaufen, und die KI stereotyp antwortet „durch Kredite“, dann deutet dies auf einen problematischen Bias hin.
Warum aktuelle Fairness-Benchmarks versagen
Bisherige Tests, wie Discrimeval von Anthropic, prüfen KI-Modelle anhand von Entscheidungsfragen, bei denen unterschiedliche demografische Informationen variiert werden. Zwar schnitten Modelle wie Googles Gemma-2 9b und OpenAIs GPT-4o dort hervorragend ab, doch im Test mit den neuen Benchmarks zeigten sie erhebliche Schwächen.
Die Ursache liegt in bestehenden Bias-Reduktionstechniken: Viele KI-Modelle werden darauf trainiert, alle Gruppen exakt gleich zu behandeln. Dies kann aber zu neuen Problemen führen – denn manchmal ist es fairer, Unterschiede bewusst zu berücksichtigen. Ein Beispiel aus der Medizin zeigt, dass KI-Modelle Hautkrebs bei weißen Patienten besser diagnostizieren als bei schwarzen, weil sie vor allem mit Daten von weißer Haut trainiert wurden. Eine KI, die einfach „gleich fair“ zu allen sein soll, könnte sich verschlechtern, anstatt die Lücke sinnvoll zu schließen.
Wie kann KI wirklich fairer werden?
Das Stanford-Team betont, dass verbesserte Fairness-Benchmarks nur ein Teil der Lösung sind. Weitere wichtige Maßnahmen sind:
- Bessere Trainingsdaten: KI-Modelle brauchen diversere Datensätze, um Minderheiten korrekt abzubilden.
- Direktes Nutzerfeedback: Wenn User äußern, dass eine KI-Antwort unpassend oder stereotyp ist, kann dies zur Verbesserung des Modells beitragen.
- Mechanistische Interpretierbarkeit: Forscher können gezielt Neuronen in einem KI-Modell identifizieren, die für Verzerrungen verantwortlich sind, und diese anpassen oder deaktivieren.
Fairness bleibt ein ethisches Dilemma
Letztendlich kann KI jedoch nicht unabhängig entscheiden, was als fair gilt – diese Frage bleibt eine gesellschaftliche. Während einige Wissenschaftler ein föderiertes System vorschlagen, in dem verschiedene Länder und Kulturen eigene Fairness-Definitionen für KI festlegen, bleibt das Problem komplex.
Sandra Wachter von der Universität Oxford bringt es auf den Punkt: „Die Vorstellung, dass Technik von sich aus fair sein kann, ist ein Märchen.“ Letztendlich ist Fairness keine rein technische Frage, sondern ein laufender gesellschaftlicher Aushandlungsprozess. Doch mit besseren Benchmarks könnten Entwickler in Zukunft immerhin vermeiden, dass KI ungewollt neue Formen der Diskriminierung schafft.