Medizinische Chatbots gelten als Hoffnungsträger – doch wie verlässlich sind sie wirklich?
Eine aktuelle Studie des renommierten MIT zeigt, dass medizinische KI-Chatbots deutlich anfälliger für Eingabefehler sind, als bisher angenommen. Schon kleine Tippfehler oder informelle Sprache können dazu führen, dass Patientinnen und Patienten falsche Empfehlungen erhalten. In einem so sensiblen Bereich wie der Medizin ist das alarmierend.
Die Forscher testeten Chatbots wie GPT-4 mit tausenden leicht veränderten Nachrichten, die typische Alltagssprache enthielten – also genau so, wie echte Menschen Anfragen formulieren würden. Das Resultat: Sobald Unsauberkeiten in der Eingabe auftauchten, stieg die Zahl der fehlerhaften Ratschläge spürbar an. Besonders kritisch: Frauen erhielten auffällig häufiger die Empfehlung, sich zu Hause selbst zu versorgen – auch dann, wenn eine medizinische Behandlung dringend nötig gewesen wäre.
Das Team warnt eindringlich: Wer bei der Bewertung von KI nur auf korrekte Antworten im statistischen Mittel schaut, übersieht gefährliche Einzelfälle – und diese können im Ernstfall fatale Folgen haben.
Die Ursache liegt laut den Forschenden auf der Hand: Medizinische Chatbots werden mit normierten Prüfungstexten trainiert, stoßen im Alltag aber auf ganz andere Sprachmuster. Genau diese Kluft zwischen Training und Realität will das MIT nun weiter erforschen – etwa, wie KI mit Sprache bestimmter Bevölkerungsgruppen umgeht oder wie sie Rückschlüsse auf das Geschlecht zieht.
Fazit: Auch wenn KI-Chatbots enormes Potenzial haben – ihr Einsatz in der Medizin muss sorgfältig geprüft und weiterentwickelt werden.