Eine neue Studie der University of California zeigt: Immer mehr Menschen können GPT-4 von Menschen nicht mehr unterscheiden.
Die Studie, durchgeführt von den Kognitionswissenschaftlern Benjamin Bergen und Cameron Jones, enthüllte faszinierende Ergebnisse über die Fähigkeit von KIs, menschliche Interaktion zu imitieren. Von den knapp 500 Teilnehmern der Online-Simulation auf turingtest.live hielten 54 Prozent das GPT-4-Modell für einen Menschen. Zum Vergleich: Die Vorgängerversion GPT-3.5 erzielte eine Erfolgsquote von 50 Prozent, und das historische Programm Eliza aus dem Jahr 1966 wurde nur von 22 Prozent als menschlich eingestuft.
Im Detail nahmen 402 Personen an der Studie teil, wobei die durchschnittliche Teilnehmerzahl 35 Jahre betrug. Die Teilnehmer wurden zufällig in die Rolle des „Richters“ oder des „Zeugen“ eingeteilt, wobei die „Zeugen“ entweder Menschen, GPT-3.5, GPT-4 oder das Dialogsystem Eliza repräsentierten. Jede Sitzung dauerte fünf Minuten und die Ergebnisse lieferten den ersten soliden empirischen Beweis dafür, dass GPT-4 den interaktiven Turing-Test bestanden hat.
Ein bemerkenswerter Aspekt der Studie war die Anpassung des GPT-4-Befehlssatzes, um es weniger als besserwissend erscheinen zu lassen. Das Modell wurde angewiesen, sich wie ein junger Mensch zu verhalten, der das Spiel nicht allzu ernst nimmt, Umgangssprache verwendet und gelegentlich Rechtschreib- und Grammatikfehler macht. Dies erhöhte die Wahrscheinlichkeit, dass die Teilnehmer die KI für einen Menschen hielten.
Die Forscher analysierten auch die Strategien der Befrager. 36 Prozent der Fragen bezogen sich auf persönliche Details oder tägliche Aktivitäten, 25 Prozent auf soziale und emotionale Aspekte wie Humor und Meinungen. Die häufigsten Entscheidungsgründe (43 Prozent) waren Sprachstil, Rechtschreibung, Grammatik und Tonfall, während 24 Prozent sozioemotionale Faktoren wie Sinn für Humor oder Persönlichkeit als relevant betrachteten. Die Forscher warnten jedoch davor, dass solche Täuschungen durch aktuelle KI-Systeme möglicherweise unentdeckt bleiben könnten. Dies könnte weitreichende wirtschaftliche und soziale Folgen haben, wenn Maschinen erfolgreich Menschen imitieren können.