Können Maschinen Lügen erkennen? Ein italienisches Forschungsteam hat es geschafft, ein Open-Source-Sprachmodell von Google als Lügendetektor zu verwenden.
Das Team um Riccardo Loconte von der IMT School for Advanced Studies in Lucca hat das Sprachmodell FLAN-T5 mittels Finetuning so angepasst, dass es Lügen erkennen kann. Ihre Studie, veröffentlicht in den Scientific Reports, zeigt, dass das Modell eine Erkennungsrate von 80 Prozent erreicht – eine Leistung, die oft mit aktuellen State-of-the-Art-Verfahren mithalten oder sie sogar übertreffen kann.
Die Größe des Sprachmodells und die Menge der Trainingsdaten erwiesen sich als entscheidend für die Erkennungsrate. Je größer das Modell und je umfangreicher die Daten, desto besser die Ergebnisse. Das Forschungsteam verwendete drei spezielle Datensätze: „Deceptive Opinions“ mit persönlichen Meinungen, „Hippocorpus“ mit echten und erfundenen autobiografischen Erlebnissen und „Intention“ mit Aussagen über zukünftige Absichten.
Im Vergleich zu herkömmlichen Verfahren, die auf psychologischen Theorien wie der Undeutsch-Hypothese basieren, zeigte sich FLAN-T5 in vielen Fällen überlegen. Diese Hypothesen besagen unter anderem, dass Lügner dazu neigen, sich von ihren Aussagen zu distanzieren oder weniger sensorische Details zu liefern. Während traditionelle Software-Tools subjektiv bleiben, konnte FLAN-T5 automatisiert und objektiv arbeiten.
Jedoch hat die Studie auch Schwächen aufgedeckt. So konnte das Modell nicht generalisieren, wenn es mit neuen, unbekannten Datensätzen konfrontiert wurde. Zudem wurde festgestellt, dass die spezifischen Merkmale für Lügen in den verschiedenen Datensätzen stark voneinander abwichen. Damit fehlt dem Modell ein universelles Muster zur Lügenentdeckung.
Für den praktischen Einsatz gibt es ebenfalls Einschränkungen. Die Datensätze bestanden aus vollständig wahren oder vollständig gelogenen Texten, was realitätsferne Bedingungen darstellt. In der Realität mischen sich Lügen oft mit wahren Aussagen, und die Motivation zum Lügen variiert stark.