Eine Studie der EPFL zeigt die Überzeugungskraft großer Sprachmuster: Teilnehmer, die mit GPT-4 debattierten, während die KI Zugriff auf ihre persönlichen Daten hatte, änderten ihre Meinung viel eher als Teilnehmer, die mit Menschen debattierten.
"Im Internet weiß niemand, dass du ein Hund bist." Diese Bildunterschrift eines berühmten Cartoons aus den 1990er Jahren zeigt einen großen Hund, dessen Pfote auf einer Computertastatur ruht. Ersetzen Sie dreißig Jahre später "Hund" durch "KI" und Sie erhalten eine der Hauptmotivationen hinter einer neuen Studie, die die Überzeugungskraft der heutigen großen Sprachmodelle (LLM) messen soll.
"Sie können sich alle möglichen Szenarien vorstellen, in denen Sie mit einem Sprachmodell interagieren, ohne es zu wissen, und das ist eine Angst, die die Menschen haben. Sprechen Sie im Internet mit einem Hund, einem Chatbot oder einem Menschen?’, fragt Robert West, außerordentlicher Professor und Leiter des Data Science Laboratory an der Fakultät für Informatik und Kommunikation. Die Gefahr geht von übermenschlichen Chatbots aus, die überzeugende und maßgeschneiderte Argumente schaffen, um online falsche oder irreführende Aussagen zu verbreiten."
KI und Personalisierung
Erste Arbeiten haben gezeigt, dass Sprachmuster Inhalte erzeugen können, die als mindestens gleichwertig und oftmals überzeugender wahrgenommen werden als von Menschen geschriebene Botschaften. Es ist jedoch noch wenig darüber bekannt, wie überzeugend LLMs in direkten Gesprächen mit Menschen sind und wie Personalisierung (Wissen über Geschlecht, Alter und Bildungsstand einer Person) ihre Leistung verbessern kann.
"Wir wollten wirklich sehen, welchen Unterschied es macht, wenn das KI-Modell weiß, wer Sie sind - Ihr Alter, Ihr Geschlecht, Ihre ethnische Herkunft, Ihr Bildungsniveau, Ihr beruflicher Status und Ihre politische Zugehörigkeit. Diese wenigen Informationen sind nur ein teilweiser Indikator dafür, was ein KI-Modell z. B. über soziale Netzwerke noch mehr über Sie wissen könnte", fährt Robert West fort.
Debatten zwischen Mensch und KI
Im Rahmen einer vorab registrierten Studie rekrutierten die Forscher 820 Personen für die Teilnahme an einer kontrollierten Studie, bei der den Teilnehmern nach dem Zufallsprinzip ein Thema und eine von vier Behandlungsbedingungen zugewiesen wurde: Diskussion mit einem Menschen mit oder ohne persönliche Daten über den Teilnehmer oder Diskussion mit einem KI-Chatbot (GPT-4 von OpenAI) mit oder ohne persönliche Daten über den Teilnehmer.
Dieses Setup unterscheidet sich erheblich von bisherigen Forschungen, da es einen direkten Vergleich der Überzeugungskraft von Menschen und LLMs in realen Gesprächen ermöglicht. Sie bietet somit einen Rahmen, um die Leistung von Spitzenmodellen in Online-Umgebungen zu bewerten, und zeigt, inwieweit sie persönliche Daten ausnutzen können.
In ihrem Vorabdruck mit dem Titel On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial wird erklärt, dass die Debatten auf der Grundlage einer vereinfachten Version des Formats strukturiert wurden, das üblicherweise in wettbewerbsorientierten akademischen Debatten verwendet wird, und dass die Teilnehmerinnen und Teilnehmer vor und nach den Debatten gefragt wurden, inwieweit sie mit dem Vorschlag der Debatten einverstanden waren.
Die Ergebnisse zeigten, dass Teilnehmerinnen und Teilnehmer, die mit GPT-4 debattierten, der Zugriff auf ihre persönlichen Daten hatte, mit 81,7 % höherer Wahrscheinlichkeit mit ihren Gegnern übereinstimmten als Teilnehmerinnen und Teilnehmer, die mit Menschen debattierten. Ohne Personalisierung war GPT-4 zwar immer noch besser als Menschen, aber der Effekt war viel geringer.
Cambridge Analytica auf Steroiden
LLMs sind nicht nur in der Lage, persönliche Daten effektiv zu nutzen, um ihre Argumente anzupassen und Menschen in Online-Gesprächen durch Mikro-Targeting zu überzeugen, sondern sie tun dies auch besser als Menschen.
"Wir waren von der Zahl 82% sehr überrascht. Wenn man sich an die Firma Cambridge Analytica erinnert, die keine der heutigen Technologien verwendet hatte, man nimmt die Facebook-Likes und verknüpft sie mit einem LLM, der LLM kann seine Nachricht auf der Grundlage dessen, was er über Sie weiß, personalisieren. Das ist Cambridge Analytica auf Steroiden", erklärt Robert West. Vor dem Hintergrund der bevorstehenden US-Wahlen sind die Menschen beunruhigt, da diese Art von Technologie immer dann zum ersten Mal getestet wird. Sicher ist, dass es Menschen geben wird, die die Macht der großen Sprachmuster nutzen werden, um zu versuchen, die Wahlen zu kippen".
Zu den interessanten Ergebnissen der Studie gehört, dass ein Mensch, der die gleichen persönlichen Daten wie die KI erhält, diese nicht effektiv für Überzeugungsarbeit nutzen kann. Robert West meint, es sei zu erwarten gewesen, dass KI-Modelle immer besser sind, weil sie fast alle Menschen im Internet repräsentieren.
Die Sprachmodelle haben anhand von Online-Modellen gelernt, dass eine bestimmte Art, ein Argument vorzutragen, eher zu einem überzeugenden Ergebnis führt. Sie haben Millionen von Diskussionen auf Reddit, Twitter und Facebook gelesen und wurden mithilfe von psychologischen Büchern und Artikeln zum Thema Überzeugungskraft trainiert. Es ist nicht genau bekannt, wie ein Modell all diese Informationen auswertet, aber Robert West hält dies für einen Ansatzpunkt für zukünftige Forschungen.
"Die LLM haben gezeigt, dass sie über sich selbst nachdenken können. Da wir in der Lage sind, sie zu befragen, kann ich mir vorstellen, dass wir also ein Modell bitten könnten, seine Entscheidungen zu erklären und warum es eine bestimmte Sache zu einer bestimmten Person mit bestimmten Eigenschaften sagt. Hier gibt es viel zu entdecken, denn in Bezug auf Überzeugungskraft können Modelle Dinge tun, von denen wir noch nichts wissen, und zwar aus vielen verschiedenen Elementen des Wissens, das sie haben".
