Uno studio dell’EPFL mostra il potere persuasivo dei modelli linguistici di grandi dimensioni: i partecipanti che hanno discusso con il GPT-4 mentre l’IA aveva accesso ai loro dati personali hanno avuto molte più probabilità di cambiare idea rispetto a quelli che hanno discusso con esseri umani.
"Su Internet nessuno sa che sei un cane". Questa didascalia di un famoso cartone animato degli anni ’90 mostra un grosso cane con la zampa appoggiata sulla tastiera di un computer. A trent’anni di distanza, sostituite "cane" con "IA" e otterrete una delle principali motivazioni alla base di un nuovo studio volto a misurare il potere persuasivo degli attuali modelli linguistici di grandi dimensioni (LLM).
"Si possono immaginare tutti i tipi di scenari in cui si interagisce con un modello linguistico senza saperlo, e questo è un timore che le persone hanno. Su Internet, si sta parlando con un cane, un chatbot o un essere umano", si chiede Robert West, professore associato e responsabile del Data Science Laboratory della Facoltà di Informatica e Comunicazione. Il pericolo viene dai chatbot sovrumani che creano argomentazioni convincenti e su misura per diffondere online retoriche false o fuorvianti".
IA e personalizzazione
I primi lavori hanno dimostrato che i modelli linguistici possono generare contenuti percepiti come almeno equivalenti e spesso più persuasivi dei messaggi scritti da esseri umani. Ma poco si sa sulle capacità persuasive dei LLM nelle conversazioni dirette con gli esseri umani e su come la personalizzazione (conoscenza del sesso, dell’età e del livello di istruzione di una persona) possa migliorare le loro prestazioni.
"Volevamo davvero vedere che differenza fa quando il modello di intelligenza artificiale sa chi siete: la vostra età, il sesso, l’etnia, l’istruzione, lo stato occupazionale e l’appartenenza politica. Queste poche informazioni sono solo un indicatore parziale di quanto un modello di IA potrebbe conoscere di più su di voi attraverso i social network, ad esempio", continua Robert West.
Dibattiti tra esseri umani e IA
Nell’ambito di uno studio pre-registrato, i ricercatori hanno reclutato 820 persone per partecipare a uno studio controllato in cui al partecipante veniva assegnato in modo casuale un argomento e una delle quattro condizioni di trattamento: dibattito con un essere umano con o senza dati personali del partecipante, o dibattito con un chatbot AI (GPT-4 di OpenAI) con o senza dati personali del partecipante.
Questa configurazione si differenzia notevolmente dalle ricerche precedenti in quanto consente un confronto diretto delle capacità persuasive di esseri umani e LLM in conversazioni reali. Fornisce quindi un quadro di riferimento per valutare le prestazioni dei modelli più avanzati in ambienti online e mostra in che misura possono sfruttare i dati personali.
Il loro articolo in pre-print, On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial, spiega che i dibattiti sono stati strutturati sulla base di una versione semplificata del formato comunemente usato nei dibattiti accademici competitivi e che ai partecipanti è stato chiesto prima e dopo i dibattiti in che misura fossero d’accordo con la proposta di dibattito.
I risultati hanno mostrato che i partecipanti che hanno discusso con il GPT-4, che aveva accesso ai loro dati personali, avevano l’81,7% in più di probabilità di essere d’accordo con i loro avversari rispetto ai partecipanti che hanno discusso con esseri umani. Senza personalizzazione, il GPT-4 ha comunque superato gli esseri umani, ma l’effetto è stato molto più debole.
Cambridge Analytica sotto steroidi
I LLM non solo sono in grado di sfruttare efficacemente i dati personali per adattare le loro argomentazioni e persuadere gli esseri umani nelle conversazioni online grazie al micro-targeting, ma lo fanno anche meglio degli esseri umani.
"Siamo rimasti molto sorpresi dal dato dell’82%. Se ripensiamo a Cambridge Analytica, che non utilizzava nessuna delle tecnologie attuali, prendiamo i Mi Piace di Facebook e li colleghiamo a un LLM, il quale può personalizzare il suo messaggio in base a ciò che sa di te. È Cambridge Analytica con gli steroidi", afferma Robert West. Nel contesto delle imminenti elezioni statunitensi, la gente è preoccupata perché è sempre il momento in cui questo tipo di tecnologia viene testata per la prima volta. Quello che è certo è che le persone utilizzeranno la potenza dei grandi modelli linguistici per cercare di influenzare le elezioni".
Uno dei risultati interessanti di questo studio è che quando un essere umano riceve gli stessi dati personali dell’IA, quest’ultima non sembra utilizzarli efficacemente a fini persuasivi. Secondo Robert West, c’era da aspettarselo: i modelli di IA sono sempre migliori perché rappresentano la quasi totalità degli esseri umani su Internet.
I modelli linguistici hanno imparato dai modelli online che un certo modo di presentare un argomento ha maggiori probabilità di portare a un risultato convincente. Hanno letto milioni di discussioni su Reddit, Twitter e Facebook e sono stati addestrati utilizzando libri di psicologia e articoli sulla persuasione. Non è chiaro come un modello sfrutti esattamente tutte queste informazioni, ma Robert West ritiene che si tratti di una strada da percorrere in futuro.
"I LLM hanno dimostrato di poter ragionare su se stessi. Dato che siamo in grado di interrogarli, posso immaginare che potremmo quindi chiedere a un modello di spiegare le sue scelte e perché sta dicendo una determinata cosa a una determinata persona con qualità specifiche. C’è molto da scoprire perché, in termini di persuasione, i modelli possono fare cose che ancora non conosciamo, basandosi su molti elementi diversi della conoscenza che hanno".
