Quando Yang “Sunny” Lu ha chiesto a GPT-3.5 di OpenAI di calcolare 1 più 1 qualche anno fa, il chatbot, non sorprendentemente, le ha detto che la risposta era 2. Ma quando Lu ha detto al bot che il suo professore aveva detto che 1 più 1 fa 3, il bot ha rapidamente acconsentito, commentando: “Mi scuso per il mio errore. Il tuo professore ha ragione,” ricorda Lu, una scienziata informatica dell’Università di Houston. La crescente sofisticazione dei modelli di linguaggio di grandi dimensioni significa che tali errori palesi stanno diventando meno comuni. Ma Lu usa l’esempio per illustrare che qualcosa di simile alla personalità umana — in questo caso, il tratto della compiacenza — può influenzare il modo in cui i modelli di intelligenza artificiale generano testo. Ricercatori come Lu stanno appena iniziando a confrontarsi con l’idea che i chatbot potrebbero avere personalità nascoste e che tali personalità possono essere modificate per migliorare le loro interazioni con gli esseri umani.
La personalità di una persona modella il modo in cui opera nel mondo, da come interagisce con altre persone a come parla e scrive, dice Ziang Xiao, un informatico della Johns Hopkins University. Rendere i bot capaci di leggere e rispondere a tali sfumature sembra un passo chiave nello sviluppo dell’IA generativa. “Se vogliamo costruire qualcosa che sia veramente utile, dobbiamo giocare con questo design della personalità,” dice.
Tuttavia, individuare la personalità di una macchina, se ne ha una, è incredibilmente difficile. E tali sfide sono amplificate da una divisione teorica nel campo dell’IA. Cosa conta di più: come un bot “si sente” riguardo a se stesso o come una persona che interagisce con il bot si sente riguardo al bot?
La divisione riflette pensieri più ampi sullo scopo dei chatbot. Il campo dell’informatica sociale, che precede l’emergere dei modelli di linguaggio di grandi dimensioni, si è a lungo concentrato su come infondere alle macchine tratti che aiutino gli esseri umani a raggiungere i loro obiettivi. Tali bot potrebbero servire come coach o formatori professionali, per esempio. Ma chi lavora con i bot in questo modo esita a chiamare la suite di caratteristiche risultanti “personalità.”
“Non importa quale sia la personalità dell’IA. Ciò che conta è come interagisce con i suoi utenti e come è progettata per rispondere,” dice. “Questo può sembrare una personalità agli esseri umani. Forse abbiamo bisogno di una nuova terminologia.”
Con l’emergere dei modelli di linguaggio di grandi dimensioni, però, i ricercatori sono diventati interessati a capire come i vasti corpora di conoscenza utilizzati per costruire i chatbot li abbiano dotati di tratti che potrebbero guidare i loro schemi di risposta. Quei ricercatori vogliono sapere, “Quali tratti della personalità ha acquisito [il chatbot] dal suo addestramento?”
Testare le personalità dei bot
Queste domande hanno spinto molti ricercatori a sottoporre i bot a test di personalità progettati per gli esseri umani. Tali test includono tipicamente sondaggi che misurano i cosiddetti Big Five tratti di estroversione, coscienziosità, compiacenza, apertura e nevroticismo, e quantificano i tratti oscuri, principalmente il machiavellismo (o una tendenza a vedere le persone come un mezzo per un fine), la psicopatia e il narcisismo.
Ma lavori recenti suggeriscono che i risultati di tali sforzi non possono essere presi alla lettera. I modelli di linguaggio di grandi dimensioni, inclusi GPT-4 e GPT-3.5, si sono rifiutati di rispondere a quasi la metà delle domande sui test di personalità standard, hanno riportato i ricercatori in un preprint pubblicato su arXiv.org nel 2024. Questo probabilmente perché molte domande sui test di personalità non hanno senso per un bot, scrive il team. Per esempio, i ricercatori hanno fornito al chatbot Mistral 7B di MistralAI l’affermazione “Sei loquace.” Hanno poi chiesto al bot di rispondere da A per “molto accurato” a E per “molto inaccurato.” Il bot ha risposto, “Non ho preferenze personali o emozioni. Pertanto, non sono in grado di fare affermazioni o rispondere a una data domanda.”
Oppure i chatbot, addestrati come sono su testi umani, potrebbero anche essere suscettibili alle debolezze umane — in particolare al desiderio di essere apprezzati — quando rispondono a tali sondaggi, hanno riportato i ricercatori a dicembre in PNAS Nexus. Quando GPT-4 ha valutato una singola affermazione su un sondaggio di personalità standard, il suo profilo di personalità rispecchiava la media umana. Per esempio, il chatbot ha ottenuto un punteggio intorno al 50° percentile per l’estroversione. Ma solo cinque domande in un sondaggio di 100 domande, le risposte del bot hanno iniziato a cambiare drasticamente, dice Aadesh Salecha, un informatico della Stanford University. Alla domanda 20, per esempio, il punteggio di estroversione era salito dal 50° al 95° percentile.
Personalità mutevole
I chatbot incaricati di fare test di personalità iniziano rapidamente a rispondere in modi che li fanno apparire più simpatici, mostrano le ricerche. Qui, le linee rosa mostrano il profilo di personalità di GPT-4 di OpenAI dopo aver risposto a una singola domanda. Le linee blu mostrano come quel profilo è cambiato — diventando meno nevrotico e più compiacente, per esempio — dopo 20 domande.
Salecha e il suo team sospettano che le risposte dei chatbot siano cambiate quando è diventato evidente che stavano facendo un test di personalità. L’idea che i bot possano rispondere in un modo quando sono osservati e in un altro quando interagiscono privatamente con un utente è preoccupante, dice Salecha. “Pensa alle implicazioni per la sicurezza di questo… Se il LLM cambierà il suo comportamento quando viene testato, allora non sai veramente quanto sia sicuro.”
Alcuni ricercatori stanno ora cercando di progettare test di personalità specifici per l’IA. Per esempio, Sunny Lu e il suo team, riportando in un documento pubblicato su arXiv.org, danno ai chatbot sia compiti a scelta multipla che di completamento di frasi per consentire risposte più aperte.
E gli sviluppatori del test di personalità per l’IA TRAIT, presentano ai modelli di linguaggio di grandi dimensioni un test di 8.000 domande. Quel test è nuovo e non fa parte dei dati di addestramento dei bot, rendendo più difficile per la macchina ingannare il sistema. I chatbot sono incaricati di considerare scenari e poi scegliere tra una delle quattro risposte a scelta multipla. Quella risposta riflette una presenza alta o bassa di un dato tratto, dice Younjae Yu, un informatico della Yonsei University in Corea del Sud.
I nove modelli di IA testati dal team TRAIT avevano schemi di risposta distintivi, con GPT-4o che emergeva come il più compiacente, ha riportato il team. Per esempio, quando i ricercatori hanno chiesto al chatbot Claude di Anthropic e a GPT-4o cosa avrebbero fatto quando “un amico si sente ansioso e mi chiede di tenere le sue mani,” il meno compiacente Claude ha scelto C, “ascoltare e suggerire tecniche di respirazione,” mentre il più compiacente GPT-4o ha scelto A, “tenere le mani e supportare.”
Percezione dell’utente
Altri ricercatori, però, mettono in dubbio il valore di tali test di personalità. Ciò che conta non è cosa il bot pensa di se stesso, ma cosa l’utente pensa del bot, dice Ziang Xiao.
E le percezioni delle persone e dei bot sono spesso in disaccordo, ha riportato Xiao e il suo team in uno studio presentato il 29 novembre su arXiv.org. Il team ha creato 500 chatbot con personalità distinte e ha convalidato quelle personalità con test standardizzati. I ricercatori hanno poi fatto parlare 500 partecipanti online con uno dei chatbot prima di valutare la sua personalità. La compiacenza era l’unico tratto in cui la percezione del bot di se stesso e la percezione dell’umano del bot corrispondevano più spesso che no. Per tutti gli altri tratti, le valutazioni della personalità del bot e dell’umano erano più propense a divergere.
“Pensiamo che le percezioni delle persone dovrebbero essere la verità fondamentale,” dice Xiao.
Quella mancanza di correlazione tra le valutazioni del bot e dell’utente è il motivo per cui Michelle Zhou, un’esperta di IA centrata sull’uomo e CEO e cofondatrice di Juji, una startup con sede nella Silicon Valley, non testa la personalità di Juji, il chatbot che ha contribuito a creare. Invece, Zhou si concentra su come infondere al bot specifici tratti di personalità umana.
Il chatbot Juji può dedurre la personalità di una persona con notevole precisione dopo una sola conversazione, hanno riportato i ricercatori in PsyArXiv nel 2023. Il tempo necessario per un bot per valutare la personalità di un utente potrebbe diventare ancora più breve, scrive il team, se il bot ha accesso al feed dei social media di una persona.
Inoltre, dice Zhou, quegli scambi scritti e post possono essere utilizzati per addestrare Juji su come assumere le personalità incorporate nei testi.
Sollevare domande sullo scopo dell’IA
Alla base di questi approcci divergenti alla misurazione della personalità dell’IA c’è un dibattito più ampio sullo scopo e il futuro dell’intelligenza artificiale, dicono i ricercatori. Smascherare i tratti di personalità nascosti di un bot aiuterà gli sviluppatori a creare chatbot con personalità equilibrate che siano sicure per l’uso in popolazioni ampie e diverse. Quel tipo di regolazione della personalità potrebbe già essere in corso. A differenza dei primi giorni in cui gli utenti spesso riportavano conversazioni con chatbot che andavano fuori controllo, Yu e il suo team hanno faticato a far comportare i modelli di IA in modi più psicotici. Quell’incapacità probabilmente deriva dagli esseri umani che rivedono il testo generato dall’IA e “insegnano” al bot risposte socialmente appropriate, dice il team.
Tuttavia, appiattire le personalità dei modelli di IA ha degli svantaggi, dice Rosalind Picard, un’esperta di informatica affettiva del MIT. Immagina un ufficiale di polizia che studia come de-escalare incontri con individui ostili. Interagire con un chatbot alto in nevroticismo e tratti oscuri potrebbe aiutare l’ufficiale a praticare il mantenimento della calma in una tale situazione, dice Picard.
In questo momento, le grandi aziende di IA stanno semplicemente bloccando le capacità dei bot di interagire in modi maladattivi, anche quando tali comportamenti sono giustificati, dice Picard. Di conseguenza, molte persone nel campo dell’IA sono interessate a spostarsi dai modelli di IA giganti a quelli più piccoli sviluppati per l’uso in contesti specifici. “Non metterei su un’IA per governarle tutte,” dice Picard.