Après avoir montré comment les grands modèles de langage (LLM) peuvent "deviner" l’état mental à partir de messages en ligne ou même rivaliser avec des psychiatres experts en matière de précision diagnostique, le laboratoire REMEDI (REthinking MEntal health through Clinical and Data Intelligence), qui fait partie de l’Institut Eulero de l’USI, signe maintenant une nouvelle étude dans Nature’ s Scientific Reports qui soulève une question radicale : les tests psychologiques mesurent-ils vraiment ce que nous pensons qu’ils mesurent ? L’étude, rédigée par Antonietta Mira (professeur titulaire à la faculté d’économie de l’USI), Andrea Raballo (professeur titulaire de psychiatrie à la faculté des sciences biomédicales de l’USI et directeur de la recherche et de la formation académique à l’Institut Eulero), a été publiée dans Nature Scientific Reports et a fait l’objet d’une publication.Organizzazione Socio-psichiatrica Cantonale (OSC)), avec Federico Ravenda (USI), Antonio Preti (Université de Turin) et Michele Poletti (IRCCS-AUSL Reggio Emilia), s’inscrit dans la continuité des recherches déjà présentées au cours des derniers mois et en élargit résolument la portée scientifique.
La nouvelle étude introduit une perspective innovante : les grands modèles linguistiques (LLM) peuvent prédire à l’avance la corrélation entre les questions d’un questionnaire psychologique, en se basant uniquement sur leur similarité linguistique. Cela suggère que ce que les questionnaires "mesurent" ne dépend pas seulement des réponses des personnes, mais est déjà partiellement inscrit dans la formulation des questions elles-mêmes.
Grâce à des analyses menées sur des instruments reconnus - tels que le Big Five Personality et le DASS-42 - l’équipe a montré que les items les plus proches sémantiquement sont, dans la plupart des cas, également les plus corrélés empiriquement : dans 95 % des cas pour le DASS et dans 82 % des cas pour le Big Five. La structure des tests semble donc émerger non seulement des données collectées, mais aussi de leur architecture linguistique.
Sur cette base, les chercheurs ont développé PsychoLLM, une architecture qui utilise exclusivement la sémantique des items pour prédire les réponses à des instruments cliniques standards tels que le GAD-7 et le PHQ-9’oeLe modèle a atteint une précision de 70 % dans la prédiction des réponses à une échelle par rapport à l’autre, montrant le pouvoir prédictif des relations linguistiques entre les questions.
L’étude met en évidence une conséquence épistémologique majeure : la sémantique des questions peut influencer les mesures psychologiques bien plus que ce que l’on suppose traditionnellement. Cela a des implications majeures pour la construction des questionnaires, l’évaluation de la qualité des données et l’interprétation correcte des résultats. L’équipe souligne également la nécessité d’étudier si ces effets sont également présents dans d’autres langues et d’autres contextes culturels, étant donné que les structures linguistiques et les styles de réponse peuvent varier de manière significative.
Pour plus d’informations, voir l’article publié dans Scientific Reports, ainsi que les deux articles précédents de l’USI sur des travaux connexes : l’un sur la psychométrie et l’IA et l’autre sur les traits de personnalité et l’intelligence artificielle.
