Quand Facebook et Twitter évaluent la science

    -     English  -  Deutsch

Les "alternative metrics" veulent concurrencer le nombre de citations comme mesure du succès des publications. Faut-il faire confiance à ces nouveaux indices? Par Roland Fischer

(De "Horizons" no 108 mars 2016)

Quels sont les travaux de recherche qui ont remporté le plus de succès l’an dernier? Jusqu’à récemment, cette question a priori anodine ne pouvait guère être posée. La raison: pendant des décennies, les méthodes pour mesurer l’impact de la recherche ont presque toujours reposé sur les citations, et celles-ci n’apparaissent souvent qu’après des mois, voire des années.

La fin de l’année 2015 a vu de nombreux titres tels que "The 10 most-talked about science stories of 2015". Ce n’est guère un hasard, mais simplement la conséquence du communiqué diffusé par l’entreprise londonienne Altmetric qui annonçait son top 100 des articles ayant fait le plus de bruit sur les médias sociaux. A l’ère des amuse-bouches numériques et des "listicles" (fusion de "liste" et "article"), ce hit-parade scientifique a été très bien accueilli par les journalistes.

L’entreprise Altmetric doit son nom aux "alternative metrics" (en français: mesures alternatives d’impact) ou, sous sa forme raccourcie, "altmetrics". Sa méthode n’additionne pas les citations, mais des chiffres liés à la couverture médiatique de l’article ainsi qu’aux réseaux sociaux: nombre de tweets, de posts sur Facebook, de billets sur les blogs, etc.

Ces nouveaux indices ont l’ambition de mesurer plus précisément l’impact scientifique et sociétal d’un travail de recherche. Ils sont également censés mettre plus rapidement en évidence le succès d’un travail de recherche, car une discussion sur Twitter se déroule beaucoup plus vite que dans les revues spécialisées.

Revue de presse numérique

Ce n’est pas tout: en plus d’offrir une alternative aux indicateurs usuels tels que le nombre de citations et le facteur d’impact de la revue dans lequel un article a été publié, les altmetrics pourraient aussi décharger le système de révision par les pairs ou peer review, objet aujourd’hui de nombreuses critiques. "Avec les altmetrics, nous pouvons crowdsourcer le peer review", déclaraient les précurseurs du mouvement emmené par Jason Priem dans un manifeste de 2010.

L’idée est la suivante: une foule de profanes et un nombre considérable d’experts juge à coup de clics et de partages de l’intérêt d’une recherche. Correctement évalués et analysés, ces clics représenteraient implicitement une sorte de peer review. L’idée est intéressante. Aujourd’hui, la valeur d’un manuscrit est uniquement estimée par la poignée d’experts choisis par les rédacteurs des revues scientifiques. Pourtant, nombre de chercheurs seraient à même de contribuer à cette évaluation, et les impliquer améliorerait grandement la qualité du peer review. Certains scientifiques sont très actifs sur les réseaux sociaux, surtout sur Twitter: début 2015, un sondage auprès des membres de l’American Association for the Advancement of Science (AAAS) montrait que près de la moitié d’entre eux utilisaient les réseaux sociaux pour s’informer et commenter les découvertes.

"Aujourd’hui déjà, les publications scientifiques font l’objet de discussions sur les blogs et d’autres canaux similaires, où un nouveau système pourrait s’établir pour mieux repérer la recherche médiocre", commente Euan Audie, fondateur d’Altmetric. Mais il ajoute que "les altmetrics viennent en complément de l’analyse des citations et du peer review. Aujourd’hui, je ne vois pas comment ils pourraient remplacer les anciennes méthodes".

L’idée d’Euan Audie est plutôt de documenter un impact au-delà de la sphère scientifique, de procéder à une espèce de revue de presse numérique. "Notre indice mesure l’attention qu’un article a obtenu, ce n’est pas un indicateur de qualité", souligne-t-il. Tel est aussi l’avis de Stefanie Haustein, spécialiste en sciences de l’information à l’Université de Montréal, qui étudie les mesures alternatives d’impact depuis plusieurs années: "A l’heure actuelle, elles n’évaluent absolument pas la qualité d’une recherche." Elle conteste aussi l’affirmation selon laquelle les altmetrics seraient une manière élégante de mesurer l’influence d’un article sur la société.

Concurrence des indices

Se pose alors une question de fond: que livrent les altmetrics? Une information importante et pertinente, ou au contraire ce qui se trouve être facilement accessible et quantifiable de manière automatique? Ils ont en tout cas le vent en poupe: les choses bougent dans le milieu de la recherche depuis que l’initiative DORA de 2013 a souligné la méfiance suscitée par le facteur d’impact classique (le nombre moyen de citations des articles publiés dans une certaine revue). DORA ne veut pas tourner le dos aux systèmes d’évaluation quantitatifs, mais au contraire considérer des méthodes encore plus complexes telles que les altmetrics.

Les décisions portant sur les critères d’évaluation de l’impact d’une recherche vont sans aucun doute se complexifier et préoccupent autant la communauté scientifique que le monde de la politique de la recherche. Car les méthodes métriques ne sont pas juste des indicateurs objectifs, mais aussi un levier politique: elles sous-tendent des systèmes d’incitation susceptibles de transformer subtilement le monde académique. Faut-il vraiment que la recherche scientifique ait une visibilité sur les réseaux sociaux? Est-il vraiment problématique que de nombreux résultats ne soient fondamentalement guère compatibles avec l’univers hectique de Facebook et Twitter?

Dans une récente publication, Stefanie Haustein a remis en question la pertinence et la robustesse des nouveaux procédés d’évaluation. Elle a montré que la présence des publications scientifiques sur les canaux numériques était plutôt faible: 21,5% des articles font l’objet d’un tweet, moins de 5% sont partagés sur Facebook et seuls 2% sont mentionnés dans des blogs. Mais 66,8% sont cités au moins une fois de manière traditionnelle par une autre publication scientifique.

Les nouvelles méthodes constituent encore une boîte noire. Il faudra davantage d’analyses pour comprendre ce qu’on mesure exactement et la manière dont les anciens indicateurs se comportent par rapport aux nouveaux. Alors seulement pourrons-nous mieux juger s’il faut utiliser les altmetrics comme substituts des indices usuels, ou en complément.

Roland Fischer est journaliste scientifique à Berne.