En poursuivant votre navigation sur ce site, vous acceptez l'utilisation de cookies pour vous proposer des services et offres adaptés à vos centres d'intérêt.

En savoir plus
Innovation

Faculty Newsletter #6 - Looking Ahead

01 janvier 2018
Le peer-review à l’ère de l’open science

Lent, coûteux, opaque… le peer-review fait l’objet de fréquentes critiques de la part des chercheurs eux-mêmes, à la fois auteurs et reviewers. Mais dans quelle mesure l’open science peut-elle apporter des réponses à la crise du peer review ? Ces questions ont été discutées lors de la journée d’étude « Le peer-review à l’ère de l’open science », organisée par l’URFIST de Bordeaux le 27 mars dernier. Compte-rendu.

L’abondante littérature sur le peer-reviewing souligne de nombreux écueils : « les biais en faveur d’auteurs issus de prestigieuses institutions ; un traitement inéquitable selon le niveau de maîtrise d’anglais des auteurs ; le risque de privilégier les résultats au détriment de la méthode, l’application de procédures inadaptées à l’évaluation de manuscrits à fort caractère interdisciplinaire ; et plus généralement, une tendance au conservatisme scientifique » (Souder 2011). Par ailleurs, les reviewers sont sur-sollicités par les revues, qui peinent à en trouver et à récupérer les révisions dans des délais raisonnables. « Cette sur-sollicitation d’un nombre restreint de rapporteurs peut nuire à la qualité du processus » (Kovanis et al. 2016). Autre paradoxe : alors que la publication d’articles dans des revues considérées comme prestigieuses reste déterminante dans l’attribution de financements et de promotions, l’activité de reviewing est peu valorisée. En parallèle, se développent des outils qui répondent aux besoins de traçabilité et d’interopérabilité, mais l’évolution à l’œuvre est tout autant culturelle que technique.

Peer Community In : plateforme de révision et de recommandation d’articles preprint

A ce titre, l’exemple de la plateforme Peer Community In (PCI) est emblématique. L’idée ? Reprendre la main sur le système de publications. A l’initiative de trois chercheurs en biologie, Thomas Guillemaud, Denis Bourguet and Benoit Facon, PCI repose sur la publication d’évaluations critiques et de recommandations d’articles non encore publiés, mais déposés – et gratuitement accessibles – sous forme électronique dans des archives ouvertes disponibles sur internet. Ces évaluations et recommandations sont réalisées bénévolement par les chercheurs sans aucun lien avec des éditeurs privés. 

Les frais de publication disparaissent : PCI offre la possibilité de valider, diffuser et consulter gratuitement les articles qui lui sont soumis. Les délais d’accès à l’information sont nuls : les articles scientifiques évalués sont déposés dans les archives ouvertes dès la fin de leur écriture. Le système devient transparent : les critiques, les décisions éditoriales, les réponses des auteurs et les recommandations sont publiées sur le site de la communauté scientifique concernée. Le fait que les révisions soient publiques garantit une bonne qualité du reviewing. Les reviewers peuvent être anonymes, ou pas, et différents des recommandeurs Dans l’immense forêt des preprint non évalués que l’on trouve sur les serveurs d’archives ouvertes, ces articles évalués se distinguent sérieusement de tous les autres. En termes d’évaluation, les révisions soignées disponibles sur la plateforme donnent plus d’information sur l’intérêt scientifique de l’article que l’éventuel facteur d’impact attribué à une revue.

Au final, l’article est « citable », et dispose d’un DOI pour une version donnée. Le fait de déposer un article sur la plateforme Peer Community In n’empêche pas son auteur de le proposer ensuite pour publication dans une revue classique. D’ailleurs certains journaux considèrent que le reviewing a déjà été fait et publient l’article en l’état.

A ce jour, trois communautés existent sur Peer Community In, en biologie, paléontologie, et écologie. Techniquement, la plateforme a été développée par l’INRA, et bénéficie d’autres soutiens institutionnels : les sociétés savantes de ces disciplines, Labex, et la section 29 du CNRS pour ce qui concerne l’évaluation, ce qui est très encourageant, selon les créateurs de PCI (voir la présentation de Peer Community In).

Utiliser Publons… ou pas ?

Publons offre la possibilité aux chercheurs de rendre publiques leurs activités de reviewing. La plateforme est interfacée avec le système d’identification Orcid, afin que l'ensemble de l'activité de recherche d’un chercheur donné soit documenté de manière centralisée. Publons existe depuis 2012 déjà, à l’initiative de chercheurs néo-zélandais. Comme bon nombre de start-ups de la production scientifique, elle a été rachetée en 2017 par un acteur majeur de l’éco-système, Clarivate Analytics (qui possède également le Web of Science). Pour le chercheur, c’est pratique : Publons décerne un « diplôme » recensant toutes les activités de reviewing, que le chercheur peut joindre à son rapport d’activité. Le débat dans la salle s’anime car des chercheurs présents manifestent une réserve de principe quant à l’absorption de Publons par Clarivate Analytics : Publons ressemblerait de plus en plus à ResearchGate où il s’agit plutôt de collecter des données sur les chercheurs et leurs expertises, pour ensuite les vendre aux revues scientifiques. Car si le service est gratuit pour le chercheur, il ne l’est pas pour les journaux partenaires de Publons. Vous pouvez lire à ce sujet les échanges entre les chercheurs présents.

Plus globalement, d’autres pratiques de l’Open Science ont été abordées, comme le modèle Registered reports ou Publication by design, proposé par les Britanniques : la première révision d’un article se fait « seulement » sur la soumission d’une hypothèse introductive et de la méthode utilisée. Les gros éditeurs emboitent le pas et tentent des expériences approchantes, avec notamment les Results Masked Reviews. En management, c’est le cas par exemple du Journal of Vocational Behavior, publié par Elsevier.

Vers l’avenir

Enfin, Didier Torny et David Pontille, dans leur présentation historico-sociologique du peer-reviewing, ont rappelé que le débat sur l’anonymat des reviewers n’est pas nouveau. Les arguments pour ou contre d’aujourd’hui reprennent en partie ceux des années 70. Internet et ses outils ne changent rien au fond du débat : les arguments pour la « bonne science » demeurent les mêmes. Dans cette permanence, la formation des jeunes chercheurs prend tout son sens.  Arnaud Raoux, physicien à l’Ecole Normale Supérieure de Paris a présenté la plateforme Emergent Scientist, ou une initiation par la pratique à la publication scientifique. Emergent Scientist (EmSci) propose un journal open access, créé par la Société Française de Physique et EDP Sciences. Lancé en Septembre 2017, EmSci reprend la structure classique d’un journal à comité de lecture, en adaptant ses procédures et critères d’évaluation pour permettre à des étudiants de publier leurs travaux et de s’impliquer à toutes les étapes du journal, de la lecture à l’édition. Cette revue est un outil pédagogique qui implique les étudiants à toutes les étapes de sa fabrication. Le contenu doit être lisible par des étudiants en licence ou master. 50% des reviewers sont des doctorants ou des post-doc,co-optés par les éditeurs en chef. Ces éditeurs doivent aider les étudiants à finaliser la rédaction de leur article scientifique, de façon à ce que le chercheur en devenir ne regrette pas d'avoir publié cet article quand il sera un chercheur chevronné…

Pour en savoir  plus :


Vous aimerez aussi

Catégories
Innovation Excellence