Évaluation par les pairs : tradition et problématiques

Dans un premier temps, nous souhaitons établir un état de la recherche et du débat existant sur l’évaluation ouverte par les pairs, et ce, dans l’objectif de souligner les aspects pouvant être inclus dans la constitution d’un protocole et de possibles scénarios de mise en pratique.

L’évaluation par les pairs est conçue comme un des principes de la publication scientifique, elle est au centre du processus de production et de diffusion de la recherche et se présente même, pour le cas de la production en sciences humaines et sociales, comme une condition sine qua non de la publication : les retours de l’examen d’une proposition pour publications par des spécialistes compétent·e·s dans le champs disciplinaire de l’auteur·e détermine souvent la destinée de cette proposition (publiable ou non, sous réserve de modifications mineures ou majeures). Cette étape a pour objectif d’assurer la véracité et la qualité scientifique de la proposition, il s’agit de garantir de la la méthodologie et de la cohérence du propos. L’évaluation s’impose ainsi comme un indicateur de qualité de la revue et c’est sur cet examen qu’elle fonde son autorité.

Cependant ce modèle, établi comme un standard de la démarche scientique moderne, demeure dans les faits relativement nouveau :

The myth that scientists adopted peer review broadly and early in the history of science is surprisingly widely believed, despite being false. It’s true that peer review has been used for a long time […]. But in most scientific journals, peer review wasn’t routine until the middle of the twentieth century, a fact documented in historical papers by Burnham, Kronick, and Spier. (Nielsen 2009)

L’usage de l’évaluation par les pairs s’est en effet généralisé relativement récemment, si l’on considère une histoire longue de la publication, soit au millieu de XX^e siècle pour les publications scientifiques (Nielsen 2009). Il est en revanche remarquable de constater que, suite à la généralisation de cette pratique, le mode en simple aveugle a été adopté majoritairement. C’est notamment vis-à-vis de ce mode, qui est un déséquilibre concrêt de l’identification entre deux status scientifiques contextuels², que les débats se concentrent dus aux risques latents, et certainement inévitables, de biais de lecture et de conflits d’intérêts.

La garantie qui est placée au sein de l’évaluation par les pairs n’est pas infaillible et à bien des égards cette garantie et l’autorité qui lui sont assignées apparaissent comme des projection d’un idéal quelque peu conservateur dans ce qu’est ou doit être la recherche et la production scientifique. L’évaluation en tant que validation comporte la question épineuse de l’héritage et d’une reconnaissance par ceux·elles qui constituent les représentant·e·s d’une discipline et les gardien·ne·s de possibles déviances/évolutions. Dans le cas d’une évaluation simple ou double aveugle, la question de l’identité de l’auteur·e du propos apparaît plus épineuse pour la bonne conduite du processus : l’exigence doit-elle être la même entre le premier article d’un·e auteur·e et l’article d’un·e spécialiste confirmé·e ? Les chercheur·e·s émergeant·e·s peuvent-ils·elles prétendre aux mêmes capacités méthodologiques dans la structation de leurs écritures qu’un·e chercheur·e établi·e ? Quel est l’espace de jeu de l’apprentissage dans le processus d’évaluation scientifique ? Le rôle de l’évaluateur·rice est-il celui de porter une réflexion et d’encourager la progression d’une carrière naissante ? Le pendant, la connaissance de l’auteur·e et le mode d’évaluation du cas-par-cas qui semble écarter le problème d’une exigence latérale dans sa radicalité, charrie de plus avec lui les risques de la prétention de qualité apposée au nom.

Si le mode du double-aveugle évacue en apparences les privilèges du nom, son anonymat qui fonde principalement sa renommée n’est qu’idéal. Dans la mesure où le pair est un·e spécialiste du sujet traité par l’auteur·e qui prétend à une expertise analogue, relativement au type de sujet plus ou moins représenté dans la communauté scientifique, mais également conformément à l’insertion de ces deux spécialistes dans les réseaux scientifiques de leur discipline, il est en réalité peu probable que auteur·e·s et évaluateur·rice·s ne se connaissent pas… il est même probable qu’ils se reconnaissent réciproquement compte-tenu de leurs discours et approches scientifiques respectives. La question de l’anonymat semble ainsi concentrer certaines des principales problématiques de l’évaluation par les pairs.

Au-delà de possibles biais de lecture, l’évaluation par les pairs ne constituent pas un maillage infaillible : plusieurs canulars, fraudes, plagiats scientifiques se sont fait les témoins, volontaires ou non, d’une problématique du système d’évaluation³.

En soi, l’évaluation par les pairs présentent les limites de sa pratique dans son ensemble : lenteur, privilège, subjectivité, arbitraire, scepticisme, carriérisme sont des aspects qui sont ceux de possibles disfonctionnements au sein des institutions de savoir et dont ce mode hérite.

Aujourd’hui le constat des problèmes que l’évaluation traditionnelle génère et la volonté de déconstruire les mythes historiques de cette pratique amènent à penser un renouvellement de la pratique ou à envisager une bifurcation vers des modèles alternatifs qui correspondraient davantages aux besoins et usages des revues en sciences humaines et sociales tout en évitant les écarts de lecture. Une de ces alternatives, celle testée dans le cadre des expérimentations éditoriales du projet Revue2.0, est l’évaluation ouverte.

Évaluation ouverte : une alternative en débat

L’évaluation ouverte est bien claire dans sa définition : l’anonymat est abandonné entre l’auteur·e et l’évaluateur·rice. Les débats qui concernent cette alternative contribuent cependant à créer des disparités dans la définition générale, c’est pourquoi nous y revenons rapidement. Nous retenons ici deux définitions :

The whole review process is entirely transparent. Each submitted manuscript is immediately made available on the journal’s website. Reviews and comments from readers are welcomed, and are considered alongside the formal peer reviews solicited from experts by the journal. All the reviews, the author’s responses, and the original and final versions of the article are published, and the appointed reviewers and editors are acknowledged by name in the final version. (Shotton 2012)

Open peer review consists of signed reviews that can be posted on the Internet together with accepted and refused manuscripts and grant proposals. The idea is to have a more transparent process not only in scientific journals but, most of all, in granting organizations. (After all, anyone with enough tenacity can have a paper accepted given the dozens of scientific journals nowadays, but in most countries there are only a few granting agencies.) I defend that transparency and openness must be implemented in scientific journals, granting agencies, job applications, and every single step of the academia. Secrecy forges despotism. Transparency is always the best protection against abuse. (Magalhães 2012)

Si l’ouverture est ci-dessus définie comme permettant une identification réciproque entre l’auteur·e et l’évaluateur·rice, elle implique également, et cela la définit encore davantage, la dynamique du dialogue. Cette idée se propose comme une alternative au processus d’évaluation dans la mesure où elle redéfinit l’évaluation par les pairs en tant que tel : il ne s’agit plus d’une étape s’inscrivant dans un mouvement vertical – hiérarchique – et à sens unique. L’évaluation ouverte prétend à un espace pour un échange scientifique entre spécialiste ou amateur·e d’un sujet, espace qui est alors à même d’inverser une tendance du travail universitaire fondée sur une majorité de travail invisible (Fitzpatrick et Rowe 2010). La transparence ici suppose un processus qui s’incrit plus directement dans un esprit de communauté de savoir (Sauret 2020).

Des expérimentations ont été notamment menées par Kathleen Fitzpatrick, directrice en humanités numérique et professeur d’anglais à l’Université du Michigan, qui s’est demandé ce que deviendrait l’évaluation par les pairs si elle ressemblait davantage à la dynamique d’écritutre et de partage d’écriture du blog, plus proche ainsi de la conversation scientifique (2010).

La dynamique de contrôle de qualité dans cette alternative est alors gérée différemment : à la manière d’open-space, les écritures se trouvent sous le regard des autres, la vérification est alors horizontalement et devient l’affaire de tous·tes. Parce qu’elle déroge notamment à une idée d’une tradition (qui est une fausse ou une relativement jeune tradition), l’alternative de l’évaluation n’est pas admise de façon unanime dans la communauté scientifique : si les problématiques de l’évaluation traditionnelle (ses failles, ses inadaptations aux pratiques actuelles) sont discutées, la solution de l’évaluation ouverte est sujette à des débats parfois clivants dans la communauté scientifique, au vu de conceptions profondes de la recherche et du savoir universitaire.

Parce que la hiérarchie est floutée entre l’auteur·e et l’évaluateur·rice, la question se pose alors de savoir si le terme évaluation est toujours à propos. Sans entrer totalement dans ce débat, il est possible de considérer que si étymologiquement e-valuere consiste à « accorder de la valeur », le nouvel mouvement de l’évaluation ouverte apporte de la valeur au contenu et à l’expérience de réflexion justement par le fait du dialogue. L’estimation d’une valeur est alors déplacée dans une autre dynamique qui n’est plus celle d’une livraison mais celle d’une communication, et ainsi le sens de l’évaluation comme procédure est davantage justifié dans la transmission d’un point de vue que dans la réception d’un état de fait. Dans la mesure d’une évolution de la pratique, il serait également envisageable de renommer le processus sous l’expression de discussion avec les pairs⁴. Le problème de ce terme, dans le cadre des considérations institutionelles actuelles, est peut-être une dévaluation de la formule et ainsi une distinction trop forte entre deux procédures, qui en réalité sont liées par une évolution des pratiques.

L’ouverture de l’évaluation, parce qu’elle implique notamment une accessibilité plus souple pour les relecteur·rice·s au contenu, est souvent associée à la démarche de libre accès du savoir : l’évaluation ouverte présuppose des documents rendus disponibles, mais l’inverse n’est cependant pas vrai comme le montrent des modèles de revues diffusées par Elsevier qui conservent un mode d’accès payant (Suber 2004). C’est justement cette dimension du libre accès, permettant la relecture de plusieurs acteur·rice·s différent·e·s, qui, en plus de comporter le risque de « cannibaliser » les ventes pour les éditeurs (Fitzpatrick 2018)⁵, était un argument à une décrédibilisation du savoir.

On comprend dans la discussion sur cette alternative, l’extension d’un principe qui peut déranger certaines approches : au-delà d’une question d’autorité scientifique, c’est également toute une conception du savoir qui est renouvelée et bouleversée (Guédon 2014; Sauret 2020). L’alternative d’une discussion – préférée à une évaluation sur les approches, les méthodes et résultats engagés – porte l’idée de savoirs pluriels : la science n’est alors plus question de validation et d’ancienneté, mais de discussion et de pluralité épistémologique. Également le savoir devient l’affaire d’une communication entre plusieurs individus où le contrôle des bonnes pratiques est davantage le fait d’un environnement d’écriture⁶.

Si on les compare bel et bien, il s’avère pourtant que l’évaluation traditionnelle et l’évaluation ouverte constituent deux processus de lecture bien différents dans la mesure où dans le cas de l’évaluation traditionnelle, il est demandé à l’évaluateur·rice un examen d’ensemble du document (structure, chronologie du développement, construction de l’argumentaire) en plus d’éléments qui sont plus ouvertement subjectifs (originalité, pertinence, intérêt de la recherche pour le domaine d’étude) ; tandis que dans le cas de l’évaluation ouverte, l’évaluateur·rice lit le document sans une vision holistique, mais dans une démarche plus focalisée [Fitzpatrick interview].

L’évaluation ouverte est ainsi défendue comme permettant :

• un renforcement éthique (évacuant le soucis des conflits d’intérêt) : parce que les critiques et suggestions peuvent être ouvertement discutées : le risque de procéder à des modifications abusives ou superflus, infondées est amoindries
• une possibilité de dialogue : l’auteur·e demeure dans la possibilité de justifier, développer, préciser un propos directement avec son ou sa lecteur·rice
• une ouverture à d’autres retours de la part d’autres scientifiques (Fitzpatrick 2018)
• une perception d’un savoir comme le produit issu d’un processus de dialogues entre les acteurs de la structuration de l’information et les relecteur·rice·s.

L’ouverture de l’évaluation ne présume pas d’une absence d’intermédiaire : comme pour l’évaluation traditionnelle, le comité éditorial contrôle les retours d’évaluation avant de les transmettre à l’auteur·e. Si elle est considérée comme un alternative à l’évaluation traditionnelle, l’évaluation ouverte se différencie moins au regard d’un niveau de scientificité que d’une approche différente du savoir universitaire.

Itinéraires

[en attente]

Sens public

La revue Sens public est une revue créée en 2003 par Gérard Wormer et se définit comme une revue interdisciplinaire et internationale spécialisée en sciences humaines. Sens public est une revue en ligne qui s’est investie dès ses débuts dans la réflexion sur la structuration du savoir dans un environnement numérique. Parce qu’elle valorise la rigueur scientifique et qu’elle s’engage dans le savoir libre et ouvert, la revue édite ses articles via l’outil Stylo qui est un éditeur de texte sémantique développé par la Chaire de recherche du Canada sur les écritures numériques. L’outil, utilisé au départ pour l’édition finale de l’article une fois l’évaluation par les pairs effectuée, entre désormais dans le processus de publication dès le début de la chaîne éditoriale : les articles sont proposés, évalués et édités dans l’espace de Stylo. Associé à l’outil d’annotation Hypothesis, Stylo apparaissait comme le lieu permettant l’évaluation par les pairs au même titre que le principe du commentaire dans un document Word (usage habituellement adopté par les revues pour le suivi de l’évaluation). L’outil d’annotation Hypothesis a été choisi comme un espace d’échanges pour l’expérimentation de l’évaluation ouverte afin d’inscrire notre réflexion dans les standards de l’annotation Web. Dans cette perspective, le dialogue se situe à même les contenus scientifiques et permet ainsi de réinterpréter l’évaluation en tant que dynamique de circulation et processus d’annotation.

Au sein de la revue Sens public, l’expérimentation d’évaluation ouverte s’est faite progressivement. Après une période de transition entre évaluation en double aveugle, elle a été finalement adoptée officiellement. L’évaluation ouverte devait être tout d’abord testée dans le cadre d’un dossier thématique. Il s’est avéré, contre toute attente de la coordination de Sens public, qu’une réticence – parfois une résistance claire – a été exprimée du côté des auteur·e·s du dossier. Le dossier, qui devait être le terrain d’expérimentation pour l’évaluation ouverte, a donc été évalué selon la procédure habituelle, à savoir l’évaluation en double aveugle. La revue a donc tenté une première adaptation de l’outil Hypothesis dans Stylo en vu de permettre une évaluation anonyme du côté des auteur·e·s comme des évaluateur·rice·s. Pour ce faire, plusieurs groupes privés d’annotation ont été créés en vu de gérer les accès de chacun·e·s :

• spEditeur : groupe d’annotation prévu pour les réviseur·euse·s, non accessible pour les auteur·e·s, accessible à la coordination
• spAuteur : groupe d’annotation prévu pour les auteur·e·s, non accessible pour les évaluateur·rice·s, accessible à la coordination et aux réviseur·euse·s.
• spEvaluateurF : groupe d’annotation prévu pour les évaluateur·rice·s, non accessible pour les auteur·e·s et les réviseur·euse·s, accessible à la coordination
• spEvaluateurO : groupe d’annotation prévu pour les évaluateur·rice·s, accessible aux auteur·e·s, aux réviseur·euse·s et à la coordination.

A été aussi utilisée dans le cadre de l’expérimentation, une modalité particulière de l’outil Stylo, à savoir le versionnage des articles. Pour tout article destiné à l’évaluation, une nouvelle version était créée portant le titre « Version pour évaluation ». Dans ces versions, le nom de l’auteur·e était effacé. Ces versions étaient numérotées pour les différentes évaluations (afin que l’anonymat entre évaluateur·rice·s soit également respecté). C’est à partir de ces version que l’annotation dans le cadre de l’évaluation était effectuée : en soit, les retours d’un·e. évaluateur·rice n’étaient visibles que sur la preview (ou visualisation Web) de l’article et uniquement dans le groupe d’annotation privé qui lui était assigné.

Une fois les annotations complétées, les retours d’évaluations étaient transférés du groupe d’évaluation fermé (SpEvaluateurF) au groupe des auteur·e·s (SpAuteur) à l’endroit identique de l’annotation d’origine et dans une version de l’article différente (titrée « Retour d’évaluation ») où notamment le nom de l’auteur·e était restauré. Ces transferts ne pouvaient cependant pas être effectués automatiquement et nécessitaient un copier-coller séparé, ce qui représentait un travail important et chronophage en terme d’édition.

La solution d’un anonymat non par le groupe d’annotation mais par l’identité de l’évaluateur·rice (par l’utilisation d’un pseudonyme) a été envisagée mais a été abandonnée dans la mesure où elle complexifiait le protocole d’annotation et rendait plus difficile l’identification de l’évaluateur·rice par la coordination.

Plusieurs failles dans la privacy et la préservation d’un anonymat ont rapidement été repérées par la coordination et ont mené à considérer plus sérieusement l’alternative de l’évaluation ouverte :

• L’accès aux versions : parce que la revue encourage un investissement de l’auteur·e vis-à-vis de son contenu, la coordination donne accès à l’auteur·e à son article Stylo afin qu’il·elle puisse suivre l’édition et y participer. Les auteur·e·s avaient ainsi accès en réalité aux versions d’évaluation.
• L’interconnexion entre les groupes privés d’annotation : considérant que, dans le cadre de la revue, certain·e· auteur·e·s peuvent étre tantôt évaluateu·rice, évalué·e·s ou même réviseur·euse·s, la multiplicité des status potentiels d’un individu lui donne accès à plusieurs groupes privés d’annotation et ainsi un·e auteur·e ayant été par le passé évaluateur·rice aura accès au groupe privé d’évaluation et donc à l’évaluation de son article en cours d’évaluation.
• La prise en main différente de l’outil Hypothesis : parce que les évaluateur·rice·s comme les auteur·e·s doivent se former à la prise en main d’un outil qui est pour eux·elles nouveau, le protocole d’annotation n’a pas toujours été respecté et/ou compris, et des retours d’évaluation ont été effectués en mode public donc visible par tous·tes.

La coordination de la revue a conclu que l’outil Hypothesis dans le cadre de la publication d’articles via Stylo n’était pas adapté pour l’évaluation anonyme (double ou simple) et ne pouvait que très difficilement être détourné en ce sens. C’est notamment pour toutes ses raisons, que Sens public, à la suite de l’évaluation du dit dossier, a décidé d’envisager l’évaluation ouverte comme principe de la chaîne éditoriale et de l’identité de la revue et de l’adopter officiellement après une période d’essai.

L’évaluation ouverte a été expérimentée par le comité éditorial comme par des évaluateur·rice·s externes désigné·e·s par le comité et plusieurs phénomènes ont attiré notre attention sur l’impact de cette alternative.

L’adoption de l’évaluation ouverte nous a amené à faire l’économie du groupe d’annotation spEvaluateurF pour ne conserver uniquement que le groupe d’annotation spEvaluateurO. La distinction entre les différents groupes relèvent désormais moins d’un principe de fermeture ou d’ouverture que d’une logique d’étape dans la chaîne éditoriale : les groupes spAuteur et spEditeur s’inscrivent dans le moment d’édition de l’article tandis que le groupe spEvaluateurO ne concerne que la phase d’évaluation/relecture. Le versionnage a été conservé dans le cadre de l’expérimentation pour distinguer ces moments et avoir un suivi au fil de l’eau de l’article.

Au-delà du refus formulés par certains évaluateur·rice·s contacté·e·s par la coordination, les évaluateur·rice·s ayant acceptés dans leur majorité ont démontré davantage de soucis quant-à la réception de leurs retours : un évaluateur a demandé à la coordination que ces annotations soient relues afin de contrôler qu’aucunes ne pouvaient être mal-interprétées par l’auteur·e⁷. La revue, qu’il s’agisse d’évaluation ouverte ou en double aveugle, contrôle toujours les retours d’évaluation avant de les transmettre à l’auteur·e. Cependant le fait d’un soucis explicite de la part de l’évaluateur – instaurant de plus un type d’échange différent avec la coordination – témoigne d’une implication vis-à-vis du contenu et a été encourageant pour la poursuite de l’expérimentation. L’espace d’évaluation a par la suite basculé vers un réel espace de discussion pour le cas d’un article où l’auteur et l’évaluateur ont échangé à même le contenu scientifique par l’intermédiaire des annotations : leurs discussions ont même débordé de l’espace prévu à cet effet pour se poursuivre par l’intermédiaire des réseaux sociaux.

Les auteur·e·s ont également fait des retours sur cette expérience. Si la plateforme Hypothesis requiert en effet une identification supplémentaire (en plus de l’identification à Stylo) et que le processus d’évaluation, parce que plus proche de celui de la discussion, demande des allers-retours successifs, les points positifs relevés étaient les suivants :

• la possibilité d’un dialogue immédiat
• l’occasion d’un discussion avec un·e spécialiste du sujet
• la sensation d’un avancement de la réflexion par un enrichissement progressif
• l’impression d’un accompagnement dans la relecture

Sans trop de surprise, il s’est avéré que l’évaluation ouverte coïncide parfaitement avec l’identité de la revue en ce qu’elle permet d’instaurer un dialogue entre différentes approches scientifiques dans l’oubli d’un statut, d’une affiliation ou d’une posture d’autorité.