de meilleures façons de juger un journal

[ad_1]

Des efforts mondiaux sont en cours pour créer un rôle constructif pour les métriques de revues dans l'édition savante et pour remplacer la dominance des facteurs d'impact dans l'évaluation de la recherche. À cette fin, un groupe de spécialistes en bibliométrie et en évaluation, de scientifiques, d’éditeurs, de sociétés scientifiques et de fournisseurs d’analyses pour la recherche s’efforce d’élaborer une série plus large d’indicateurs de revues et d’autres moyens de juger les qualités d’une revue. C’est une tâche ardue: nos intérêts varient et souvent en conflit, et le changement exige un effort concerté de la part des éditeurs, des universités, des organismes de financement, des décideurs et des fournisseurs de données bibliométriques.

Nous appelons ici aux éléments essentiels de ce changement: élargissement des indicateurs pour couvrir toutes les fonctions des revues savantes, un ensemble de principes devant régir leur utilisation et la création d’un organe directeur chargé de maintenir ces normes et leur pertinence.

Notre proposition découle d'un atelier organisé en 2017 à Leiden, aux Pays-Bas. Il était co-organisé par le Centre d’études scientifiques et technologiques de l’Université de Leiden (où travaillent P.W., S.d.R. et L.W.), Clarivate Analytics (société qui produit les rapports annuels de citations de revues) et l’organisation européenne des sciences de la vie, EMBO.. Plus de deux douzaines de professionnels de l'ensemble de l'écosystème universitaire ont participé (voir aussi).

Nous avons défini les fonctions clés des revues, qui sont restées pratiquement inchangées depuis leur création il y a plus de 350 ans. Il s’agit d’enregistrer les revendications de travaux originaux, de conserver le dossier de recherche (y compris la publication de corrections et de retraits), d’organiser des revues critiques et de diffuser et archiver les travaux de recherche (voir à quoi sert un journal?).

À quoi sert un journal?

Enregistrement. Par le biais de la publication, les revues associent les revendications intellectuelles d'un travail à une date et à un auteur, qui peuvent être utilisées pour établir une priorité.

Curating. Grâce à des critiques éditoriales et autres, le travail est sélectionné et placé dans une collection; cette collection signale des associations et délimite la portée théorique et méthodologique d'un domaine universitaire.

Évaluer. Lors de l'évaluation par les pairs, les travaux sont évalués en fonction de plusieurs critères (tels que la qualité et la nouveauté), et les auteurs reçoivent les réactions de leurs pairs. En publiant, la revue certifie que le travail a été évalué; le journal continue à effectuer des fonctions d'évaluation en publiant des corrections et des retraits.

Diffusion. En rendant le travail public, un journal le distribue officiellement à une communauté de spécialistes; grâce au libre accès et à d’autres outils de communication, la revue met le travail à la disposition de communautés plus larges.

Archivage. En associant le travail à des métadonnées adéquates et en le rendant disponible en ligne, aux index et aux agrégateurs, la revue contribue à la documentation scientifique permanente et facilite la découverte.

La création de nouveaux indicateurs est particulièrement importante étant donné que les revues évoluent rapidement et deviennent des plates-formes de diffusion de données, méthodes et autres objets numériques. Le Journal Impact Factor (JIF) est basé sur des citations, comme le sont la plupart des autres indicateurs couramment utilisés. Ceux-ci ne capturent que des aspects limités de la fonction d’un journal.

Un ensemble d'indicateurs plus nuancé indiquerait le fonctionnement d'une revue dans toutes les fonctions. Les indicateurs relatifs au commissariat, par exemple, pourraient prendre en compte l'expertise et la diversité du comité de rédaction, ainsi que le taux d'acceptation des articles soumis et la transparence des critères d'acceptation. Les indicateurs autour des données (telles que les citations de données ou les normes de rapport) deviendront plus importants avec le progrès de la science ouverte et de l'analyse indépendante. Les indicateurs entourant l'évaluation de la recherche pourraient prendre en compte la transparence du processus, ainsi que le nombre et la diversité des examinateurs et leur actualité.

Critères clairs

Avoir plus d'indicateurs ne signifie pas en avoir de meilleurs. Nous devons également veiller à ce que les nouveaux indicateurs soient construits et utilisés de manière responsable,. Les indicateurs améliorés devraient être: valides (reflétant le concept mesuré); compréhensible; transparent (les données sous-jacentes aux critères devraient être publiées, avec des limites et des degrés d'incertitude clairement expliqués); juste (il faut éviter les biais systématiques); adaptatif (mis à jour lorsque des préjugés, des abus ou d'autres faiblesses deviennent évidents); et reproductible (ceux qui utilisent l'indicateur devraient pouvoir le reproduire).

Nous pensons que ces critères s'appliqueront même si la publication de recherche change. Par exemple, nous pouvons imaginer un avenir dans lequel le dossier des travaux scientifiques comprend, et un crédit est attribué, des unités plus petites qu'une publication individuelle. Les principes énoncés ci-dessus pourraient s’appliquer à toute unité de travaux d’études faisant l’objet d’un suivi. Un exemple existant est la citation des ensembles de données individuels derrière un chiffre spécifique dans un document (tel que mis en œuvre, par exemple, par l’initiative Source de EMBO), qui peut inclure un sous-ensemble des auteurs d’une publication.

Adaptée à l'objectif

Journal Citation Reports, qui présente le JIF et d’autres indicateurs de journal, a été conçu en 1975 comme un résumé de l’activité de citation de revues dans Science Citation Index (qui appartient maintenant à Clarivate Analytics à Philadelphie, Pennsylvanie). Il visait spécifiquement à aider les bibliothécaires qui souhaitaient évaluer leurs collections et les chercheurs désirant choisir les lieux de publication appropriés, ainsi que de fournir des informations aux chercheurs, aux décideurs et aux évaluateurs de la recherche. Ses inventeurs ne s’attendaient pas à l’utilisation généralisée et à l’utilisation abusive généralisée (voir également ).

Les indicateurs, une fois adoptés pour tout type d’évaluation, ont tendance à déformer la pratique. Une "réflexion avec des indicateurs" destructifs (c’est-à-dire choisir des questions de recherche susceptibles de générer des indicateurs favorables, plutôt que de sélectionner des sujets présentant un intérêt et une importance) devient désormais un moteur des activités de recherche. Cela décourage le travail qui ne comptera pas pour cet indicateur. Les incitations à optimiser un seul indicateur peuvent fausser la manière dont la recherche est planifiée, exécutée et communiquée.

La place prépondérante du JIF dans l'évaluation de la recherche et le développement ultérieur d'abus (tels que le remplissage de listes de références avec des citations spontanées de revues) et même de fraudes (comme l'apparition d'une industrie artisanale composée de revues discutables vantant de faux facteurs d'impact) en sont des exemples particulièrement troublants.,. La Déclaration de San Francisco sur l'évaluation de la recherche (DORA), qui critique l'utilisation du JIF en tant que mesure de substitution de la qualité d'articles de recherche ou de chercheurs, a été signée par 1 356 institutions et plus de 14 000 personnes. Le Manifeste de Leiden, qui a formulé des principes plus généraux pour l'évaluation, a été traduit en 23 langues (voir). Malgré ces initiatives, l’influence du JIF est toujours dominante.

Pour prévenir de tels abus, nous proposons que toute utilisation d'indicateurs respecte quatre critères:

Justifié. Les indicateurs de journal ne doivent jouer qu'un rôle mineur et explicitement défini dans l'évaluation des recherches effectuées par des individus ou des institutions.

Contextualisé. En plus des statistiques numériques, les indicateurs doivent indiquer les distributions statistiques (par exemple, le nombre de citations d'articles), comme cela a été fait dans le Journal Citation Reports depuis 2018.. Les différences entre les disciplines devraient être prises en compte.

Informé. Les sociétés professionnelles et les spécialistes compétents devraient contribuer à favoriser l’alphabétisation et la connaissance des indicateurs. Par exemple, une formation de doctorat pourrait inclure un jeu de rôle pour démontrer l'utilisation et l'utilisation abusives des indicateurs de journal dans l'évaluation de carrière.

Responsable. Toutes les parties prenantes doivent être attentives à la manière dont l'utilisation des indicateurs affecte le comportement des chercheurs et des autres parties prenantes. Les utilisations irresponsables devraient être dénoncées.

La bonne gouvernance

Toutes les parties prenantes du système partagent la responsabilité de la construction et de l'utilisation appropriées des indicateurs, mais de différentes manières. Nous suggérons donc la création d'une organisation de gouvernance inclusive qui se concentrerait sur les indicateurs de journal.

L’organe directeur pourrait proposer de nouveaux indicateurs pour traiter les diverses fonctions des revues savantes, formuler des recommandations sur leur utilisation responsable et élaborer des normes. Il pourrait également créer du matériel pédagogique (comme une formation à l’éthique de l’élaboration et de l’utilisation d’indicateurs) et servir de lieu de rencontre pour faire connaître les utilisations discutables et les bonnes pratiques en matière d’indicateurs. Par exemple, cela pourrait aider à protéger les chercheurs contre les "journaux prédateurs" – des publications de qualité médiocre qui n’effectuent pas d’examen collégial ou ne traitent pas les informations comme promis et qui n’existent que pour un gain financier. Cet organe pourrait également donner des orientations sur la publication en libre accès et le partage de données.

L'organisation de l'organe directeur pourrait refléter des exemples réussis dans l'édition savante, tels que les organisations à but non lucratif Crossref et ORCID, qui fournissent des identifiants uniques pour les articles et les auteurs, respectivement. Il serait de composition internationale et assurerait la liaison entre divers groupes de parties prenantes, notamment en coordonnant diverses initiatives pertinentes, telles que DORA, le Forum britannique pour une métrique responsable de la recherche et le Comité sur l'éthique de la publication. Les membres pourraient comprendre des personnes de tout le système de communication savante, issues de sociétés savantes, d'éditeurs commerciaux et à but non lucratif, d'instituts d'enseignement supérieur, de bailleurs de fonds pour la recherche, de gouvernements et autres.

Nous invitons toutes les parties prenantes intéressées à nous contacter pour rejoindre cette initiative. Sur la base de ces réponses, nous envisageons de lancer l'organe directeur lors d'un deuxième atelier en 2020.

Les critiques s'opposeront à ce que tout système d'incitation soit vulnérable au jeu. Cependant, nous espérons que les principes énoncés ici serviront à lutter contre les pathologies et le détournement de nos objectifs. De plus, plusieurs indicateurs de jeu seraient beaucoup plus difficiles que les mesures homogènes du jeu d’aujourd’hui. La publication scientifique assume de nouvelles fonctions et devient plus ouverte au public. Une nouvelle génération d'indicateurs de revues doit prendre en charge les divers rôles des éditeurs et encourager de bonnes performances.

[ad_2]