Des centaines de scientifiques extrêmement critiques se dévoilent dans une nouvelle base de données

[ad_1]

Selon les données les plus récentes, les chercheurs les plus cités dans le monde forment un groupe étrangement éclectique. Les lauréats du prix Nobel et d'éminents polymathes côtoient des noms moins familiers, tels que Sundarapandian Vaidyanathan, originaire de Chennai en Inde. Ce qui ressort de Vaidyanathan et de centaines d’autres chercheurs, c’est que bon nombre des citations de leurs travaux proviennent de leurs propres articles, ou de ceux de leurs co-auteurs.

Vaidyanathan, informaticien à l'institut de technologie Vel Tech R & D, un institut privé, en est un exemple extrême: il a reçu 94% de ses citations de lui-même ou de ses co-auteurs jusqu'en 2017, selon . Il n'est pas seul. , montre qu'au moins 250 scientifiques ont rassemblé plus de 50% de leurs citations par eux-mêmes ou leurs coauteurs, alors que le taux médian d'autocitation est de 12,7%.

L’étude pourrait aider à identifier les auto-promoteurs extrêmes potentiels, et éventuellement les "fermes de citation", dans lesquelles des groupes de scientifiques se citent en masse, ont déclaré les chercheurs. «Je pense que les exploitations auto-citantes sont beaucoup plus courantes que nous le croyons», déclare John Ioannidis, médecin à la Stanford University en Californie, spécialisé dans la méta-science – l'étude de la manière dont la science est réalisée – et qui a dirigé les travaux. "Ceux qui ont plus de 25% d'auto-citation ne sont pas nécessairement engagés dans un comportement contraire à l'éthique, mais un examen plus approfondi pourrait être nécessaire", dit-il.

Les données constituent de loin la plus grande collection de métriques d'auto-citation jamais publiées. Et ils arrivent à un moment où les agences de financement, les revues et autres se focalisent davantage sur les problèmes potentiels causés par une autocitation excessive. En juillet, le Comité sur l'éthique de la publication (COPE), un organe consultatif des éditeurs basé à Londres, est l'une des principales formes de manipulation des citations. Cette question s’inscrit dans les préoccupations plus vastes concernant une trop grande confiance dans les indicateurs de citation pour prendre des décisions en matière d’embauche, de promotions et de financement de la recherche.

«Lorsque nous associons promotion professionnelle et accordons une attention excessive aux métriques fondées sur les citations, nous encourageons l'auto-citation», explique le psychologue Sanjay Srivastava de l'Université de l'Oregon à Eugene.

Bien que de nombreux scientifiques s'accordent pour dire que l'autocitation excessive est un problème, il y a peu de consensus sur ce qui est trop ou sur ce qu'il faut faire à propos du problème. Cela tient en partie au fait que les chercheurs ont de nombreuses raisons légitimes de citer leurs travaux ou ceux de leurs collègues. Ioannidis met en garde que son étude ne doit pas conduire à la diffamation de certains chercheurs pour leurs taux d'autocitation, notamment parce qu'ils peuvent varier selon les disciplines et les étapes de la carrière. «Il offre simplement des informations complètes et transparentes. Il ne devrait pas être utilisé pour des verdicts tels que décider qu'une auto-citation trop élevée équivaut à un mauvais scientifique », dit-il.

Lecteur de données

Ioannidis et ses co-auteurs n'ont pas publié leurs données pour se concentrer sur l'auto-citation. C’est juste une partie de leur étude, qui comprend une multitude de métriques standardisées basées sur les citations pour les quelque 100 000 chercheurs les plus cités au cours des deux dernières décennies dans 176 sous-domaines scientifiques. Il a compilé les données avec Richard Klavans et Kevin Boyack de la société d'analyse SciTech Strategies à Albuquerque, au Nouveau-Mexique, et Jeroen Baas, directeur des analyses chez l'éditeur Elsevier basé à Amsterdam; toutes les données proviennent de la base de données exclusive Scopus d’Elsevier. L'équipe espère que ses travaux permettront d'identifier les facteurs susceptibles de générer des citations.

Mais la partie la plus intéressante de l'ensemble de données est la métrique d'auto-citation. Il est déjà possible de voir combien de fois un auteur a cité son propre travail en consultant ses références dans des bases de données d'abonnement telles que Scopus et Web of Science. Mais sans une vue globale des domaines de recherche et des étapes de carrière, il est difficile de replacer ces chiffres dans leur contexte et de comparer un chercheur à un autre.

Le record de Vaidyanathan est l’un des plus extrêmes – et il a apporté certaines récompenses. L'année dernière, le politicien indien Prakash Javadekar, actuellement ministre de l'Environnement du pays, mais à l'époque responsable de l'enseignement supérieur, a décerné à Vaidyanathan un prix de 20 000 roupies (280 $ US) pour avoir été parmi les meilleurs chercheurs du pays métriques de citation. Vaidyanathan n'a pas répondu à La natureDemande de commentaire, mais il a déjà défendu son dossier de citation en réponse à des questions sur Vel Tech publiées sur Quora, la plateforme de questions et réponses en ligne. Parce que la recherche est un processus continu, "le travail suivant ne peut être poursuivi sans faire référence à un travail précédent", et cette auto-citation n’a pas été faite dans l’intention d’induire en erreur les autres.

Theodore Simos, un mathématicien dont le site Web répertorie les affiliations de l'Université King Saud à Riyad, de l'Université fédérale d'Oural à Ekaterinbourg, en Russie, et de l'Université Democritus de Thrace à Komotini, en Grèce; et Claudiu Supuran, chimiste spécialisé en médecine à l'Université de Florence, en Italie, qui a également inscrit une affiliation à l'Université King Saud. Les deux Simos, qui ont recueilli environ 76% de ses citations de lui-même ou de ses coauteurs, et Supuran (62%) étaient une société de services d’information basée à Philadelphie, en Pennsylvanie, qui possède Web of Science. Ni Simos ni Supuran n'ont répondu à La natureDemandes de commentaires; Clarivate a déclaré qu'elle était consciente du problème des schémas d'autocitation inhabituels et que la méthodologie utilisée pour calculer sa liste pourrait changer.

Que faire des auto-citations?

Au cours des dernières années, les chercheurs ont porté une attention accrue à l'auto-citation. Une pré-impression de 2016, par exemple, suggère que les femmes universitaires ne, bien que l’an dernier une analyse de réplication ait suggéré que cela pourrait être un effet d’une plus grande auto-citation parmi les auteurs productifs de tous les genres, qui ont plus de travaux antérieurs à citer. En 2017, une politique d'après une politique controversée de 2010 a été introduite, obligeant les universitaires à atteindre les seuils de productivité pour être éligibles à une promotion.. Et l’année dernière, le ministère indonésien de la recherche, qui utilise une formule fondée sur les citations pour allouer des fonds à la recherche et à l’érudition, a recours à des pratiques contraires à l’éthique, notamment des auto-citations excessives et des groupes d’universitaires se citant mutuellement. Le ministère a déclaré qu'il avait cessé de financer 15 chercheurs et prévoyait d'exclure les citations spontanées de sa formule, bien que les chercheurs disent La nature que cela n’est pas encore arrivé.

Mais l’idée de répertorier publiquement les taux d’autocitation, ou de les évaluer sur la base de paramètres corrigés pour autocitation, est très controversée. Par exemple, , COPE a plaidé contre l’exclusion des citations spontanées dans les statistiques, car cela «ne permet pas une compréhension nuancée du moment où l’autocitation a un bon sens scientifique».

En 2017, Justin Flatt, biologiste à l’Université de Zurich en Suisse, a appelé à plus de clarté concernant les antécédents judiciaires des scientifiques.. Flatt, qui est maintenant à l'Université d'Helsinki, ou s-index, le long des lignes du h-indicateur de productivité utilisé par de nombreux chercheurs. Un h-index of 20 indique qu'un chercheur a publié 20 articles avec au moins 20 citations; de même, un s-index of 10 signifierait qu'un chercheur avait publié 10 articles ayant chacun reçu au moins 10 auto-citations.

Flatt, qui a reçu une subvention pour rassembler des données pour le s-index, convient avec Ioannidis que ce type de travail ne devrait pas être axé sur l’établissement de seuils pour des scores acceptables, ni sur la désignation et la honte de soi-même. «Il n’a jamais été question de criminaliser les auto-citations», dit-il. Mais tant que les universitaires continuent à se promouvoir en utilisant le h-index, il est judicieux d’inclure le s-index for context, argumente-t-il.

Le contexte est important

L’étude de Ioannidis se caractérise par une définition large de l’autocitation, qui inclut des citations de coauteurs. Ceci est destiné à attraper des exemples possibles d’agriculture de citation; Cependant, cela gonfle les scores d'autocitation, dit Marco Seeber, sociologue à l'Université de Gand en Belgique. La physique des particules et l'astronomie, par exemple, ont souvent des articles avec des centaines, voire des milliers de coauteurs, ce qui élève la moyenne d'auto-citation sur le terrain.

Ioannidis dit qu’il est possible de prendre en compte certaines différences systématiques en comparant les chercheurs à la moyenne de leur pays, de leur stade de carrière et de leur discipline. Mais plus généralement, dit-il, la liste attire l’attention sur des cas qui méritent d’être examinés de plus près. Et il existe une autre façon de déceler les problèmes, en examinant le rapport entre les citations reçues et le nombre d’articles dans lesquels ces citations apparaissent. Simos, par exemple, a reçu 10 458 citations de seulement 1 029 articles – ce qui signifie qu'en moyenne, il reçoit plus de 10 citations dans chaque article mentionnant son travail. Ioannidis dit que cette métrique, lorsqu'elle est combinée avec la métrique d'auto-citation, est un bon indicateur pour une auto-promotion potentiellement excessive.

Source: Jeroen Baas, analyse non publiée de la base de données Scopus.

Dans son ouvrage non publié, Elasvier Baas explique avoir appliqué une analyse similaire à un ensemble de données beaucoup plus vaste comprenant 7 millions de scientifiques: tous les auteurs répertoriés dans Scopus ayant publié plus de 5 articles. Selon Baas, dans cet ensemble de données, le taux médian d’autocitation est de 15,5%, mais pas moins de 7% des auteurs ont un taux d’autocitation supérieur à 40%. Cette proportion est beaucoup plus élevée que parmi les scientifiques les plus cités, car bon nombre des 7 millions de chercheurs ne citent que peu de citations ou sont au début de leur carrière. Les scientifiques en début de carrière ont tendance à avoir des taux d’auto-citation plus élevés parce que leurs articles n’ont pas eu le temps d’amasser beaucoup de citations d’autres (voir «L’effet jeunesse»).

Source: Jeroen Baas, analyse non publiée de la base de données Scopus.

Selon les données de Baas, la Russie et l’Ukraine se distinguent par un taux médian d’autocitation élevé (voir «Pays par pays»). Son analyse montre également que certains domaines subsistent – tels que la physique nucléaire et des particules, l’astronomie et l’astrophysique – en raison de leurs nombreux articles à plusieurs auteurs (voir «Envie de physique?»). Baas dit qu'il n'envisage toutefois pas de publier son ensemble de données.

Source: Jeroen Baas, analyse non publiée de la base de données Scopus.

Pas bon pour la science?

Bien que le Biologie PLoS Une étude identifie des cas extrêmes d'auto-évaluation et suggère des moyens d'en rechercher d'autres. Certains chercheurs affirment qu'ils ne sont pas convaincus que l'ensemble de données d'auto-citation sera utile, en partie parce que cette mesure varie énormément selon la discipline de recherche et le stade de la carrière. «L'auto-citation est beaucoup plus complexe qu'il n'y paraît», explique Vincent Larivière, informaticien à l'Université de Montréal au Canada.

Srivastava ajoute que le meilleur moyen de lutter contre l'auto-citation excessive – et les autres indicateurs basés sur les citations – n'est pas nécessairement de publier des tableaux standardisés et des métriques composites de plus en plus détaillés afin de comparer les chercheurs les uns par rapport aux autres. Celles-ci pourraient avoir leurs propres défauts, dit-il, et une telle approche risquerait d’entraîner encore plus les scientifiques dans un monde d’évaluation par des métriques individuelles, le problème même qui incite les joueurs à jouer.

«Nous devrions demander aux rédacteurs en chef et aux relecteurs de rechercher les auto-citations injustifiées», a déclaré Srivastava. «Et peut-être que certaines de ces mesures approximatives ont l'utilité d'indiquer où regarder de plus près. Mais finalement, la solution doit être de réaligner l’évaluation professionnelle avec le jugement des pairs, et non de doubler les métriques. "Cassidy Sugimoto, informaticien à l’Indiana University Bloomington, convient que davantage de métriques pourraient ne pas être la solution:" n'est pas bon pour la science. "

Ioannidis, cependant, dit que son travail est nécessaire. «De toute façon, les gens comptent déjà beaucoup sur les métriques individuelles. La question est de savoir comment s'assurer que les informations sont aussi précises et compilées avec autant de soin et de manière systématique que possible », a-t-il déclaré. «Les métriques de citation ne peuvent et ne doivent pas disparaître. Nous devrions en tirer le meilleur parti, en tenant pleinement compte de leurs nombreuses limites. "

[ad_2]