[ad_1]
Le principal bailleur de fonds chinois dans le domaine des sciences fondamentales expérimente actuellement un outil d’intelligence artificielle qui permet aux chercheurs d’examiner les demandes de subvention de manière à rendre le processus plus efficace, plus rapide et plus équitable. Certains chercheurs affirment que l'approche adoptée par la Fondation nationale des sciences naturelles de Chine est une référence mondiale, mais d'autres sont sceptiques quant à savoir si l'IA peut améliorer le processus.
Choisir des chercheurs pour examiner des propositions de projets ou des publications par des pairs prend du temps et est sujet à des biais. Plusieurs éditeurs universitaires expérimentent des outils d'intelligence artificielle (IA) pour sélectionner des relecteurs et effectuer d'autres tâches. Quelques agences de financement, notamment en Amérique du Nord et en Europe, ont testé des outils simples pour identifier des relecteurs potentiels. Certains de ces systèmes font correspondre les mots-clés des demandes de subvention à ceux des publications d'autres scientifiques.
La Fondation nationale des sciences naturelles de Chine (FNSNC) est en train de mettre au point un système plus sophistiqué d'analyse des bases de données en ligne sur la littérature scientifique et les pages Web personnelles des scientifiques, en utilisant le traitement du langage naturel pour recueillir des informations détaillées sur les publications ou les projets de recherche d'arbitres potentiels. Le système utilisera une analyse sémantique du texte pour comparer la demande de subvention à cette information et identifier les meilleures correspondances, a déclaré le chef de l'agence, Li Jinghai, basé à Beijing.
Gagne-temps
Une première version de l’outil a sélectionné au moins un membre de chacun des 44 000 panels qui ont approuvé des projets l’année dernière, explique Yang Wei, ancien directeur de l’agence, qui a présenté les données du projet pilote lors d’une réunion sur la communication savante à Hangzhou le mois dernier. Les panels sont composés de trois à sept personnes. Le système réduit déjà le temps que le personnel administratif doit consacrer à la recherche d'arbitres, explique Yang. Une approche similaire sera utilisée cette année pour sélectionner les examinateurs, dit-il.
La FNSNC est devenue un chef de file mondial dans la réforme des processus d’examen des subventions, a déclaré Patrick Nédellec, directeur du département de la coopération internationale du CNRS français, le plus grand organisme de recherche fondamentale en Europe. La FNSNC est contrainte d’innover car le nombre de demandes de subvention ne cesse de croître, a déclaré Nédellec, qui a assisté à une réunion en septembre dernier au cours de laquelle Li a discuté des plans de réforme de l’agence. "Comme la pression est très forte, la Chine n'a pas d'autre choix que de trouver le meilleur moyen", a-t-il déclaré.
Au cours des cinq dernières années, le nombre de demandes reçues par la FNSAC a augmenté d’environ 10% par an. En 2018, l'organisation a évalué 225 000 demandes de subvention, soit près de six fois le nombre reçu par la US National Science Foundation. La FNSNC a du mal à traiter les demandes et à trouver les examinateurs appropriés, dit Li. «Le défi est de ne pas avoir assez de personnes», dit-il. "AI va résoudre ça."
Réduire les biais
Li souhaite également que l'outil réduise les biais dans la sélection des relecteurs. En Chine, les scientifiques essaient de faire pression pour leurs projets, dit-il. «Un problème avec les évaluations est que les gens utilisent des connexions. L’intelligence artificielle ne peut être corrompue », explique Li.
C'est également un problème dans les pays où les candidats sont invités à suggérer des experts qui pourraient examiner leurs propositions. Par exemple, le Fonds national suisse de la recherche scientifique qui recommandait les candidats était beaucoup plus susceptible d’approuver un projet que les arbitres choisis par la fondation.
Le système d’IA pilote de la NSFC ne fonctionne que sur les sites Web écrits en caractères chinois, mais M. Li souhaite qu’il soit en mesure d’explorer les sites Web de langue anglaise à l’avenir.
«Le plan de réforme de la NSFC est ambitieux, prospectif et complet», a déclaré Manfred Horvat, conseiller en politique scientifique à l’Université de technologie de Vienne, qui a également entendu le discours de Li en septembre dernier.
D’autres pays suivent la Chine. Le mois dernier, le Conseil norvégien de la recherche a commencé à utiliser le traitement du langage naturel pour regrouper environ 3 000 propositions de recherche et les mettre en correspondance avec les meilleurs panels de réviseurs, a déclaré Thomas Hansteen, conseiller du conseil.
Soupçons de scepticisme
Mais tout le monde n'est pas convaincu que l'IA devrait être utilisée dans le processus de révision. Susan Guthrie, spécialiste des politiques scientifiques au sein de l'organisation de recherche RAND Europe située à Cambridge, au Royaume-Uni, note que les Instituts de recherche en santé du Canada ont rencontré des difficultés importantes avec un algorithme utilisé pour la sélection des examinateurs.
L'agence canadienne a retenu les services de RAND Europe en 2016 pour réaliser une méta-analyse d'études sur l'évaluation par les pairs des subventions. En partie sur la base de ce rapport, l’agence a conclu que l’algorithme choisissait parfois des réviseurs qui étaient en conflit d’intérêts ou qui n’étaient pas appropriés pour qualifier la proposition. "Bien que l'appariement basé sur des algorithmes ait semblé attrayant, il existe à ce stade de l'intelligence artificielle une limite à ce qu'elle peut éventuellement réaliser", a conclu le panel d'experts indépendants. "La sélection des examinateurs doit reposer principalement sur le jugement scientifique humain."
Elizabeth Pier, chercheuse en politiques à Education Analytics à Madison, dans le Wisconsin, pense que l'intelligence artificielle ne supprimera pas le biais de sélection. Elle craint que les systèmes d'IA finissent par reproduire les biais inhérents aux jugements humains, plutôt que de les éviter. Elle recommande à la FNSNC de mener une étude comparant les examinateurs choisis par AI à ceux choisis par les personnes. Selon M. Li, la NSFC pourrait envisager cette possibilité une fois le système opérationnel.
Crédit pour les relecteurs
Li prévoit d'introduire d'autres outils pour rendre le système de subventions plus équitable au cours des cinq prochaines années. Celles-ci incluent un système de crédits qui récompensera les chercheurs pour des évaluations correctes, justes et opportunes – bien que M. Li ne veuille pas commenter la nature des récompenses.
L’idée du système de crédit est d’encourager les examinateurs à prendre le travail au sérieux et à faire preuve de professionnalisme, dit-il.
Le statisticien John Ioannidis de l’Université de Stanford en Californie applaudit aux efforts de la NSFC pour utiliser des outils objectifs et fondés sur des données dans l’établissement de propositions pour la sélection des examinateurs. Mais il pense qu'il sera difficile d'évaluer si les examinateurs ont pris de bonnes décisions et méritent d'être crédités. Cela peut prendre des décennies pour qu'une idée soit considérée comme «géniale ou gaspillée», déclare Ioannidis.
Li est prêt à relever les défis. "Cette tâche n'est pas facile à accomplir et nécessitera une amélioration constante au cours d'un long processus d'étude et de tests", déclare-t-il.
[ad_2]