Institut de génétique : Rapport sur l’engagement des intervenants à l’intention du comité d’experts sur l’évaluation par les pairs des IRSC
Novembre 2016
Messages principaux
Les messages principaux et les commentaires en général concordent avec la rétroaction fournie ponctuellement par notre milieu ces deux dernières années, bien que cette dernière n'ait pas été intégrée à la présente analyse.
- Le système actuel est un échec total.
- L'évaluation par les pairs en personne doit être rétablie.
- Les Instituts de recherche en santé du Canada (IRSC) doivent être à l'écoute de leurs intervenants.
Démarche d'engagement des intervenants
Au départ, nous avions seulement prévu de recueillir les commentaires des anciens membres du conseil consultatif de l'Institut (CCI), comme ils ont été choisis pour représenter l'ensemble des chercheurs de l'Institut de génétique (IG). Cependant, aucun d'eux ne nous a répondu directement. Par conséquent, les résultats présentés ci-après reflètent seulement les commentaires transmis par le portail électronique des IRSC, qui peuvent comprendre les réponses d'anciens membres du CCI et de membres de notre milieu ayant entendu parler du sondage par d'autres canaux.
Méthodologie
Comme les réponses à chaque question étaient généralement homogènes, seul un résumé est fourni pour chacune d'elles. Afin de présenter de façon claire et impartiale les perspectives des intervenants, nous avons inclus des citations. Nous avons uniquement corrigé les erreurs de frappe.
Participants
Les 15 participants ont dit faire de la recherche biomédicale, et seulement 3 d'entre eux étaient des femmes. Un biais géographique a été observé parmi les 14 répondants ayant indiqué leur lieu de résidence : 7 vivaient en Alberta, 3 en Colombie-Britannique, 3 en Ontario et 1 au Québec. Les chercheurs chevronnés ont été plus nombreux (9) à participer que les chercheurs en milieu de carrière (5) et ceux en début de carrière (1). Sur les 14 chercheurs ayant accepté de répondre (un refus), 9 ont présenté une demande à l'un des concours (Fondation 2014-2015, Fondation 2015-2016 ou Projet 2015), dont 4 qui ont obtenu du financement. Dans le cadre de ces concours, 3 chercheurs sur 14 ont agi comme évaluateur ou président virtuel.
Résumé de la rétroaction des intervenants
- Question 1 : Est-ce que la réforme des programmes de recherche libre et des processus d'évaluation par les pairs des IRSC répond aux objectifs initiaux?
Aucun des répondants n'était d'avis que la réforme répondait aux objectifs, et bon nombre d'entre eux estimaient que ces objectifs avaient été mal conçus, étaient flous ou avaient été présentés de façon incohérente. Seulement un répondant a indiqué que l'objectif initial « était tout à fait correct ». Une autre lacune communément soulevée était le manque de soutien à l'égard des chercheuses et des nouveaux chercheurs.
« Le pire de la réforme des IRSC, c'est que les évaluations en ligne du deuxième cycle des concours de subventions Fondation, auxquels j'ai participé pendant deux ans, reposaient sur des idées arrêtées et n'imposaient aucune responsabilité relativement à la valeur scientifique. »
« Les changements apportés à l'évaluation par les pairs ont eu comme principale conséquence de réduire la qualité des évaluations et de saper le moral de la communauté scientifique. Malgré ce que semble croire Alain Beaudet, 15 % d'évaluateurs qui ne respectent pas les échéances, ce n'est pas un résultat digne de mention, mais bien un désastre. »
« Je crois que la réforme a donné lieu au plus superficiel des processus d'évaluation, où des personnes n'ayant pas l'expertise appropriée prennent des décisions fondées sur leur instinct plutôt que sur la science. »
« Le programme Fondation est un système défaillant dont les critères d'évaluation avantagent les chercheurs principaux chevronnés de sexe masculin. Par exemple, les postes de direction et les rôles de conférenciers à des séminaires sont utilisés pour évaluer les chercheurs, alors qu'il existe des preuves claires et documentées d'un IMPORTANT préjugé sexiste (contre les femmes) associé à ces deux rôles. »
« Je crois que l'objectif initial était tout à fait correct : fournir un financement stable à des chefs de file établis pour qu'ils prennent des risques, puis offrir un financement opportuniste pour soutenir leurs idées de projets. Toutefois, le problème de mise en œuvre est venu compromettre cet objectif. »
« D'après tout ce que j'ai entendu, le processus d'évaluation par les pairs ne permet pas d'effectuer une évaluation juste et rigoureuse. »
« Les objectifs de la réforme de l'évaluation par les pairs ont été mal définis, ce qui explique en partie son échec. Les présentations de la haute direction et le site Web des IRSC n'ont fourni aucune explication cohérente sur ce que les IRSC souhaitent tirer des changements. Le comité d'experts sur l'évaluation par les pairs proposera peut-être de judicieux changements aux IRSC, mais ces derniers feront la sourde oreille. Ces mêmes IRSC diront ensuite à qui veut l'entendre qu'ils ont consulté et qu'ils suivent simplement les recommandations. Oui, ma méfiance envers les IRSC est bel et bien rendue aussi profonde. »
« La direction des IRSC était bien consciente des problèmes qui allaient survenir avant le dernier cycle d'évaluations. On devrait la tenir responsable plutôt que de lui confier le mandat de corriger ses propres erreurs. »
« Le processus actuel n'a d'« évaluation par les pairs » que le nom. Beaucoup trop d'évaluateurs manquent d'expertise ou sont indifférents au processus. »
« Si l'objectif était d'améliorer la qualité des évaluations par les pairs et de réduire la charge de travail associée aux processus de demande et d'évaluation, la réforme a lamentablement échoué sur tous les plans. »
- Question 2 : Est-ce que les changements apportés à l'architecture des programmes et à l'évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire?
Réponse courante : non (souvent en majuscules [« NON »]). De nombreux répondants ont mentionné que compte tenu du niveau de financement actuel, n'importe quel processus serait arbitraire au bout du compte. Par ailleurs, beaucoup de réponses portaient davantage sur l'échec de la mise en œuvre et le manque de responsabilisation associé au système en ligne.
Problèmes soulevés concernant la question initiale :
« Ces changements mettent l'accent sur la science de haut niveau et ne permettent pas la tenue d'évaluations assez approfondies. »
« Les changements permettent aux évaluateurs de ne pas s'acquitter de leurs obligations envers les candidats. Les IRSC ont relégué l'évaluation par les pairs dans un salon de clavardage mal organisé, où les présidents virtuels n'ont aucun moyen d'obliger les évaluateurs à agir de façon responsable. Les résultats sont tout aussi prévisibles que catastrophiques. »
« Beaucoup de membres du milieu de la recherche jugent que le système d'évaluation actuel avantage fortement les candidats en recherche appliquée, au détriment de ceux du domaine de la recherche fondamentale. »
« Honnêtement, je pense qu'il faut faire bien plus qu'une légère modification à un programme pour vraiment changer notre science. Mais il faut dire que l'ancien système était certainement aussi critiqué que celui-ci. Dans ses critiques, notre milieu fait abstraction des faits. Dans un accès de déni qui ferait honneur à Donald Trump, nous refusons de reconnaître que le niveau de financement du Canada pour la recherche scientifique universitaire est bien supérieur à celui des autres pays du G7, et que c'est plutôt le manque d'investissement des entreprises qui fait que notre financement de la science arrive en queue de peloton. De plus, nous ne reconnaissons pas la nature arbitraire de l'évaluation par les pairs en personne. Ce type d'évaluation est considéré comme sacré, alors qu'on a clairement prouvé qu'il ne permet pas de classer les demandes dans un ordre reproductible ni de sélectionner celles qui génèreront les plus importantes retombées scientifiques, surtout avec les niveaux de financement actuels. »
« Le format de projet, en particulier, favorisait davantage les demandes dans lesquelles on gonflait l'importance des retombées et de l'application de la recherche que les demandes substantielles et détaillées. »
« L'idée d'une évaluation interdisciplinaire est bonne, mais avec un faible taux de réussite, je ne crois pas qu'il soit possible de mener une évaluation juste et adéquate. »
« Non, ils ont empiré les choses. Les demandes n'ont pas nécessairement été assignées à des personnes aptes à les évaluer. De plus, les évaluateurs n'ont pas été tenus de justifier leurs cotes et leur classement, ce qui a éliminé un moyen essentiel de contrôler la qualité des évaluations. »
« C'est difficile de répondre à cette question, étant donné que le mandat change constamment. »
« Les changements imposent ces défis à notre milieu, plutôt que d'y répondre. Ils marginalisent la science fondamentale à l'extrême. J'ai bien peur que nous atteignions bientôt un point de non-retour dans le milieu de la science fondamentale, où nous perdrons une voire plusieurs générations de talents. »
- Question 3 : Quels défis relatifs à la sélection des demandes de financement ont été cernés par les organismes de financement public à l'échelle internationale et dans la documentation sur l'évaluation par les pairs? Comment la réforme des IRSC permet-elle de relever ces défis?
Des défis communs ont été cernés, mais personne ne croyait que la réforme permettait de les surmonter.
« D'après ce que j'ai vu, les organismes de financement public à l'échelle internationale recourent à des professionnels membres du personnel interne hautement compétents pour constituer les comités et les comités d'examen, ce que les IRSC ne font pas du tout. »
« Les discussions et les évaluations en personne sont essentielles. »
« Selon des échanges que j'ai eus avec des collègues, j'ai l'impression que la fatigue des évaluateurs s'installe lorsqu'on leur demande de travailler pour des revues ou des organismes où les évaluations sont de piètre qualité et où la probabilité de réussite des candidats talentueux est très faible. Les IRSC sont parvenus à répondre à ces deux critères. »
« La réforme des IRSC va à l'encontre des normes internationales en matière d'évaluation des demandes de subvention, en particulier en ce qui a trait aux évaluations en personne. C'est un des plus grands échecs de la réforme. »
« Une fois de plus, dans le contexte actuel du financement, il n'y a pas de façon scientifique de classer les demandes. Aucune revue de la littérature ou comparaison avec les pairs n'y changera quoi que ce soit. Les meilleures demandes seront certainement repérées (1 à 3 %), mais pour le reste, ce sera un coup de dés. »
« L'équité, l'intégrité, l'absence de conflit d'intérêts, le recours à des évaluateurs possédant une expertise appropriée, et la capacité d'obtenir des évaluations de grande qualité, de tenir les évaluateurs responsables de la qualité des évaluations et de fournir aux évaluateurs les renseignements dont ils ont besoin pour prendre des décisions éclairées durant le processus de sélection. La gestion d'un volume accru de demandes est également un problème. À mon avis, les changements mis en place aux IRSC ne règlent pas ces problèmes. [...] Les IRSC n'ont jamais tenu compte de l'opinion du milieu de la recherche et ne l'ont pas fait participer à la création d'un meilleur système d'évaluations. Le comité d'experts est une bonne initiative, mais ce n'est que la première étape d'un processus où les IRSC doivent prendre leurs décisions en fonction des commentaires du milieu de recherche… Les IRSC ont délaissé le mandat décrit dans la loi du Parlement qui leur a donné naissance. »
« Le processus d'évaluation par les pairs ne répond pas aux normes internationales en ce qui concerne la qualité minimale. Ce fait a récemment été bien documenté par un groupe de travail sur l'évaluation par les pairs. [...] Je ne vois pas pourquoi on a besoin d'une deuxième "évaluati"n internationale'. Ça me semble être un prétexte de la direction des IRSC pour gagner du temps et de la latitude. Un consultant externe a passé en revue la gestion et l'exécution de cette "soi-disa"t' réforme et a rédigé l'un des rapports les plus critiques qu'il m'a été donné de voir dans ma carrière. »
« Je sais que la fatigue des évaluateurs est un problème, mais ce processus semble avoir gonflé le volume d'évaluations nécessaires plutôt que de l'avoir diminué. »
- Question 4 : Les mécanismes établis par les IRSC, notamment le collège des évaluateurs, sont-ils appropriés et suffisants pour assurer la qualité et l'efficacité de l'évaluation par les pairs?
Non. La majorité des répondants les jugent inefficaces. Ils trouvent en général que les IRSC ont perdu de la crédibilité et doivent changer. Toutefois, deux répondants ont mentionné que si le jumelage des évaluateurs était fait de façon appropriée, le système pourrait être aussi bon que les autres. Pour un des répondants, « la proposition prévoyant que les chercheurs financés par les IRSC soient les seuls à évaluer est un pas dans la bonne direction ».
« Les IRSC doivent se réinventer. Conçus à l'image des NIH, ils doivent aujourd'hui envisager de sélectionner des membres du personnel interne ayant l'expérience et l'excellence scientifiques des dirigeants des instituts et du directeur des NIH. »
« Les IRSC continuent de provoquer désastre par-dessus désastre. Je n'ai jamais vu une communauté scientifique avec un moral aussi bas, et la faute incombe directement aux IRSC. Rien ne laisse croire qu'ils attachent de l'importance à la qualité des évaluations. »
« La proposition prévoyant que les chercheurs financés par les IRSC soient les seuls à évaluer est un pas dans la bonne direction. L'amélioration du système de jumelage pourrait aussi être utile. Le collège des évaluateurs n'est pas un problème en soi, dans la mesure où le jumelage est approprié. »
« Il est clair que le système du collège des évaluateurs a été un fiasco, ce qui n'a pas surpris le milieu de la recherche. Celui-ci estime que le système a donné lieu à des évaluations de très piètre qualité, ce qui a fortement érodé la confiance envers la direction des IRSC… La notion de retombées dans le cadre de l'évaluation par les pairs est floue. S'il s'agit de la capacité de déterminer si un projet de recherche est susceptible de produire des retombées, alors non, le système actuel n'y parvient pas vraiment. »
« Dans une réunion en personne, il serait facile de voir si des évaluateurs manquent d'expertise pour justifier leur point de vue ou s'ils défavorisent certains domaines de recherche. »
« Les processus étaient absurdes, désorganisés, mal exécutés et propices aux abus des mauvais évaluateurs. »
« À ma connaissance, le collège des évaluateurs n'est pas encore fonctionnel, alors il est difficile d'en évaluer l'efficacité. Évidemment, on doit cette situation aux décisions de la direction concernant la mise en œuvre de la réforme des IRSC. Elle a probablement tenté de revoir trop d'aspects du programme ouvert en même temps. Je crois que le processus d'évaluation virtuelle a été vertement et légitimement critiqué dans les médias et par les scientifiques. »
« Trop de demandes ont été évaluées par des personnes qui n'avaient pas l'expertise nécessaire. Les évaluateurs n'étaient pas tenus de participer à la discussion sur les demandes de subvention ni de justifier leurs cotes et leur classement dans un quelconque forum. »
« La qualité de l'évaluation par les pairs s'est détériorée de manière importante. »
- Question 5 : Quelles meilleures pratiques relatives à l'évaluation par les pairs à l'échelle internationale devraient être envisagées par les IRSC pour accroître la qualité et l'efficacité de leurs systèmes?
Les répondants ont maintes et maintes fois désigné comme des meilleures pratiques l'évaluation par les pairs en personne et le système des NIH.
Réponses complètes :
« Pour vous mettre en contexte, je gère une organisation comptant des laboratoires dans six pays (Brésil, Royaume-Uni, Suède, Allemagne, États-Unis et Canada), et je connais bien les mécanismes de financement dans ces pays. Le Canada se distingue des autres pays, mais pas tant que ça. J'aime le fait que le programme du MRC permette aux titulaires de subvention de réfuter les évaluations avant la décision. J'aime aussi le programme de bourse stratégique de Wellcome (maintenant terminé), qui permettait le financement de projets extravagants, qui n'auraient jamais été reconnus par les pairs. Il y a aussi le programme TEC de Takeda, où les évaluateurs disposent de trois "billets" et d'environ 50 subventions, et où chaque demande qu'ils sélectionnent est financée, sans consensus des pairs ("La sélection de projets novateurs ne peut se faire par des pairs évaluateurs, puisque par définition, les innovateurs n'ont pas de pairs", Tachi Yamada). Et personnellement, j'aime les programmes comme l'IMI et Génome Canada, qui octroient de généreuses subventions visant à concrétiser des idées qui sont susceptibles d'entraîner des retombées à grande échelle et qui encouragent les experts de l'industrie à résoudre d'importants problèmes. On parle d'idées que le milieu des IRSC trouverait trop difficiles ou lourdes à soutenir, ou desquelles les NIH seraient exclus en raison des liens avec l'industrie. Et enfin, j'aime la DARPA, qui fait aussi appel à un processus différent d'évaluation par les pairs (peu de décideurs) et qui appuie les idées hors de l'ordinaire (surtout ridicules). »
« Problème numéro 1 : Les évaluateurs doivent avoir l'expertise requise pour évaluer une demande. Il faut faire appel à des présidents de concours reconnus et hautement compétents pour assigner les demandes de subvention aux évaluateurs. Ils doivent très bien connaître le milieu de recherche afin de nommer des évaluateurs possédant l'expérience nécessaire à l'évaluation de telle ou telle demande. Aucun algorithme ou employé des IRSC ne peut jumeler une demande à un évaluateur. Problème numéro 2 : Il faut cibler les évaluateurs capables de fournir des évaluations de grande qualité. L'une des plus grandes difficultés est de cerner les évaluateurs qui s'en "soucient" assez pour fournir le temps et les efforts nécessaires à la réalisation d'évaluations raisonnées et impartiales. Les bons vieux comités en personne étaient efficaces parce que lorsqu'un évaluateur présentait une évaluation devant ses pairs, il devait avoir bien fait son travail sans quoi les autres s'en seraient rendu compte. Les présidents de comité ne réinviteraient pas une personne qui avait mal fait son travail. Et surtout, cette situation se produisait très rarement, comme les évaluateurs voulaient à tout prix éviter d'être mis dans l'embarras devant leurs pairs. L'évaluation et la responsabilisation des évaluateurs sont essentielles si l'objectif du système d'évaluation par les pairs est de sélectionner les meilleures demandes de subvention de manière équitable. Les évaluateurs doivent sentir que leur contribution est valorisée, en partie parce que le milieu connaît les contributions d'une personne en matière d'évaluation. Étonnamment, le dernier formulaire de CV du programme Projet ne prévoyait pas d'espace pour permettre aux candidats de préciser leurs activités d'évaluation par les pairs. Cette omission doit être corrigée. Les personnes ayant apporté une contribution doivent être félicitées et reconnues ouvertement, alors que les autres doivent être pointées du doigt. Problème numéro 3 : Les renseignements fournis aux évaluateurs ne sont pas adéquats. Un CV de grande qualité, qui présente de manière simple les renseignements essentiels, doit être fourni aux évaluateurs. Le CV actuel des IRSC doit être optimisé. De plus, les IRSC doivent améliorer l'équilibre entre la simplicité du formulaire de demande et l'exhaustivité des renseignements demandés pour la prise de décisions importantes. En fait, les formulaires de demande pour le programme Projet ont été raccourcis, ce qui simplifie et accélère la rédaction et l'évaluation, mais fait en sorte que les évaluateurs n'ont pas assez d'information pour prendre leur décision. »
- Question 6 : Quels principaux indicateurs et méthodes les IRSC pourraient-ils utiliser pour évaluer la qualité et l'efficacité de leurs systèmes d'évaluation par les pairs à l'avenir?
Plusieurs approches sont présentées ci-dessous. Les grands thèmes sont les suivants :
- Changement de l'équipe de direction des IRSC pour rebâtir la confiance
- Consultation avec les scientifiques (présidents, évaluateurs et candidats)
« Actuellement, aucun n'est rigoureux et responsable. Les IRSC pourraient appliquer les méthodes des NIH, présentées sur leurs pages Web, mais seulement après l'embauche de nouveaux membres du personnel interne et la nomination d'un nouveau président à temps plein. »
« La satisfaction des évaluateurs, la satisfaction des candidats, le temps qu'ils mettront à congédier Alain Beaudet, un parfait incompétent. »
« Les principaux indicateurs seraient la qualité des publications dans les revues les plus prestigieuses, leur taux de citation et l'application des connaissances pour le bien commun (la santé publique). »
« L'égalité des sexes, l'égalité des stades de carrière. »
« L'équité entre les sexes et les stades de carrière dans le financement de l'ensemble des chercheurs (de la recherche fondamentale à la recherche clinique). »
« J'essaierais de trouver une nouvelle façon de soutenir l'excellence et l'innovation en recherche; ne pas utiliser le terme "concurre"tiel à l'échelle internationale'. »
« La meilleure façon serait de réaliser des sondages auprès du milieu des IRSC afin de connaître ses impressions sur le processus d'évaluation. »
« Consulter et écouter vos intervenants. Instaurer des changements arbitraires sans avoir vraiment consulté les intervenants ne donnera rien. Les sondages et d'autres outils peuvent s'avérer utiles. »
« Sondages auprès des scientifiques. Le but n'est pas uniquement de consulter les leaders dans le milieu de la recherche scientifique, mais aussi de tenir compte de leurs réponses. »
« Les moyennes des cotes initiales avec les écarts-types énormes que l'on voit actuellement DEVRAIENT être un grand indicateur que le système actuel est nettement défaillant. Une évaluation en personne, avec des experts nommés, est une méthode éprouvée utilisée par la plupart des principaux organismes de financement de la recherche. Je ne comprends pas la nécessité de chercher de nouveaux indicateurs pour corriger un système qui ne fonctionne déjà pas. »
« Les présidents virtuels peuvent fournir des commentaires sur l'engagement des évaluateurs. Les évaluateurs peuvent faire des rapports sur la qualité des discussions en ligne. Les candidats peuvent, à leur tour, faire un rapport sur l'utilité des commentaires qu'ils ont reçus. Les IRSC peuvent examiner la concordance des cotes des demandes présentées en double dans le cadre des programmes Fondation et Projet. »
« En ce moment, avec le faible pourcentage de fonds alloués aux subventions, on ne peut pas vraiment juger la qualité. Il faut allouer plus de fonds aux subventions de recherches générales, et moins à la SRAP et aux recherches empiriques. Les recherches axées sur les données devraient faire partie des priorités. »
- Date de modification :