Ressource à l’intention des pairs évaluateurs : Application des recommandations de la DORA dans les évaluations par les pairs
February 2024
En qualité de signataires de la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), les IRSC ont ajusté les méthodes d’évaluation qui s’appliquent aux concours de subventions Projet, aux concours de bourses et aux concours de recherche priorisée et ont mis à jour les politiques et procédures auxquelles les pairs évaluateurs, les présidents de comité et les agents scientifiques sont tenus de se conformer.
En soutien à la mise en œuvre de ces recommandations par les pairs évaluateurs, les présidents de comité et les agents scientifiques assumeront de nouvelles responsabilités :
- Les présidents de comité, en collaboration avec le personnel des IRSC, assureront le respect des recommandations de la DORA dans les évaluations par les pairs;
- Les agents scientifiques recueilleront les commentaires qui concordent avec les principes de la DORA et s’y conforment;
- Les présidents de comité et les agents scientifiques interviendront lors des délibérations si les discussions vont à l’encontre de ces principes.
Pour être jugées conformes aux principes de la DORA, les évaluations devront mesurer la productivité et les progrès de la recherche selon un large spectre d’indicateurs, tenir compte d’une grande diversité de résultats et prendre en considération la situation des chercheurs.
Les pairs évaluateurs seront en outre invités à attribuer leurs cotes sur la seule base des renseignements fournis par les candidats et devront éviter de se livrer à des extrapolations, qui risqueraient de reposer sur des préjugés.
En définitive, il revient aux candidats de s’assurer que leur demande répond aux critères de la possibilité de financement et de démontrer qu’elle mérite d’être retenue en mettant en exergue la qualité et les retombées de leurs contributions à la recherche, par exemple dans les sections Résumé des progrès réalisés et Contributions les plus importantes.
Exemples de commentaires contraires aux principes énoncés dans la DORA, suivis de propositions de reformulations
Exemple 1 – Un évaluateur écrit un commentaire qui s’appuie sur des indicateurs bibliométriques comme succédané d’appréciation de la qualité :
- « Le candidat compte à son actif de nombreuses publications dans des revues scientifiques réputées. »
- « Le candidat a été publié à maintes reprises, mais la plupart du temps dans des revues à faible facteur d’impact. »
Que faire : L’évaluateur serait avisé de reformuler le commentaire en remplaçant son allusion à des indicateurs bibliométriques par une description des mérites scientifiques des articles publiés par le candidat.
Points qui peuvent faire l’objet de commentaires :
- la qualité et les retombées des contributions du candidat;
- son choix du véhicule de dissémination.
Propositions de reformulation :
- « Le candidat a publié des articles importants dans le domaine de X qui ont considérablement amélioré notre compréhension de Y. Il a mené des travaux de recherche significatifs et culturellement sécurisants tout au long de sa carrière. »
- « Le candidat a publié un article très éloquent dans le domaine de X qui a grandement contribué à notre façon d’aborder l’étude de cette maladie. »
- « Le candidat a récemment publié plusieurs articles, mais ses travaux n’ont pas concrètement fait avancer les connaissances liées à la question de recherche. »
Exemple 2 – Une évaluatrice formule des observations sur la productivité d’un candidat, mais ne justifie pas son point de vue ou tient uniquement compte d’indicateurs basés sur les subventions ou les revues.
Que faire : Plutôt que de mesurer la productivité du candidat à l’aune du nombre d’articles publiés ou de la renommée des revues dans lesquelles ils apparaissent, l’évaluatrice aurait intérêt à s’intéresser à l’ensemble du spectre d’indicateurs de productivité (articles de recherche, formations, mentorat, activités de mobilisation des connaissances, ensembles de données, etc.) et à accorder une attention particulière à leur qualité et à leurs retombées.
- Points à prendre en considération :
- La situation du candidat telle qu’il l’a décrite dans sa demande et les possibilités qui lui ont été offertes jusqu’à présent (en lien avec sa discipline, son milieu professionnel, son stade de carrière, les éventuels obstacles à l’accès à son domaine de recherche, etc.);
- Les contretemps mentionnés par le candidat (congé pour obligations familiales, répercussions de la pandémie, interruption de carrière en raison d’une maladie, rôle de proche aidant, etc.) et leurs effets sur sa productivité.
- Points qui méritent d’être commentés :
- L’indication dans la demande de circonstances qui auraient retardé le candidat dans ses travaux;
- Le parcours du candidat au regard de sa situation, ses contributions notables et/ou ses lacunes évidentes.
Propositions de reformulation :
- « Si ses publications sont peu fréquentes (environ une par année), le candidat a néanmoins fait ses preuves dans des rôles de supervision (étudiants des cycles supérieurs, boursiers postdoctoraux et techniciens). Il justifie sa faible productivité par des problèmes de santé rencontrés en 2015-2016. »
- « Productif pendant le programme de Ph. D. (avant le M.D.) et durant la période de formation clinique intensive. »
Les pairs évaluateurs et les candidats trouveront dans les ressources Élargir l’évaluation des contributions à la recherche et des retombées et Comment mettre l’accent sur les contributions à la recherche et les retombées des conseils pratiques qui les aideront à se conformer aux principes de la DORA.
- Date de modification :