Guide de l'évaluateur pour les bourses de recherche des IRSC
Table des matières
- Introduction
- Évaluation par les pairs aux IRSC
- Résumé du processus d'évaluation par les pairs
- Instructions étape par étape
- Classement des demandes
- Rétroaction
- Annexe A – Critères de sélection pour les bourses de recherche des IRSC
- Annexe B – Feuille de travail de l'évaluateur pour les bourses de recherche des IRSC
Introduction
Au nom des IRSC, nous remercions les évaluateurs d’avoir accepté de siéger à un comité d’évaluation par les pairs. Le succès du processus d’évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.
Le présent document a pour but de fournir des instructions sur le processus d’évaluation par les pairs propre au Programme de bourses de recherche des IRSC.
Remarque : Dans le cadre de leur participation au processus d’évaluation par les pairs aux IRSC, on demande aux évaluateurs de remplir ou mettre à jour leur profil d’évaluateur dans RechercheNet. Le profil d’évaluateur est un outil qui permet d’améliorer et de soutenir la gestion de l’expertise des évaluateurs. Pour le programme de bourses, il importe de remplir la section « Première nomination indépendante ».
Évaluation par les pairs aux IRSC
Le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC contient des renseignements sur les objectifs, la gouvernance et les politiques des IRSC et décrit les rôles et les responsabilités des membres des comités d’évaluation par les pairs de même que les politiques, les principes et les procédures d’évaluation par les pairs. Il est important que les évaluateurs se familiarisent avec ce guide, de même qu’avec le présent document, avant le début des évaluations.
Résumé du processus d’évaluation par les pairs
Le Programme de bourses de recherche des IRSC a recours à un processus d’évaluation qui est structuré et intégré à la plateforme en ligne RechercheNet. Le processus d’évaluation comporte une étape, qui consiste à évaluer individuellement et à coter les demandes assignées (il n’y a pas de réunion du comité). Toutes les demandes admissibles reçues sont assignées à trois (3) évaluateurs.
Le Programme de bourses de recherche compte cinq (5) comités d'évaluation par les pairs. Chaque demande est assignée au comité dont le mandat se rapproche le plus de la formation, des titres de compétences et du domaine de recherche du candidat.
On demande aux évaluateurs de suivre les instructions suivantes étape par étape afin de bien effectuer chacune des tâches associées à l’évaluation par les pairs.
- Étape 1 : Lire les documents pertinents
- Étape 2 : Signaler les conflits d'intérêts
- Étape 3 : Analyser attentivement les demandes
- Étape 4 : Soumettre les évaluations et les cotes par RechercheNet
- Étape 5 : Être prêt à procéder à une réévaluation
Instructions étape par étape
Étape 1 : Lire les documents pertinents
Le présent document décrit le processus d’évaluation par les pairs de ce programme. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il importe également de remplir ou mettre à jour le profil d’évaluateur dans RechercheNet et de prendre connaissance des documents suivants :
- le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC;
- la description des mandats des différents comités;
- la possibilité de financement.
Étape 2 : Signaler les conflits d'intérêts
Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d’intérêts dans l’évaluation des demandes :
- Ouvrez une session dans RechercheNet.
- Sur la page d’accueil, cliquez sur le lien de votre comité pour ouvrir la liste de tâches principale.
- Effectuez la tâche Examiner les Lignes directrices sur la confidentialité et les conflits d’intérêts (lorsque vous aurez terminé, les autres tâches s’ouvriront).
- Ouvrez la tâche Gérer les conflits/Capacité d’évaluer.
- Consultez les renseignements fournis pour chacune des demandes qui vous ont été assignées afin d’indiquer si vous êtes apte à évaluer la demande ou si vous êtes en situation de conflit d’intérêts. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.
- Remarque : Comme les autres évaluateurs du comité déclareront également leurs conflits d’intérêts, il est probable que des demandes additionnelles vous soient assignées. On veillera à ce que la charge de travail des évaluateurs sera répartie adéquatement et qu’elle soit équitable.
Étape 3 : Analyser attentivement les demandes
Lorsque les conflits d’intérêts auront été déclarés, les évaluateurs pourront accéder à l’intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci-dessous.
3.1 Examiner les critères de sélection
Les évaluateurs doivent tout d’abord se familiariser avec les critères de sélection associés à cette possibilité de financement, qui se trouvent à l'annexe A du présent document. L’annexe fournit une interprétation des critères et énumère les éléments à évaluer pour chacun d’entre eux.
Les IRSC ont signé la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), qui reconnaît que les résultats de recherche ne se limitent pas à la publication d’articles dans les revues, mais qu’ils peuvent comprendre un large éventail de contributions. Les évaluateurs doivent donc tenir compte :
- de diverses formes de contributions (articles de recherche, rapports, livres, documents d’orientation, ensembles de données, codes, outils, formations et mentorat, bénévolat, mobilisation de la communauté, normes, logiciels, produits commercialisés) ainsi que de diverses retombées (influence sur les politiques et les pratiques, incidence sur la pensée, utilisation des résultats de la recherche par les intervenants, résultats cliniques, retombées sociétales, travaux de recherche en santé significatifs, culturellement sécurisants et fondés sur les distinctions);
- de la situation du candidat (p. ex. problèmes de santé, responsabilités familiales, handicaps, traumatismes ou pertes, répercussions de la pandémie, stade de carrière, domaine de recherche, acquis expérientiels, cheminement de carrière hors norme) et de son incidence sur le travail du candidat (voir les diverses formes de contributions). Veuillez prendre note des précisions suivantes concernant le domaine de recherche et le stade de carrière :
- Le domaine de recherche ou la discipline doit être pris en considération dans l’évaluation d’une demande. Par exemple, le nombre de publications attendu d’un chercheur biomédical, d’un clinicien et d’un chercheur en sciences sociales n’est pas nécessairement le même.
- Il faut porter attention au stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (par exemple, accès direct à une bourse de recherche à partir du doctorat par opposition à l’accès après plusieurs années hors du milieu universitaire). De plus, bien que les IRSC aient éliminé l’exigence selon laquelle les candidats doivent avoir obtenu leur doctorat depuis moins de trois ans pour être admissibles, cette décision n’a pas pour but d’encourager les chercheurs à occuper plus longtemps des postes postdoctoraux. On demande aux évaluateurs de faire preuve d’esprit critique pour déterminer si la formation visée par un candidat aura les retombées professionnelles désirées, comparativement à d’autres candidats.
Les indicateurs comme le nombre de publications et de citations ou la valeur et le nombre de subventions et de bourses reçues ne devraient pas être examinés hors contexte pour évaluer les réalisations, les contributions et les activités d’un candidat. Il ne faut donc pas se servir d’indicateurs bibliométriques, tels que les facteurs d’impact, comme succédané d’appréciation de la qualité d’un article de recherche. Comme l’indique la DORA, « le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié ». On demande aux candidats de fournir des détails sur leur rôle dans les contributions scientifiques citées ainsi que sur l’impact positif et l’importance de ces contributions.
3.2 Lire les demandes
On conseille aux évaluateurs de lire attentivement l’ensemble des demandes qui leur sont assignées avant de commencer à attribuer les cotes et de prendre en note leurs réflexions. À cette fin, la Feuille de travail de l’évaluateur pour les bourses de recherche des IRSC est fournie comme modèle à l'annexe B. Ce document est réservé à un usage personnel et ne sera pas soumis aux IRSC.
Les évaluateurs doivent étudier chaque demande du point de vue d’un généraliste et évaluer sa qualité globale, notamment les objectifs de carrière, le profil et les attentes du candidat ainsi que la proposition de recherche, à l’aide des critères de sélection appropriés. Il est important de noter que de nombreux candidats mèneront probablement des recherches en dehors de la spécialité scientifique de l’évaluateur.
De plus, les évaluateurs doivent reconnaître l’importance de l’intégration du sexe et du genre dans les propositions de recherche et en évaluer la pertinence dans les demandes qui leur sont assignées. Pour de plus amples renseignements sur la prise en compte du sexe et du genre en recherche, les évaluateurs sont invités à suivre les modules de formation suivants :
- Introduction à la prise en compte du sexe et du genre en science fondamentale
- Introduction à la prise en compte du sexe et du genre en recherche clinique et épidémiologique
- L’évaluation de l’intégration du sexe et du genre en recherche
Pour évaluer les demandes faisant intervenir des membres des Premières Nations, des Inuits et des Métis, les évaluateurs sont fortement encouragés à consulter le module de formation et la documentation qui suit :
- Mise en contexte de la recherche en santé autochtone
- Éthique de la recherche en santé visant les Premières Nations, les Inuits et les Métis
Pour s’assurer que toutes les demandes reçoivent le même traitement, on demande aux évaluateurs de fonder leur évaluation seulement sur le contenu de la demande, et de ne pas faire d’autres recherches (vérifier des publications au moyen de PubMed, par exemple).
3.3 Préjugés inconscients
En lisant les demandes, les évaluateurs doivent porter attention aux préjugés inconscients liés au sexe, à la culture (incluant les préjugés relatifs à la culture autochtone et au lieu géographique), à l’âge, à la langue (incluant les préjugés relatifs aux langues officielles et aux communautés en situation minoritaire) et aux établissements. Il faut se rappeler que :
- les interruptions de carrière en raison d’une grossesse et de l’éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
- des disciplines et des milieux différents offrent différentes occasions de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche;
- la réputation des établissements ne doit pas avoir d’effet sur l’opinion que les évaluateurs ont des candidats ou de leur milieu de formation en recherche;
- les évaluateurs doivent :
- prendre des mesures afin d’atténuer les préjugés inconscients dans le processus de réflexion sur les différences de culture (p. ex. dans le cas des peuples autochtones du Canada);
- respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche sur les communautés francophones en situation minoritaire.
Pour en apprendre davantage au sujet des préjugés inconscients, les évaluateurs sont invités à suivre le module d'apprentissage correspondant.
3.4 Attribuer une cote aux demandes
On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères de sélection décrits à l'annexe A, en utilisant l’échelle de cotation habituelle des IRSC (ci-dessous). Il est essentiel d’utiliser toute l’échelle.
Descripteur | Intervalle | Définition | Résultat |
---|---|---|---|
Exceptionnel | 4,5 – 4,9 | La demande fait preuve d’excellence à l’égard de la plupart ou de la totalité des aspects pertinents. Il peut y avoir des lacunes minimes. | Subventionnable |
Excellent | 4,0 – 4,4 | La demande fait preuve d’excellence à l’égard d’une bonne partie des aspects pertinents et se révèle acceptable à l’égard de tous les autres. Des améliorations sont possibles. | |
Très bon | 3,5 – 3,9 | La demande fait preuve d’excellence à l’égard de quelques aspects pertinents et se révèle acceptable à l’égard de tous les autres. Des améliorations s’imposent. | |
Bon | 3,0 – 3,4 | La demande traite des aspects pertinents d’une manière générale. Des améliorations importantes s’imposent. | Non subventionnable |
Moyen | 2,0 – 2,9 | La demande ne présente pas d’arguments suffisamment convaincants ou présente des lacunes ou des failles importantes. | |
Sous la moyenne | 1,0 – 1,9 | ||
Inacceptable | 0,0 – 0,9 |
Les demandes dont la cote est inférieure à 3,5 ne sont pas admissibles au financement des IRSC, y compris celles provenant de programmes de partenariat ou d’annonces de priorités.
3.5 Rédiger une évaluation pour chaque demande
Les évaluateurs doivent rédiger une courte évaluation (d’au plus 4 000 caractères) venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées afin de mettre en lumière les forces et les faiblesses de la demande par rapport à chaque critère de sélection et de fournir des remarques constructives au candidat pour l’aider à améliorer la qualité et l’efficacité de la formation proposée.
Les évaluateurs doivent axer leurs commentaires sur les forces et les faiblesses de la demande par rapport à chaque critère de sélection.
- Privilégiez la simplicité.
- Utilisez des descripteurs connus, tels que ceux de l’échelle de cotation des IRSC qui correspondent à votre évaluation.
- Fournissez une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant.
- Respectez les principes de la DORA en prenant en considération diverses formes de contributions et retombées et en évitant de vous servir d’indicateurs bibliométriques, tels que les facteurs d’impact, comme succédané d’appréciation de la qualité. Plutôt que d’examiner le nombre de publications et de citations ou la valeur et le nombre de subventions et de bourses reçues hors contexte, conciliez les indicateurs quantitatifs et l’information qualitative dans la proposition.
- Soyez clair et concis.
- Même si la concision est acceptable (p. ex. listes à puces), formulez des opinions complètes et assurez-vous de fournir suffisamment de renseignements pour éclairer les lecteurs.
- Utilisez un langage objectif et non incisif.
- Évitez toute formulation qui pourrait être considérée comme sarcastique, cavalière, arrogante ou inappropriée.
Le candidat recevra l’évaluation telle qu’elle est soumise par l’évaluateur. C’est pourquoi les évaluateurs doivent s’abstenir d’indiquer les cotes dans les commentaires et d’inscrire leur nom afin de préserver la confidentialité du processus d’évaluation. Pour d’autres directives sur la réalisation d’évaluations de qualité, voir les attentes quant à la qualité de l’évaluation des IRSC et le module Effectuer des évaluations de qualité.
3.6 Relever toute question devant être portée à l'attention des IRSC
Toute préoccupation liée, entre autres, à l’admissibilité, à l’éthique et aux cellules souches humaines doit immédiatement être portée à l’attention du personnel des IRSC à des fins de suivi et ne devrait pas faire l’objet de commentaires écrits, sauf si elle a une incidence sur la qualité scientifique de la demande. Pour obtenir la liste complète des questions possibles, veuillez consulter le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC. Les préoccupations peuvent être signalées aux IRSC par courriel à l’adresse FellowshipAward-BourseDeRecherche@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d’évaluation par les pairs).
Étape 4 : Soumettre les évaluations et les cotes par RechercheNet
Au fil de leur travail, les évaluateurs pourront enregistrer des ébauches de leurs évaluations en sélectionnant Sauvegarder une version préliminaire dans RechercheNet, ce qui leur permettra d’apporter des changements ultérieurement. Toutefois, au moment de soumettre leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l'évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.
Les évaluateurs doivent respecter l’échéance fixée et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC. Tout retard dans le processus d’évaluation par les pairs pourrait empêcher les IRSC de faire part de leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu’il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.
Étape 5 : Être prêt à procéder à une réévaluation
Une fois que toutes les cotes seront soumises, les IRSC évalueront l’écart entre celles-ci en calculant le résultat final de chaque demande. Les IRSC détermineront ensuite les demandes qui risquent d’être l’objet d’une décision injuste à cause de l’importance de l’écart entre les cotes des évaluateurs. Les IRSC demanderont alors aux évaluateurs de revoir leur évaluation initiale et de présenter de nouvelles cotes. Pour ce faire, on leur demandera d’en discuter. Les évaluateurs n’ont pas accès aux cotes et aux évaluations de leurs collègues, mais le personnel des IRSC pourra faciliter le processus de réévaluation au besoin.
Important : On recommande donc aux évaluateurs de conserver leurs notes de travail dans leurs dossiers jusqu’à quelques semaines après l’annonce des résultats du concours.
Classement des demandes
Au terme de l’évaluation par les pairs, les IRSC établiront un classement des demandes. Il arrive souvent que des demandes obtiennent la même cote globale parmi le classement final. Si plus de demandes sont admissibles au financement que ne le permet le budget du concours, les IRSC procéderont à un bris d’égalité en fonction du rang centile du comité pour les demandes ex æquo de plusieurs comités et le rang centile combiné pour les demandes ex æquo au sein d’un comité.
Rétroaction
Un élément important de toute évaluation par les pairs est l’examen de l’efficacité et du fonctionnement du comité, ainsi que les commentaires sur les questions stratégiques soulevées lors du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d’évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d’évaluation par les pairs efficace et de grande qualité.
Puisqu’aucune réunion en personne ou par téléconférence n’est tenue, les évaluateurs doivent envoyer leur rétroaction au coordonnateur du comité, à l’adresse FellowshipAward-BourseDeRecherche@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d’évaluation par les pairs).
Annexe A – Critères de sélection pour les bourses de recherche des IRSC
Voici les trois critères de sélection pour le Programme de bourses de recherche des IRSC.
Critère | Remarques et conseils à l’intention des évaluateurs | Source d’information |
---|---|---|
1. Réalisations et activités du candidat (60 %) Les IRSC ont signé la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), qui reconnaît que les résultats de recherche ne se limitent pas à la publication d’articles dans les revues, mais qu’ils peuvent comprendre un large éventail de contributions et de retombées. Il est essentiel que les évaluateurs tiennent compte de la situation du candidat (p. ex. problèmes de santé, responsabilités familiales, handicaps, traumatismes ou pertes, répercussions de la pandémie, domaine de recherche, acquis expérientiels, cheminement de carrière hors norme) et de son incidence sur le travail du candidat. Ils doivent également porter attention au stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex. accès direct à une bourse de recherche à partir du doctorat par opposition à l’accès après plusieurs années hors du milieu universitaire). En outre, le fait de consacrer beaucoup de temps à mener des travaux postdoctoraux (par exemple, plus de cinq ans) ou à entreprendre une formation professionnelle en santé n’augmente pas nécessairement la probabilité d’obtenir un poste universitaire. |
||
a) Attentes en matière de formation |
Pondération de ce sous-critère dans la cote globale : 10 % Aperçu du lien entre la formation du candidat et la proposition de recherche, et présentation des objectifs de carrière.
|
Voir la section Attentes en matière de formation |
b) Projet de recherche proposé |
Pondération de ce sous-critère dans la note globale : 10 % Résumé du projet de recherche rédigé dans un langage scientifique général en collaboration avec les directeurs de recherche proposés.
|
Voir le résumé du projet de recherche et l’information sur la proposition |
c) Prix, bourses et distinctions universitaires |
Pondération de ce sous-critère dans la note globale : 10 % Énumération des reconnaissances officielles (p. ex. distinctions, honneurs, prix et bourses) reçues par le candidat, incluant les bourses de formation (dans le cadre d’un processus concurrentiel ou non concurrentiel, sous forme d’argent ou autre, acceptés ou refusés, etc.)
|
Voir le CVC du candidat, surtout les sections Marques de reconnaissance et Historique du financement de la recherche |
d) Contributions et activités liées à la recherche |
Pondération de ce sous-critère dans la note globale : 30 % Énumération des diverses contributions (articles de recherche, rapports, livres, documents d’orientation, ensembles de données, codes, outils, formations et mentorat, bénévolat, mobilisation de la communauté, normes, logiciels, produits commercialisés) et retombées (influence sur les politiques et les pratiques, incidence sur la pensée, utilisation des résultats de la recherche par les intervenants, résultats cliniques, retombées sociétales, travaux de recherche en santé significatifs, culturellement sécurisants et fondés sur les distinctions) du candidat. Soyez à l’affût des éléments suivants :
|
Voir le CVC du candidat, surtout les sections Activités, Contributions et Renseignements complémentaires au CVC |
2. Évaluation des caractéristiques et aptitudes du candidat par les répondants Remarque : Il est important que les évaluateurs tiennent compte du stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex., accès direct à une bourse de recherche à partir du doctorat par opposition à l’accès après plusieurs années hors du milieu universitaire). En outre, le fait de consacrer beaucoup de temps à mener des travaux postdoctoraux (par exemple, plus de cinq ans) ou entreprendre une formation professionnelle en santé n’augmente pas nécessairement la probabilité d’obtenir un poste universitaire. |
||
Pondération de ce sous-critère dans la note globale : 20 % Évaluation du candidat par trois répondants, de préférence des personnes ayant dirigé le candidat en formation de sorte à bien connaître ses caractéristiques et ses aptitudes, ou des personnes ayant eu l’occasion d’évaluer son potentiel pour la recherche. Il faut tenir compte du fait que les candidats n’ont pas la possibilité de justifier leur choix de répondants dans leur demande. Avec le formulaire d’évaluation du répondant :
|
Voir les formulaires d’évaluation des répondants | |
3. Milieu de formation en recherche | ||
Pondération de ce sous-critère dans la note globale : 20 % Éléments du milieu de recherche qui contribueront directement ou indirectement à la qualité de l’expérience de formation en recherche du candidat. Cette section doit démontrer l’engagement des directeurs de recherche proposés et de leur établissement à appuyer la réalisation du projet de recherche du candidat (par du financement, des installations, de l’équipement, etc.) ainsi que son perfectionnement professionnel.
|
Voir la section Milieu de formation en recherche pour une description des locaux, des installations et du personnel de soutien à la disposition du candidat |
Annexe B – Feuille de travail de l’évaluateur pour les bourses de recherche des IRSC
Le tableau suivant sert de guide pour l’évaluation de la demande. Il ne devrait être utilisé que pour les notes de travail et ne sera pas soumis aux IRSC.
Nom du candidat : __________________________ No demande : _______________________
Critère | Cote | Commentaires de l'évaluateur | |
---|---|---|---|
1. Réalisations et activités du candidat (60 %) | a) Attentes en matière de formation (10 %) |
Forces :
|
|
b) Projet de recherche proposé (10 %) | |||
c) Prix, bourses et distinctions universitaires (10 %) | |||
d) Contributions et activités liées à la recherche (30 %) | |||
2. Évaluation des caractéristiques et aptitudes du candidat par les répondants (20 %) |
Forces :
|
||
3. Milieu de formation en recherche (20 %) |
Forces :
|
- Date de modification :