Guide de l’évaluateur pour les bourses de recherche des IRSC

Table des matières


Introduction

Au nom des IRSC, nous remercions les évaluateurs d’avoir accepté de siéger à un comité d’évaluation par les pairs. Le succès du processus d’évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir des instructions sur le processus d’évaluation par les pairs propre au programme de bourses de recherche des IRSC.

Évaluation par les pairs aux IRSC

Le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC contient des renseignements sur les objectifs, la gouvernance et les politiques des IRSC et décrit les rôles et les responsabilités des membres des comités d’évaluation par les pairs de même que les politiques, les principes et les procédures d’évaluation par les pairs. Il est important que les évaluateurs se familiarisent avec ce guide, de même qu’avec le présent document, avant le début des évaluations.

Résumé du processus d’évaluation par les pairs

Le programme de bourses de recherche des IRSC a recours à un processus d’évaluation individuel structurée au moyen de la plateforme web RechercheNet. Le processus d’évaluation comporte une étape, qui consiste à évaluer individuellement et à noter les demandes assignées (il n’y a pas de réunion du comité). Toutes les demandes admissibles reçues seront assignées à trois (3) évaluateurs.

Le programme de bourse de recherche compte cinq (5) comités d’évaluation par les pairs. Chaque demande reçue sera assignée au comité dont le mandat se rapproche le plus de la formation, des titres de compétences et du domaine de recherche du candidat. Le lien pour accéder aux mandats des différents comités figure dans la section « Lire les documents pertinents ».

On demande aux évaluateurs de suivre les instructions suivantes étape par étape afin de bien effectuer chacune des tâches associées à l’évaluation par les pairs.

  • Étape 1 : Lire les documents pertinents
  • Étape 2 : Signaler les conflits d’intérêts
  • Étape 3 : Analyser attentivement les demandes assignées
  • Étape 4 : Soumettre les évaluations et les cotes via RechercheNet
  • Étape 5 : Être prêt à procéder à une nouvelle évaluation au besoin

Instructions étape par étape

Étape 1 : Lire les documents pertinents

Le présent document détaille le processus d’évaluation par les pairs de ce programme. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il est également important de prendre connaissance des documents suivants :

Étape 2 : Signaler les conflits d’intérêts

Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d’intérêts :

  • Ouvrir une session dans RechercheNet.
  • Sur la page d’accueil, cliquer sur le lien du comité attitré pour ouvrir la liste de tâches principale.
  • Effectuer la tâche Examiner Lignes directrices sur la confidentialité et les conflits d’intérêts (lorsque cette tâche sera terminée, les autres tâches s’ouvriront).
  • Ouvrir la tâche Gérer les conflits/Capacité d’évaluer.
  • Consulter les renseignements fournis avec chacune des demandes qui ont été assignées pour indiquer l’aptitude à évaluer la demande ou s’il y a une situation de conflit d’intérêts. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.
    • Remarque : Les autres évaluateurs du comité déclareront également leurs conflits d’intérêts. Il est donc probable que des demandes additionnelles vous soient assignées. La charge de travail sera répartie adéquatement pour assurer un processus d’évaluation par les pairs équitable.

Étape 3 : Analyser attentivement les demandes assignées

Lorsque les conflits d’intérêts auront été déclarés, les évaluateurs pourront accéder à l’intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci-dessous.

3.1 Examiner les critères de sélection

Les évaluateurs doivent tout d’abord se familiariser avec les critères de sélection associés à cette possibilité de financement. Ceux-ci se trouvent dans l’annexe A à la fin du présent document, qui fournit une interprétation des critères et énumère les éléments à évaluer pour chacun d’entre eux.

Il est important de souligner que, pour le présent programme, les attentes par rapport à chaque candidat peuvent varier selon la discipline ou le domaine de recherche. Par exemple, il peut y avoir des différences entre un chercheur biomédical, un clinicien ou un chercheur en sciences sociales pour ce qui est du nombre de publications produites. En outre, un professionnel de la santé ayant produit un nombre minimal de publications peut avoir un dossier de publication de qualité supérieure par rapport à celui d’un chercheur biomédical qui a de nombreuses publications à son actif.

Il est également important que les évaluateurs tiennent compte du stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex., accès direct à une bourse de recherche à partir du doctorat par opposition à l’accès après plusieurs années hors du milieu académique). Veuillez noter, bien que les IRSC aient supprimé l’exigence d’admissibilité que les candidats ne devaient pas avoir obtenu un doctorat plus de trois ans avant la date limite du concours, il ne s’agit toutefois pas à encourager le temps supplémentaire consacré aux postes postdoctoraux. Les évaluateurs sont invités à réfléchir de manière critique à savoir si le poste postdoctoral pour lequel un candidat demande du financement aura les avantages et l’impact de carrière souhaités par rapport aux autres candidats.

3.2 Lire les demandes assignées

Les évaluateurs sont conseillés de lire attentivement toutes les demandes qui leur sont assignées avant de leur attribuer une cote et de prendre en note leurs commentaires. À cette fin, la Feuille de travail de l’évaluateur pour les bourses de recherche des IRSC est fourni comme modèle à l’annexe B. Ce document est réservé à un usage personnel et ne sera pas soumis aux IRSC.

Il importe de noter que de nombreux candidats mèneront probablement des recherches en dehors de la spécialité scientifique de l’évaluateur. Ce dernier doit donc étudier la demande du point de vue d’un généraliste et évaluer la qualité globale de la recherche proposée par le candidat à l’aide des critères de sélection appropriés.

Pour s’assurer que toutes les demandes reçoivent le même traitement, on demande aux évaluateurs de fonder leur évaluation seulement sur le contenu de la demande, et de ne pas faire d’autres recherches sur le candidat ou l’établissement de recherche proposé (p. ex. vérifier des publications au moyen de PubMed).

3.3 Préjugés inconscients

En lisant les demandes, les évaluateurs doivent porter attention aux préjugés inconscients liés au sexe, à la culture (incluant les préjugés en lien avec la culture autochtone et le lieu géographique), l’âge, la langue (incluant les préjugés en lien avec les langues officielles et les communautés minoritaires) et les établissements. Il faut se rappeler que :

  • les interruptions de carrière en raison d’une grossesse et de l’éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
  • des disciplines et des environnements différents offrent diverses occasions de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche;
  • la réputation des établissements ne doit pas avoir d’effet sur l’opinion que les évaluateurs ont des candidats ou de leur milieu de formation en recherche;
  • Il est important pour les évaluateurs de prendre des mesures afin d’atténuer les préjugés inconscients, soit par un processus de réflexion sur les différences de culture (par exemple les peuples autochtones du Canada);
  • Les évaluateurs doivent s’assurer de respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche sur les communautés francophones en situation minoritaire.

Pour en apprendre davantage au sujet des préjugés inconscients, les évaluateurs sont encouragés à suivre le module d’apprentissage correspondant.

3.4 Attribuer une cote aux demandes assignées

On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères de sélection décrits à l’annexe A, en utilisant l’échelle de cotation habituelle des IRSC (ci-dessous). Il est essentiel d’utiliser toute l’échelle.

Descripteur Intervalle Résultat
Exceptionnel 4.5 – 4.9 Subventionnable
Excellent 4.0 – 4.4
Très bon 3.5 – 3.9
Bon 3.0 – 3.4 Non subventionnable
Moyen 2.0 – 2.9
Sous la moyenne 1.0 – 1.9
Inacceptable 0.0 – 0.9

Les demandes dont la cote est inférieure à 3.5 ne sont pas admissibles au financement des IRSC, y compris celles provenant de programmes de partenariat ou d’annonces de priorités.

3.5 Rédiger une évaluation pour chaque demande assignée

On demande aux évaluateurs de rédiger une courte évaluation venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées afin de fournir des remarques constructives au candidat pour l’aider à améliorer la qualité et l’efficacité de la formation proposée.

Les commentaires devraient être axés sur les forces et les faiblesses de la demande en tenant compte des critères de sélection :

  • Privilégier la simplicité;
  • Utiliser des descripteurs connus, tel que ceux de l’échelle de cotation des IRSC qui correspondront à l’évaluation;
  • Fournir une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant;
  • Être clair et concis;
  • Même si la concision est acceptable (p. ex. listes à puces), formuler des opinions complètes et s’assurer de fournir suffisamment de renseignements pour éclairer les lecteurs;
  • Utiliser un langage objectif et non incisif;
  • Éviter soigneusement toute formulation qui pourrait être considérée comme sarcastique, irrévérencieuse, arrogante ou inappropriée de quelque façon que ce soit.

Le candidat recevra l’évaluation telle qu’elle est présentée par l’évaluateur. C’est pourquoi les évaluateurs doivent s’abstenir d’indiquer les cotes dans les commentaires et d’inscrire leur nom afin de préserver la confidentialité du processus d’évaluation. Pour d’autres directives sur la réalisation d’évaluations de qualité, voir les attentes quant à la qualité de l’évaluation des IRSC et le module Effectuer des évaluations de qualité.

3.6 Relever toute question devant être portée à l’attention des IRSC

Toute préoccupation liée, entre autres, à l’admissibilité, à l’éthique et aux cellules souches humaines doit immédiatement être portée à l’attention du personnel des IRSC à des fins de suivi, et ne devrait faire l’objet ni de commentaires écrits ni d’un examen dans le cadre d’une discussion en ligne. Pour obtenir la liste complète des questions possibles, veuillez consulter le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC. Ces points ne devraient pas être considérés comme des critères d’évaluation, sauf s’ils peuvent avoir une incidence sur la qualité scientifique de la demande. Les préoccupations peuvent être signalées aux IRSC par courriel à l’adresse Awards-Bourses@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d’évaluation par les pairs).

Étape 4 : Soumettre les évaluations et les cotes via RechercheNet

Au fil de leur travail, les évaluateurs pourront enregistrer des ébauches de leurs évaluations en sélectionnant Sauvegarder une version préliminaire dans RechercheNet, ce qui leur permettra d’apporter des changements ultérieurement. Toutefois, au moment de soumettre leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l’évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.

Les évaluateurs doivent respecter l’échéance qui leur est fournie et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC responsable de ce programme. Tout retard dans le processus d’évaluation par les pairs pourrait empêcher les IRSC de rendre leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu’il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Étape 5 : Être prêt à procéder à une nouvelle évaluation au besoin

Une fois que toutes les cotes seront soumises, les IRSC évalueront l’écart entre celles-ci en calculant le résultat final de chaque demande. Les IRSC détermineront ensuite les demandes qui risquent d’être l’objet d’une décision injuste à cause de l’importance de l’écart entre les cotes des évaluateurs. Les IRSC demanderont alors aux évaluateurs de revoir leur évaluation initiale et de présenter de nouvelles cotes. Pour y arriver, on leur demandera d’en discuter ensemble.

C’est pourquoi on recommande aux évaluateurs de conserver leurs notes de travail dans leurs dossiers jusqu’à quelques semaines après que les résultats du concours aient été annoncés.

Classement des demandes

Au terme de l’évaluation par les pairs, les IRSC établiront une liste de classement des demandes. Il arrive souvent que des demandes obtiennent la même cote globale parmi la liste de classement final. Si plus de demandes sont admissibles au financement que ne le permet le budget du concours, les IRSC procéderont à un bris d’égalité en comparant les cotes globales allouées pour des critères d’évaluation précis, dans l’ordre suivant :

  1. Réalisations et activités du candidat
  2. Milieu de formation en recherche
  3. Évaluation des caractéristiques et aptitudes du candidat par les répondants

Rétroaction

Un élément important de toute évaluation par les pairs est l’examen final de l’efficacité et du fonctionnement du comité, ainsi que des commentaires sur les questions de politique soulevées au cours du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d’évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d’évaluation par les pairs efficace et de grande qualité.

Puisqu’aucune réunion en personne ou par téléconférence n’est tenue, les évaluateurs doivent envoyer leur rétroaction au coordonnateur du comité, à l’adresse Awards-Bourses@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d’évaluation par les pairs).

Annexe A – Critères de sélection pour les bourses de recherche des IRSC

Voici les trois critères de sélection pour le programme de bourses de recherche des IRSC.

Critère Notes/conseils aux évaluateurs

1. Réalisations et activités du candidat (60 %)

Nota : Il est important que les évaluateurs tiennent compte du stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex., accès direct à une bourse de recherche à partir du doctorat par opposition à l’accès après plusieurs années hors du milieu académique). Notez également que le temps passé à mener des travaux postdoctoraux (par exemple, plus de 5 ans) peut ne pas nécessairement entraîner une plus grande probabilité d’obtenir un poste académique.

a) Attentes en matière de formation

Pondération de ce sous-critère dans la note globale : 10 %

Aperçu du lien entre la formation du candidat et le présent projet de recherche, et présentation des objectifs de carrière.

  • Évaluer la clarté et la logique du plan de carrière du candidat en recherche et de la pertinence de la formation proposée.
  • Considérer la manière dont la formation que le candidat s’attend à acquérir contribuera à sa productivité et aux objectifs de recherche qu’il espère atteindre, ainsi que comment la bourse aidera le candidat à s’établir à titre de chercheur indépendant.
    • Les candidats ont été invités à décrire comment leur formation antérieure (universitaire ou autre) profitera à leur travail postdoctoral actuel / à venir.
    • Les candidats ont été invités à justifier le besoin de plus de temps consacré à un poste postdoctoral (le cas échéant) et à la façon dont ils contribueront à leurs objectifs de carrière.
    • Les candidats ont été encouragés à envisager une planification de carrière prudente pour évaluer leurs aspirations professionnelles, établir des objectifs de carrières et identifier des stratégies pour développer des compétences de recherche techniques et professionnelles afin d’atteindre ces objectifs.
  • Tenir compte de la justification du choix du lieu de formation proposé et de ce que le candidat compte tirer de cette expérience de formation.
  • Juger, le cas échéant, de la justification du choix du candidat de détenir la bourse au même lieu de recherche ou sous la supervision du même directeur de recherche que lors de ses études doctorales (p. ex. établissement de recherche ou centre affilié).
b) Projet de recherche proposé

Pondération de ce sous-critère dans la note globale : 10 %

Résumé du projet de recherche rédigé dans un langage scientifique général en collaboration avec le ou les directeurs de recherche proposés.

  • Déterminer si le projet convient au candidat, compte tenu de ses études, de son expérience et de ses centres d’intérêt. Représente-t-il un juste équilibre entre le défi à relever, l’importance de la question posée et la faisabilité de la recherche, compte tenu de l’expérience et de la formation du candidat?
  • Il convient de noter que ce n’est pas le projet en tant que tel qui est évalué, mais bien le projet en tant que partie intégrante du parcours de chercheur du candidat.
  • Vérifier que le résumé du projet de recherche :
    • inclut les hypothèses particulières de la recherche et décrit le rôle du candidat dans le projet;
    • rend compte de manière concise du thème de recherche, donne un aperçu de chaque partie du plan de recherche, énonce les buts précis du projet et en décrit la méthodologie;
    • illustre bien l’importance du projet.
c) Prix, bourses et distinctions universitaires

Pondération de ce sous-critère dans la note globale : 10 %

Énumération des reconnaissances officielles (p. ex. citations, distinctions, honneurs, prix et bourses) du candidat, incluant les bourses de formation (reçues via un processus compétitif ou non, monétaires ou non, déclinées [...], etc.)

  • Évaluer le nombre, l’importance et la portée des distinctions spéciales qu’a reçues le candidat dans le cadre de ses études, de sa formation et de son travail.
  • Noter le temps nécessaire pour terminer les programmes universitaires et toute indication de distinctions universitaires reçues.
  • Enfin, déterminer la pertinence des reconnaissances officielles par rapport aux recherches du candidat et si elles sont de portée régionale, nationale ou internationale.
d) Publications et réalisations liées à la recherche

Pondération de ce sous-critère dans la note globale : 30 %

Articles, chapitres, livres, ou autres publications (en particulier celles évaluées par les pairs), ainsi que les communications de conférences, les résumés et l’information sur toute application pratique, comme les brevets ou les droits d’auteur. Méthode d’évaluation :

  • Financement de recherche pour lequel le candidat était officiellement désigné comme codemandeur, cochercheur, co-utilisateur des connaissances, collaborateur, décideur, responsable des politiques, candidat principal, chercheur principal ou principal utilisateur des connaissances. Remarque : certains candidats indiquent leurs bourses de formation (p. ex.  bourses à la maitrise (BESC) et bourses doctorales) dans cette section, mais ces informations devraient être évaluées en lien avec le critère « Prix, bourses et distinctions universitaires ».
  • Relever l’information sur les réalisations en recherche par rapport aux occasions saisies jusqu’à maintenant, sans oublier que les occasions de publier peuvent varier en fonction du domaine de recherche et du parcours personnel (p. ex. carrière de professionnel de la santé, temps consacré à l’éducation des enfants).
  • Considérer le nombre de coauteurs et le rang qu’occupe le candidat dans la liste des auteurs en ce qui concerne les publications (ce rang peut varier, entre autres, selon la discipline).
  • Tenir compte du rôle du candidat dans les publications, du pourcentage estimatif de sa contribution et du type de publication (p. ex. communication, article, chapitre, livre, etc.).
  • Essayer d’avoir une idée de l’œuvre complète du candidat et de son impact probable en notant les dates de publication et en établissant des liens avec les études et la formation du candidat (gardez à l’esprit que la liste de résumés donne une idée du nombre de communications de conférences).
  • Prendre en considération les autres activités professionnelles du candidat ainsi que les brevets et les droits d’auteur pour lesquels il a apporté sa contribution.

Remarque : Veuillez ne pas prendre en compte les publications à l’état « Soumis ».

2. Évaluation des caractéristiques et aptitudes du candidat par les répondants

Nota : Il est important que les évaluateurs tiennent compte du stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex., accès direct à une bourse de recherche à partir du doctorat par opposition à l’accès après plusieurs années hors du milieu académique).

Pondération dans la note globale : 20 %

Évaluation du candidat par trois répondants ayant de préférence dirigé le candidat en formation ou ayant eu l’occasion d’évaluer son potentiel pour la recherche. Il faut tenir compte du fait que les candidats n’ont pas la possibilité de justifier leur choix de répondants dans leur demande. Avec le formulaire d’évaluation du répondant :

  • Chercher les commentaires des répondants attestant que le candidat affiche des caractéristiques et des compétences correspondant à ses réalisations comme chercheur.
  • Analyser les évaluations des répondants en tenant compte du fait que les commentaires positifs sont courants, tandis que les commentaires négatifs ne le sont pas.
  • Lire attentivement le texte d’appui, en prenant note de la mesure dans laquelle les répondants justifient leurs cotes.
  • S’intéresser tout particulièrement aux indications révélant que les répondants perçoivent le candidat comme une personne qui a l’esprit investigateur et critique, qui remet certaines choses en question et qui est originale et indépendante.
  • Rechercher également les notes indiquant que les répondants perçoivent le candidat comme une personne à la fois énergique et concentrée.
  • Relever, si le candidat a eu la chance de mener des recherches, toute mention de créativité dans l’établissement des buts de recherche, la conception d’expériences, l’élaboration de nouvelles méthodologies, l’interprétation de résultats et la présentation de conclusions par écrit.
  • Tenir compte de ce qui suit :
    • Les commentaires détaillés appuient-ils les cotes indiquées sur la première page de l’évaluation?
    • Depuis combien de temps le répondant connaît-il le candidat?
    • Quel est le lien entre le répondant et le candidat?
3. Milieu de formation en recherche

Pondération dans la note globale : 20 %

Éléments du milieu de recherche qui contribueront directement ou indirectement à la qualité de l’expérience de formation en recherche du candidat. Cette section doit démontrer l’engagement du ou des directeurs de recherche proposés et de leur établissement à appuyer le projet de recherche du candidat (par du financement, des installations, de l’équipement, etc.) ainsi que son perfectionnement professionnel.

  • Évaluer l’information sur l’expérience en recherche, les compétences, les distinctions et les prix du ou des directeurs de recherche, ainsi que leur dossier de publication afin d’avoir une idée de leur productivité, de leur influence et de leur collaboration en tenant compte des différentes disciplines et de leur impact sur celles-ci.
  • Déterminer si le milieu de recherche, notamment les locaux, les installations et le personnel de soutien, est adéquat.
  • Déterminer si le directeur de recherche démontre un engagement et/ou appuie le développement des compétences et des réseaux techniques et professionnels du stagiaire.
  • Dégager les ressources disponibles et le niveau global d’activité en examinant l’information relative aux subventions actuellement détenues et en vérifiant si le directeur de recherche était désigné comme candidat principal ou cocandidat pour ces subventions.
  • Veuillez évaluer le dossier de formation du ou des directeurs de recherche, en notant pour chaque individu énuméré : le niveau de formation, la période passée sous la supervision du directeur de recherche, le diplôme obtenu (s’il y a lieu) et le poste actuel.
  • Tenir compte de l’étape de la carrière du ou des directeurs de recherche et de leur discipline, car vos attentes en matière de mentorat ne devraient pas être les mêmes pour un chercheur récemment établi que pour un chercheur de longue date.

Annexe B – Feuille de travail de l’évaluateur pour les bourses de recherche des IRSC

Le tableau suivant sert de guide pour l’évaluation de la demande. Il ne devrait être utilisé que pour les notes de travail et ne sera pas soumis aux IRSC.

Nom du candidat : __________________________ No demande : _______________________

Critère Cote Commentaires de l’évaluateur
1. Réalisations et activités du candidat (60 %) a) Attentes en matière de formation (10 %) Forces :
Faiblesses :
b) Projet de recherche proposé (10 %)
c) Prix, bourses et distinctions universitaires (10 %)
d) Publications et réalisations liées à la recherche (30 %)
2. Évaluation des caractéristiques et aptitudes du candidat par les répondants (20 %) Forces :
Faiblesses :
3. Milieu de formation en recherche (20 %) Forces :
Faiblesses :
Date de modification :