Guide de l'évaluateur pour les bourses de recherche des IRSC

Table des matières


Introduction

Au nom des IRSC, nous remercions les évaluateurs d'avoir accepté de siéger à un comité d'évaluation par les pairs. Le succès du processus d'évaluation par les pairs repose sur des gens comme vous qui mettent leur temps et leur expertise au service des comités. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir des instructions sur le processus d'évaluation par les pairs propre au programme de bourses de recherche des IRSC.

Évaluation par les pairs aux IRSC

Le Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC contient des renseignements sur les objectifs, la gouvernance et les politiques des IRSC et décrit les rôles et les responsabilités des membres des comités d'évaluation par les pairs de même que les politiques, les principes et les procédures d'évaluation par les pairs. Il est important que les évaluateurs se familiarisent avec ce guide, de même qu'avec le présent document, avant le début des évaluations.

Résumé du processus d'évaluation par les pairs

Le Programme de bourses de recherche des IRSC a recours à un processus d'évaluation individuel structurée au moyen de la plateforme en ligne RechercheNet. Le processus d'évaluation comporte une étape, qui consiste à évaluer individuellement et à coter les demandes assignées (les comités ne se réunissent pas). Toutes les demandes admissibles reçues sont assignées à trois (3) évaluateurs.

Le Programme de bourses de recherche compte cinq (5) comités d'évaluation par les pairs. Chaque demande reçue est assignée au comité dont le mandat se rapproche le plus de la formation, des titres de compétences et du domaine de recherche du candidat. Le lien pour accéder aux mandats des différents comités figure dans la section « Lire les documents pertinents ».

On demande aux évaluateurs de suivre les instructions suivantes étape par étape afin de bien effectuer chacune des tâches associées à l'évaluation par les pairs.

  • Étape 1 : Lire les documents pertinents
  • Étape 2 : Signaler les conflits d'intérêts
  • Étape 3 : Analyser attentivement les demandes assignées
  • Étape 4 : Soumettre les évaluations et les cotes par RechercheNet
  • Étape 5 : Être prêt à procéder à une réévaluation

Instructions étape par étape

Étape 1 : Lire les documents pertinents

Le présent document décrit le processus d'évaluation par les pairs de ce programme. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il est également important de prendre connaissance des documents suivants :

Étape 2 : Signaler les conflits d'intérêts

Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d'intérêts :

  • Ouvrez une session dans RechercheNet.
  • Sur la page d'accueil, cliquez sur le lien de votre comité pour ouvrir la liste de tâches principale.
  • Effectuer la tâche Examiner Lignes directrices sur la confidentialité et les conflits d'intérêts (lorsque vous aurez terminé, les autres tâches s'ouvriront).
  • Ouvrez la tâche Gérer les conflits/Capacité d'évaluer.
  • Consultez les renseignements fournis pour chacune des demandes qui vous ont été assignées afin d'indiquer si vous êtes apte à évaluer la demande ou si vous êtes en situation de conflit d'intérêts. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.
    • Remarque : Comme les autres évaluateurs du comité déclareront également leurs conflits d'intérêts, il est probable que des demandes additionnelles vous soient assignées. La charge de travail sera répartie adéquatement pour assurer un processus d'évaluation par les pairs équitable.

Étape 3 : Analyser attentivement les demandes assignées

Lorsque les conflits d'intérêts auront été déclarés, les évaluateurs pourront accéder à l'intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci-dessous.

3.1 Examiner les critères de sélection

Les évaluateurs doivent tout d'abord se familiariser avec les critères de sélection associés à cette possibilité de financement, qui se trouvent à l'annexe A du présent document. L'annexe fournit une interprétation des critères et énumère les éléments à évaluer pour chacun d'entre eux.

Il est important de souligner que, pour le présent programme, les attentes par rapport à chaque candidat peuvent varier selon la discipline ou le domaine de recherche. Par exemple, il peut y avoir des différences entre un chercheur biomédical, un clinicien ou un chercheur en sciences sociales pour ce qui est du nombre de publications produites. En outre, un professionnel de la santé ayant produit un nombre minimal de publications peut avoir un dossier de publication de qualité supérieure par rapport à celui d'un chercheur biomédical qui a de nombreuses publications à son actif.

Il est également important que les évaluateurs tiennent compte du stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex., accès direct à une bourse de recherche à partir du doctorat par opposition à l'accès après plusieurs années hors du milieu universitaire). De plus, bien que les IRSC aient éliminé l'exigence selon laquelle les candidats doivent avoir obtenu leur doctorat depuis moins de trois ans pour être admissibles, cette décision n'a pas pour but d'encourager les chercheurs à occuper plus longtemps des postes postdoctoraux. On demande aux évaluateurs de faire preuve d'esprit critique pour déterminer si le poste postdoctoral visé par un candidat aura les retombées professionnelles désirées, comparativement à d'autres candidats.

3.2 Lire les demandes assignées

On conseille aux évaluateurs de lire attentivement l'ensemble des demandes qui leur sont assignées avant de commencer à attribuer les cotes et de prendre en note leurs réflexions. À cette fin, la Feuille de travail de l'évaluateur pour les bourses de recherche des IRSC est fourni comme modèle à l'annexe B. Ce document est réservé à un usage personnel et ne sera pas soumis aux IRSC.

Il importe de noter que de nombreux candidats mèneront probablement des recherches en dehors de la spécialité scientifique de l'évaluateur. Ce dernier doit donc étudier la demande du point de vue d'un généraliste et évaluer la qualité globale de la recherche proposée par le candidat à l'aide des critères de sélection appropriés.

Pour assurer une évaluation uniforme de toutes les candidatures, on demande aux évaluateurs de juger chaque demande en fonction de son contenu seulement et de ne pas faire d'autres vérifications sur le candidat ou l'établissement proposé (p. ex. recherche de publications au moyen de PubMed).

3.3 Préjugés inconscients

En lisant les demandes, les évaluateurs doivent porter attention aux préjugés inconscients liés au sexe, à la culture (incluant les préjugés relatifs à la culture autochtone et au lieu géographique), à l'âge, à la langue (incluant les préjugés relatifs aux langues officielles et aux communautés en situation minoritaires) et aux établissements. Il faut se rappeler que :

  • les interruptions de carrière en raison d'une grossesse et de l'éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
  • des disciplines et des environnements différents offrent différentes occasions de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche;
  • la réputation des établissements ne doit pas avoir d'effet sur l'opinion que les évaluateurs ont des candidats ou de leur milieu de formation en recherche;
  • les évaluateurs doivent prendre des mesures afin d'atténuer les préjugés inconscients dans le processus de réflexion sur les différences de culture (p. ex. dans le cas des peuples autochtones du Canada);
  • les évaluateurs doivent s'assurer de respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche sur les communautés francophones en situation minoritaire.

Pour en apprendre davantage au sujet des préjugés inconscients, les évaluateurs sont encouragés à suivre le module d'apprentissage correspondant.

3.4 Attribuer une cote aux demandes assignées

On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères de sélection décrits à l'annexe A, en utilisant l'échelle de cotation habituelle des IRSC (ci-dessous). Il est essentiel d'utiliser toute l'échelle.

Descripteur Intervalle Résultat
Exceptionnel 4.5 – 4.9 Subventionnable
Excellent 4.0 – 4.4
Très bon 3.5 – 3.9
Bon 3.0 – 3.4 Non subventionnable
Moyen 2.0 – 2.9
Sous la moyenne 1.0 – 1.9
Inacceptable 0.0 – 0.9

Les demandes dont la cote est inférieure à 3.5 ne sont pas admissibles au financement des IRSC, y compris celles provenant de programmes de partenariat ou d'annonces de priorités.

3.5 Rédiger une évaluation pour chaque demande assignée

On demande aux évaluateurs de rédiger une courte évaluation (d'au plus 4 000 caractères) venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées afin de fournir des remarques constructives au candidat pour l'aider à améliorer la qualité et l'efficacité de la formation proposée.

Les commentaires devraient être axés sur les forces et les faiblesses de la demande en tenant compte des critères de sélection :

  • Privilégiez la simplicité.
  • Utilisez des descripteurs connus, tel que ceux de l'échelle de cotation des IRSC qui correspondent à votre évaluation.
  • Fournissez une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant.
  • Soyez clair et concis.
  • Même si la concision est acceptable (p. ex. listes à puces), formulez des opinions complètes et assurez-vous de fournir suffisamment de renseignements pour éclairer les lecteurs.
  • Utilisez un langage objectif et non incisif.
  • Évitez toute formulation qui pourrait être considérée comme sarcastique, cavalière, arrogante ou inappropriée.

Le candidat recevra l'évaluation telle qu'elle est soumise par l'évaluateur. C'est pourquoi les évaluateurs doivent s'abstenir d'indiquer les cotes dans les commentaires et d'inscrire leur nom afin de préserver la confidentialité du processus d'évaluation. Pour d'autres directives sur la réalisation d'évaluations de qualité, voir les attentes quant à la qualité de l'évaluation des IRSC et le module Effectuer des évaluations de qualité.

3.6 Relever toute question devant être portée à l'attention des IRSC

Toute préoccupation liée, entre autres, à l'admissibilité, à l'éthique et aux cellules souches humaines doit immédiatement être portée à l'attention du personnel des IRSC à des fins de suivi, et ne devrait pas faire l'objet de commentaires écrits, sauf si elle a une incidence sur la qualité scientifique de la demande. Pour obtenir la liste complète des questions possibles, veuillez consulter le Guide d'évaluation par les pairs pour les bourses de formation et d'appui salarial des IRSC. Ces points ne devraient pas être considérés comme des critères d'évaluation, sauf s'ils peuvent avoir une incidence sur la qualité scientifique de la demande. Les préoccupations peuvent être signalées aux IRSC par courriel à l'adresse Awards-Bourses@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d'évaluation par les pairs).

Étape 4 : Soumettre les évaluations et les cotes par RechercheNet

Au fil de leur travail, les évaluateurs pourront enregistrer des ébauches de leurs évaluations en sélectionnant Sauvegarder une version préliminaire dans RechercheNet, ce qui leur permettra d'apporter des changements ultérieurement. Toutefois, au moment de soumettre leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l'évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.

Les évaluateurs doivent respecter l'échéance fixée et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC. Tout retard dans le processus d'évaluation par les pairs pourrait empêcher les IRSC de faire part de leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu'il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Étape 5 : Être prêt à procéder à une réévaluation

Une fois que toutes les cotes seront soumises, les IRSC évalueront l'écart entre celles-ci en calculant le résultat final de chaque demande. Les IRSC détermineront ensuite les demandes qui risquent d'être l'objet d'une décision injuste à cause de l'importance de l'écart entre les cotes des évaluateurs. Les IRSC demanderont alors aux évaluateurs de revoir leur évaluation initiale et de présenter de nouvelles cotes. Pour ce faire, on leur demandera d'en discuter ensemble.

On recommande donc aux évaluateurs de conserver leurs notes de travail dans leurs dossiers jusqu'à quelques semaines après l'annonce des résultats du concours.

Classement des demandes

Au terme de l'évaluation par les pairs, les IRSC établiront un classement des demandes. Il arrive souvent que des demandes obtiennent la même cote globale parmi le classement final. Si plus de demandes sont admissibles au financement que ne le permet le budget du concours, les IRSC procéderont à un bris d'égalité en comparant les cotes globales allouées pour des critères d'évaluation précis, dans l'ordre suivant :

  1. Réalisations et activités du candidat
  2. Milieu de formation en recherche
  3. Évaluation des caractéristiques et aptitudes du candidat par les répondants

Rétroaction

Un élément important de toute évaluation par les pairs est l'examen de l'efficacité et du fonctionnement du comité, ainsi que les commentaires sur les questions stratégiques soulevées au cours du processus. Ces commentaires permettent au personnel des IRSC de répondre à toute préoccupation des membres du comité et de consigner la rétroaction relative au processus d'évaluation par les pairs dans le cadre des efforts continus des IRSC pour maintenir un système d'évaluation par les pairs efficace et de grande qualité.

Puisqu'aucune réunion en personne ou par téléconférence n'est tenue, les évaluateurs doivent envoyer leur rétroaction au coordonnateur du comité, à l'adresse Awards-Bourses@cihr-irsc.gc.ca (veuillez noter que cette adresse est réservée exclusivement aux activités d'évaluation par les pairs).

Annexe A – Critères de sélection pour les bourses de recherche des IRSC

Voici les trois critères de sélection pour le programme de bourses de recherche des IRSC.

Critère Remarques et conseils à l'intention des évaluateurs

1. Réalisations et activités du candidat (60 %)

Remarque : Il est important que les évaluateurs tiennent compte du stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex., accès direct à une bourse de recherche à partir du doctorat par opposition à l'accès après plusieurs années hors du milieu universitaire). En outre, le fait de consacrer beaucoup de temps à mener des travaux postdoctoraux (par exemple, plus de cinq ans) n'augmente pas nécessairement la probabilité d'obtenir un poste universitaire

a) Attentes en matière de formation

Pondération de ce sous-critère dans la cote globale : 10 %

Aperçu du lien entre la formation du candidat et la proposition de recherche, et présentation des objectifs de carrière.

  • Évaluer la clarté et la logique du plan de carrière du candidat en recherche et de la pertinence de la formation proposée.
  • Considérez la manière dont la formation que le candidat s'attend à acquérir contribuera à sa productivité et aux objectifs de recherche qu'il espère atteindre, ainsi que la façon dont la bourse aidera le candidat à s'établir à titre de chercheur indépendant.
    • Les candidats ont été invités à décrire comment leur formation antérieure (universitaire ou autre) profitera à leur travail postdoctoral actuel ou à venir.
    • Les candidats ont été invités à justifier le besoin de consacrer plus de temps à un poste postdoctoral (le cas échéant) et à expliquer comment cela contribuera à leurs objectifs de carrière.
    • Les candidats ont été encouragés à dresser un plan de carrière rigoureux pour évaluer leurs aspirations professionnelles, établir des objectifs de carrière et cerner des stratégies de développement des compétences scientifiques, techniques et professionnelles afin d'atteindre ces objectifs.
  • Tenez compte de la justification du choix du lieu de formation et de ce que le candidat compte tirer de cette expérience de formation.
  • Tenez compte de la façon dont le candidat justifie sa décision de détenir la bourse au même lieu de recherche ou sous la supervision du même directeur de recherche que lors de ses études doctorales, le cas échéant (p. ex. établissement de recherche ou centre affilié).
    Remarque : Les candidats ne doivent pas être pénalisés lorsque leur décision est pleinement justifiée (entre autres par des raisons personnelles et professionnelles).
b) Projet de recherche proposé

Pondération de ce sous-critère dans la note globale : 10 %

Résumé du projet de recherche rédigé dans un langage scientifique général en collaboration avec le ou les directeurs de recherche proposés.

  • Déterminer si le projet convient au candidat, compte tenu de ses études, de son expérience et de ses centres d'intérêt. Représente-t-il un juste équilibre entre le défi à relever, l'importance de la question posée et la faisabilité de la recherche, compte tenu de l'expérience et de la formation du candidat?
    Remarque : Il convient de noter que ce n'est pas le projet en tant que tel qui est évalué, mais bien le projet en tant que partie intégrante du parcours de chercheur du candidat.
  • Assurez-vous que le résumé du projet de recherche :
    • inclut les hypothèses particulières de la recherche et décrit le rôle du candidat dans le projet;
    • rend compte de manière concise du thème de recherche, donne un aperçu de chaque partie du plan de recherche, énonce les buts précis du projet et en décrit la méthodologie;
    • illustre bien l'importance du projet.
c) Prix, bourses et distinctions universitaires

Pondération de ce sous-critère dans la note globale : 10 %

Énumération des reconnaissances officielles (p. ex. citations, distinctions, honneurs, prix et bourses) reçues par le candidat, incluant les bourses de formation (dans le cadre d'un processus concurrentiel ou non concurrentiel, sous forme d'argent ou autre, acceptés ou refusés, etc.)

  • Évaluez le nombre, l'importance et la portée des marques de reconnaissance officielles et des distinctions spéciales qu'a reçues le candidat dans le cadre de ses études, de sa formation et de son travail.
  • Prenez note du temps nécessaire pour terminer les programmes universitaires et de toute indication de distinctions universitaires reçues.
  • Déterminez la pertinence des reconnaissances officielles par rapport aux recherches du candidat et leur portée (régionale, nationale ou internationale).
d) Publications et réalisations liées à la recherche

Pondération de ce sous-critère dans la note globale : 30 %

Communications, articles, chapitres, livres, ou autres publications (en particulier celles évaluées par les pairs), ainsi que les présentations lors de conférences, les résumés et l'information sur toute application pratique, comme les brevets ou les droits d'auteur :

  • Tenez compte du financement de recherche pour lequel le candidat était officiellement désigné comme cocandidat , cochercheur, co-utilisateur des connaissances, collaborateur, décideur, responsable des politiques, candidat principal, chercheur principal ou utilisateur des connaissances principal. Remarque : Certains candidats indiquent leurs bourses de formation (p. ex. BESC au niveau de la maîtrise et bourses de recherche au doctorat des IRSC ) dans cette section, mais ces informations devraient être évaluées par rapport au critère « Prix, bourses et distinctions universitaires ».
  • Relever l'information sur les réalisations en recherche par rapport aux occasions saisies jusqu'à maintenant, sans oublier que les occasions de publier peuvent varier en fonction du domaine de recherche et du parcours personnel (p. ex. carrière de professionnel de la santé, temps consacré à l'éducation des enfants).
  • Considérer le nombre de coauteurs et le rang qu'occupe le candidat dans la liste des auteurs en ce qui concerne les publications (ce rang peut varier, entre autres, selon la discipline).
  • Tenez compte du rôle du candidat dans les publications, du pourcentage estimatif de sa contribution et du type de publication (p. ex. communication, article, chapitre, livre, etc.).
  • Essayez d'avoir une idée de l'œuvre complète du candidat et de son impact probable en prenant note des dates de publication et en établissant des liens avec les études et la formation du candidat (gardez à l'esprit que la liste de résumés donne une idée du nombre de présentations faites lors de conférences).
  • Prenez en considération les autres activités professionnelles du candidat ainsi que les brevets et les droits d'auteur pour lesquels il a apporté sa contribution.

Remarque : Ne tenez pas compte des publications marquées « Soumises ».

2. Évaluation des caractéristiques et aptitudes du candidat par les répondants

Remarque : Il est important que les évaluateurs tiennent compte du stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (p. ex., accès direct à une bourse de recherche à partir du doctorat par opposition à l'accès après plusieurs années hors du milieu universitaire). En outre, le fait de consacrer beaucoup de temps à mener des travaux postdoctoraux (par exemple, plus de cinq ans) n'augmente pas nécessairement la probabilité d'obtenir un poste universitaire.

Pondération dans la note globale : 20 %

Évaluation du candidat par trois répondants, de préférence des personnes ayant dirigé le candidat en formation de sorte à bien connaître ses caractéristiques et ses aptitudes, ou des personnes ayant eu l'occasion d'évaluer son potentiel pour la recherche. Il faut tenir compte du fait que les candidats n'ont pas la possibilité de justifier leur choix de répondants dans leur demande. Avec le formulaire d'évaluation du répondant :

  • Soyez à l'affut des commentaires des répondants attestant que le candidat affiche des caractéristiques et des compétences correspondant à ses réalisations comme chercheur.
  • Analysez les évaluations des répondants en tenant compte du fait que les commentaires positifs sont courants, tandis que les commentaires négatifs ne le sont pas.
  • Lisez attentivement le texte d'appui, en prenant note de la mesure dans laquelle les répondants justifient leurs côtes.
  • Portez une attention particulière aux indications révélant que les répondants perçoivent le candidat comme une personne qui a l'esprit investigateur et critique, qui remet certaines choses en question et qui est originale et indépendante.
  • Repérez les commentaires indiquant que les répondants perçoivent le candidat comme une personne à la fois énergique et concentrée.
  • Relevez, si le candidat a eu la chance de mener des recherches, toute mention de créativité dans l'établissement des objectifs de recherche, la conception d'expériences, l'élaboration de nouvelles méthodologies, l'interprétation de résultats et la présentation de conclusions par écrit.
  • Tenez compte de ce qui suit :
    • Les commentaires détaillés appuient-ils les cotes indiquées sur la première page de l'évaluation?
    • Depuis combien de temps le répondant connaît-il le candidat?
    • Quel est le lien entre le répondant et le candidat?
3. Milieu de formation en recherche

Pondération dans la cote globale : 20 %

Éléments du milieu de recherche qui contribueront directement ou indirectement à la qualité de l'expérience de formation en recherche du candidat. Cette section doit démontrer l'engagement des directeurs de recherche proposés et de leur établissement à appuyer la réalisation du projet de recherche du candidat (par du financement, des installations, de l'équipement, etc.) ainsi que son perfectionnement professionnel.

  • Évaluez l'information sur l'expérience en recherche, les compétences, les distinctions et les prix des directeurs de recherche, ainsi que leur dossier de publication afin d'avoir une idée de leur productivité, de leur influence et de leur collaboration en tenant compte des différences entre les disciplines.
  • Déterminez si le milieu de recherche, notamment les locaux, les installations et le personnel de soutien, est adéquat.
  • Déterminez si les directeurs de recherche s'engagent à développer les compétences et réseaux scientifiques, techniques et professionnels du stagiaire ou à favoriser ce développement.
  • Dégagez les ressources disponibles et le niveau global d'activité en examinant l'information relative aux subventions actuellement détenues et en vérifiant si les directeurs de recherche étaient désignés comme candidats principaux ou cocandidats pour ces subventions.
  • Évaluez le dossier de formation des directeurs de recherche, en notant pour chaque individu énuméré : le niveau de formation, la période passée sous la supervision du directeur de recherche, le diplôme obtenu (le cas échéant) et le poste actuel.
  • Tenez compte du stade de carrière des directeurs de recherche et de leur discipline, car vos attentes en matière de mentorat ne devraient pas être les mêmes pour un chercheur récemment établi que pour un chercheur de longue date.

Annexe B – Feuille de travail de l'évaluateur pour les bourses de recherche des IRSC

Le tableau suivant sert de guide pour l'évaluation de la demande. Il ne devrait être utilisé que pour les notes de travail et ne sera pas soumis aux IRSC.

Nom du candidat : __________________________ No demande : _______________________

Critère Cote Commentaires de l'évaluateur
1. Réalisations et activités du candidat (60 %) a) Attentes en matière de formation (10 %) Forces :
Faiblesses :
b) Projet de recherche proposé (10 %)
c) Prix, bourses et distinctions universitaires (10 %)
d) Publications et réalisations liées à la recherche (30 %)
2. Évaluation des caractéristiques et aptitudes du candidat par les répondants (20 %) Forces :
Faiblesses :
3. Milieu de formation en recherche (20 %) Forces :
Faiblesses :
Date de modification :