Guide de l'évaluateur pour les bourses de recherche au doctorat des IRSC

Table des matières

Introduction

Au nom des IRSC, nous remercions les évaluateurs d’avoir accepté d’agir à titre de membres du comité d’évaluation par les pairs. Le succès du processus d’évaluation repose sur des gens comme vous qui donnent généreusement de leur temps et de leur expertise. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir des instructions sur le processus d’évaluation par les pairs pour les programmes de bourse d’études supérieures du Canada – bourses au doctorat (BESC-D) et de bourse d’études doctorales à l’étranger (BEDE).

Résumé du processus d’évaluation par les pairs

Dans le cadre de votre participation au processus, les IRSC vous demandent de prendre quelques instants pour remplir ou modifier votre profil d’évaluateur dans RechercheNet. Le profil d‘évaluateur a été créé comme outil pour faciliter la gestion de l'expertise des évaluateurs.

À ce moment-ci, nous vous demandons d’ouvrir une session dans RechercheNet puis de cliquer sur l’onglet « Mon profil d’évaluateur » dans la barre de navigation à gauche afin de créer ou de mettre à jour votre profil. Lorsque vous remplissez votre profil, dans la section « Type d’évaluateur », sous le groupe de chercheurs, choisissez « Autre », puis indiquez « Boursier postdoctoral ». Prière de ne remplir que les parties qui s’appliquent à vous, selon votre expérience, vos compétences ainsi que votre intérêt. Pour plus de précisions sur la façon de remplir votre profil, veuillez consulter le module d’apprentissage à ce sujet.

Le processus d’évaluation, qui est structuré et intégré à la plateforme en ligne RechercheNet, comporte une seule étape, qui consiste à évaluer et à noter individuellement les demandes assignées (il n’y a pas de réunion du comité). Toutes les demandes admissibles reçues sont assignées à deux (2) évaluateurs.

Ce programme compte deux (2) comités d’évaluation par les pairs. Chaque demande reçue sera confiée au comité couvrant le domaine scientifique qui a été choisi par le candidat et qui se rapproche le plus de ses activités de recherche proposées. Pour plus de détails sur les mandats des comités, veuillez consulter la page Comités d’évaluation par les pairs et mandats — Bourses de recherche au doctorat.

On demande aux évaluateurs de suivre les étapes suivantes afin de bien effectuer chacune des tâches de l’évaluation par les pairs :

  • Étape 1 : Lire les documents pertinents
  • Étape 2 : Signaler les conflits d’intérêts
  • Étape 3 : Analyser attentivement les demandes
  • Étape 4 : Soumettre les évaluations et les cotes par RechercheNet
  • Étape 5 : Être prêt à procéder à une réévaluation

Instructions étape par étape

Étape 1 : Lire les documents pertinents

Le présent document décrit le processus d’évaluation par les pairs. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il est également important de prendre connaissance des documents suivants :

Étape 2 : Signaler les conflits d’intérêts

Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d’intérêts :

  • Ouvrez une session dans RechercheNet.
  • Sur la page d’accueil, cliquez sur le lien de votre comité pour ouvrir la liste de tâches.
  • Effectuez la tâche Examiner les Lignes directrices sur la confidentialité et les conflits d’intérêts (lorsque vous aurez terminé, les autres tâches s’ouvriront).
  • Ouvrez la tâche Gérer les conflits.
  • Consultez les renseignements fournis pour chacune des demandes qui vous ont été assignées afin d’indiquer si vous êtes apte à évaluer la demande ou si vous êtes en situation de conflit d’intérêts. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.
  • Contrairement au processus suivi pour les subventions, les IRSC assignent les demandes de bourse au doctorat à différents comités d’évaluation par les pairs selon le domaine scientifique indiqué par le candidat et non selon l’expertise de l’évaluateur, ce qui explique pourquoi des demandes qui ne portent pas nécessairement sur votre domaine d’expertise pourraient vous être attribuées. Les IRSC demandent aux évaluateurs qu’ils évaluent le défi intellectuel que représente la recherche à laquelle participera le candidat et qu’ils effectuent leurs évaluations du point de vue d’un généraliste, même si le domaine ne leur est pas forcément familier.
    • Remarque : Comme les autres évaluateurs du comité déclareront également leurs conflits d’intérêts, il est probable que des demandes additionnelles vous soient assignées. La charge de travail sera répartie adéquatement pour assurer un processus d’évaluation par les pairs équitable.

Étape 3 : Analyser attentivement les demandes

Lorsque les conflits d’intérêts auront été déclarés, les évaluateurs pourront accéder à l’intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci-dessous.

3.1 Examiner les critères d’évaluation

Les évaluateurs doivent d’abord se familiariser avec les critères d’évaluation qui se trouvent à l’annexe A du présent document.

3.2 Lire les demandes

On conseille aux évaluateurs de lire attentivement l’ensemble des demandes qui leur sont assignées avant de commencer à attribuer les cotes, et de prendre en note leurs réflexions sur les demandes.

Il importe de noter que de nombreux candidats mèneront probablement des recherches en dehors de la spécialité scientifique de l’évaluateur. Ce dernier doit donc étudier la demande du point de vue d’un généraliste et évaluer la qualité globale de la recherche proposée par le candidat à l’aide des critères d’évaluation appropriés.

Pour assurer une évaluation uniforme de toutes les candidatures, on demande aux évaluateurs de juger chaque demande en fonction de son contenu seulement, et de ne pas faire d’autres vérifications sur le candidat ou l’établissement proposé (p. ex. recherche de publications au moyen de PubMed).

3.3 Préjugés inconscients

En lisant les demandes, les évaluateurs doivent porter attention aux préjugés inconscients liés au sexe, à la culture (incluant les préjugés relatifs à la culture autochtone et au lieu géographique), à l’âge, à la langue (incluant les préjugés relatifs aux langues officielles) et aux établissements. Il faut se rappeler que :

  • les interruptions de carrière en raison d’une grossesse et de l’éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
  • des disciplines et des environnements différents offrent des occasions différentes de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche;
  • la réputation des établissements ne doit pas avoir d’effet sur l’opinion que vous avez des candidats ou de leur milieu de formation en recherche;
  • les évaluateurs doivent prendre des mesures afin d’atténuer leurs préjugés inconscients dans le processus de réflexion sur les différences de culture (p. ex. dans le cas des peuples autochtones du Canada);
  • les évaluateurs doivent s’assurer de respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche dans les communautés francophones en situation minoritaire.

Pour en apprendre davantage au sujet des préjugés inconscients, les évaluateurs sont encouragés à suivre le module d’apprentissage correspondant.

3.4 Le sexe et le genre dans la recherche en santé

Les évaluateurs doivent suivre l’un des deux modules en ligne sur le sexe et le genre dans la recherche en santé selon leur domaine d’expertise :

3.5 Attribuer une cote aux demandes

On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères d’évaluation décrits à l’annexe A, en utilisant l’échelle de cotation habituelle des IRSC (ci‑dessous). Il est essentiel d’utiliser toute l’échelle.

Descripteur Intervalle Résultat
Exceptionnel 4,5 – 4,9 Subventionnable
Excellent 4,0 – 4,4
Très bon 3,5 – 3,9
Bon 3,0 – 3,4 Non subventionnable
Moyen 2,0 – 2,9
Sous la moyenne 1,0 – 1,9
Inacceptable 0,0 – 0,9

Les demandes dont la cote globale pondérée est inférieure à 3,5 ne sont pas admissibles au financement des IRSC, y compris celles provenant de programmes de partenariat ou d’annonces de priorités.

3.6 Rédiger une évaluation pour chaque demande

On demande aux évaluateurs de rédiger une courte évaluation venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées afin de lancer la discussion sur celles-ci et de fournir des remarques constructives au candidat pour l’aider à améliorer la qualité et l’efficacité de la formation proposée.

Les commentaires devraient être axés sur les forces et les faiblesses liées à chaque critère d’évaluation. Voici quelques recommandations :

  • Demeurez simple.
  • Utilisez des descripteurs connus, comme ceux de l’échelle de cotation des IRSC qui correspondent à votre évaluation.
  • Fournissez une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant.
  • Soyez clair et concis.
  • Même si la concision est acceptable (p. ex. listes à puces), formulez des opinions complètes et assurez-vous de fournir suffisamment de renseignements pour éclairer les lecteurs.
  • Utilisez un langage objectif et non incisif.
  • Évitez toute formulation qui pourrait être considérée comme sarcastique, cavalière, arrogante ou inappropriée.

Le candidat recevra l’évaluation telle qu’elle est soumise par l’évaluateur. C’est pourquoi les évaluateurs doivent s’abstenir d’indiquer les cotes dans les commentaires et d’inscrire leur nom afin de préserver la confidentialité du processus d’évaluation. Pour d’autres directives sur la réalisation d’évaluations de qualité, voir la page sur les attentes quant à la qualité des évaluations des IRSC et le module Effectuer des évaluations de qualité.

3.7 Relever toute question devant être portée à l’attention des IRSC

Toute préoccupation liée, entre autres, à l’admissibilité, à la recherche avec des participants humains ou aux cellules souches humaines doit immédiatement être portée à l’attention du personnel des IRSC à des fins de suivi, et ne devrait pas faire l’objet de commentaires écrits, sauf s’ils ont une incidence sur la qualité scientifique de la demande. Pour la liste complète des enjeux possibles, consultez le Guide d’évaluation par les pairs des IRSC pour les demandes de bourses de formation et d’appui salarial.

De même, si vous croyez qu’une demande contient de fausses informations ou que la politique de l’organisme peut avoir été enfreinte, prière de nous en informer immédiatement pour que nous puissions déterminer si la question relève de la conduite responsable de la recherche (CRR). Pour une liste des violations potentielles, veuillez consulter le Cadre de référence des trois organismes sur la conduite responsable de la recherche.

Étape 4 : Soumettre les évaluations et les cotes par RechercheNet

Au fil de leur travail, les évaluateurs pourront enregistrer des versions préliminaires de leurs évaluations en sélectionnant Sauvegarder une version préliminaire dans RechercheNet, ce qui leur permettra d’apporter des changements ultérieurement. Toutefois, au moment de présenter leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l’évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.

Les évaluateurs doivent respecter l’échéance fixée et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC. Tout retard dans le processus d’évaluation par les pairs pourrait empêcher les IRSC de faire part de leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu’il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Étape 5 : Être prêt à procéder à une réévaluation

Une fois que toutes les cotes globales pondérées seront soumises, les IRSC évalueront l’écart entre celles-ci en calculant le résultat final de chaque demande. Les IRSC détermineront ensuite les demandes qui risquent d’être l’objet d’une décision injuste à cause de l’importance de l’écart entre les cotes globales des deux évaluateurs. Les IRSC demanderont alors aux deux évaluateurs de revoir leur évaluation initiale et de présenter de nouveau des notes. Pour ce faire, on leur demandera d’en discuter ensemble. Cette deuxième évaluation ramène habituellement l’écart entre les cotes globales à un niveau acceptable. Si l’écart persiste, les IRSC exigeront une troisième évaluation (à moins que la divergence qui persiste n’ait aucune incidence sur les demandes les mieux classées).

Nous recommandons donc aux évaluateurs de conserver leurs observations dans leurs dossiers jusqu’à quelques semaines après l’annonce des résultats du concours.

Classement des demandes

Au terme de l’évaluation par les pairs, les IRSC établiront un classement des demandes. Cette information guidera les décisions de financement.

Rétroaction

Un élément important de toute évaluation par les pairs est l’examen de l’efficacité du travail du comité, ainsi que les commentaires sur les questions stratégiques soulevées au cours du processus. Cette rétroaction peut appuyer les efforts continus des IRSC pour maintenir un système d’évaluation par les pairs efficace et de grande qualité.

Puisqu’aucune réunion en personne ou par téléconférence n’a lieu, les évaluateurs devraient envoyer leur rétroaction au coordonnateur du comité par courriel.

Annexe A — Critères d’évaluation

Les critères suivants doivent être utilisés pour évaluer les demandes :

Description Source d’information Notes/conseils aux évaluateurs
Aptitudes et potentiel en recherche (valeur/note globale : 50 %)

Indicateurs d’aptitudes et de potentiel en matière de recherche :

  • Qualité du projet de recherche
    • questions et objectifs de recherche précis, ciblés et réalisables
    • description claire de la méthodologie proposée
    • importantes contributions prévues à la recherche
  • Formation pertinente, comme des études universitaires, une expérience vécue et de l’enseignement traditionnel
  • L’expérience et les réalisations en recherche par rapport aux attentes pour une personne ayant l’expérience universitaire du candidat
  • Qualité des contributions et mesure dans laquelle elles font avancer le domaine de recherche. Ces contributions peuvent comprendre : des publications, des brevets, des rapports, des affiches, des résumés, des monographies, des présentations, des réalisations artistiques, des résultats en matière d’application des connaissances, des produits communautaires
  • Démonstration d’un bon jugement et d’une pensée critique
  • Démonstration d’une conduite responsable et éthique dans le cadre de la recherche, notamment recherche effectuée de façon judicieuse et honnête, analyses rigoureuses, engagement envers la sécurité et la diffusion des résultats de la recherche, et respect des normes professionnelles.
  • Enthousiasme pour la recherche, originalité, initiative, autonomie, et participation et sensibilisation communautaires pertinentes
  • Capacité ou potentiel de communiquer clairement et logiquement, par écrit et oralement, des concepts théoriques, techniques ou scientifiques
  • Attentes en fait de formation
  • Résumé du projet de recherche
  • CV commun
  • Pièce jointe « Liste des publications », s’il y a lieu
  • Évaluations du répondant (en gardant à l’esprit que les candidats n’ont pas la possibilité de justifier leur choix de répondant dans la demande)
  • Section « Congés et impact sur la recherche » du CV commun, s’il y a lieu
  • La plupart des candidats mèneront des recherches en dehors de votre spécialité scientifique. Du point de vue d’un non-spécialiste, évaluez le défi intellectuel que représente la recherche à laquelle participera le candidat et l’enthousiasme qu’elle suscite.
  • Examinez les attentes en matière de formation et le résumé du projet de recherche, ainsi que les expériences et les réalisations en recherche.
  • Examinez la liste des articles, présentations et autres publications du candidat, et évaluez ces éléments par rapport à vos attentes à l’égard d’une personne possédant pareille expérience universitaire.
  • Considérez l’ampleur des sujets scientifiques traités et la fréquence des publications. Gardez à l’esprit que la production en matière de publication varie d’une discipline de la santé à l’autre.
  • En examinant l’apport du candidat aux publications, tenez compte du nombre de coauteurs de chaque article et de la proéminence du nom du candidat dans la liste des auteurs. Ne tenez pas compte des publications marquées « Soumises », à moins qu’elles ne soient disponibles dans un système d’archivage public reconnu.
  • Examinez les évaluations du répondant, en tenant compte du fait que les commentaires positifs sont courants, contrairement aux commentaires négatifs. Donnez une cote selon votre impression globale (p. ex. adéquation entre les cotes dans les cases et les commentaires narratifs, temps depuis lequel le répondant connaît le candidat, relation du répondant avec le candidat).
Expérience et réalisations pertinentes dans la sphère universitaire et en dehors de celle-ci (valeur/note globale : 50 %)

Indicateurs d’expérience et de réalisations pertinentes dans le milieu universitaire et au-delà de ce milieu :

  • Bourses, prix et distinctions (montant, durée et prestige)
  • Dossier universitaire :
    • les relevés de notes
    • la durée des études antérieures
    • les exigences des programmes et les cours suivis
    • la charge de cours
    • le classement relatif dans le programme (si cette information est connue)
  • Activités professionnelles, universitaires et parauniversitaires et collaboration avec des superviseurs, des collègues, des pairs, des étudiants et des membres de la communauté, p. ex. :
    • enseignement, mentorat, encadrement ou supervision
    • gestion de projets
    • participation à la promotion des sciences ou de la recherche
    • sensibilisation communautaire, bénévolat ou participation citoyenne
    • présidence de comités ou organisation de conférences et de réunions
    • participation à des organisations, associations, sociétés et/ou clubs au niveau du département ou de l’établissement
  • CV commun
  • Relevés de notes
  • Attentes en matière de formation
  • Évaluations du répondant (en gardant à l’esprit que les candidats n’ont pas la possibilité de justifier leur choix de répondant dans la demande).
  • Section « Congés et impact sur la recherche » du CV commun, s’il y a lieu
  • Examinez les renseignements au sujet des présentations, des prix de recherche et des autres indicateurs de la productivité en recherche du candidat.
  • Examinez les relevés de notes du premier cycle et des cycles supérieurs.
  • Évaluez les autres activités de recherche du candidat par rapport à vos attentes pour quelqu’un qui possède une telle expérience universitaire.
  • Évaluez les activités professionnelles, universitaires et parauniversitaires par rapport à vos attentes à l’égard d’une personne possédant pareille expérience.
  • Prenez en compte l’ampleur des sujets scientifiques traités, l’importance des réunions en question et le nombre de participants, la fréquence des présentations lors de conférences et les distinctions ou prix en recherche, en gardant à l’esprit que ces éléments peuvent varier d’une discipline des sciences de la santé à l’autre.
Date de modification :