Concours de subventions Projet
Partie 2 : Vue d’ensemble du processus d’évaluation par les pairs

Titre

Bienvenue à la partie 2 : Vue d’ensemble du processus d’évaluation par les pairs qui s’inscrit dans la série de modules d’apprentissage sur le concours de subventions Projet. Dans ce module, les évaluateurs exploreront les activités d’évaluation des demandes de subventions Projet afin d’être bien préparés et de participer efficacement au processus d’évaluation par les pairs.

Boutons de la barre de lecture

Ce cours est conçu pour être suivi de manière autonome.

Utilisez la barre de lecture ci-dessous pour reprendre la lecture, passer d’une diapositive à l’autre, couper ou rétablir le son et activer les sous-titres codés. Vous pouvez également consulter la table des matières et réduire ou déplacer la barre de lecture.

Programme de subventions Projet

Les demandes présentées au programme de subventions Projet sont étudiées selon un processus d’évaluation par les pairs en comité, en une seule étape. Ce processus repose sur un groupe d’évaluateurs qui possèdent l’expérience et l’expertise nécessaires pour évaluer la qualité et les retombées potentielles du projet de recherche et des activités liées à la recherche dans le contexte des objectifs du programme.

Ces évaluateurs sont regroupés en comités en fonction de leur expertise et du sujet des demandes présentées.

Programme de subventions Projet 2

Les responsabilités des comités d’évaluation par les pairs sont les suivantes :

• Évaluer les demandes selon les critères de sélection et le guide d’interprétation;
• Fournir une évaluation écrite pour chacune;
• Discuter des demandes à la réunion du comité;
• Attribuer une cote à chaque demande en tenant compte de la cote consensuelle;
• Recommander un budget et une durée en vue du financement de la recherche proposée si la demande est approuvée.

Attribution des demandes

Dans cette section, les évaluateurs verront comment les demandes sont attribuées dans le cadre du concours de subventions Projet.

Attribution des demandes 2

Pour participer à un concours, les candidats doivent d’abord soumettre une inscription suivie d’une demande détaillée. Ils doivent, dans le processus d’inscription par RechercheNet, indiquer leurs suggestions d’au plus deux comités d’évaluation par les pairs qu’ils jugent les plus pertinents, selon la description des mandats de comités, et justifier leur sélection.

Une fois l’inscription soumise, les présidents, les agents scientifiques et le personnel des IRSC examinent les inscriptions attribuées à leurs comités. Ensemble, ils doivent s’assurer que les comités ont les compétences nécessaires et, lorsqu’ils consentent à ce qu’une demande leur soit confiée, ils acceptent du même coup la responsabilité de veiller à en faire une évaluation juste.

Il peut arriver que des inscriptions ne correspondent pas au mandat d’un comité donné et doivent être réassignées à un autre. Les IRSC prendront la décision définitive quant au choix du comité d’évaluation par les pairs pour chaque demande, en se fondant sur le résumé du projet de recherche fourni à l’étape de l’inscription.

Une fois la liste des demandes détaillées compilée, les membres obtiennent l’accès aux résumés des demandes afin de déclarer tout conflit d’intérêts et d’indiquer leur niveau d’expertise (élevée, moyenne, faible ou insuffisante).

Remarque: Un évaluateur n’est pas automatiquement en conflit d’intérêts s’il vient du même établissement qu’un candidat, mais ne connaît pas ce dernier ni ne travaille avec lui.

Attribution des demandes 3

Les présidents, les agents scientifiques et le personnel des IRSC assignent ensuite les demandes à trois membres des comités en fonction du meilleur appariement possible entre le contenu de la demande et l’expertise de l’évaluateur.

Il est possible qu’après avoir obtenu l’accès aux demandes détaillées, un évaluateur se rende compte que son expertise ne lui permet pas d’évaluer une ou plusieurs demandes qui lui ont été assignées. Il devra alors communiquer sans délai avec les IRSC pour que les demandes en question puissent être réassignées de façon adéquate.

Avant la réunion du comité, tous les membres, à l’exception des évaluateurs externes, obtiennent l’accès aux demandes détaillées assignées à leur comité.

Bien qu’aucune limite ne soit imposée quant au nombre de fois qu’une demande peut être soumise à un concours de subventions Projet, l’évaluation d’une demande est effectuée conformément aux critères d’évaluation applicables au concours donné, et chaque concours est distinct. Les évaluateurs reçoivent l’instruction de traiter toutes les demandes, y compris les demandes présentées de nouveau, comme de nouvelles demandes.

Évaluation des demandes

La présente section sera consacrée au processus d’évaluation des demandes dans le cadre du concours de subventions Projet.

Principes de l’évaluation par les pairs

L’intégrité du processus d’évaluation par les pairs dépend de principes et de politiques bien établis qui visent à assurer l’équité et l’efficacité de l’évaluation et à appuyer la réalisation du mandat et des objectifs des IRSC.

Les principes d’évaluation des IRSC sont la confidentialité, l’absence de conflits d’intérêts, l’équité et la transparence.

Qualité de l’évaluation

En plus de reposer sur l’intégration des principes d’évaluation, le succès du système d’évaluation par les pairs dépend de façon cruciale de la volonté et de la capacité de tous les évaluateurs d’exercer un jugement scientifique rigoureux, d’être justes et raisonnables, et de comprendre le contexte particulier de chaque demande, en tenant compte de manière équilibrée.

Les commentaires doivent être rédigés dans les propres mots de l’évaluateur et ne peuvent donc pas être directement extraits d’une autre source (y compris de commentaires formulés dans le cadre d’une autre évaluation ou par un autre évaluateur).

Une évaluation constructive de qualité, qui aide le candidat en soulignant ses forces ainsi que les lacunes à corriger dans une prochaine demande, permettra de démontrer qu’une juste évaluation de sa proposition a été effectuée.

Élargir l’évaluation des contributions à la recherche et des retombées

Il est de plus en plus reconnu qu’une évaluation de qualité tient compte de la situation du candidat. La Déclaration de San Francisco sur l’évaluation de la recherche (DORA) reconnaît la nécessité d’améliorer la façon dont les résultats de la recherche sont évalués. Il est donc essentiel que les pairs évaluateurs ratissent large lorsqu’ils évaluent les contributions à la recherche et les retombées, sans se limiter aux indicateurs traditionnels de productivité.

Indicateurs généralement reconnus :

• Publications et citations
• Rapports et livres
• Bourses prestigieuses
• Nombre et valeur des subventions
• Résultats et activités de mobilisation des connaissances

Autres précieuses contributions à la recherche :

• Incidence sur les politiques et les pratiques
• Consultation du public (comprend les patients, les fournisseurs, les décideurs, le gouvernement, les chercheurs, l’industrie, les médias grand public et les médias sociaux)
• Recherche communautaire participative
• Formation et mentorat
• Bénévolat
• Lignes directrices, normes, logiciels et outils
• Réseaux, collaborations et partenariats
• Conception d’ensembles de données, de codes et d’infrastructure
• Produits commercialisés et de libre accès

Élargir l’évaluation des contributions à la recherche et des retombées 2

Lors de l’évaluation des contributions et des retombées, les pairs évaluateurs DEVRAIENT :

• Tenir compte d’une vaste gamme de contributionsvà la recherche et de retombées dans l’évaluation de la recherche.
• Évaluer la qualité (par exemple la recherche en santé significative et culturellement sécurisante, fondée sur les distinctions) et les retombées (comme l’incidence sur les politiques et les pratiques, les résultats cliniques et sociétaux).
• Prendre en compte la situation du candidat (notamment l’historique de congé, le stade de carrière, le vécu expérientiel, l’appartenance à des groupes détenteurs de droits ou en quête d’équité).

Lors de cette évaluation, les pairs évaluateurs NE devraient PAS :

• Utiliser des paramètres individuellement pour évaluer la productivité, comme le nombre de publications et de citations, et le nombre de subventions de recherche et leur valeur.
• Utiliser les indicateurs basés sur les revues (comme les facteurs d’impact) comme mesure de rechange d’appréciation de la qualité et des retombées des publications de recherche individuelles.

Résumé des progrès réalisés

L’un des premiers documents présentés dans les demandes à évaluer est le résumé des progrès. Sa présentation est obligatoire dans toute demande. Il vise à étayer la proposition en permettant aux candidats principaux désignés d’expliquer en quoi elle s’inscrit dans leur programme de recherche global.

Dans ce document d’au plus deux pages, les candidats devraient :

• Présenter et contextualiser les activités, les contributions et les retombées qui étayent la proposition;
• Décrire comment celle-ci s’inscrit dans leur programme de recherche global et pourquoi les fonds demandés sont nécessaires. Pour ce faire, ils devraient exposer clairement en quoi le budget demandé se distingue des fonds actuellement détenus ou comment la demande de fonds diffère de celles soumises à d’autres organismes de financement (de subventions en attente).
• À leur discrétion s’ils le jugent pertinent, ils peuvent décrire l’incidence de facteurs précis sur l’avancement des travaux de recherche (qu’il s’agisse de l’historique de congé, du stade de carrière, de répercussions de la pandémie, de responsabilités familiales ou autres).
• Enfin, ils doivent veiller à rédiger leur résumé sous la forme d’un exposé et non d’un compte rendu détaillé de leurs progrès et du financement. Les détails de celui-ci figurant déjà dans le CV du candidat.

Demandes présentées de nouveau

Les candidats doivent indiquer s’ils présentent une demande qui n’a pas été retenue à l’issue d’un concours de subventions Projet antérieur. Cette information sera affichée dans la version de la demande en format PDF destinée à l’évaluation par les pairs.

Les évaluateurs doivent traiter toutes les demandes, y compris celles présentées de nouveau, comme de nouvelles demandes afin de veiller à ce qu’elles soient évaluées les unes par rapport aux autres.

Pour en savoir davantage, veuillez consulter la page Web Demandes présentées de nouveau.

Réponse aux commentaires d’évaluations antérieures

Si les candidats soumettent de nouveau une demande qui n’avait pas été acceptée auparavant, ils peuvent répondre en au plus deux pages aux commentaires des évaluations antérieures. Pour ce faire, ils doivent inclure dans cette réponse la version intégrale de toutes les évaluations (et les notes de l’agent scientifique, le cas échéant) reçues lors d’un précédent concours de subventions Projet. Ces évaluations et notes ne comptent pas dans la limite de deux pages de la réponse. Les candidats ne sont pas tenus de répondre à tous les commentaires des évaluateurs, mais uniquement à ceux qui concernent la demande révisée. Cependant, toutes les évaluations doivent être incluses dans le dossier de la demande.

Si un candidat n’inclut pas toutes les évaluations antérieures dans sa demande comme mentionné ci-dessus, les évaluateurs ne sont pas obligés de lire la réponse aux commentaires antérieurs et, par conséquent, ne sont pas tenus de la prendre en considération dans leur évaluation.

Les évaluateurs n’ont pas à tenir compte des cotes antérieures en évaluant et en cotant la demande à l’étude. Les demandes doivent être évaluées en fonction de leur contenu actuel et non pas en fonction de leur cote antérieure.

Il demeure facultatif pour les candidats de répondre aux commentaires formulés lors d’évaluations antérieures, quelle que soit leur réponse à la question « S’agit-il de la nouvelle présentation d’une demande précédemment rejetée dans le cadre de la même possibilité de financement? ».

Le CV Profil du candidat

Tous les candidats universitaires (sans égard à leur rôle dans la demande) doivent continuer d’utiliser le CV abrégé des IRSC. Les candidats non universitaires, les organisations autochtones, les utilisateurs des connaissances et les candidats étrangers ont l’option de télécharger le CV abrégé des IRSC ou le CV Profil du candidat comme pièce jointe à la section « Information sur le participant » de RechercheNet. Le CV Profil du candidat ne peut dépasser trois pages, mais aucune restriction ne s’applique à ses différentes sections; ainsi, chaque candidat peut choisir sur quoi mettre l’accent. Il est possible que certaines sections ne soient pas applicables aux candidats non universitaires.

Les évaluateurs doivent examiner le CV des candidats ainsi que les renseignements fournis à la sous-tâche Contributions les plus importantes afin d’évaluer la pertinence de la combinaison d’expertise, d’expérience et de ressources dans la perspective de la capacité à atteindre collectivement les objectifs du projet. De plus, les évaluateurs doivent mesurer la productivité de façon générale en prenant en considération toute une gamme de contributions et de retombées, ainsi que la situation du candidat et son incidence sur son parcours.

Autres documents relatifs à la demande

Certaines pièces jointes peuvent être téléchargées dans RechercheNet à la tâche Joindre d’autres documents relatifs à la demande, comme l’indiquent les instructions pour la présentation d’une demande. Les évaluateurs doivent lire tous les documents annexés dans cette tâche.

Les pièces jointes obligatoires sont les suivantes :

• Le certificat de formation en analyse comparative entre les sexes et les genres;
• Une lettre d’appui du doyen de la faculté indiquant la date prévue d’entrée en vigueur de la nomination du candidat principal désigné, si ce dernier attend une confirmation de poste. (Cette date ne peut être ultérieure à celle du début de la période de financement.)
• Une lettre de l’employeur d’un chercheur étranger attestant que ce dernier ne sera pas rémunéré pour le temps consacré aux activités de recherche visées par la demande, si le salaire de ce chercheur est censé provenir de la subvention.
• Des lettres d’appui de partenaires communautaires autochtones, si la proposition est liée à la recherche sur la santé des Autochtones.

Parmi les pièces jointes facultatives, on note des lettres de collaboration qui décrivent un service qui sera offert au candidat principal désigné, comme l’accès à de l’équipement, la fourniture de réactifs particuliers, une formation sur une technique spécialisée, des analyses statistiques, l’accès à un groupe de patients, etc.

Enfin, parmi les pièces qui ne sont plus acceptées, notons les fiches d’information sur les patients (pour les propositions de recherche qui comprennent un essai clinique randomisé), les publications, les questionnaires, sondages et formulaires de consentement, les tableaux, graphiques, figures et photographies complémentaires et tout autre document.

Si une demande contient des pièces jointes inadmissibles, le personnel des IRSC doit en être avisé dans les plus brefs délais.

Évaluation des demandes

Chaque demande est assignée à trois évaluateurs. Bien que les candidats puissent structurer leur proposition de recherche comme bon leur semble, les évaluateurs examineront les demandes en se basant sur les critères de sélection énoncés.

Pour chaque demande, les évaluateurs doivent fournir dans RechercheNet un résumé de la demande pour démontrer leur compréhension des travaux de recherche proposés.

Ils doivent ensuite y saisir leur cote initiale globale à une décimale avant la réunion des pairs évaluateurs. Il est à noter que les évaluateurs ne sont pas obligés de s’en tenir à cette cote initiale et qu’ils peuvent la changer à la réunion du comité.

Les évaluateurs indiquent aussi si chacune de leurs demandes assignées fait partie de leur groupe supérieur (demandes concurrentielles) ou inférieur (demandes non concurrentielles) sous leur forme actuelle.

L’analyse comparative entre les sexes et les genres doit être évaluée dans la section consacrée aux forces et aux faiblesses de la demande, et est prise en compte dans l’attribution de la cote initiale globale.

Les évaluateurs sont tenus de vérifier le budget demandé et la justification afférente. Ils peuvent recommander que ce budget reste inchangé ou qu’il soit réduit. Les recommandations de modification du budget doivent être justifiées et préciser le poste budgétaire et le montant visés.

Enfin, ils doivent faire état des forces et des faiblesses de la demande en fonction des critères d’évaluation.

Pour en savoir plus, veuillez consulter la section Effectuer les évaluations du Guide d’évaluation par les pairs.

Exigences relatives au format

Bien que les candidats puissent présenter leur proposition de recherche en format libre, les évaluateurs examineront les demandes en fonction de critères de sélection particuliers.

Afin de garantir que tous ont exactement le même espace pour rédiger leur proposition, les candidats doivent respecter les exigences établies par les IRSC en ce qui a trait, entre autres, à la taille de la police, aux espacements et aux limites de pages.

Le non-respect de ces exigences aura une incidence négative sur l’évaluation et la cote des demandes, et pourrait entraîner leur retrait du concours de subventions Projet. Si un évaluateur se voit confier une demande qui ne respecte pas les directives, il doit le signaler au personnel des IRSC dans les plus brefs délais.

Pour la liste exhaustive des exigences relatives au format, consultez la page Web Formats acceptés pour les demandes et les PDF en pièces jointes. Il est d’ailleurs possible de télécharger à partir de cette page le nouveau modèle de document respectant les exigences pour les PDF en pièces jointes.

Remise des évaluations

La date limite pour télécharger les évaluations dans RechercheNet, y compris les évaluations de la qualité globale (groupes supérieur et inférieur), les cotes initiales et les recommandations budgétaires initiales, est de 5 jours ouvrables avant la date de la réunion du comité. Une fois les évaluations soumises, les évaluateurs peuvent consulter celles de leurs pairs chargés des mêmes demandes et ont accès à l’ensemble des demandes pour lesquelles ils ne sont pas en conflit d’intérêts afin de se préparer à la réunion d’évaluation par les pairs.

Lorsque les évaluations sont soumises, elles ne peuvent pas être modifiées avant la réunion. Les évaluateurs qui le souhaitent peuvent les modifier pendant la réunion, ou disposent de 5 jours ouvrables après celle-ci pour le faire dans RechercheNet.

RechercheNet ayant tendance à se déconnecter souvent, on invite les évaluateurs à effectuer des sauvegardes fréquentes de leur travail ou à faire du copier-coller à partir d’un logiciel de traitement de texte.

Pendant la réunion

La présente section porte sur le déroulement d’une réunion du comité d’évaluation par les pairs.

Rationalisation des demandes

Pour le concours de subventions Projet, seule une fraction des demandes sera financée. Il est donc primordial que, pendant la réunion, les membres du comité consacrent leur temps à discuter des demandes les plus concurrentielles afin d’assurer la justesse de l’évaluation comparative.

C’est pourquoi un processus de rationalisation est suivi. Les demandes qui répondent aux conditions de rationalisation sont ainsi éliminées de la discussion, ce qui permet aux membres du comité de consacrer plus de temps à juger et à classer les demandes qui pourraient être retenues. Les candidats dont la proposition a été l’objet de rationalisation tirent tout de même parti du processus d’évaluation puisqu’ils reçoivent les évaluations écrites des évaluateurs désignés (mais pas les notes détaillées de l’agent scientifique).

Remarque : Les demandes qui font l’objet d’une rationalisation sont cernées avant et pendant la réunion.

Une demande est écartée par rationalisation si elle répond aux conditions suivantes :

1. La moyenne des cotes initiales des évaluateurs la place parmi les 60 % des demandes les moins bien classées à l’échelle du comité;
2. Au moins un évaluateur l’a placée dans son groupe inférieur (demandes non concurrentielles);
3. Aucun membre du comité ne s’oppose à sa rationalisation.

Discussion du comité

L’évaluation des demandes commence avec l’annonce, par les évaluateurs désignés, de leurs cotes initiales à une décimale. Les évaluateurs peuvent réviser leurs cotes initiales à la lumière de la discussion antérieure du comité. Si une demande n’est pas écartée par rationalisation, son évaluation se poursuit comme suit :

• Le premier évaluateur donne un aperçu de la proposition et présente son analyse des forces et des faiblesses, y compris de la façon dont le candidat a tenu compte des considérations relatives au sexe et au genre.
• Les deux autres évaluateurs s’attardent ensuite sur les points où ils sont en accord ou en désaccord, et discutent aussi des points qui n’ont pas encore été abordés.
• Si des évaluateurs externes ont fourni des rapports d’évaluation, l’un des trois évaluateurs lit les évaluations.
• Le président ouvre la discussion à tous les membres du comité.
• Par la suite, l’agent scientifique relit ses notes en relevant les principaux éléments de la discussion à prendre en considération pour coter la demande.
• Le président cherche à obtenir une « cote consensuelle » des trois évaluateurs. S’il est impossible d’en arriver à un consensus, le président détermine la cote consensuelle, qui peut être la valeur moyenne des cotes des évaluateurs après la discussion du comité.

Enfin, tous les membres du comité qui ne sont pas en conflit d’intérêts (exception faite du président et de l’agent scientifique) votent (à +/- 0,5 point de la cote consensuelle) pour établir la cote finale de chaque demande.

Après la réunion

Dans cette section, les évaluateurs découvriront ce qu’il se passe après la réunion du comité d’évaluation par les pairs.

Après la réunion 2

Au terme de la réunion du comité, les IRSC rassemblent, pour toutes les demandes ayant fait l’objet d’une discussion, les cotes et les recommandations finales quant au montant et à la durée du financement présentées par les membres. Ces renseignements servent à la prise des décisions relatives au financement.

Par après, tous les candidats reçoivent un avis de recommandation ainsi qu’une copie de toutes les évaluations; ceux dont la demande a fait l’objet d’une discussion au comité reçoivent aussi les notes de l’agent scientifique. Par la suite, une lettre de décision et un avis de décision sont envoyés. Si leur demande est approuvée, les candidats sont également informés du budget qui leur est accordé.

Les demandes qui sont signalées parce qu’elles nécessitent une attention particulière et un suivi par le personnel des IRSC sont mises « en suspens ». Les candidats sont informés si de plus amples renseignements sont requis.

Autres ressources

Les ressources affichées à l’écran vous fourniront des renseignements supplémentaires pour vous préparer à l’évaluation des demandes présentées au concours de subventions Projet. Avant de quitter le module, veuillez remplir le sondage afin d’aider les IRSC à faire le suivi et à améliorer la qualité de l’apprentissage.

Vous pouvez quitter le module et retourner à la page d’apprentissage ou passer à la partie suivante de la série de modules d’apprentissage sur le concours de subventions Projet, soit la partie 3 : Critères de sélection et échelle de cotation.

Date de modification :

2024-06-05