Guide d’évaluation par les pairs
Projet pilote du Comité d’évaluation par les pairs interdisciplinaire des trois organismes

1. Introduction

Le présent document se veut une ressource à l’usage des évaluateurs chargés d’évaluer les demandes soumises au Comité d’évaluation par les pairs interdisciplinaire des trois organismes. L’accès à ce comité d’évaluation commun se fait via le portail des possibilités de financement suivantes : les subventions Savoir et les subventions de développement Savoir du Conseil de recherches en sciences humaines (CRSH), les subventions Projet de l’automne et du printemps des Instituts de recherche en santé du Canada (IRSC) et Horizons de la découverte du Conseil de recherches en sciences naturelles et en génie (CRSNG).

Au nom du CRSH, des IRSC et du CRSNG, nous tenons à remercier les membres du comité d’évaluation. Les experts qui donnent généreusement de leur temps et de leur expertise sont essentiels au succès du processus d’évaluation par les pairs.

Pour obtenir de l’aide ou des renseignements supplémentaires sur le processus d’évaluation, n’hésitez pas à écrire aux adresses suivantes :

2. Objectif

Les demandes relatives aux subventions Savoir et subventions de développement Savoir du CRSH, aux subventions Projet de l’automne et du printemps des IRSC, et au programme Horizons de la découverte du CRSNG seront admissibles à une évaluation par le Comité d’évaluation par les pairs interdisciplinaire des trois organismes. Ce comité offre aux chercheurs de la recherche interdisciplinaire la possibilité de faire évaluer leurs demandes par un comité pourvu d’une expertise en sciences humaines, en sciences naturelles et en génie, ainsi qu’en sciences de la santé.

Les organismes reconnaissent que les termes « multidisciplinaire », « transdisciplinaire » et « interdisciplinaire » ont des connotations différentes et que leurs usages peuvent varier d’une discipline à l’autre. Pour les besoins de ce comité, « interdisciplinaire » est un terme général qui englobe les trois concepts.

3. Processus d’évaluation

3.1 Dates à retenir

Étape Échéance
Date limite de présentation des lettres d’intention – Horizons de la découverte du CRSNG Juin
Date limite d’inscription au concours de subventions Projet de l’automne des IRSC Août
Date limite de présentation de demandes de subventions Projet de l’automne des IRSC Septembre
Date limite de présentation de demandes de subventions Savoir du CRSH Octobre
Date limite de présentation de demandes au programme Horizons de la découverte du CRSNG Octobre
Réunion(s) préliminaire(s) d’orientation du comité Fin de l’automne
Réunion du comité sur les subventions Projet de l’automne des IRSC Décembre
Réunion du comité sur le programme Horizons de la découverte du CRSNG Janvier
Date limite de présentation de demandes de subventions de développement Savoir du CRSH Février
Réunion du comité sur les subventions Savoir du CRSH Fin de Février
Date limite d’inscription au concours de subventions Projet du printemps des IRSC Février
Date limite de présentation de demandes de subventions Projet du printemps des IRSC Mars
Réunion du comité sur les subventions de développement Savoir du CRSH Mai
Réunion du comité sur les subventions Projet du printemps des IRSC Juin
Décisions relatives au financement par les organismes et date prévue de l’avis de décision aux candidats Selon le financement

En plus de l’échéancier ci-dessus, les activités suivantes seront réalisées pour chaque portail de possibilité de financement visée par le projet pilote, suivant les échéances propres à chacune :

Date limite pour la déclaration des conflits d’intérêts et de la capacité d’évaluer les demandes Environ 1 mois après la date limite de présentation des demandes détaillées
Attributions des demandes aux comités De 4 à 6 semaines environ avant chaque réunion de comité
Date limite de soumission des cotes préliminaires et du rapport écrit 1 semaine avant la réunion du comité
Date limite de soumission du rapport final écrit 1 semaine après la réunion du comité

3.2 Attribution des demandes

Une fois que les demandes détaillées ont été reçues, les membres du comité seront appelés à se soumettre au processus de déclaration de la capacité d’évaluer. À cette fin, les membres ont accès aux résumés des projets de recherche afin de déclarer tout conflit d’intérêts et d’indiquer leur niveau d’expertise (expertise élevée/moyenne/faible/insuffisante). Vu la nature interdisciplinaire du comité, on encourage les membres à adopter une vision large de leur propre expertise relativement aux demandes interdisciplinaires et à préciser le contexte dans lequel s’inscrit leur expertise, lorsque cela est pertinent. La charge de travail des évaluateurs se composera de demandes reçues par les trois organismes.

Chaque demande sera attribuée à cinq membres du comité, c’est‑à‑dire trois en tant qu’évaluateurs et deux en tant que lecteurs (pour plus de renseignements sur les rôles, voir la section 4 ci‑dessous) :

3.2.1 Orientation et concertation du comité

Avant la première réunion d’évaluation par les pairs, le personnel des organismes organisera des réunions préliminaires avec les membres du Comité d’évaluation par les pairs interdisciplinaire des trois organismes afin de les orienter et de leur permettre de se concerter.

Étant donné que les processus et les critères d’évaluation de ce comité sont le résultat d’un travail d’harmonisation et que les membres du comité seront issus des milieux des sciences humaines, des sciences naturelles, du génie et des sciences de la santé, les activités d’orientation donneront l’occasion d’expliquer aux membres les processus et les procédures qui s’appliqueront au comité et de répondre aux questions des évaluateurs en lien avec leurs expériences d’évaluation antérieures. Le personnel des organismes leur présentera également la plateforme d’évaluation par les pairs et d’autres technologies de l’information utilisées pour faciliter le déroulement des réunions d’évaluation.

Les activités de concertation donneront l’occasion aux membres de s’entendre sur l’utilisation cohérente des critères d’évaluation et du système de cotation et de discuter de stratégies de gestion du temps pour les réunions, parmi d’autres sujets.

3.3 Évaluation des demandes avant la réunion du comité d’évaluation par les pairs

Le contenu de toutes les demandes doit être traité comme des renseignements protégés, et tous les membres du comité auront à signer l’Accord sur les conflits d’intérêts et la confidentialité pour les membres des comités d’évaluation, les évaluateurs externes et les observateurs des trois organismes. Les membres ne divulgueront pas le contenu des demandes à d’autres personnes ni ne s’en serviront à des fins autres que l’évaluation par les pairs. On demande également aux membres de veiller à ce que les documents à évaluer soient conservés de façon sûre et qu’ils soient détruits conformément au Guide sur le traitement des documents utilisés dans le cadre de l’évaluation par les pairs.

3.4 Processus d’évaluation

Les évaluateurs soumettront une évaluation écrite sur les points forts et les points faibles du projet relativement aux critères d’évaluation du Comité d’évaluation par les pairs interdisciplinaire des trois organismes. Les évaluateurs et les lecteurs ne sont pas liés par les conclusions des rapports d’évaluation externe, mais ils devraient en tenir compte.

Remarque : Les évaluateurs recevront un modèle qu’ils pourront suivre pour faciliter la préparation de leur rapport écrit (qui pourra ensuite être copié et collé dans le système en ligne).

Une fois que les évaluateurs auront soumis leurs évaluations, ils pourront avoir accès aux rapports des autres évaluateurs pour cette demande. Ces rapports peuvent être utilisés en préparation des discussions des membres à la réunion.

Le cas échéant, les évaluateurs commentent aussi le budget demandé et formulent leurs recommandations officielles, accompagnées d’une justification claire et détaillée des réductions recommandées.

3.4.1 Critères d’évaluation et échelle de cotation

Les critères d’évaluation suivants seront utilisés pour appuyer les objectifs stratégiques de la présente possibilité de financement. Les évaluateurs entreront leurs cotes pour chacun des trois critères, lesquels auront un poids égal.

Critères Éléments
Mérite de la recherche proposée Qualité de la proposition Clarté, portée et originalité des questions et des objectifs de recherche
Méthodes et approches

Pertinence des méthodes et des approches proposées, y compris l’intégration des approches interdisciplinaires pour atteindre les objectifs du projet

Intégration appropriée du sexe, du genre et de la diversité dans le plan de recherche, s’il y a lieu

Preuve de l’engagement à établir des partenariats actifs et pertinents avec des personnes et des organismes compétents, s’il y a lieu

Faisabilité

Mesure dans laquelle le budget est approprié et justifié par rapport aux activités proposées

Pertinence de l’environnement (établissement universitaire ou organisme) afin de permettre la réalisation des activités proposées et d’en assurer le succès

Résultats escomptés Retombées Possibilité que les activités proposées aient une influence et génèrent des retombées
Mobilisation et diffusion des connaissances Qualité et pertinence des plans de mobilisation des connaissances, y compris la diffusion efficace des connaissances, l’échange avec les intervenants et l’engagement auprès de ces derniers au sein et à l’extérieur du milieu de la recherche, s’il y a lieu
Plan de formation

Mesure dans laquelle les activités proposées prévoient des plans de formation et de perfectionnement du personnel hautement qualifié

Prise en compte appropriée des questions d’équité, de diversité et d’inclusion dans le plan de formation

Dossier du ou des candidats Compétences et expérience

Compétences appropriées pour réaliser les travaux de recherche proposés, y compris les connaissances, les compétences et l’expérience complémentaires et interdisciplinaires

Expérience et dossier du ou des chercheurs – importance, originalité, qualité et retombées des travaux de recherche antérieurs

Contribution antérieure à la formation de personnel hautement qualifié (PHQ) Qualité et ampleur des contributions antérieures à la formation de PHQ

Voir la section 5 ci-dessous pour une description plus détaillée des critères d’évaluation.

L’échelle de cotation suivante sera utilisée :

Descripteur Intervalle Résultat Définition
Remarquable 4,5 – 4,9 Subventionnable La demande fait preuve d’excellence à l’égard de la plupart ou de la totalité des aspects pertinents. Il peut y avoir des lacunes minimes.
Excellent 4,0 – 4,4 La demande fait preuve d’excellence à l’égard d’une bonne partie des aspects pertinents, et se révèle acceptable à l’égard de tous les autres. Des améliorations sont possibles.
Bon 3,5 – 3,9 La demande fait preuve d’excellence à l’égard de quelques aspects pertinents et se révèle acceptable à l’égard de tous les autres. Des améliorations s’imposent.
Passable 3,0 – 3,4 Non subventionnable La demande traite des aspects pertinents d’une manière générale. Des améliorations importantes s’imposent.
Médiocre 0,0 – 2,9 La demande ne présente pas d’arguments suffisamment convaincants ou présente des lacunes ou des failles importantes.

Les demandes doivent être soumises conformément aux lignes directrices et aux instructions sur la mise en forme, les limites de pages, les pièces jointes requises, entre autres, des possibilités de financement correspondantes. Les candidats ne devraient pas être pénalisés s’ils suivent les règles adaptées à leur organisme d’intérêt. Pour que cela soit plus facile, les organismes évalueront les demandes par groupes.

3.4.2 Réunions d’évaluation par les pairs

Le Comité d’évaluation par les pairs interdisciplinaire des trois organismes se réunit dans le cadre de plusieurs séances afin d’évaluer les demandes admissibles et pertinentes reçues en réponse aux possibilités de financement des trois organismes. Comme il est indiqué ci-dessus, les demandes sont évaluées par groupes de possibilité de financement, et l’évaluation peut se dérouler sur plusieurs séances qui pourront durer plus d’une journée, conformément aux échéanciers des possibilités de financement. Il est à noter que les organismes pourront soumettre les demandes à un processus de rationalisation conforme à leurs pratiques existantes. Par conséquent, le comité ne discutera peut-être pas de toutes les demandes.

Un des évaluateurs est désigné « évaluateur principal » et ouvre la discussion en présentant son analyse des forces et des faiblesses de la demande, selon son point de vue et en fonction des critères d’évaluation propres à la possibilité de financement. Les autres évaluateurs ainsi que les lecteurs prennent la parole à leur tour en s’attardant sur les points où ils sont du même avis ou en désaccord et discutent des points qui n’ont pas encore été abordés, selon leur perspective particulière. La discussion ouverte est structurée et se déroule suivant l’ordre des critères d’évaluation.

Au terme de la discussion, le président demande aux évaluateurs et aux lecteurs de voter, de manière confidentielle, sur la cote à attribuer à la demande. Après ce vote, le comité étudie le budget demandé et formule une recommandation officielle au besoin. Toute modification recommandée au budget doit être expliquée clairement et en détail. Toute autre préoccupation (p. ex. éthique, admissibilité, cellules souches humaines) doit faire l’objet d’une discussion et, au besoin, être signalée au personnel des IRSC pour la prise de mesures conséquentes. Ces points ne doivent pas être considérés comme des critères d’évaluation, sauf s’ils peuvent influencer la qualité de la demande. Dans de tels cas, les évaluateurs doivent présenter ces questions au coordonnateur ou à la coordonnatrice du comité dès que possible pour demander conseil quant à la façon de les aborder lors de leur évaluation et de la discussion en comité.

Une fois que toutes les demandes auront été évaluées et cotées, les évaluateurs seront priés de fournir de la rétroaction aux organismes de financement sur le projet pilote ainsi que sur l’efficacité et le fonctionnement du comité et du processus d’évaluation par les pairs dans son ensemble.

3.5 Après la réunion d’évaluation par les pairs

Les évaluateurs qui désirent modifier leurs évaluations auront une semaine pour le faire après la réunion. Les rapports des évaluateurs (dépourvus du nom de l’évaluateur et de la cote accordée) pourront être mis à la disposition des candidats dans le cadre de la rétroaction fournie par leur organisme d’intérêt. C’est pourquoi les évaluateurs devraient s’abstenir de dévoiler leur identité dans leurs évaluations afin d’assurer la confidentialité du processus.

L’évaluation doit être claire et concise, être rédigée dans un langage objectif et dépourvu de propos incendiaires, et comporter des justifications (voir, par exemple, la page Web du Collège des évaluateurs sur la qualité de l’évaluation). Des commentaires constructifs au candidat lui permettront d’améliorer la qualité et l’efficience de la recherche proposée. Veuillez noter que si, de l’avis du président ou du personnel, l’évaluation contient des commentaires pouvant être interprétés de quelque façon comme étant sarcastiques, irrévérencieux, arrogants ou inappropriés, ou encore des renseignements inexacts quant aux politiques des organismes subventionnaires, ceux-ci se réservent le droit de retirer de l’évaluation tout propos ainsi jugé.

Même si les demandes soumises dans le cadre des trois possibilités de financement sont évaluées par le Comité d’évaluation par les pairs interdisciplinaire des trois organismes, les décisions relatives au financement, le financement et l’administration des subventions sont pris en charge par l’organisme auquel la demande a été soumise, en conformité avec les lignes directrices et les processus décisionnels de cet organisme. De même, la rétroaction fournie aux candidats suit le format utilisé par l’organisme à qui leur demande a été soumise.

4. Rôles et responsabilités

Le Comité d’évaluation par les pairs interdisciplinaire des trois organismes se compose d’un président, de trois agents scientifiques et de membres du comité d’évaluation par les pairs. Le comité est soutenu dans son travail par des évaluateurs externes qui fournissent des rapports d’évaluation. Le comité reçoit également l’aide du personnel de chaque organisme chargé des programmes.

4.1 Président

Le président ou la présidente du comité d’évaluation par les pairs est responsable du fonctionnement harmonieux, de l’efficacité et de l’objectivité du comité. Il établit un environnement positif, constructif et impartial pour l’évaluation des demandes. Le président (avec les agents scientifiques et le personnel des programmes) joue un rôle de supervision et n’évalue pas les demandes. Ses responsabilités sont les suivantes :

4.2 Agents scientifiques (AS)

Les agents scientifiques (AS) sont chargés de soutenir le président durant le processus d'évaluation par les pairs selon les besoins, y compris en remplaçant le président si celui-ci se trouve en conflit d'intérêts. De plus, l'AS prend des notes sur les débats du comité, lesquelles pourront faire partie de la rétroaction fournie aux candidats. Chaque organisme recrute un AS. En plus de leurs fonctions partagées avec le président, les agents scientifiques assument les responsabilités suivantes :

4.3 Membres du comité d’évaluation par les pairs

Les membres du comité d’évaluation par les pairs sont recrutés dans les domaines des sciences humaines, des sciences naturelles, du génie et des sciences de la santé. À titre d’évaluateurs et de lecteurs, ils se voient confier des demandes à évaluer avec l’aide de rapports d’évaluation externe. Les principales responsabilités des membres du comité d’évaluation par les pairs sont les suivantes :

4.4 Évaluateurs externes

Pour chaque demande, les organismes de financement s’efforceront d’obtenir au moins deux rapports d’évaluation externe de la part d’experts dans les domaines pertinents, mais ne peuvent pas offrir de garantie à cet effet. Les membres du comité ne sont pas liés par les conclusions de ces rapports, mais ils devraient en tenir compte dans l’évaluation des demandes. Les évaluateurs externes ne font pas partie du comité. Leur rôle consiste à fournir des rapports écrits à titre d’experts sur les demandes qui leur ont été attribuées. Les évaluateurs externes doivent aussi se conformer aux lignes directrices des trois organismes sur la confidentialité et les conflits d’intérêts.

4.5 Personnel des organismes subventionnaires

Le personnel des organismes subventionnaires participe à toutes les étapes du processus relatif aux possibilités de financement et appuie le comité d’évaluation par les pairs dans son travail. Les responsabilités du personnel des organismes subventionnaires sont les suivantes :

5. Description des critères d’évaluation

Le Comité d’évaluation par les pairs interdisciplinaire des trois organismes se sert de critères d’évaluation harmonisés. Bien que la définition des termes puisse varier entre les possibilités de financement de chaque organisme, les candidats et les membres du comité se référeront à la description harmonisée des critères d’évaluation. Il est à noter que les possibilités de financement n’ont pas toutes les mêmes exigences par rapport à la demande et que la quantité d’espace fournie entre les demandes peut varier. Les candidats et les membres du comité sont priés de communiquer avec les personnes‑ressources de leur organisme d’intérêt s’ils ont des questions.

Mérite de la recherche proposée

Qualité de la proposition

Méthodes et approches

Faisabilité

Résultats escomptés

Retombées

Mobilisation et diffusion des connaissances

Plan de formation

Important : Il n’est pas nécessaire de recueillir des données démographiques sur les stagiaires pour évaluer les impacts de l’équité, de la diversité et de l’inclusion dans l’environnement de recherche et de formation.

Dossier du candidat ou des candidats

Compétences et expérience

Contribution antérieure à la formation de personnel hautement qualifié (PHQ)

6. Ressources

Les candidats devraient lire les lignes directrices et les documents propres aux possibilités de financement des organismes dans leurs sites Web respectifs :

En plus des ressources propres aux possibilités de financement, les candidats devraient prendre connaissance des lignes directrices suivantes des trois organismes :

Date de modification :