Survol de la réforme de la série de programmes ouverts des IRSC : comité d’experts sur l’évaluation par les pairs

Novembre 2016

Table des matières

  1. Objectif
  2. Origine de la conception et justification des changements (Q1 et Q2)
  3. Survol de la conception (Q1)
  4. Processus de mise en œuvre des programmes de subventions Fondation et Projet (Q2, Q3 et Q4)
  5. Description des données probantes existantes (Q1 et Q2)
  6. Survol des possibilités d’amélioration et de surveillance continue (Q4 et Q6)
Liste des figures
Figure 1 Satisfaction des intervenants – Évaluation par les pairs (pourcentage des répondants qui ont formulé une opinion), résultats d’un sondage IPSOS Reid (2010)
Figure 2 Calendrier du processus de réforme des IRSC
Figure 3 Schéma d’un concours du programme de subventions Fondation
Figure 4 Schéma d’un concours du programme de subventions Projet
Figure 5 Éléments conceptuels des nouveaux programmes et façon dont ils répondent aux problèmes soulevés
Figure 6 Distribution du volume de demandes et des taux de réussite dans le cadre des programmes de subventions pour la recherche libre, de 2006-2007 à 2015-2016
Figure 7 Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre par thèmes principaux, de 2006-2007 à 2015-2016
Figure 8 Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le sexe des CPD, de 2006-2007 à 2015-2016
Figure 9 Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le stade de la carrière des CPD, de 2006-2007 à 2015-2016
Figure 10 Ventilation de la cohorte des nouveaux chercheurs et des chercheurs en début de carrière selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015
Figure 11 Ventilation de la cohorte des chercheurs en milieu de carrière et des chercheurs chevronnés selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015
Figure 12 Ventilation des proportions de demandes présentées et financées, concours de subventions Projet du printemps 2016
Figure 13 Modèle logique provisoire des programmes de recherche libre des IRSC
Liste des tableaux
Tableau 1 Différences entre les éléments conceptuels du POSF, du programme de subventions Fondation et du programme de subventions Projet
Tableau 2 Sphères à améliorer et réponses correspondantes des IRSC après les examens internes menés en 2015
Tableau 3 Améliorations apportées au concours pilote du volet Fondation de 2015 à partir du concours pilote de 2014
Tableau 4 Sphères à améliorer et changements demandés pour le concours de subventions Projet de 2016 (lancement à l’automne) après la réunion de travail du milieu de la recherche organisée par les IRSC le 13 juillet 2016.
Tableau 5 Recommandations du groupe de travail sur l’évaluation par les pairs concernant le concours de subventions Projet de 2016
Tableau 6 Mise en œuvre par les IRSC des recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet (automne 2016)
Tableau 7 État des principales fonctions du collège des évaluateurs supervisées par les présidents du collège
Tableau 8 Cadre provisoire de mesure du rendement de la recherche libre des IRSC

1. Objectif

Le présent document d’information a pour objectif de rassembler en un seul endroit les données des IRSC, les analyses et les liens externes afin d’attirer l’attention du comité d’experts sur l’évaluation par les pairs sur :

  • la conception de la réforme de la série de programmes ouverts (programmes de recherche libre) et du processus d’évaluation par les pairs des IRSC et la façon dont cette réforme répond aux problèmes de l’évaluation par les pairs recensés par l’organisme;
  • la mesure dans laquelle les changements apportés à l’architecture des programmes et à l’évaluation par les pairs permettent aux IRSC de surmonter les défis liés à la portée de leur mandat, à la nature évolutive de la science et à la croissance de la recherche interdisciplinaire;
  • les mécanismes utilisés par les IRSC pour assurer la qualité et l’efficacité de l’évaluation par les pairs.

Le présent document ne constitue pas une évaluation de la réforme et ne sert pas à remplacer l’interprétation des données ni l’information contextuelle qui seront fournies lors des réunions en personne du comité du 16 au 18 janvier 2017. Il sert plutôt à fournir une description et des données probantes pour soutenir une vision commune de la réforme et à compléter ce que le comité entendra durant ces réunions.

2. Origine de la conception et justification des changements (Q1 et Q2)

Conformément à la Loi sur les IRSC, ces derniers ont pour mission « d’exceller, selon les normes internationales reconnues de l’excellence scientifique, dans la création de nouvelles connaissances et leur application en vue d’améliorer la santé de la population canadienne, d’offrir de meilleurs produits et services de santé, et de renforcer le système de santé au CanadaNote en bas de page 1 ».

Les Instituts de recherche en santé du Canada (IRSC) sont le principal organisme de financement de la recherche en santé du gouvernement canadien. Ils divisent la recherche en santé en quatre grands « thèmes » : la recherche biomédicale, la recherche clinique, la recherche sur les services et les systèmes de santé et la recherche sur les facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations. Les IRSC investissent environ un milliard de dollars canadiens chaque année pour appuyer la recherche en santéNote en bas de page 2. Ces investissements servent à soutenir la recherche libre et la recherche priorisée.

Pour les IRSC, la recherche libre est un type de recherche où des chercheurs individuels et leur équipe proposent des projets sur un sujet de santé de leur choix. Un peu plus de la moitié du budget des IRSC est affecté à la recherche libreNote en bas de page 2. Le reste du budget est alloué à la recherche priorisée, qui est axée sur des domaines revêtant une importance stratégique pour le gouvernement du Canada. Dans ce contexte, des appels de propositions sont lancés selon des thèmes précis.

Jusqu’en 2014, le principal mécanisme utilisé par les IRSC pour financer la recherche libre était le Programme ouvert de subventions de fonctionnement (POSF) Note en bas de page 3. Ce programme avait pour objectifs de contribuer à la création, à la dissémination et à l’utilisation de connaissances liées à la santé et d’aider au développement et au maintien de la capacité de recherche en santé au Canada en appuyant des projets ou des programmes originaux et de grande qualité proposés et exécutés par des chercheurs individuels ou des groupes de chercheurs dans tous les domaines de la santé.

En 2009, les IRSC ont lancé leur plan stratégique intitulé L’innovation au service de la santé : de meilleurs soins et services par la recherche. Ce plan quinquennal présentait une vision audacieuse, soit la réforme du processus d’évaluation par les pairs et des programmes ouverts de financement. Dès 2010, les IRSC ont entamé la réforme de leurs programmes de recherche libre, dont le POSF, et du processus d’évaluation par les pairs associé. Cette réforme a reposé sur d’importantes contributions et a été influencée par trois principales sources de données :

  1. Les données d’un sondage auprès de la communauté scientifique : un sondage IPSOS Reid mené en 2010 pour les IRSC a révélé que le milieu de la recherche appuyait fortement la réforme du système d’évaluation par les pairs, dont la qualité et la cohérence étaient perçues comme étant insuffisantes.

    Figure 1. Satisfaction des intervenants – Évaluation par les pairs (pourcentage des répondants qui ont formulé une opinion); résultats d’un sondage IPSOS Reid (2010)

    Description détaillée

    Sondage mené par Ipsos Reid (2010) montrant la satisfaction des intervenants en matière d'évaluation par les pairs. (Sont regroupés sous « satisfaits » : très satisfaits, plutôt satisfaits et neutres; sont regroupés sous « insatisfaits » : très insatisfaits et plutôt insatisfaits). Les données se fondent sur le pourcentage des répondants qui ont formulé une opinion :

    • 79 % des pairs évaluateurs se sont dits satisfaits de l'efficacité de l'évaluation par les pairs alors que 17 % s'en sont dits insatisfaits.
    • 70 % des pairs évaluateurs se sont dits satisfaits de l'équité de l'évaluation par les pairs alors que 26 % s'en sont dits insatisfaits.
    • 54 % des candidats et des titulaires de subvention se sont dits satisfaits de la qualité des jugements alors que 44 % s'en sont dits insatisfaits.
    • 40 % des candidats et des titulaires de subvention se sont dits satisfaits de la cohérence entre les jugements alors que 58 % s'en sont dits insatisfaits.
    • 40 % des intervenants des établissements se sont dits satisfaits de la cohérence entre les jugements alors que 48 % s'en sont dits insatisfaits.

  2. Une recommandation du comité du deuxième examen international des IRSC, mené en 2011 :

    « Les IRSC doivent étudier la possibilité d’attribuer des subventions à plus long terme aux chercheurs les plus performants au pays. Ils doivent aussi fusionner les comités de subventions pour en réduire le nombre et donner à chacun un mandat scientifique plus vaste, ce qui permettra d’atténuer les contraintes […] »

  3. Les constatations de l’évaluation de 2012 du Programme ouvert de subventions de fonctionnement (POSF) des IRSC, qui reconnaissaient les obstacles associés aux programmes ouverts de financement des thèmes de la recherche et confirmaient la nécessité d’alléger le fardeau des pairs évaluateurs et des candidats.

Les IRSC ont mené plusieurs rondes de consultation auprès de leurs intervenants avant et pendant le processus de réformeNote en bas de page 4. Durant les premières consultations, qui ont mené à la conception initialement proposée, les intervenants ont mis en évidence plusieurs problèmes liés à l’architecture de financement et au processus d’évaluation par les pairs des IRSCNote en bas de page 5. La deuxième version proposée visait à remédier à ces problèmes. Les voici :

  • Accessibilité et complexité des programmes de financement
  • Fardeau pour les candidats
  • Processus et attributs des demandes qui ne permettent pas d’obtenir les données appropriées
  • Soutien insuffisant pour les nouveaux chercheurs et les chercheurs en début de carrière
  • Collaborations entre chercheurs et utilisateurs des connaissances non reconnues à leur juste valeur
  • Manque de disponibilité des experts
  • Manque de fiabilité et de cohérence de l’évaluation par les pairs
  • Nature conventionnelle de l’évaluation par les pairs
  • Charge de travail élevée des pairs évaluateurs

Les IRSC ont adopté un nouveau système de subventions pour la recherche libre, dont certains éléments conceptuels visaient à surmonter les problèmes susmentionnés. Ces changements, mis à l’essai et implantés entre 2010 et 2016, ont été conçus pour répondre précisément aux problèmes soulevés par les intervenants. Les étapes importantes de ce plan sont énumérées dans la figure 2 (ci-dessous).

Avec la nouvelle série de programmes ouverts, la majorité du financement de la recherche libre est maintenant allouée par l’intermédiaire des programmes de subventions Fondation et ProjetNote en bas de page 6. Cela dit, il importe de noter que les IRSC financent des subventions de recherche priorisée et des bourses au moyen de mécanismes de financement et de processus d’évaluation par les pairs qui ne sont pas abordés dans le présent document.

Les objectifs de la nouvelle série de programmes ouverts sont les suivants :

  • Programme de subventions Fondation (un concours par année) – conçu pour contribuer à l’édification d’une assise durable formée de chefs de file de la recherche en santé en offrant du soutien à long terme pour entreprendre des programmes de recherche novateurs et porteurs.
  • Programme de subventions Projet (deux concours par année) – conçu pour exploiter les idées les plus susceptibles de faire progresser de façon importante les connaissances en santé, le système de soins de santé et les résultats sur la santé en appuyant des projets ayant une fin et un but précis. Les réactions du milieu canadien de la recherche en santé à l’égard de cette réforme ont été mitigées.
  • Le collège des évaluateurs a pour vision d’établir une ressource à gestion centralisée reconnue internationalement, favorisant l’engagement de tout le milieu canadien de la recherche en santé à soutenir l’excellence dans l’évaluation par les pairs pour les activités diversifiées et émergentes de recherche et d’application des connaissances couvrant l’éventail complet de la recherche en santé. Le collège se veut une ressource nationale qui, avec le temps, répondra aux besoins en évaluation des IRSC et de leurs partenaires. La mise en place du collège favorisera :
    • l’établissement d’une base plus stable d’évaluateurs expérimentés du Canada et de l’étranger;
    • les approches collaboratives en évaluation par les pairs pour l’ensemble des organismes de financement de la recherche en santé;
    • l’inclusion de mécanismes d’assurance de la qualité;
    • des processus de recrutement systématique;
    • des ressources permanentes pour la formation et des programmes de mentorat;
    • un programme de reconnaissance apprécié.

Figure 2. Calendrier du processus de réforme des IRSC

Description détaillée

2009 : Publication du Plan stratégique – L’innovation au service de la santé

2010 :

  • Examen des pratiques en matière de recherche en santé
  • Début de l’élaboration et de l’étude des nouveaux concepts relatifs aux programmes
  • Mise sur pied du groupe de travail sur les IRSC pour superviser la conception et la mise en œuvre

2011 : Publication du rapport du comité d’examen international des IRSC

2012 :

2009 – 2012 : Des consultations ont été menées dans le cadre de séances de discussion ouverte partout au pays et d’autres moyens (notamment des sondages). Les IRSC ont mobilisé leurs instituts, leurs milieux de recherche, leurs délégués universitaires, les présidents et les agents scientifiques de leurs comités d’évaluation par les pairs et leurs partenaires.

2013 : Annonce de la possibilité de financement  de 2014 du programme de subventions Fondation

2014 :

2015 :

2016 :

3. Survol de la conception (Q1)

L’objectif de la présente section est de survoler les rapports et les processus qui ont orienté la conception des nouveaux programmes de financement (Fondation et Projet) ainsi que le lien entre leur conception et celle de l’ancien Programme ouvert de subventions de fonctionnement des IRSC. Les processus de demande des programmes Fondation et Projet sont illustrés aux figures 3 et 4 (ci-dessous).

Les programmes Fondation et Projet ont été conçus afin de résoudre les problèmes susmentionnés. Les éléments conceptuels propres à ces programmes et la façon dont ils viennent régler certains de ces problèmes sont illustrés ci-dessous dans la figure 5 et abordés plus en détail dans les documents clés suivants :

Comme le montre la figure 5 (ci-dessus), les éléments conceptuels ont été choisis consciemment pour répondre à plusieurs problèmes. Le tableau 1 compare ces éléments à ceux de l’ancien Programme ouvert de subventions de fonctionnement et indique la situation actuelle en ce qui concerne les concours des programmes de subventions Fondation et Projet.

Figure 3. Schéma d’un concours du programme de subventions Fondation

Description détaillée

Le processus de concours débute avec l’étape 1, où le candidat s’inscrit pour présenter ensuite une demande structurée. Les IRSC procèdent à une vérification de l’admissibilité puis au jumelage des demandes et des évaluateurs. Les évaluateurs déclarent leurs conflits d’intérêts et leur capacité d’évaluer un sous-ensemble de demandes. Les IRSC se chargent d’assigner les demandes aux évaluateurs, tandis que les présidents de concours approuvent les appariements. Ces derniers aident les IRSC à combler les lacunes en matière d’expertise en recommandant des évaluateurs supplémentaires au besoin. Les évaluateurs effectuent l’évaluation préliminaire des demandes qui leur sont assignées. Par l’entremise de la discussion en ligne, les présidents de concours surveillent le processus d’évaluation. Les évaluateurs procèdent ensuite à l’évaluation finale et à l’établissement de la liste de classement définitive des demandes qui leur sont confiées. Après avoir établi le classement combiné de toutes les demandes, les IRSC décident du sous-ensemble de demandes qui passera à l’étape 2.

Les candidats qui passent à l’étape 2 sont invités à présenter une demande structurée pour cette l’étape. Les IRSC fourniront un montant comme budget de base qui sera inclus dans la demande à l’étape 2. Cette mesure enclenche le même processus de concours que ci‑dessus. Les IRSC établissent de nouveau un classement combiné pour chaque demande. Ils dressent ensuite une liste de toutes les demandes au concours, de la mieux cotée (« zone verte ») à la moins bien cotée (« zone rouge ») pour déterminer lesquelles de la « zone grise » à l’étape 2 (c.‑à‑d. celles qui sont près du seuil de financement et dont l’évaluation varie grandement d’un évaluateur à l’autre) doivent faire l’objet d’une discussion à l’étape finale de l’évaluation (EFE ou étape 3). Le comité de l’EFE est composé des présidents de concours de l’étape 2.

Dans le cadre de l’EFE, avant la réunion en personne, les évaluateurs déclarent leurconflits d’intérêts et leur capacité d’évaluer un sous‑ensemble de demandes. Les évaluateurs à l’EFE ont ensuite accès à l’information relative aux demandes qui leur sont confiées, y compris les évaluations de l’étape 2, les classements combinés, les écarts‑types et les demandes détaillées. Ils ont recours à un système de catégorisation  des demandes qui consiste à les classer dans la catégorie « oui » (susceptibles d’être financées) ou « non » (non susceptibles d’être financées), et présentent leurs recommandations aux IRSC avant la réunion.

À la réunion en personne, le comité multidisciplinaire identifie, discute et vote les demandes de la « zone grise » (également dites du groupe B) dont il recommande le financement. Lorsqu’il existe encore un écart dans le budget, le sous‑comité du budget de Fondation procède à un rapprochement. Après l’étape finale de l’évaluation, les IRSC examinent les recommandations du comité de l’EFE et du sous‑comité du budget de Fondation pour prendre leurs décisions de financement définitives. Un avis de décision est fourni à tous les candidats.

Figure 4. Schéma d’un concours du programme de subventions Projet

Description détaillée

Pour participer à un concours, le candidat doit d’abord soumettre une inscription puis une demande détaillée. Les IRSC procèdent à une vérification de l’admissibilité puis au jumelage des demandes et des évaluateurs. Les évaluateurs doivent remplir une déclaration sur les conflits d’intérêts et la capacité d’évaluer pour un sous-ensemble de demandes. Les IRSC se chargent de jumeler les demandes et les évaluateurs tandis que les présidents de concours approuvent les appariements. Les présidents, en consultation avec les agents scientifiques, aident les IRSC à combler les lacunes en matière d’expertise en recommandant des évaluateurs supplémentaires. Sous la surveillance des présidents et des agents scientifiques, les évaluateurs réalisent une évaluation préliminaire des demandes qui leur sont assignées. Les évaluateurs procèdent à l’évaluation finale et à l’établissement de la liste de classement finale des demandes qui leur sont confiées. Après avoir établi le classement combiné de toutes les demandes, les IRSC décident du sous-ensemble de demandes qui passe à l’étape finale de l’évaluation (étape 2), de concert avec les évaluateurs à l’étape 1 qui participeront aux réunions en personne du comité associé à un bloc de demandes. Les évaluateurs doivent déclarer leurs conflits par rapport aux demandes soumises à l’évaluation de leur comité et compléter les activités préalables à la réunion. Ils discutent des demandes lors des réunions en personne du comité. Les présidents animent les discussions du comité, et les agents scientifiques prennent des notes. Les IRSC prennent les décisions relatives au financement en se fondant sur les recommandations du comité. Enfin, les avis de décision sont transmis à tous les candidats, et les fonds sont versés aux candidats retenus.

Figure 5. Éléments conceptuels des nouveaux programmes et façon dont ils répondent aux problèmes soulevés

Description détaillée

La figure ci-dessus montre de quelle façon chaque élément de la conception proposée pour la nouvelle série de programmes ouverts et les améliorations à l'évaluation par les pairs répond aux multiples problèmes qui ont été relevés par les intervenants des IRSC en ce qui a trait aux processus actuels de concours et d'évaluation par les pairs. Par exemple :

Le programme de recherche fondamentale et programmatique répond à ce qui suit :

  • Accessibilité et complexité des programmes de financement
  • Fardeau pour les candidats
  • Soutien insuffisant pour les nouveaux chercheurs et les chercheurs en début de carrière
  • Les collaborations entre chercheurs et utilisateurs de connaissances ne sont pas reconnues à leur juste valeur

Le programme de planification de projets répond à ce qui suit :

  • Accessibilité et complexité des programmes de financement
  • Les processus et les attributs des demandes ne permettent pas d'obtenir les données appropriées
  • Soutien insuffisant pour les nouveaux chercheurs et les chercheurs en début de carrière
  • Les collaborations entre chercheurs et utilisateurs de connaissances ne sont pas reconnues à leur juste valeur

Le collège des évaluateurs répond à ce qui suit :

  • Manque de disponibilité des experts
  • Manque de cohérence des évaluations

Le processus de concours en plusieurs étapes répond à ce qui suit :

  • Fardeau pour les candidats
  • Les processus et les attributs des demandes ne permettent pas d'obtenir les données appropriées
  • Charge de travail élevée des pairs évaluateurs

L'évaluation axée sur les demandes répond à ce qui suit :

  • Manque de cohérence des évaluations
  • Charge de travail élevée des pairs évaluateurs

Les critères d'évaluation structurés répondent à ce qui suit :

  • Les processus et les attributs des demandes ne permettent pas d'obtenir les données appropriées
  • Manque de cohérence des évaluations
  • Nature conventionnelle de l'évaluation par les pairs
  • Charge de travail élevée des pairs évaluateurs

Le processus de présélection à distance (virtuel) répond à ce qui suit :

  • Manque de disponibilité des experts
  • Nature conventionnelle de l'évaluation par les pairs
  • Manque de cohérence des évaluations

L'intégration de l'application des connaissances répond à ce qui suit :

  • Les collaborations entre chercheurs et utilisateurs de connaissances ne sont pas reconnues à leur juste valeur

Comme le montre la figure 5 (ci-dessus), les éléments conceptuels ont été choisis consciemment pour répondre à plusieurs problèmes. Le tableau 1 compare ces éléments à ceux de l’ancien Programme ouvert de subventions de fonctionnement et indique la situation actuelle en ce qui concerne les concours des programmes de subventions Fondation et Projet.

Tableau 1. Différences entre les éléments conceptuels du POSF, du programme de subventions Fondation et du programme de subventions Projet

Élément POSF Programme de subventions Fondation Programme de subventions Projet
Accessibilité et complexité des programmes de financement : En plus du POSF, qui était de grande envergure, les IRSC ont créé plusieurs mécanismes de financement spécialisés de petite taille, ce qui, comme l’a fait remarquer le Comité d’examen international des IRSC de 2011, s’est traduit par un ensemble de programmes de plus en plus complexe au fil du temps. Les chercheurs se heurtaient à des obstacles lorsqu’ils essayaient de faire correspondre leurs projets de recherche aux critères de programmes existants – qui manquaient quelques fois d’uniformité – et ils devaient parfois présenter des demandes dans le cadre de nombreux programmes pour financer un seul projet de recherche.
Nombre de programmes de financement Programme qui s’est déroulé parallèlement à plus de 10 programmes ouverts de financement spécialisés en lien, par exemple, avec l’application des connaissances et la commercialisation. Les chercheurs devaient parfois présenter des demandes dans le cadre de nombreux programmes pour financer un seul projet de recherche. Programme de financement unique conçu pour soutenir à long terme des programmes de recherche qui intègrent l’application des connaissances ou d’autres domaines auparavant soutenus par des programmes spécialisés. Programme de financement unique conçu pour soutenir des projets de recherche ayant une fin précise et intégrant l’application des connaissances ou d’autres domaines auparavant soutenus par des programmes spécialisés.
Nombre de concours lancés par année 2 concours (> 10 concours pour les programmes de financement spécialisés) 1 concours 2 concours
Fardeau pour les candidats : Les chercheurs financés par les IRSC avaient de plus en plus tendance à présenter de multiples demandes de subvention dans le cadre de concours ouverts pour financer un seul projet de recherche. Les chercheurs se plaignaient qu’avec tout le temps passé à rédiger et à présenter des demandes pour de multiples subventions, il leur restait bien peu de temps pour mener leurs recherches. L’alourdissement du fardeau qui pesait sur les candidats enregistré au cours des cinq années précédentes avait mené le Comité d’examen international des IRSC de 2011 à formuler la recommandation suivante : « Les IRSC doivent étudier la possibilité d’attribuer des subventions [de plus grande valeur et] à plus long terme aux chercheurs les plus performants au pays. »
Appui aux programmes de recherche Oui, le programme finançait des programmes et des projets. Il n’y avait aucun critère précis pour les programmes. Oui, les programmes de recherche sont obligatoires. Ces programmes devront incorporer des composantes intégrées et interreliées de recherche, d’application des connaissances et de formation ou de mentorat. Non, le programme est conçu pour des projets ayant une fin précise.
Durée moyenne et maximale des subventions La durée moyenne d’une subvention dans le cadre du POSF entre 2006-2007 et 2013-2014 était de 4 ans, mais aucune durée maximale n’était fixée. La durée moyenne d’une subvention Fondation entre 2014-2015 et 2015‑2016 était de 6,5 ans; la durée maximale est de 5 ans pour les chercheurs nouveaux ou en début de carrière, et de 7 ans pour les chercheurs chevronnés ou en milieu de carrière. La durée moyenne d’une subvention Projet en 2016-2017 était de 4 ans, mais aucune durée maximale n’était fixée.
Exigences concernant la structure des demandes (p. ex., sections, limite de caractères, limite de pages) Module sur la recherche non structuré limitant les demandes à 13 pages et module sur le CV commun canadien (CVC). Oui, demande structurée avec limite de caractères et module sur le CVC abrégé. Au départ, demande structurée avec limite de caractères et module sur le CVC abrégé.
À partir de juillet 2016, transition vers des demandes de format libre (comprenant des figures et des tableaux) avec une limite de 10 pages et un module sur le CVC amélioré. Une réponse d’une page aux évaluations antérieures sera aussi incluse dans la structure révisée pour donner au candidat la possibilité d’expliquer comment la demande a été améliorée depuis la dernière demande.
Nombre limite de demandes par chercheur Aucune limite quant au nombre de demandes qu’une personne pouvait présenter à titre de candidat principal désigné ou auxquelles elle pouvait participer en tant que candidat principal ou cocandidat; ces demandes devaient toutefois être différentes et ne pas se chevaucher. Une personne ne peut détenir plus d’une subvention Fondation à titre de directeur de programme à la fois. Le directeur de programme d’une subvention Fondation ne peut présenter une demande au concours de subventions Projet à titre de chercheur principal désigné ou de chercheur principal.
Le directeur de programme d’une subvention Fondation pourra participer à un concours de subventions Projet à titre de cocandidat ou de collaborateur, ou à n’importe quel programme de recherche priorisée des IRSC à titre de chercheur principal désigné ou de chercheur principal.		 Au départ, les IRSC avaient restreint le nombre de demandes qu’un chercheur pouvait présenter à un concours Fondation ou Projet dans le but de réduire le fardeau pour les candidats et les évaluateurs. Après avoir reçu des commentaires du milieu de la recherche, ils ont aboli cette restriction pour le programme Projet. Ils ont toutefois réinstauré une limite de deux demandes par personne à la suite des travaux du groupe de travail sur l’évaluation par les pairs en juillet 2016.
De plus, les IRSC ont levé l’interdiction de présenter des demandes à la fois au concours Fondation et au concours Projet. Les chercheurs peuvent donc demander des fonds dans le cadre des deux programmes. Voici les politiques en vigueur :
  1. Si un candidat reçoit une subvention Projet 2016 à titre de candidat principal désigné et qu’il obtient dans les années suivantes une subvention Fondation à titre de directeur de programme, sa subvention Projet sera annulée et remplacée par la subvention Fondation, comme c’est le cas pour toutes les subventions de recherche libre accordées par les IRSC.
  2. Un candidat ne peut soumettre la même demande ou des demandes semblables à des concours qui se chevauchent. Si, à l’étape 2 du concours de subventions Fondation, il apparaît clair qu’une demande a également été soumise au concours de subventions Projet, le candidat devra retirer l’une des deux demandes.
Nombre limite de nouvelles demandes Non. Non. Non.
Processus et attributs des demandes qui ne permettent pas d’obtenir les données appropriées : Avec leurs différents mécanismes de financement, les IRSC se sont retrouvés avec plusieurs processus et formulaires de demande. Dans la gestion de cette multiplication du nombre de mécanismes de financement, les renseignements figurant dans les demandes et les critères d’évaluation par les pairs étaient harmonisés, mais non structurés, ce qui contribuait au manque d’uniformité dans les réponses des candidats et dans l’application des critères par les évaluateurs.
Exigences relatives à la demande associées au processus de concours en plusieurs étapes Non, tous les détails d’une demande étaient fournis en même temps. Oui, les exigences relatives à la demande sont différentes aux étapes 1 et 2. Un processus de concours en plusieurs étapes avec de courtes demandes à l’étape 1 est en place pour diminuer le travail nécessaire à la préparation d’une demande. Non, tous les détails d’une demande doivent être fournis en même temps.
Soutien aux nouveaux chercheurs et aux chercheurs en début de carrière : Les IRSC reconnaissent le rôle que jouent les nouveaux chercheurs et les chercheurs en début de carrière dans la création de bases solides pour l’excellence de l’entreprise canadienne de recherche en santé.
Critères d’évaluation par les pairs particuliers pour les nouveaux chercheurs et les chercheurs en début de carrière Les évaluateurs devaient tenir compte du stade de carrière. Les évaluateurs doivent tenir compte du stade de carrière. De plus, un guide d’interprétation détaillé leur a été fourni pour évaluer les demandes des nouveaux chercheurs et des chercheurs en début de carrière. Les évaluateurs doivent tenir compte du stade de carrière. De plus, un guide d’interprétation détaillé leur a été fourni pour évaluer les demandes des nouveaux chercheurs et des chercheurs en début de carrière.
Classement distinct des nouveaux chercheurs et des chercheurs en début de carrière Non. Oui, dans le cadre du concours Fondation de 2015. Les nouveaux chercheurs et les chercheurs en début de carrière ont été évalués et classés par rapport à d’autres nouveaux chercheurs et chercheurs en début de carrière à chaque étape du concours.
Dans le cadre du concours Fondation de 2016, les candidats ont été combinés peu importe le stade de leur carrière, parce que le nombre de demandes présentées par des nouveaux chercheurs et des chercheurs en début de carrière était insuffisant pour qu’on puisse évaluer et classer ces candidats séparément.		 Non.
Fonds réservés aux nouveaux chercheurs et aux chercheurs en début de carrière Non. Oui, au moins 15 % des subventions sont remises à de nouveaux chercheurs et à des chercheurs en début de carrière. Oui, jusqu’à 30 M $ par concours sont réservés aux nouveaux chercheurs et aux chercheurs en début de carrière.
Collaborations entre chercheurs et utilisateurs des connaissances non reconnues à leur juste valeur : Au fil des ans, les IRSC ont instauré des mécanismes de financement qui témoignaient de leur engagement à l’égard de l’application des connaissances et ont commencé à renforcer les capacités dans ce domaine. L’intégration de l’application des connaissances a permis de réunir les chercheurs et les utilisateurs des connaissances pour façonner le processus de recherche et a produit des résultats de recherche qui s’avéraient plus susceptibles d’être pertinents pour les utilisateurs des connaissances et d’être utilisés par ces derniers. Cependant, le Programme ouvert de subventions de fonctionnement des IRSC n’était pas conçu pour favoriser activement les partenariats et les collaborations avec les utilisateurs des connaissances et les décideurs.
Prise en compte à tous les niveaux des approches d’application des connaissances intégrée Un utilisateur des connaissances ne pouvait pas être un chercheur principal, mais pouvait agir comme cochercheur ou collaborateur (entre autres); cette situation était plutôt rare et entraînait de la confusion et des incohérences durant l’évaluation par les pairs. Oui, les demandes de subventions Fondation et Projet peuvent comprendre une approche d’application des connaissances intégrée ou être axées sur l’application des connaissances et inclure au moins un utilisateur des connaissances et un chercheur. L’utilisateur des connaissances peut également être le chercheur principal désigné dans le cadre de l’un ou l’autre des programmes. Les IRSC définissent un utilisateur des connaissances comme une personne susceptible d’utiliser les connaissances issues de la recherche pour prendre des décisions éclairées au sujet de politiques, de programmes ou de pratiques en matière de santé. Un utilisateur des connaissances peut être un praticien, un responsable des politiques, un éducateur, un décideur, un administrateur de soins de santé, un dirigeant communautaire, une personne associée à un organisme de bienfaisance dans le domaine de la santé, à un groupe de patients, à un organisme non gouvernemental, aux médias, etc.
Les IRSC définissent l’application des connaissances intégrée comme une approche par laquelle les chercheurs et les utilisateurs des connaissances s’unissent pour façonner le processus de recherche – tout d’abord, en établissant ensemble les questions de recherche, en déterminant la méthodologie, en participant à la collecte des données et au développement des outils, en interprétant les conclusions et en contribuant à disséminer les résultats de la recherche.
Manque de disponibilité des experts : À mesure que la nature et la diversité de la recherche en santé évoluent, il est de plus en plus nécessaire de recruter des pairs évaluateurs provenant d’horizons plus larges pour garantir que tous les aspects et les impacts futurs de la recherche en santé sont pris en compte. Certains chercheurs s’inquiètent du fait que le bassin actuel d’experts des IRSC ne possède peut-être pas l’expertise disciplinaire nécessaire pour évaluer tous les types de demandes. Les chercheurs de domaines multidisciplinaires, émergents et établis ont dit avoir eu de la difficulté à déterminer quels sont les comités d’évaluation par les pairs qui conviendraient le mieux pour évaluer leurs recherches. De plus, les IRSC ont de plus en plus de mal à faire correspondre certaines demandes aux mandats des comités d’évaluation de disciplines particulières.
Collège des évaluateurs Non. Prévu; en cours de mise en œuvre. Prévu; en cours de mise en œuvre.
Assignation des demandes à des comités permanents Oui. Non, évaluation axée sur les demandes. Non, évaluation axée sur les demandes.
Approche d’évaluation axée sur les demandes (c.‑à‑d., recrutement et sélection des évaluateurs selon le contenu des demandes) Non, les demandes étaient évaluées par des comités permanents au sein desquels les évaluateurs étaient choisis en fonction du contenu de la demande; on faisait parfois appel à des évaluateurs externes. Oui. Oui.
Autoévaluation des conflits d’intérêts Oui. Oui. Oui.
Autoévaluation de la capacité à évaluer une demande donnée Oui, évaluation globale de la capacité à évaluer une demande donnée (élevée, moyenne, faible, inexistante). Oui, évaluation globale de la capacité à évaluer une demande donnée (élevée, moyenne, faible, inexistante). Oui, depuis le concours de l’automne 2016, évaluation de la capacité à évaluer une demande en entier ou certains des volets suivants : domaine scientifique, méthodologie, population étudiée (évaluation complète, évaluation partielle, aucune évaluation en raison d’un conflit d’intérêts ou d’un manque d’expertise).
Profil d’expertise des évaluateurs Oui, au moyen de mots-clés non normalisés sur l’expertise. Oui, processus normalisé où les évaluateurs soumettent des profils détaillés que les IRSC utilisent pour jumeler les demandes. Oui, depuis le concours de l’automne 2016, processus normalisé où les évaluateurs soumettent des profils détaillés que les IRSC utilisent pour jumeler les demandes.
Jumelage évaluateur‑demande Le personnel des IRSC prenait les décisions finales de concert avec le président et l’agent scientifique du comité. Le personnel des IRSC prend les décisions de concert avec les présidents virtuels. Le personnel des IRSC prend les décisions, puis les présidents du concours les valident et les approuvent.
Processus de sélection à distance (virtuel) Non. Oui, à l’étape 1. Oui, à l’étape 1.
Manque de fiabilité et de cohérence de l’évaluation par les pairs : Les résultats d’un sondage effectué dans le cadre de l’examen international des IRSC de 2011 sur la satisfaction des intervenants par rapport à l’évaluation par les pairs montraient que bien que les pairs évaluateurs considéraient le processus comme juste et efficace, les candidats et les intervenants des établissements croyaient qu’il y avait des progrès à faire.
Formation des pairs évaluateurs Pas de formation structurée, mais accès à un guide général d’évaluation par les pairs. Oui, obligatoire, ainsi qu’un guide détaillé d’évaluation par les pairs des subventions Fondation. Oui, facultative, ainsi qu’un guide détaillé d’évaluation par les pairs des subventions Projet.
Nombre d’évaluateurs par demande Habituellement 2 évaluateurs et 1 lecteur par demande. Moyenne de 5 évaluateurs par demande aux étapes 1 et 2. Moyenne de 4 évaluateurs par demande.
Mécanismes de discussion entre les évaluateurs Oui, la structure du comité donnait l’occasion de présenter les évaluations et d’en discuter. Oui, en ligne aux étapes 1 et 2, et en personne à l’étape finale de l’évaluation. Oui, en personne à l’étape finale de l’évaluation (étape 2). Le programme de subventions Projet comprenait au départ des discussions en ligne asynchrones entre les évaluateurs, mais ce mécanisme a été retiré du concours de l’automne 2016 à la suite d’une recommandation du groupe de travail sur l’évaluation par les pairs.
Cotation ou classement des demandes Cotation sur une échelle de 5 points. La cote consensuelle était établie par le premier et le second évaluateurs. Cette cote devenait ensuite la référence à partir de laquelle tous les autres membres du comité devaient se prononcer (+/- 0,5 par rapport à la cote consensuelle). Classement des demandes d’un évaluateur, puis classement combiné des demandes de tous les évaluateurs. Classement des demandes d’un évaluateur, puis classement combiné des demandes de tous les évaluateurs.
Processus d’assurance de la qualité des évaluations Informel; se déroulait durant la présentation des évaluations aux comités; rôle de l’agent scientifique.
En 2014, les IRSC ont mené une vérification portant notamment sur la qualité des évaluations. L’objectif de la vérification était d’évaluer la qualité des commentaires que reçoivent les candidats en fonction des critères d’évaluation établis par les IRSC, ainsi que l’évaluation de base du niveau d’adhésion des pairs évaluateurs à ces critères. 		Informel; les présidents virtuels sont responsables de surveiller la qualité des évaluations. Les IRSC sont en train d’élaborer un cadre officiel d’assurance de la qualité des évaluations en collaboration avec le collège des évaluateurs. Informel; le président du concours et l’agent scientifique sont responsables de surveiller la qualité des évaluations. Les IRSC sont en train d’élaborer un cadre officiel d’assurance de la qualité des évaluations en collaboration avec le collège des évaluateurs.
Nature conventionnelle de l’évaluation par les pairs : Compte tenu de la nature et de la diversité des demandes qu’ils reçoivent, les IRSC ont assisté à une augmentation des demandes dans de nouveaux domaines émergents de la recherche en santé au fil des ans, notamment dans des disciplines de recherche multiples. Les commentaires des chercheurs et des intervenants laissaient croire que les structures existantes des comités, qui fixaient des seuils égaux de financement pour les mandats éprouvés et relativement immuables, favorisaient les approches éprouvées. Dans un milieu où seule une petite proportion des demandes était financée, il y avait peu de motivation à accepter les projets de domaines de recherche plus risqués et non éprouvés. Ces deux facteurs donnaient lieu à un système d’évaluation par les pairs conventionnel.
Anonymat des candidats pour les pairs évaluateurs Non. Non. Non.
Anonymat des pairs évaluateurs pour les candidats Non, les noms des pairs évaluateurs ayant participé à un concours étaient publiés 60 jours après les avis de décision. Les noms n’étaient pas associés aux demandes évaluées, mais aux comités. Non, les noms des pairs évaluateurs ayant participé à un concours sont publiés 60 jours après les avis de décision. Les noms ne sont pas associés aux demandes évaluées. Non, les noms des pairs évaluateurs ayant participé à un concours sont publiés 60 jours après les avis de décision. Les noms ne sont pas associés aux demandes évaluées.
Innovation reconnue dans les critères d’évaluation par les pairs Partiellement, au moyen d’un critère non structuré et non pondéré axé sur l’« originalité ». Oui, au moyen de critères structurés. Oui, au moyen de critères structurés.
Charge de travail élevée des pairs évaluateurs : En raison de l’augmentation du nombre de demandes reçues, y compris des demandes présentées pour la deuxième fois, le nombre d’évaluateurs dont les IRSC avaient besoin pour remplir leur mandat avait lui aussi augmenté. On attendait de la majorité des évaluateurs qu’ils se déplacent à Ottawa pour évaluer dans un court délai plus de 6 500 demandes, dont la longueur augmentait sans cesse, ce qui entraînait de la fatigue chez les évaluateurs.
Processus de demande en plusieurs étapes Non. Oui. Oui.
Nombre de demandes par évaluateur 3 à titre de premier évaluateur, 3 à tire de second évaluateur et 3 à titre de lecteur. 10 à titre de premier évaluateur. 10 à titre de premier évaluateur.
Nombre de semaines allouées à l’évaluation (de l’assignation des demandes jusqu’à la date limite) ≈ 5 semaines. Fondation 2014 : 3,7 semaines pour l’étape 1 et 3,9 semaines pour l’étape 2.
Fondation 2015 : 2,4 semaines pour l’étape 1 et 3,4 semaines pour l’étape 2.		 4,4 semaines.
Nombre moyen d’heures consacrées par un évaluateur à l’évaluation d’une demande 7,9 heures. 5,0 heures (pour les 3 étapes d’évaluation). 4,9 heures (pour les 2 étapes d’évaluation).
Nombre total d’heures consacrées par un évaluateur à l’évaluation des demandes 30,3 heures. 24,8 heures. 15,1 heures.

4. Processus de mise en œuvre des programmes de subventions Fondation et Projet (Q2, Q3 et Q4)

L’objectif de la présente section est de résumer les documents et les processus ayant orienté la mise en œuvre des éléments conceptuels des programmes et des processus d’évaluation par les pairs connexes.

Depuis 2013, les IRSC ont mis à l’essai, dans le cadre de concours pilotes, des éléments conceptuels précis en lien avec leurs nouveaux programmes, notamment les demandes structurées, l’évaluation à distance, l’échelle de cotation et le CV abrégé. Ces concours pilotes ont été menés en « temps réel » (c.-à-d., durant l’exécution normale de plusieurs programmes). Les IRSC ont ainsi pu surveiller les résultats en se fondant sur des données probantes. Les concours pilotes ont été suivis de près pour garantir la fiabilité, la cohérence, l’équité et l’efficacité des processus de concours et d’évaluation par les pairs. Les résultats des concours pilotes terminés à ce jour ont été analysés et regroupés dans les rapports qui suivent :

En 2015, les IRSC ont commandé des examens sur différents aspects du projet de mise en œuvre de la réforme. Ces examens ont été lancés par la direction des IRSC dans le but d’évaluer les processus et les systèmes internes liés à la mise en œuvre de la réforme et de pouvoir modifier rapidement les projets d’une complexité semblable. Les rapports suivants ont été rédigés :

  • Le rapport Mission de consultation de la Vérification interne, qui porte sur les leçons tirées du projet de mise en œuvre de la réforme, est le fruit de l’équipe de la Vérification interne des IRSC. Il traite principalement de gouvernance et des pratiques administratives liées à la gestion de projet et à la réorganisation interne qui ont mené aux nouveaux programmes de subventions Fondation et Projet. Selon le rapport, le projet de mise en œuvre de la réforme est appuyé par des outils de planification bien conçus, et les échéanciers des concours pilotes ont été respectés. On a également cerné des possibilités d’amélioration en ce qui touche l’échange d’information, les communications, l’établissement de rapports, la planification de projets et l’engagement des intervenants. Les IRSC prennent actuellement des mesures à l’égard de chacune de ces possibilités.
  • Le rapport Examen indépendant du projet CRM dans le cadre de la réforme, réalisé par Interis Consulting, a pour but d’évaluer la mise en place de systèmes opérationnels requis pour appuyer les nouveaux processus d’exécution des programmes. Les IRSC ont sollicité les recommandations d’experts au sujet de la mise en place de systèmes opérationnels complexes et transformateurs. Les possibilités d’amélioration visaient notamment la clarification des rôles et des responsabilités ainsi que de l’échéancier et de la portée des projets. Les IRSC s’emploient à adopter les recommandations présentées dans le rapport, par exemple en formant des comités de gouvernance qui surveilleront la portée et l’échéancier des projets.
  • Le rapport Réponse de la direction et plan d’action, publié en mai 2016, donne suite aux recommandations formulées dans les deux premiers rapports. Ces derniers ont permis à la direction de recevoir de la rétroaction tout au long de la mise en place des nouveaux systèmes opérationnels et de gestion, et ainsi d’ajuster le tir au besoin. Les IRSC continuent d’adopter les recommandations présentées dans ces rapports et prennent les mesures nécessaires pour s’attaquer aux problèmes soulevés en matière de gestion de projet.

Ces examens ont mis en lumière un certain nombre de forces internes, notamment les suivantes :

  • les principales activités de planification ont été entreprises comme il se doit;
  • les documents et les outils de planification ont été bien conçus;
  • les concours pilotes ont été réalisés dans les délais prévus grâce à une équipe de projet leur étant consacrée;
  • la mobilisation des employés dans les concours pilotes s’est traduite par un dévouement et un engagement accrus en période de changement.

Les examens ont également permis de relever un certain nombre d’améliorations possibles dans les cinq sphères suivantes :

  • Gouvernance
  • Communications et engagement des intervenants
  • Information destinée à la prise de décisions par les comités de haut niveau
  • Gestion et planification de projet
  • Engagement des intervenants internes et incidence sur le personnel

Les IRSC ont accepté les recommandations issues des examens et, en conséquence, prennent les mesures qui suivent au tableau 2.

Tableau 2. Sphères à améliorer et réponses correspondantes des IRSC après les examens internes menés en 2015

Sphère Réponse des IRSC
Gouvernance La structure générale de gouvernance et de prise de décision établie pour les concours pilotes et la mise en œuvre de la réforme a été revue afin qu’elle demeure adaptée aux besoins actuels des IRSC, au moment où s’amorce la dernière étape de ce vaste projet. Dans le cadre de ce processus, les IRSC ont examiné leur culture de gouvernance actuelle, en se concentrant sur la manière dont les décisions sont remises en cause et les hypothèses de planification sont posées. Cette démarche a mené à la création d’une nouvelle structure de gouvernance pour mieux soutenir l’infrastructure de TI. La structure de gouvernance et de prise de décision continuera à faire l’objet d’un examen régulier.
Communications et engagement des intervenants Les IRSC revoient leur stratégie et leurs pratiques de communication pour améliorer les communications avec le public concernant les concours pilotes et la mise en œuvre de la réforme. Cette révision permettra de renforcer des éléments stratégiques de la réforme, de mobiliser davantage les directeurs scientifiques et les instituts, et d’intégrer des experts de la Direction des communications et de la sensibilisation du public, du Portefeuille de la recherche, de l’application des connaissances et de l’éthique et du Portefeuille des affaires extérieures et développement d’entreprise. Cette mesure prévoit entre autres la création d’un centre de contact et l’engagement d’adopter de nouvelles façons de communiquer et de collaborer pour accroître la clarté et la transparence.
Information destinée à la prise de décisions par les comités de haut niveau L’ensemble des activités de gouvernance et de production de rapports liées au groupe de travail et au comité directeur de la mise en œuvre de la réforme a été revu. Ces activités ont été améliorées pour mieux appuyer le comité dans ses rôles et responsabilités, tels qu’ils sont définis dans son mandat, ainsi que pour fournir des données d’analyse pertinentes et actuelles à l’appui de la prise de décisions. Les IRSC ajustent également leurs processus de gestion des changements pour inclure une analyse exhaustive des incidences sur les ressources opérationnelles et les coûts, avant de procéder à tout changement. Le comité directeur a été reconstitué; il se réunira toutes les deux semaines et exercera une supervision complète des fonctions de gestion administrative et financière et de planification de projet pour la réforme.
Gestion et planification de projet Pour les prochains concours pilotes, le Portefeuille de la recherche, de l’application des connaissances et de l’éthique et les Services de gestion de la technologie de l’information ont établi des procédures de gestion de projet afin de définir les règles opérationnelles applicables aux différents concours pilotes. Un processus amélioré de contrôle et de gestion des changements est ainsi prévu. Les IRSC intègreront également une analyse rétrospective approfondie à chaque concours pilote et se serviront des données sur le rendement, des systèmes et de l’information budgétaire disponible afin de mieux planifier les prochaines activités.
Engagement des intervenants internes et incidence sur le personnel Les IRSC continueront à interroger le personnel pour obtenir des données supplémentaires sur l’engagement des employés. De plus, ils tiennent des entrevues de départ, des discussions de suivi ou des rencontres de consultation avec les personnes ayant quitté leurs fonctions liées aux concours pilotes afin d’optimiser la transmission des leçons apprises. Ils réexamineront également les priorités organisationnelles et les adapteront en fonction des résultats de l’évaluation susmentionnée. Enfin, ils continueront de former le personnel sur l’utilisation des nouvelles applications de TI.

En 2016, les IRSC ont expliqué comment le concours pilote du volet Fondation (ancien nom du programme de subventions Fondation) de 2014 allait orienter les concours suivants. Le tableau 3, tiré du résumé de ce rapport, présente quelques-uns des changements apportés au concours pilote du volet Fondation de 2015 motivés par le concours pilote de 2014 et les réponses à des sondages connexes fournies par des évaluateurs, des candidats et des présidents de concours.

Tableau 3. Améliorations apportées au concours pilote du volet Fondation de 2015 à partir du concours pilote de 2014

Commentaires reçus Changements apportés
Étape 1
  • Une majorité d’évaluateurs ont trouvé difficile d’appliquer les critères de sélection et de coter les demandes à tous les stades de carrière.
  • Une minorité d’évaluateurs ont convenu que les nouveaux chercheurs et les chercheurs en début de carrière devraient être classés séparément et qu’un volet distinct devrait être prévu pour eux dans le concours.
  • Le guide d’interprétation des critères de sélection de l’étape 1 du volet Fondation a été révisé afin que le sous-critère Leadership s’applique à tous les stades de carrière.
  • Des changements opérationnels ont été apportés afin que les nouveaux chercheurs et les chercheurs en début de carrière soient évalués séparément à chaque étape du concours.
Une faible minorité de candidats et d’évaluateurs ont mentionné :
  • des chevauchements importants entre les sections Productivité et Importance des contributions;
  • un manque de clarté quant aux renseignements à fournir dans la section Vision et direction du programme.
  • Le guide d’interprétation des critères de sélection de l’étape 1 a été révisé afin de donner des précisions aux évaluateurs quant à l’application des critères de sélection et de mieux aider les candidats à structurer leurs demandes.
  • Les candidats et les évaluateurs ont suggéré que certaines limites soient augmentées et que des sections soient ajoutées dans le CV Fondation.
  • Le CV Fondation a été modifié :
    • Augmentation des limites – Publications, Présentations, Reconnaissances et Expérience d’encadrement
    • Ajout de nouvelles sections – Activités d’évaluation et de révision et Adhésions
Étape 2
  • Une minorité de candidats et d’évaluateurs ont mentionné un manque de clarté quant à l’information à fournir pour répondre à chaque critère de sélection.
  • Le guide d’interprétation des critères de sélection de l’étape 2 du volet Fondation a été révisé afin que l’objectif de chaque critère de sélection soit plus clair et mieux expliqué.
  • Une majorité de candidats ont recommandé que les limites de caractères dans la section Approche de recherche soient augmentées.
  • La longueur de la section Approche de recherche est maintenant de trois pages (ajout d’une page).
Une majorité de candidats et d’évaluateurs ont recommandé que la pondération des sous-critères soit ajustée comme suit :
  • Augmentation – Idée de recherche et Approche de recherche
  • Diminution – Mentorat et formation et Qualité de l’environnement de soutien
 La pondération des sous-critères a été ajustée :
  • Idée de recherche : 25 % (augmentation de 5 %)
  • Approche de recherche : 25 % (augmentation de 5 %)
  • Expertise : 20 % (aucun changement)
  • Mentorat et formation : 20 % (aucun changement)
  • Qualité de l’environnement de soutien : 10 % (diminution de 10 %)
  • Une minorité d’évaluateurs ont indiqué que le processus d’évaluation du budget n’était pas clair.
  • La longueur de la justification budgétaire est maintenant d’une page complète (ajout d’une demi-page).
  • Des instructions plus claires ont été rédigées au sujet des renseignements à fournir dans la justification budgétaire.
  • On a fourni aux candidats les montants de base à l’étape 2.
  • Les évaluateurs ont reçu une formation pour évaluer si le budget proposé convient.
Étape finale de l’évaluation
  • La majorité des évaluateurs à l’EFE ont indiqué ne pas être satisfaits du processus d’évaluation structurée.
 Des changements opérationnels visant à améliorer le processus à l’EFE sont actuellement envisagés, notamment :
  • clarification du rôle des évaluateurs à l’EFE, y compris de l’expertise nécessaire;
  • préparation de formations supplémentaires.
Assurer la qualité des évaluations
Une faible minorité d’évaluateurs ont suggéré ce qui suit :
  • discussions en ligne synchrones;
  • alertes pour aviser les évaluateurs de la tenue de discussions sur des demandes qui leur ont été assignées;
  • discussions en ligne obligatoires en cas d’écarts entre les cotes.
  • Un outil a été mis au point pour permettre aux présidents virtuels de produire des rapports les aidant à cibler les demandes qui doivent faire l’objet d’une discussion (p. ex. celles dont les évaluations divergent).
  • La possibilité de signaler les demandes devant faire l’objet d’une discussion a été intégrée au système.
  • Par souci de continuité, on aura recours aux mêmes présidents virtuels aux étapes 1 et 2, dans la mesure du possible.
  • Les avantages et les exigences opérationnelles liés à la tenue de discussions synchrones à l’étape 2 sont actuellement à l’étude.
  • Les discussions en ligne et le travail des présidents virtuels feront l’objet d’un suivi afin que des stratégies efficaces continuent d’être mises en place pour assurer la tenue de discussions utiles.
  • Une faible minorité de candidats et de présidents virtuels, et une majorité d’évaluateurs ont indiqué que la qualité des évaluations de certaines demandes était inférieure à celle attendue.
  • Un moyen de communication direct entre les présidents virtuels et les évaluateurs a été mis en place afin de permettre aux présidents virtuels d’inciter les évaluateurs à réviser leurs évaluations ou à les étoffer, au besoin.
  • D’autres ressources de formation sur la qualité des évaluations ainsi que des mécanismes visant à s’assurer que ces ressources sont consultées par tous les évaluateurs ont été élaborés.

Le 13 juillet 2016, les IRSC ont organisé, à la demande de la ministre de la Santé, une réunion de travail avec les membres du milieu de la recherche en santé afin qu’ils répondent ensemble aux préoccupations concernant le processus d’évaluation par les pairs des IRSC, en particulier dans le contexte du programme de subventions Projet. Le tableau 4 résume les principaux résultats de cette réunion et complète le rapport intégral, accessible à l’adresse 49871.html.

Tableau 4. Sphères à améliorer et changements demandés pour le concours de subventions Projet de 2016 (lancement à l’automne) après la réunion de travail du milieu de la recherche organisée par les IRSC le 13 juillet 2016

Sphère Changements demandés pour le concours de subventions Projet de 2016
Évaluation adéquate des demandes de subvention pour la recherche en santé autochtone
  • Les membres de la communauté autochtone présents à la réunion du groupe de travail ont approuvé les principes et la structure définis par le groupe de travail, sous réserve qu’il y ait un processus itératif complémentaire d’évaluation par les pairs pour les propositions d’intérêt autochtone lors du prochain concours de recherche libre et des concours ultérieurs. Il est en outre entendu que toute la recherche d’intérêt autochtone financée après avoir été soumise aux processus d’évaluation par les pairs des IRSC sera conforme au chapitre 9 de l’Énoncé de politique des trois Conseils.
  • Le groupe de référence des IRSC sur les bonnes pratiques d’évaluation par les pairs pour la recherche en santé autochtone conseillera les IRSC relativement à l’adaptation de ces changements à la recherche en santé autochtone, et à la façon de les mettre en œuvre.
Demandes
  • Les candidats seront autorisés à présenter deux demandes à chaque concours de subventions Projet.
  • Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui.
Étape 1 : triage
  • Les présidents de concoursNote en bas de page 7 seront désormais jumelés à des agents scientifiques. Ils géreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents.
  • Chaque demande fera l’objet de quatre ou cinq évaluations à l’étape 1.
  • Les candidats pourront désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne pourront participer à l’évaluation du bloc de demandes dont leur propre demande fait partie.
  • La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1.
  • Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet.
Étape 2 : discussion en personne
  • Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa.
  • Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée.
  • Les présidents de concours travailleront avec les IRSC pour former des comités dynamiques en fonction de la teneur des demandes qui passent à l’étape 2.
  • Les demandes qui passent à l’étape 2 seront évaluées par trois membres du comité. Un système de classement pour l’ensemble des comités réunis en personne sera établi afin de garantir que les demandes de la plus haute qualité continuent d’être financées.
Mise sur pied d’un groupe de travail sur l’évaluation par les pairs
  • Un groupe de travail sur l’évaluation par les pairs sera mis sur pied sous la supervision du président administratif du collège des évaluateurs, et des participants à la réunion de travail seront également choisis pour conseiller les IRSC sur la mise en œuvre de ces changements.
  • Ce groupe de travail explorera également les critères de sélection possibles pour assurer l’équité entre les différents stades de carrière des candidats, comme cela se faisait relativement bien dans le cadre des concours du Programme ouvert de subventions de fonctionnement.
  • De plus, les membres du groupe discuteront de la déclaration présentée à la réunion de travail : « Pour tenir compte de la situation actuelle à l’égard du financement des chercheurs en début et en milieu de carrière, le groupe de travail examinera la possibilité que, pour les deux prochains concours, la proportion des chercheurs en début de carrière (0-5 ans) et en milieu de carrière (5-12 ans) qui sont financés soit de 5 % supérieure au taux de succès obtenu au concours. »

La création du groupe de travail sur l’évaluation par les pairs est l’un des résultats de la réunion de travail du 13 juillet 2016 entre les IRSC et des représentants du milieu de la recherche. Sous la direction du Dr Paul Kubes, les membres du groupe de travail ont discuté des résultats de la réunion et ont proposé des recommandations, qui sont résumées dans le tableau 5. La réponse des IRSC à ces recommandations est présentée dans le tableau 6. Soulignons que le Dr Kubes occupe actuellement un poste au sein des IRSC à titre de président administratif du collège des évaluateurs.

Tableau 5. Recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet de 2016

Résultat de la réunion de travail du 13 juillet Recommandation du groupe de travail Justification
Demandes
Les candidats seront autorisés à présenter deux demandes à chaque concours de subventions Projet.
  • Les candidats pourront présenter un maximum de deux demandes par concours de subventions Projet en tant que candidats principaux désignés (CPD).
 Cette décision vise à alléger le fardeau pour les évaluateurs (bien que la plupart des candidats n’aient présenté qu’une ou deux demandes, certains CPD en ont présenté plus, dont un qui en a présenté sept lors du dernier concours de subventions Projet). Cependant, nous savons que certains chercheurs peuvent avoir besoin de renouveler plus d’une subvention; nous avons donc trouvé qu’une limite de deux demandes par concours était raisonnable.
Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui.
  • Les demandes de subventions Projet contiendront 10 pages (incluant les graphiques et les tableaux).
  • Ces 10 pages seront de format libre (non imposé); les candidats pourront donc choisir comment aborder les critères d’évaluation.
  • Les candidats pourront joindre un nombre illimité de références et de lettres d’appui.
  • Les demandes seront évaluées en fonction des critères suivants : « importance et impact de la recherche » (25 % de la note finale); « approche et méthodes » (50 % de la note finale); « expertise, expérience et ressources » (25 % de la note finale).
  • Le CV commun (CVC) pour les demandes de subventions Projet inclura les articles publiés depuis les sept dernières années, et les candidats pourront télécharger un document PDF s’ils ont pris des congés au cours de cette période.
  • Une réfutation d’une page sera aussi incluse dans la structure révisée pour donner au candidat la possibilité d’expliquer comment la demande a été améliorée depuis la dernière demande.
 Nous avons reçu beaucoup de rétroaction sur ce point : certains candidats ne voulaient aucun changement à la structure de la demande, car ils se croyaient sur le point d’obtenir du financement, tandis que d’autres voulaient jusqu’à 12 pages. Or, d’autres pensaient qu’une demande de 12 pages représenterait un changement trop radical, car le délai pour préparer une toute nouvelle demande n’est pas optimal. Il est aussi important de noter que beaucoup d’évaluateurs appréciaient les demandes courtes, mais croyaient néanmoins avoir besoin de plus d’information. Dans l’ensemble, une demande de 10 pages tient compte des besoins des évaluateurs et des candidats.
Il est impossible d’ajouter des renseignements sur les congés au CVC dans sa forme actuelle, mais les candidats pourront télécharger un document PDF (nombre de pages illimité) comme supplément. Ils pourront y indiquer des renseignements pour une période équivalente aux congés pris dans les sept dernières années (p. ex. congé parental, médical, administratif ou de deuil). Ainsi, un candidat qui a pris un congé parental ou de maternité d’un an pourra télécharger un document PDF détaillant un an de financement et de publications au-delà de la limite de sept ans.
La rédaction d’une réfutation est un exercice intellectuel important, et le groupe a jugé bon de l’intégrer au processus du concours.
Étape 1
Les présidents seront désormais jumelés à des agents scientifiques. Ils géreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents.
  • Mise à jour : L’assignation des évaluateurs sera approuvée par les présidents et les agents scientifiques. De plus, ils pourront ajouter ou retirer des évaluateurs une fois que ceux-ci auront rempli la nouvelle déclaration sur les conflits d’intérêts et la capacité d’évaluer pour un groupe de demandes.
  • Les candidats pourront faire des recommandations quant aux types d’expertise requis pour évaluer leur demande.
 Le groupe de travail tenait à ce que cette intervention humaine ait lieu tôt dans le processus pour garantir que chaque demande est assignée aux bons experts.
En plus de menus déroulants de mots clés, le groupe de travail a recommandé que les candidats aient la possibilité d’utiliser une boîte de texte « Autre » dans RechercheNet pour faire des recommandations quant aux types d’expertise nécessaires pour évaluer leur proposition et souligner des nuances propres à leur milieu de recherche, au besoin. Le groupe croit qu’il est important que les présidents et les agents scientifiques reçoivent ces renseignements dans le cadre du processus de jumelage de l’expertise afin de mieux évaluer la pertinence des jumelages entre les demandes et les évaluateurs. Remarque : Des directives seront ajoutées dans RechercheNet.
Chaque demande fera l’objet de quatre ou cinq évaluations à la première étape.
  • Chaque demande sera assignée à quatre (4) évaluateurs à l’étape 1.
 Les membres du groupe de travail ont beaucoup discuté et débattu du bien-fondé d’avoir quatre évaluateurs plutôt que cinq, et ont même envisagé de réduire ce nombre à trois. Le groupe a toutefois conclu que trois évaluateurs ne suffiraient pas, étant donné la possibilité que l’un d’entre eux ne soumette pas son évaluation, auquel cas la demande ne recevrait que deux évaluations. L’assignation de quatre évaluateurs offre un équilibre entre la charge de travail des évaluateurs et la prise de décisions de haute qualité. Le groupe croit qu’il s’agit d’un nombre gérable – surtout si l’on tient compte des nouvelles mesures de supervision mises en place pour garantir la qualité des évaluations.
Les candidats pourront désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne pourront participer à l’évaluation du bloc de demandes dont leur propre demande fait partie.
  • Résultat adopté.
 Cette mesure permettra d’agrandir le bassin de pairs évaluateurs sans compromettre la qualité et l’équité.
La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1.
  • Résultat adopté.
 La discussion en ligne asynchrone a été retirée du processus du concours.
Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet.
  • Au lieu du système alphabétique (E+, O++), chacun des trois critères sera évalué sur une échelle de 101 points. Les demandes recevront une note totale entre 0 et 100 (en fonction de la pondération des critères).
  • Les commentaires des évaluateurs pour l’étape 1 seront présentés dans une seule boîte de texte en format libre (plutôt que dans des boîtes distinctes pour les forces et faiblesses de chaque critère). Il y aura aussi une boîte de texte à part dans laquelle les évaluateurs résumeront la demande.
 Il a été convenu que le système alphabétique causait des problèmes. Toutefois, l’ancienne échelle de 0 à 4,9 avait aussi ses faiblesses. Le groupe de travail est arrivé à la conclusion qu’une échelle de 0 à 100 augmenterait la transparence et clarifierait le processus pour les intervenants, y compris le public et le milieu de la recherche. Il est également important que le public et la source de financement gouvernementale comprennent qu’il arrive que des candidats ayant des notes très élevées ne reçoivent pas de financement parce que les fonds sont limités. Une note de 4,3, par exemple, signifiait peu pour le public ou les fonctionnaires.
Un certain nombre d’évaluateurs nous ont dit que le format d’évaluation structuré du dernier concours de subventions Projet les empêchait de fournir des commentaires cohérents. Les évaluateurs devront encore aborder les forces et les faiblesses de chaque demande, mais ils n’auront plus à le faire séparément, ce qui leur permettra de discuter plus librement de chaque demande. Les membres du groupe de travail ont convenu que la rédaction de résumés était importante pour les évaluateurs (qui démontrent ainsi qu’ils ont lu et compris la demande).
Étape 2 : discussion en personne
Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa.
  • Résultat adopté.
  • Le groupe de travail a recommandé que les 60 % restants soient examinés par les présidents et les AS pour garantir une évaluation adéquate.
 Nous sommes conscients du malaise que suscite au sein de la communauté le fait que les demandes ne fassent pas toutes l’objet de discussions en personne, mais en raison du volume considérable de demandes attendues, nous avons conclu qu’il serait impossible pour les comités réunis en personne de discuter de toutes les demandes.
Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée.
  • Résultat adopté.
  • Mise à jour : Le groupe de travail recommande l’adoption d’un processus dans le cadre duquel environ 30 % des demandes les mieux classées dans l’ensemble des blocs et environ 30 % des demandes les mieux classées dans chaque bloc passeraient à l’étape 2. Nous recommandons de procéder ainsi jusqu’à ce que les données recueillies pendant le prochain concours de subventions Projet puissent orienter cette stratégie de classement et régler la question des candidats qui remplissent aussi le rôle d’évaluateurs. Les autres demandes qui passeront à l’étape 2 comprendront celles dont les notes s’écartent de façon marquée, celles qui ont été signalées par les présidents de concours et celles qui ont les meilleures notes parmi leur bloc. Toutefois, la composition finale des demandes faisant partie du 40 % qui reste dépendra de l’ensemble des demandes présentées.
 Il est important que les demandes jugées comme étant les plus prometteuses puissent faire l’objet d’une discussion détaillée lors d’une réunion en personne pour garantir que les meilleurs projets sont financés. Le groupe de travail trouvait important de s’assurer que les subventions passent à l’étape suivante, qu’elles fassent partie des demandes les mieux classées dans un ou dans l’ensemble des blocs. Les IRSC pourront ainsi évaluer laquelle des règles de passage à l’étape suivante est la plus adéquate pour repérer les demandes dont on recommandera ultimement le financement.
Nous recommandons que les IRSC analysent la capacité de prédiction du classement entre les blocs et dans les blocs sur le classement final ou le statut de financement final.
Les présidents travailleront avec les IRSC pour former des comités dynamiques en fonction de la teneur des demandes qui passent à l’étape 2.
  • Résultat adopté.
 Le groupe de travail a convenu que la mise sur pied de comités en fonction de chaque concours assurerait la flexibilité du modèle d’évaluation. Ses membres étaient à l’aise avec un modèle prévoyant la création d’environ 20 à 30 comités à l’étape 2, selon le volume de demandes de chaque concours.
Les demandes qui passent à la réunion en personne de l’étape 2 seront évaluées par trois membres du comité. Un système de classement pour l’ensemble des comités réunis en personne sera établi afin de garantir que les demandes de la plus haute qualité continuent d’être financées.
  • Le groupe de travail recommande de ne pas faire appel à trois membres du comité, mais plutôt de faire participer deux des quatre évaluateurs de l’étape 1 aux réunions en personne de l’étape 2, qui rassemblent à Ottawa les comités associés à un bloc de demandes. Ces évaluateurs devront présenter leur propre évaluation et celle des deux autres évaluateurs de l’étape 1.
  • Afin d’accroître la responsabilisation, le nom des évaluateurs apparaîtra sur leurs évaluations jusqu’à l’étape finale de l’évaluation.
  • De plus, le groupe a recommandé le classement des demandes par blocs et non le classement des demandes au-delà d’un même comité pour l’étape 2.
 Afin de réduire au minimum le parti pris, le choix des deux évaluateurs par demande qui participent à l’étape 2 sera fait en fonction de l’expertise recherchée et non de leur classement des demandes à l’étape 1. En d’autres termes, le processus de sélection sera indépendant de la note attribuée à la demande par l’évaluateur.
Nous croyons qu’il sera important d’informer les évaluateurs, dès qu’on leur propose leur rôle, qu’ils pourraient être choisis pour participer aux réunions en personne. De plus, les noms des évaluateurs à l’étape 1 et leurs évaluations seront accessibles durant les réunions en personne. Selon nous, cette approche favorisera la responsabilisation des évaluateurs au cours des deux étapes du processus.
Le groupe de travail reconnaît que certains membres du milieu de la recherche s’inquiètent du fait que les demandes risquent de ne pas être vues par suffisamment d’évaluateurs à la réunion et qu’il pourrait être désavantageux de faire participer seulement deux évaluateurs à l’étape 2. Toutefois, on s’attend à ce que les évaluateurs invités à l’étape suivante représentent tous les évaluateurs, et que le président et l’AS soient aussi appelés à jouer un rôle dans le processus. C’est pourquoi nous recommandons qu’après le cycle de subventions de l’automne, les IRSC analysent les décisions finales de financement par rapport au classement des quatre évaluateurs initiaux et des deux évaluateurs à l’étape des discussions en personne.
La majorité des membres étaient d’avis que la façon la plus juste de procéder, compte tenu du financement disponible limité, était d’accorder la même proportion de subventions dans chaque bloc.
À la suite des commentaires formulés par le conseil scientifique des IRSC, le groupe a aussi tenu compte du fait que les réunions en personne engendrent des dépenses et que d’inviter des évaluateurs pour qu’ils se penchent seulement sur une ou deux demandes n’était pas prudent.
Présidents, agents scientifiques et évaluateurs
  • Les titulaires de subventions des IRSC seront fortement encouragés à faire des évaluations s’ils y sont invités. Le groupe de travail croit qu’il est important que les récipiendaires de subventions contribuent au processus. Les présidents du collège poursuivront cette discussion.
  • Tenir une réunion en personne avec tous les présidents et les agents scientifiques à l’automne. Le groupe de travail a accepté les critères de sélection proposés pour choisir les présidents. Il est également d’avis qu’il est approprié que les présidents aident à choisir les agents scientifiques, mais recommande que les IRSC rassemblent tout le monde. Les IRSC évaluent la faisabilité de tenir cette réunion pour le concours de 2016.
  • Rendre la formation sur l’évaluation par les pairs obligatoire pour tous les évaluateurs. La formation – qui comprend un module sur les préjugés inconscients – devrait être une exigence pour tous les évaluateurs, y compris les chercheurs chevronnés, les présidents et les agents scientifiques.
  • Inviter les chercheurs en début de carrière à observer les réunions d’évaluation par les pairs en personne à l’étape 2. Les présidents du collège des évaluateurs ont fait du mentorat des chercheurs en début de carrière une priorité. Ils travailleront donc avec les IRSC pour trouver des occasions de mentorat – dont l’observation du processus d’évaluation par les pairs – et discuteront de la possibilité d’utiliser le concours de subventions Projet à cette fin, que ce soit dans le cadre du concours de cet automne ou plus tard.

Recommandations supplémentaires
  • Considérer une multitude de mécanismes qui pourraient garantir l’équité entre les candidats à différents stades de carrière et les candidats de sexes différents. Le groupe de travail sur l’évaluation par les pairs a fortement recommandé aux IRSC de poursuivre cette conversation avec leur conseil scientifique. Tous étaient d’accord pour dire que ce sujet important nécessiterait une analyse et une consultation plus approfondies, et ce, pour tous les programmes de financement des IRSC.
  • Le groupe de travail a unanimement approuvé la proposition d’équilibrer le taux de financement des chercheurs en début de carrière pour le programme de subventions Projet. Équilibrer le taux de financement veut dire s’assurer que le taux de financement des chercheurs en début de carrière à un concours correspond aux taux de financement général pour le concours. Le groupe de travail a recommandé d’utiliser les 30 millions de dollars supplémentaires obtenus dans le dernier budget à cette fin, à l’instar des fonds supplémentaires utilisés pour le premier concours de subventions Projet.
  • Diffuser les données appropriées relatives au concours de subventions Projet de l’automne 2016 après l’annonce des résultats. Le groupe de travail a conseillé aux IRSC de diffuser publiquement les données relatives au concours non seulement pour faire preuve de transparence, mais aussi pour que les IRSC puissent utiliser ces données dans leur prise de décisions importantes.
  • Adapter les exigences du CVC pour les cocandidats en milieu non universitaire et les cocandidats d’établissements universitaires étrangers. Nous avons reçu un certain nombre de commentaires du milieu sur l’utilisation du CVC pour les cocandidats non universitaires et non canadiens, particulièrement en ce qui concerne le fardeau qui leur est imposé. Le groupe de travail a proposé que ces candidats puissent télécharger d’autres documents plutôt que d’utiliser le CVC. Un plan sera créé pour régler cette question en vue du concours du printemps 2017.
  • Intégrer entre les étapes 1 et 2 un mécanisme par lequel les candidats pourront réagir aux commentaires des évaluateurs. Pour les demandes passant à l’étape 2, le groupe de travail a proposé de donner aux candidats la possibilité de présenter une réponse d’une page aux commentaires des évaluateurs; celle-ci pourrait ensuite être utilisée dans le cadre des délibérations de l’étape 2. Cette proposition sera étudiée plus en profondeur en vue d’une mise en œuvre pour le concours du printemps 2017.
  • Les discussions et recommandations du groupe de travail sur l’évaluation par les pairs des IRSC étaient limitées par la quantité d’information et de données disponibles pour éclairer les décisions. Les IRSC évalueront les changements mis en œuvre et communiqueront les analyses au fur et à mesure (p. ex. données sur l’algorithme de jumelage du profil de l’évaluateur et sa validation). Pour assurer la mise au point, l’amélioration et la transparence de l’évaluation par les pairs, il faudra absolument que les IRSC rendent publiques ces données avec le plus de précision possible, tout en protégeant les renseignements personnels et la confidentialité. La validation de l’algorithme de jumelage ne relevait pas du mandat du groupe de travail. Ce sera aux IRSC de déterminer comment mener à bien ce travail.

Tableau 6. Mise en œuvre par les IRSC des recommandations du groupe de travail sur l’évaluation par les pairs pour le concours de subventions Projet (automne 2016)

Recommandations des participants à la réunion de travail du 13 juillet et du groupe de travail sur l’évaluation par les pairs Mesures prises par les IRSC pour mettre en œuvre les recommandations
Demande
Les candidats pourront présenter un maximum de deux demandes par concours de subventions Projet en tant que candidats principaux désignés (CPD). Mise en œuvre.
Le nombre limite de pages sera porté à 10 (figures et tableaux compris) par demande, et les candidats pourront joindre un nombre illimité de documents, comme des références et des lettres d’appui.
  • Les demandes de subventions Projet contiendront 10 pages (incluant les figures et les tableaux).
  • Ces 10 pages seront de format libre (non imposé); les candidats pourront donc choisir comment aborder les critères d’évaluation.
  • Les candidats pourront joindre un nombre illimité de références et de lettres d’appui.
 Mise en œuvre.
Les demandes seront évaluées en fonction des critères suivants : « importance et impact de la recherche » (25 % de la note finale); « approche et méthodes » (50 % de la note finale); « expertise, expérience et ressources » (25 % de la note finale). Mise en œuvre.
Le CV commun (CVC) pour les demandes de subventions Projet inclura les articles publiés depuis les sept dernières années, et les candidats pourront télécharger un document PDF s’ils ont pris des congés au cours de cette période. Mise en œuvre.
Une réfutation d’une page sera aussi incluse dans la structure révisée pour donner au candidat la possibilité d’expliquer comment la demande a été améliorée depuis la dernière demande. Mise en œuvre.
Évaluation à l’étape 1
Les présidents seront désormais jumelés à des agents scientifiques. Ils géreront ensemble un bloc de demandes et aideront les IRSC à s’assurer que toutes les demandes sont assignées à des évaluateurs hautement compétents. Mise en œuvre.
L’assignation des évaluateurs sera approuvée par les présidents et les agents scientifiques. De plus, ils pourront ajouter ou retirer des évaluateurs une fois que ceux-ci auront rempli la nouvelle déclaration sur les conflits d’intérêts et la capacité d’évaluer pour un groupe de demandes. Mise en œuvre.
Les candidats pourront faire des recommandations quant aux types d’expertise requis pour évaluer leur demande. Mise en œuvre.
Chaque demande sera assignée à quatre (4) évaluateurs à l’étape 1. Mise en œuvre.
Les candidats pourront désormais être évaluateurs à l’étape 1 du concours. Toutefois, ils ne pourront participer à l’évaluation du bloc de demandes dont leur propre demande fait partie. Mise en œuvre. Les membres des comités d’évaluation par les pairs respectent la Politique sur les conflits d’intérêts et la confidentialité des organismes fédéraux de financement de la recherche.
La discussion en ligne asynchrone ne fera plus partie du processus de l’étape 1. Mise en œuvre.
Les IRSC reviendront à un système de notation numérique (qui remplacera le système alphabétique actuel) pour faciliter le classement des demandes du concours de subventions Projet. Mise en œuvre.
Étape 2 : discussion en personne
Environ 40 % des demandes évaluées à l’étape 1 passeront à l’étape 2, où elles seront évaluées au cours de réunions en personne à Ottawa. Mise en œuvre.
Le groupe de travail a recommandé que les évaluations des demandes qui ne sont pas passées à l’étape 2 soient examinées par les présidents et les agents scientifiques pour garantir une évaluation adéquate. Mise en œuvre.
Seront évaluées à l’étape 2 les demandes les mieux notées et celles dont les notes s’écartent de façon marquée.
  • Le groupe de travail recommande l’adoption d’un processus dans le cadre duquel environ 30 % des demandes les mieux classées dans l’ensemble des blocs et environ 30 % des demandes les mieux classées dans chaque bloc passeraient à l’étape 2. Nous recommandons de procéder ainsi jusqu’à ce que les données recueillies pendant le prochain concours de subventions Projet puissent orienter cette stratégie de classement et régler la question des candidats qui remplissent aussi le rôle d’évaluateurs. Les autres demandes qui passeront à l’étape 2 comprendront celles dont les notes s’écartent de façon marquée, celles qui ont été signalées par les présidents de concours et celles qui ont les meilleures notes parmi leur bloc. Toutefois, la composition finale des demandes faisant partie du 40 % qui reste dépendra de l’ensemble des demandes présentées.
 Mise en œuvre. Conformément à la recommandation, les IRSC surveilleront le processus d’évaluation afin de guider les futures améliorations à apporter aux stratégies de classement.
Les présidents travailleront avec les IRSC pour former des comités dynamiques en fonction de la teneur des demandes qui passent à l’étape 2. Mise en œuvre. Les blocs de demandes à un concours seront établis en fonction du nombre et du type de demandes soumises au concours et pourront varier d’un concours à l’autre. On s’attend à ce que les blocs soient similaires à l’étape 1 et à l’étape 2.
Les demandes qui passent à l’étape 2 seront évaluées par deux des quatre évaluateurs de l’étape 1 lors de réunions en personne, qui rassembleront à Ottawa les comités associés à un bloc de demandes. Ces évaluateurs devront présenter leur propre évaluation et celle des deux autres évaluateurs de l’étape 1. Mise en œuvre.
Afin d’accroître la responsabilisation, le nom des évaluateurs apparaîtra sur leurs évaluations jusqu’à l’étape finale de l’évaluation. Mise en œuvre.
Le groupe a recommandé le classement des demandes par blocs et non le classement au-delà d’un même comité pour l’étape 2. Mise en œuvre.
Recommandations supplémentaires
Les titulaires de subventions des IRSC seront fortement encouragés à faire des évaluations s’ils y sont invités. Le groupe de travail croit qu’il est important que les récipiendaires de subventions contribuent au processus. Les présidents du collège poursuivront cette discussion. Mise en œuvre.
Tenir une réunion en personne avec tous les présidents et les agents scientifiques à l’automne.Le groupe de travail a accepté les critères de sélection proposés pour choisir les présidents. Les IRSC évaluent la faisabilité de tenir cette réunion pour le concours de 2016. Mise en œuvre.
Rendre la formation sur l’évaluation par les pairs obligatoire pour tous les évaluateurs. La formation – qui comprend un module sur les préjugés inconscients – devrait être une exigence pour tous les évaluateurs, y compris les chercheurs chevronnés, les présidents et les agents scientifiques. Tous les évaluateurs seront invités à suivre une formation et à participer à des séances d’information sur le processus d’évaluation du concours de subventions Projet, notamment un module sur les préjugés inconscients.
Inviter les chercheurs en début de carrière à observer les réunions d’évaluation par les pairs en personne à l’étape 2. Les présidents du collège des évaluateurs ont fait du mentorat des chercheurs en début de carrière une priorité. Ils travailleront donc avec les IRSC pour trouver des occasions de mentorat – dont l’observation du processus d’évaluation par les pairs – et discuteront de la possibilité d’utiliser le concours de subventions Projet à cette fin, que ce soit dans le cadre du concours de cet automne ou plus tard. Partiellement mise en œuvre.
Une liste de critères a été établie pour les évaluateurs du concours de subventions Projet. Ces critères s’appliquent aux chercheurs peu importe le stade de leur carrière, et le recrutement comprendra des chercheurs en début de carrière afin de leur donner l’occasion d’acquérir l’expérience requise.
Les IRSC, en consultation avec les présidents du collège des évaluateurs, élaborent d’autres stratégies de mentorat. De plus amples renseignements à ce sujet seront communiqués à une date ultérieure.
Considérer une multitude de mécanismes qui pourraient garantir l’équité entre les candidats à différents stades de carrière et les candidats de sexes différents. Le groupe de travail sur l’évaluation par les pairs a fortement recommandé aux IRSC de poursuivre cette conversation avec son conseil scientifique. Tous étaient d’accord pour dire que ce sujet important nécessiterait une analyse et une consultation plus approfondies, et ce, pour tous les programmes de financement des IRSC. Les discussions sont toujours en cours.
Le groupe de travail a unanimement approuvé la proposition d’équilibrer le taux de financement des chercheurs en début de carrière pour le programme de subventions Projet. Équilibrer le taux de financement veut dire s’assurer que le taux de financement des chercheurs en début de carrière à un concours correspond au taux de financement général pour le concours. Le groupe de travail a recommandé d’utiliser les 30 millions de dollars supplémentaires obtenus dans le dernier budget à cette fin, à l’instar des fonds supplémentaires utilisés pour le premier concours de subventions Projet. Les discussions sont toujours en cours.
Toutefois, on a annoncé en avril 2016 que les 30 millions de dollars seront entièrement consacrés aux concours actuels et futurs de subventions Projet, et que l’accent sera mis sur les chercheurs en début de carrière.
Diffuser les données appropriées relatives au concours de subventions Projet de l’automne 2016 après l’annonce des résultats. Le groupe de travail a conseillé aux IRSC de diffuser publiquement les données relatives au concours non seulement pour faire preuve de transparence, mais aussi pour que les IRSC puissent utiliser ces données dans leur prise de décisions importantes. Les IRSC diffuseront les données des concours de subventions Projet, conformément aux lois sur la protection des renseignements personnels. (Remarque : Les données de chaque concours seront publiées après l’annonce des résultats.)
Les IRSC évalueront les changements mis en œuvre et communiqueront les analyses au fur et à mesure (p. ex. données sur l’algorithme de jumelage du profil de l’évaluateur et sa validation). Pour assurer la mise au point, l’amélioration et la transparence de l’évaluation par les pairs, il faudra absolument que les IRSC rendent publiques ces données avec le plus de précision possible, tout en protégeant les renseignements personnels et la confidentialité. Les IRSC et leur conseil scientifique suivront de près le concours et collaboreront avec les organes consultatifs nécessaires pour apporter les changements qui s’imposent. Les IRSC feront des comptes rendus à ce sujet.
Recommandations pour les prochains concours de subventions Projet
Adapter les exigences du CVC pour les cocandidats en milieu non universitaire et les cocandidats d’établissements universitaires étrangers. Le groupe de travail a proposé que ces candidats puissent télécharger d’autres documents plutôt que d’utiliser le CVC. Un plan sera créé pour régler cette question en vue des prochains concours.
Intégrer entre les étapes 1 et 2 un mécanisme par lequel les candidats pourront réagir aux commentaires des évaluateurs. Pour les demandes passant à l’étape 2, le groupe de travail a proposé de donner aux candidats la possibilité de présenter une réponse d’une page aux commentaires des évaluateurs; celle-ci pourrait ensuite être utilisée dans le cadre des délibérations de l’étape 2. Cette recommandation sera étudiée plus en profondeur en vue des prochains concours.

5. Description des données probantes existantes (Q1 et Q2)

L’objectif de la présente section est de fournir un résumé général des données relatives au contexte global de financement aux IRSC.

Comparaison des taux de réussite associés au POSF, au programme de subventions Fondation et au programme de subventions Projet

La figure 6 illustre des données sur le nombre de demandes reçues et approuvées ainsi que sur les taux de réussite associés au Programme ouvert de subventions de fonctionnement (POSF), au programme de subventions Fondation et au programme de subventions Projet (programmes de recherche libre). On remarque que les taux de réussite associés à ces programmes ont diminué au fil du temps et qu’ils se situent aujourd’hui à environ 13 %.

Figure 6. Distribution du volume de demandes et des taux de réussite dans le cadre des programmes de subventions pour la recherche libre, de 2006-2007 à 2015-2016

Description détaillée
  POSF POSF-T FDN 2014 FDN 2015 PJT 2016
  2006-2007 2007-2008 2008-2009 2009-2010 2010-2011 2011-2012 2012-2013 2013-2014 2014-2015 2014-2015 2015-2016 2015-2016
Reçues (N = 43 547) 3 894 3 625 3 680 4 416 4 636 4 578 4 586 5 389 2 682 1 343 905 3 813
Approuvées (N = 7563) 847 816 772 782 802 801 801 797 383 150 120 492
Taux de réussite 22 % 23 % 21 % 18 % 17 % 17 % 17 % 15 % 14 % 11 % 13 % 13 %

Les taux de réussite varient en fonction de divers éléments clés faisant l’objet d’une surveillance :

  • les quatre thèmes de la recherche en santé des IRSC (figure 7);
  • le sexe des chercheurs principaux désignés (figure 8);
  • le stade de carrière des chercheurs principaux désignés (figure 9).

En plus de montrer la diminution globale des taux de réussite, qui était évidente dans le graphique précédent, la figure 7 illustre la variabilité par thèmes. Dans le passé, les taux de réussite associés à la recherche biomédicale étaient plus élevés que ceux des autres thèmes. Cependant, il semble que le programme Fondation soit venu modifier légèrement cette tendance, du moins durant les deux premiers concours. La figure 8 illustre une tendance semblable en ce qui concerne le taux de réussite par sexes; on constate également des différences notables pour ce qui est du programme Fondation.

Figure 7. Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre par thèmes principaux, de 2006-2007 à 2015-2016

Description détaillée
  POSF POSF-T FDN 2014 FDN 2015 PJT 2016
Thème principal 2006-2007 2007-2008 2008-2009 2009-2010 2010-2011 2011-2012 2012-2013 2013-2014 2014-2015 2014-2015 2015-2016 2015-2016
Biomédicale 23 % 24 % 22 % 19 % 18 % 18 % 18 % 16 % 15 % 13 % 15 % 14 %
Clinique 18 % 19 % 20 % 16 % 15 % 17 % 16 % 13 % 13 % 7 % 9 % 11 %
Services et systèmes de santé 17 % 23 % 19 % 16 % 18 % 17 % 15 % 13 % 12 % 11 % 17 % 12 %
Facteurs sociaux, culturels et environnementaux qui influent sur la santé des populations 21 % 20 % 16 % 16 % 17 % 14 % 15 % 15 % 12 % 11 % 8 % 12 %
Non précisé / Sans objet 50 % 7 % 13 % 0 % 0 % 9 % 21 % 13 % 11 % 0 0 % 0 %

Figure 8. Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le sexe des CPD, de 2006-2007 à 2015-2016

Description détaillée
Sex of NPI OOGP T-OOGP 2014 FDN 2015 FDN 2016 PJT
2006-2007 2007-2008 2008-2009 2009-2010 2010-2011 2011-2012 2012-2013 2013-2014 2014-2015 2014-2015 2015-2016 2015-2016
Femmes (N = 14 108) 20 % 21 % 19 % 17 % 16 % 15 % 16 % 15 % 12 % 8 % 10 % 12 %
Hommes (N = 29 374) 22 % 23 % 22 % 18 % 18 % 19 % 18 % 15 % 15 % 13 % 15 % 13 %

La figure 9 illustre l’écart systématique entre le taux de réussite des chercheurs en début de carrière (nouveaux chercheurs compris) et celui des chercheurs établis (en milieu de carrière et chevronnés) durant le POSF. Cet écart semble toutefois se resserrer depuis l’instauration des nouveaux programmes, qui sont tous les deux dotés de mécanismes visant à faire en sorte que les demandes des nouveaux chercheurs et des chercheurs en début de carrière soient évaluées de façon adéquate et que des fonds leur soient réservés.

Figure 9. Distribution des taux de réussite dans le cadre des programmes de subventions pour la recherche libre selon le stade de carrière des CPD, de 2006-2007 à 2015-2016

Description détaillée
Stade de carrière des CPD POSF POSF-T FDN 2014 FDN 2015 PJT 2016
2006-2007 2007-2008 2008-2009 2009-2010 2010-2011 2011-2012 2012-2013 2013-2014 2014-2015 2014-2015 2015-2016 2015-2016
Chercheurs en début de carrière (N = 8 880) 21 % 19 % 20 % 15 % 16 % 14 % 16 % 12 % 11 % 4 % 13 % 12 %
Chercheurs établis (N = 34 667) 22 % 23 % 21 % 18 % 18 % 18 % 18 % 15 % 15 % 16 % 14 % 13 %

Résultats du concours de subventions Fondation de 2015

Le concours de subventions Fondation de 2015 conduira au financement de 120 programmes de recherche, pour un investissement total de 292 millions de dollars sur une période de sept ans.

Nouveaux chercheurs et chercheurs en début de carrière : 33 demandes financées
Valeur moyenne des subventions : 1 140 364 $
Valeur médiane des subventions : 1 067 334 $
Durée : 5 ans

Chercheurs en milieu de carrière ou chevronnés : 87 demandes financées
Valeur moyenne des subventions : 3 282 939 $
Valeur médiane des subventions : 2 838 143 $
Durée : 7 ans

Dans les figures ci-dessous, les résultats du concours Fondation de 2015 sont ventilés par cohortes de candidats (nouveaux chercheurs et chercheurs en début de carrière dans la figure 10, chercheurs en milieu de carrière et chercheurs chevronnés dans la figure 11). Plus précisément, ces figures illustrent des données sur les proportions de demandes financées et de demandes présentées pour différentes variables du profil des candidats. Ces cohortes sont délibérément évaluées et classées séparément.

Figure 10. Ventilation de la cohorte des nouveaux chercheurs et des chercheurs en début de carrière selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015

Description détaillée
Ventilation des demandes Demandes soumises Demandes financées
Femmes 185 demandes soumises (29 %) 14 demandes financées (16 %)
Santé des Autochtones 53 demandes soumises (8 %) 10 demandes financées (11 %)
Demandes en français 7 demandes soumises (2 %) 3 demandes financées (3 %)
Thème I – Recherche biomédicale 405 demandes soumises (63 %) 62 demandes financées (71 %)
Thème II – Recherche clinique 108 demandes soumises (17 %) 10 demandes financées (12 %)
Thème III – Systèmes et services de santé 51 demandes soumises (8 %) 8 demandes financées (9 %)
Thème IV – Aspects sociaux, culturels et environnementaux, et santé des populations 81 demandes soumises (12 %) 7 demandes financées (8 %)

Figure 11. Ventilation de la cohorte des chercheurs en milieu de carrière et des chercheurs chevronnés selon la proportion de demandes présentées et financées, concours de subventions Fondation de 2015

Description détaillée
Ventilation des demandes Demandes soumises Demandes financées
Femmes 97 demandes soumises (37 %) 15 demandes financées (45 %)
Santé des Autochtones 17 demandes soumises (6 %) 4 demandes financées (12 %)
Demandes en français 7 demandes soumises (3 %) 0 demande financée (0 %)
Thème I – Recherche biomédicale 140 demandes soumises (53 %) 20 demandes financées (61 %)
Thème II – Recherche clinique 51 demandes soumises (19 %) 4 demandes financées (12 %)
Thème III – Systèmes et services de santé 34 demandes soumises (13 %) 6 demandes financées (18 %)
Thème IV – Aspects sociaux, culturels et environnementaux, et santé des populations 40 demandes soumises (15 %) 3 demandes financées (9 %)

Le concours de subventions Fondation de 2015 reposait sur un processus de concours et d’évaluation en trois étapes.

Étape 1

  • Un total de 432 évaluateurs différents ont participé à cette étape du processus d’évaluation par les pairs, sous la surveillance de 30 présidents virtuels.
  • Un total de 4 418 évaluations ont été réalisées durant cette étape.
    • 14 demandes (2 %) ont été assignées à trois évaluateurs.
    • 104 demandes (11 %) ont été assignées à quatre évaluateurs.
    • 792 demandes (87 %) ont été assignées à cinq évaluateurs.
  • Parmi ces demandes, 265 ont été retenues. Leurs auteurs ont été invités à présenter une demande à l’étape 2. Les IRSC ont reçu 260 demandes à l’étape 2 – 77 provenant de nouveaux chercheurs et de chercheurs en début de carrière, et 183, de chercheurs établis.

Étape 2

  • Un total de 171 évaluateurs différents ont participé à cette étape du processus d’évaluation par les pairs, sous la surveillance de 16 présidents virtuels.
  • Un total de 1 298 évaluations ont été réalisées durant cette étape.
    • 2 demandes (1 %) ont été assignées à quatre évaluateurs.
    • 258 demandes (99 %) ont été assignées à cinq évaluateurs.
  • Parmi ces demandes, 160 ont été retenues.
  • À partir des résultats de cette étape, les IRSC ont dressé la liste des demandes les mieux classées qui pourraient être admissibles à du financement. Ces demandes, qui se trouvaient dans la « zone verte », n’ont nécessité aucune autre évaluation.

Étape finale de l’évaluation

  • Le comité de l’étape finale de l’évaluation était composé de 16 présidents virtuels affectés à l’étape 2, d’un président et d’un agent scientifique.
  • Les évaluateurs se sont penchés sur 96 demandes dont le classement combiné était élevé ou dont l’écart entre les cotes était prononcé.

Résultats du concours de subventions Projet du printemps 2016

Le concours de subventions Projet de 2016 conduira au financement de 491 subventions de recherche, auxquelles s’ajouteront 127 subventions transitoires, pour un investissement total de 375 579 347 $ sur cinq ans. Les 491 subventions approuvées ont été octroyées à 468 chercheurs principaux désignés différents (23 CPD se sont vu remettre deux subventions). Parmi les 491 subventions, 98 ont été attribuées à des nouveaux chercheurs ou à des chercheurs en début de carrière. La valeur et la durée moyenne des subventions est d’environ 791 000 $ sur quatre ans, et la valeur et la durée médiane, d’environ 703 000 $ sur cinq ans.

La figure 12 montre les proportions de demandes financées et de demandes présentées pour différentes variables du profil des candidats.

Figure 12. Ventilation des proportions de demandes présentées et financées, concours de subventions Projet du printemps 2016

Description détaillée
Répartition des demandes Demandes présentées Demandes financées
Nouveaux chercheurs 856 demandes présentées (22 %) 98 demandes financées (20 %)
Chercheurs en milieu de carrière 1,662 demandes présentées (44 %) 189 demandes financées (39 %)
Chercheurs chevronnés 1,283 demandes présentées (34 %) 204 demandes financées (41 %)
AC intégrée 539 demandes présentées (14 %) 65 demandes financées (14 %)
Femmes 1,228 demandes présentées (32 %) 150 demandes financées (31 %)
Santé des Autochtones 147 demandes présentées (4 %) 17 demandes financées (4 %)
Demandes en français 83 demandes présentées (2 %) 6 demandes financées (1 %)
Thème I – Recherche biomédicale 2,540 demandes présentées (67 %) 345 demandes financées (69 %)
Thème II – Recherche clinique 666 demandes présentées (17 %) 75 demandes financées (16 %)
Thème III – Systèmes et services de santé 296 demandes présentées (8 %) 36 demandes financées (8 %)
Thème IV – Aspects sociaux, culturels et environnementaux, et santé des populations 303 demandes présentées (8 %) 35 demandes financées (7 %)

Étape 1

Chaque demande a été évaluée par un maximum de cinq évaluateurs, ce qui n’a toutefois pas été possible pour un petit sous-ensemble de demandes. Les demandes assignées à seulement un ou deux évaluateurs sont passées directement à l’étape finale pour une évaluation complète.

  • Un total de 1 664 évaluateurs différents ont participé à cette étape du processus d’évaluation par les pairs.
  • Chaque évaluateur a reçu une dizaine de demandes à évaluer.
  • Au total, 15 405 évaluations ont été réalisées.
    • 4 demandes (moins de 1 %) ont été assignées à un évaluateur.
    • 48 demandes (1 %) ont été assignées à deux évaluateurs.
    • 550 demandes (14 %) ont été assignées à trois évaluateurs.
    • 2 390 demandes (63 %) ont été assignées à quatre évaluateurs.
    • 821 demandes (22 %) ont été assignées à cinq évaluateurs.

Étape finale de l’évaluation

  • Le comité unique formé pour l’étape finale de l’évaluation était composé de 31 présidents virtuels affectés à l’étape 1, y compris un président et un agent scientifique.
  • Ce comité a étudié 100 demandes. Il s’agissait de demandes parmi les mieux classées, mais dont les cotes divergeaient grandement, et de certaines demandes vues par un nombre insuffisant d’évaluateurs à l’étape 1.
  • Après une réunion et une discussion en personne, le comité a recommandé le financement complet de 20 demandes supplémentaires.

6. Survol des possibilités d’amélioration et de surveillance continue (Q4 et Q6)

La présente section décrit certaines possibilités d’amélioration et de surveillance continue en lien avec la mise en œuvre des programmes Fondation et Projet et des mécanismes connexes d’évaluation par les pairs. Elle porte plus particulièrement sur le rôle et l’état du collège des évaluateurs, les objectifs associés et le cadre provisoire de mesure du rendement.

Collège des évaluateurs

En juin 2016, les IRSC ont annoncé la nomination des premiers présidents du collège des évaluateurs. Le rôle des présidents du collège est de veiller à ce que le système d’évaluation par les pairs favorise la sélection des propositions de recherche ou d’application des connaissances les plus novatrices, tout en demeurant juste, bien géré et transparent. Les présidents du collège sont nommés par la chef des affaires scientifiques (CAS) et ils interagissent avec les IRSC par l’entremise du bureau de la CAS et de la Direction du collège. Ces présidents joueront un rôle crucial pour faire du collège une ressource reconnue partout au Canada et dans le monde.

Le 1er juillet 2016, 16 candidats ont été nommés présidents du collège. En collaboration, ces personnes superviseront des stratégies visant à attirer et à conserver des pairs évaluateurs exceptionnels. En outre, ils s’assureront que les cadres nécessaires sont en place pour offrir aux évaluateurs la formation, le mentorat et le soutien dont ils ont besoin pour produire des évaluations impartiales et de qualité.

Le Dr Paul Kubes (Université de Calgary) a été nommé président administratif du collège des évaluateurs. Dans ce rôle, il travaillera en étroite collaboration avec la chef des affaires scientifiques des IRSC et les présidents du collège en vue d’assurer l’excellence de l’évaluation par les pairs dans tous les domaines de la recherche en santé et d’adapter ce processus à l’évolution de la science et à la convergence des domaines de recherche.

La première réunion des présidents du collège s’est déroulée en octobre 2016. Leur mandat est en cours d’élaboration et devrait être officiel au début de 2017. Durant leur prochaine réunion, prévue au début de janvier 2017, les présidents chercheront à déterminer ce qu’il faudra faire pour que le collège soit vu par les évaluateurs comme une ressource vouée à l’excellence de l’évaluation par les pairs.

Tableau 7. État des principales fonctions du collège des évaluateurs supervisées par les présidents du collège

Fonction Objectif État
Recrutement et gestion de l’expertise Systématiser le recrutement et la gestion de l’expertise afin de trouver et de réunir l’expertise nécessaire pour répondre à tous les besoins en matière d’évaluation.
  • Des stratégies de recrutement sont en cours d’élaboration.
  • La majorité des évaluateurs aux concours Projet et Fondation de l’automne 2016 ont été sélectionnés à partir des critères d’admissibilité proposés afin qu’ils disposent d’une expertise et d’une expérience suffisantes.
Formation et mentorat Fournir aux évaluateurs les connaissances et les ressources nécessaires à la réalisation d’évaluations cohérentes et justes.
  • Les ressources de formation actuelles incluent des modules sur les politiques et les concours.
  • Des programmes de formation et de mentorat sont en cours d’élaboration.
Gestion du rendement et qualité de l’évaluation Parfaire le système d’évaluation par les pairs en concevant et en mettant en place des programmes de gestion du rendement et d’assurance de la qualité qui appuient l’amélioration continue de l’évaluation à tous les niveaux.
  • Un cadre de gestion du rendement est en cours d’élaboration.
  • Une définition pratique de la qualité de l’évaluation a été établie.
  • Un outil pour examiner la qualité de l’évaluation est en cours d’élaboration.
  • Un processus provisoire d’assurance de la qualité de l’évaluation est en place dans le cadre du concours Projet actuel.
Gestion des membres, mesures incitatives et reconnaissance Améliorer le système d’évaluation par les pairs, notamment au moyen d’une charge de travail prévisible et gérable, et mettre sur pied des programmes de reconnaissance pour souligner les contributions au système d’évaluation par les pairs et le rendement.
  • Un cadre de gestion des membres comprenant des plans d’action en matière de gestion de la charge de travail, de mesures incitatives et de reconnaissance est en cours d’élaboration.

Mesure du rendement

Les IRSC sondent les candidats, les évaluateurs et les présidents (les présidents virtuels des concours Fondation et les présidents des concours Projet) après chaque étape des deux programmes et effectuent une surveillance continue des statistiques sur les demandes et les concours.

De plus, tous les grands programmes des IRSC sont dotés d’un cadre de mesure du rendement comprenant un modèle logique. Le modèle logique permet de représenter sous forme graphique la manière dont les activités contribueront à l’atteinte des résultats attendus. Il comporte des énoncés généraux et concis; les définitions et les détails sont fournis dans un document d’accompagnement. Le modèle logique provisoire des programmes de recherche libre est présenté dans la figure 13. Ce modèle donne à penser que les activités, les extrants et les résultats sont linéaires et séquentiels. Or, en réalité, les composantes d’un modèle logique sont dynamiques et interagissent souvent de façon itérative. Par exemple, l’exécution d’une activité peut dépendre des extrants ou des résultats associés à d’autres activités. C’est aux fins de clarté que les différents énoncés décrivant ce processus itératif ne sont pas reliés entre eux et que seul l’enchaînement logique général entre les activités et les résultats ultimes est illustré.

Figure 13. Modèle logique provisoire des programmes de recherche libre des IRSC

Description détaillée

Conformément aux normes internationales reconnues d’excellence scientifique, les subventions pour la recherche libre viendront soutenir la création de nouvelles connaissances et leur application en vue d’améliorer la santé de la population canadienne, d’offrir de meilleurs produits et services de santé et de renforcer le système de santé au Canada.

Activités

  • Gestion et administration des subventions pour la recherche libre
  • Processus d’évaluation par les pairs des demandes de subvention pour la recherche libre
  • Suivi, analyse et surveillance du rendement des activités et des résultats du programme

Extrants

  • Les subventions sont octroyées aux candidats les plus prometteurs.
  • Des recherches de grande qualité sont retenues et financées dans l’ensemble de l’entreprise de recherche en santé.
  • Le programme est exécuté de façon efficiente et efficace.

Résultats immédiats

  • Les intervenants concernés prennent part au processus de recherche.
  • Les résultats des recherches financées par les IRSC contribuent à l’avancement des connaissances en santé.
  • Les projets et les programmes financés contribuent au renforcement des capacités de recherche en soutenant indirectement la formation.
  • Les titulaires de subvention reçoivent un appui suffisant pour atteindre les objectifs de leur projet ou programme de recherche et remplir le mandat des IRSC.

Résultats intermédiaires

  • Les résultats des recherches financées par les IRSC sont disséminés et appliqués à l’intérieur et à l’extérieur du milieu universitaire.
  • L’entreprise de recherche du Canada repose sur un bassin fiable et diversifié de chercheurs hautement qualifiés.

Résultats ultimes

  • Le Canada est perçu, sur la scène nationale et internationale, comme un chef de file dans l’excellence de la recherche en santé.
  • Les résultats des recherches financées par les IRSC contribuent à l’amélioration de la santé, à l’offre de meilleurs produits et services de santé et au renforcement du système de santé.

Tableau 8. Cadre provisoire de mesure du rendement de la recherche libre des IRSC

Extrants et résultats du Programme de subventions de soutien opérationnel Indicateur* Source des données Fréquence de la collecte des données
EXTRANTS
Les subventions sont octroyées aux candidats les plus prometteurs. Pourcentage de titulaires dont la production de connaissances antérieure et les retombées subséquentes étaient largement supérieures à celles des candidats non choisis. Analyse bibliométrique Cycle d’évaluation
Des recherches de grande qualité sont retenues et financées dans l’ensemble de l’entreprise de recherche en santé. Pourcentage de demandes que les pairs évaluateurs ont jugé de grande qualité. Données administratives/SIE Une fois par année
Proportion de domaines s’inscrivant dans le mandat de l’institut financés par le Programme de subventions de soutien opérationnel Données administratives/SIE (numérateur = le nombre de demandes au POSF financées en 2014 et la première affiliation à un institut;
dénominateur = le nombre de demandes financées par le POSF en 2014)		 Une fois par année
Maintien des écarts actuels entre les demandes reçues et les demandes financées pour des variables démographiques clés* Données administratives/SIE Une fois par année
Le programme est exécuté de façon efficiente et efficace. Coûts associés à l’exécution du programme (coûts directs et indirects et coûts de renonciation) par demande reçue et par demande financée Données administratives/SIE; sondages sur la charge de travail des pairs évaluateurs; sondages auprès des candidats (selon des analyses menées pour soutenir l’évaluation du POSF de 2012) Cycle d’évaluation
Tendance, au fil du temps, des coûts associés à l’exécution du programme (coûts directs et indirects et coûts de renonciation) par demande reçue et par demande financée Données administratives/SIE; sondages sur la charge de travail des pairs évaluateurs; sondages auprès des candidats Cycle d’évaluation
Proportion d’intervenants (candidats et évaluateurs) satisfaits des communications relatives au programme Sondage auprès des candidats/gestion des cas Cycle d’évaluation
Proportion d’intervenants (candidats et évaluateurs) satisfaits de l’exécution et des subventions du programme Sondage auprès des candidats/gestion des cas Cycle d’évaluation
RÉSULTATS IMMÉDIATS
Les intervenants concernés prennent part au processus de recherche. Pourcentage de subventions intégrant les intervenants au processus de recherche SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Pourcentage de subventions prévoyant l’application des connaissances intégrée dès la conception du projet Données administratives Une fois par année
Les résultats des recherches financées par les IRSC contribuent à l’avancement des connaissances en santé. Nombre annuel de revues à comité de lecture faisant mention du soutien des IRSC Analyse bibliométrique (tous les articles dont au moins un des auteurs mentionnés était titulaire d’une subvention dans le cadre d’un programme ouvert pendant une période chevauchant l’année de publication de l’article) Une fois par année
Nombre moyen (normalisé) de publications par subvention SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Pourcentage de subventions de soutien opérationnel des IRSC signalant la création de nouvelles connaissances sur la santé SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Les projets et les programmes financés contribuent au renforcement des capacités de recherche en soutenant indirectement la formation. Nombre moyen de stagiaires appuyés indirectement par une subvention du Programme de subventions de soutien opérationnel et nombre moyen d’ETP par année de financement SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Nombre moyen de membres du personnel de recherche appuyés indirectement par une subvention du Programme de subventions de soutien opérationnel et nombre d’ETP par année de financement SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Pourcentage de subventions indiquant que l’appui indirect a permis à des stagiaires d’obtenir un titre officiel SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Pourcentage du montant des subventions attribué au renforcement des capacités (salaires et allocations) Données du formulaire 300 Une fois par année
Les titulaires de subvention reçoivent un appui suffisant pour atteindre les objectifs de leur projet ou programme de recherche et remplir le mandat des IRSC. Pourcentage de titulaires de subvention ayant indiqué que le montant reçu était suffisant pour appuyer les projets et les programmes de recherche proposés Sondages Cycle d’évaluation
Tendance, au fil du temps, des compressions générales apportées au budget des demandes évaluées par les pairs Données administratives Une fois par année
Comparaison de l’augmentation relative du montant des subventions par rapport au taux d’inflation national et au taux d’inflation des coûts associés à la recherche médicale** Banque du Canada; NIH Une fois par année
RÉSULTATS INTERMÉDIAIRES
Les résultats des recherches financées par les IRSC sont disséminés et appliqués à l’intérieur et à l’extérieur du milieu universitaire. Impact normalisé des citations dans les articles faisant mention du soutien des IRSC Analyse bibliométrique Continu
Pourcentage de recherches appuyées par les IRSC ayant joué un rôle dans la création de produits autres que des articles de revue (lignes directrices cliniques, mesures de la qualité, évaluations et rapports, brevets, etc.) Jumelage des brevets et jumelage des documents en aval Continu
Pourcentage de subventions signalant que les résultats de la recherche ont influencé au moins un groupe d’intervenants SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Pourcentage de subventions signalant l’application des connaissances SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
L’entreprise de recherche du Canada repose sur un bassin fiable et diversifié de chercheurs hautement qualifiés. Nombre de personnes uniques participant à l’entreprise de recherche en santé (limites inférieure et supérieure estimées) par période de trois ans Analyse bibliométrique (nombre de noms d’auteurs différents dans les publications canadiennes associées à la santé) Une fois par année
Pourcentage de personnes uniques participant à l’entreprise de recherche en santé (limites inférieure et supérieure estimées) recevant du financement des IRSC au moment de la publication Analyse bibliométrique; données administratives Une fois par année
RÉSULTATS ULTIMES
Le Canada est perçu, sur la scène nationale et internationale, comme un chef de file dans l’excellence de la recherche en santé. Pourcentage d’articles canadiens figurant parmi les articles les plus cités (1 % et 10 %) en général et dans les domaines liés à la santé Analyse bibliométrique Une fois par année/cycle d’évaluation
Pourcentage d’articles canadiens faisant mention du financement des IRSC figurant parmi les articles les plus cités (1 % et 10 %) en général et dans les domaines liés à la santé Analyse bibliométrique Une fois par année/cycle d’évaluation
Rang du Canada au chapitre de l’indice de spécialisation dans la recherche en santé par rapport au classement international (pays du G7) Analyse bibliométrique Une fois par année
Nombre d’universités canadiennes figurant dans le classement international Classement – Times Higher Education World University Une fois par année
Classement du Canada au chapitre de l’innovation Données du CSTI Une fois par année/cycle d’évaluation
Les résultats des recherches financées par les IRSC contribuent à l’amélioration de la santé, à l’offre de meilleurs produits et services de santé et au renforcement du système de santé. Preuves que la recherche appuyée par les IRSC contribue aux retombées dans cinq grandes catégories : avancement des connaissances; renforcement des capacités; prise de décisions éclairées; avantages socioéconomiques importants; santé et systèmes de santé*** Bibliothèque de récits sur les retombées (en cours d’élaboration) Une fois par année/cycle d’évaluation
Pourcentage de subventions de fonctionnement des IRSC signalant une contribution au renforcement du système de santé du Canada SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Pourcentage de subventions pour la recherche libre des IRSC signalant une contribution à l’amélioration de la santé des Canadiens SRR (tous les rapports de « subventions dans le cadre d’un programme ouvert » reçus en date du 31 mars 2015) Une fois par année
Date de modification :