Effets de la réforme des IRSC sur la charge de travail des pairs évaluateurs
Instituts de recherche en santé du Canada
Décembre 2016
Sommaire
Pour la présente analyse, nous avons utilisé les données de sondages menés auprès d’évaluateurs postconcours afin de déterminer si la réforme du financement des IRSC a eu une incidence sur la durée nécessaire pour évaluer les demandes. Par demande, les concours postréforme ont nécessité moins de temps d’évaluation que les concours préréforme du Programme ouvert de subventions de fonctionnement (POSF). Les concours postréforme ont aussi exigé un temps d’évaluation total moindre ainsi qu’une durée totale moindre de la part de chaque évaluateur comparativement aux concours préréforme.
Objectif
La présente analyse avait pour objectif d’évaluer les effets (le cas échéant) de la réforme des programmes de financement des IRSC sur la durée nécessaire pour évaluer les demandes de financement.
Données
Les données sur le temps consacré à l’évaluation de demandes ont été autodéclarées par les pairs évaluateurs et ont été recueillies lors de sondages postconcours.
Concours retenus dans l’analyse :
- Avant la réforme – 201209MOP, 201303MOP, 201309MOP, 201403MOP
- Après la réforme – 201409FDN, 201509FDN, 201603FDN
Analyse
L’analyse visait à répondre à deux questions concernant le temps consacré à l’évaluation par les pairs :
- Combien de temps a-t-il fallu en moyenne à un évaluateur pour évaluer une demande avant et après la réforme (c.-à-d. le temps par demande)?
- Étant donné qu’un évaluateur devait normalement évaluer plusieurs demandes, combien de temps au total un évaluateur a-t-il consacré à ce travail avant et après la réforme (c.-à-d. le temps par évaluateur)?
Temps par demande
En moyenne, un pair évaluateur a eu besoin de 7,9 heures pour évaluer une seule demande des concours du POSF retenus dans l’analyse (tableau 1). De ce total, en moyenne, environ 3,5 heures ont été consacrées à la lecture de la demande, un peu plus de 2 heures à la rédaction de l’évaluation, et plus de 2 heures à la discussion sur la demande (réunions). À noter qu’aux fins de comparaison entre les différentes étapes de l’évaluation par les pairs, qui peuvent ou non supposer des déplacements pour des réunions, le temps de déplacement est exclu de l’analyse. Cependant, d’après les réponses aux sondages, chaque évaluateur a passé en moyenne près de 8 heures en déplacement pour le POSF, ce qui représente environ 49 minutes par demande évaluée.
| Concours | Lecture | Rédaction | Réunion | Total |
|---|---|---|---|---|
| 2012-09 | 3,6 (0,2) | 2,2 (0,1) | 2,1 (0,1) | 7,8 (0,3) |
| 2013-03 | 3,5 (0,2) | 2,2 (0,1) | 1,9 (0,1) | 7,5 (0,3) |
| 2013-09 | 3,6 (0,2) | 2,2 (0,1) | 2,3 (0,2) | 8 (0,3) |
| 2014-03 | 3,6 (0,2) | 2,3 (0,1) | 2,4 (0,2) | 8,3 (0,3) |
| Tous les concours | 3,6 (0,1) | 2,2 (0,1) | 2,2 (0,1) | 7,9 (0,2) |
La réforme des IRSC a créé des concours ayant plusieurs étapes d’évaluation, chacune nécessitant des tâches distinctes. Par conséquent, nous avons utilisé différents sondages pour bien rendre compte du temps consacré à l’évaluation à chacune des étapes. Les sondages portant sur l’étape 1 des concours de subventions Fondation et Projet et l’étape 2 des concours de subventions Fondation comportaient des questions sur le temps consacré à la lecture, à la recherche d’autres renseignements liés aux demandes, à la rédaction de l’évaluation, à la lecture des évaluations préliminaires des autres évaluateurs, à la participation aux discussions en ligne et au classement des demandes assignées. Les sondages portant sur l’étape d’évaluation finale (EEF) des concours de subventions Fondation et Projet comportaient des questions sur le temps consacré à la lecture des évaluations des demandes de l’étape 2, à la consultation des demandes de subvention de l’étape 2, à la recherche d’autres renseignements liés aux demandes, à l’acceptation ou au refus de demandes, à la rédaction de commentaires à l’appui de l’évaluation, à la lecture dans RechercheNet des commentaires des autres évaluateurs à l’EEF et enfin, à la revue du classement de l’EEF en prévision de la réunion du comité de l’EEF.
Dans les deux concours de subventions Fondation analysés, il a fallu en moyenne près de 3,5 heures pour évaluer une demande à l’étape 1, et environ 5 heures à l’étape 2 (tableau 2). Les évaluateurs ont pris environ 5 heures pour évaluer une demande à l’étape 1 du concours de subventions Projet de 2016.
| Année | Étape | Lecture | Recherche | Rédaction | Lecture d’évaluations | Discussion | Classement | Total |
|---|---|---|---|---|---|---|---|---|
| Fondation | ||||||||
| 2014 | 1 | 1,3 (0,1) | 1 (0) | 1 (0) | 0,1 (0) | 0,1 (0) | 0,1 (0) | 3,5 (0,1) |
| 2 | 2,4 (0,2) | 1,1 (0,1) | 1,4 (0,1) | 0,1 (0) | 0,1 (0) | 0,1 (0) | 4,7 (0,3) | |
| 2015 | 1 | 1,5 (0,1) | 0,8 (0,1) | 1 (0) | 0,1 (0) | 0,1 (0) | 0,1 (0) | 3,4 (0,1) |
| 2 | 2,5 (0,3) | 1,1 (0,2) | 1,3 (0,1) | 0,1 (0) | 0,2 (0) | 0,1 (0) | 5,1 (0,5) | |
| Moy. | 1 | 1,4 (0,1) | 0,9 (0) | 1 (0) | 0,1 (0) | 0,1 (0) | 0,1 (0) | 3,4 (0,1) |
| 2 | 2,4 (0,2) | 1,1 (0,1) | 1,4 (0,1) | 0,1 (0) | 0,2 (0) | 0,1 (0) | 4,8 (0,3) | |
| Projet | ||||||||
| 2016 | 1 | 2,2 (0,1) | 1,1 (0,1) | 1,4 (0) | 0,1 (0) | 0,1 (0) | 0,1 (0) | 4,8 (0,1) |
Dans les deux concours de subventions Fondation analysés, les évaluateurs ont dit avoir consacré en moyenne 1,5 heure à leurs tâches d’évaluation pour l’étape d’évaluation finale (tableau 3). Pour le concours de subventions Projet de 2016, les évaluateurs ont consacré en moyenne près de 3 heures à ces tâches pour chaque demande.
| Année | Lecture | Consultation | Recherche | Acceptation ou refus de demandes | Lecture de commentaires | Revue du classement | Total |
|---|---|---|---|---|---|---|---|
| Fondation | |||||||
| 2014 | 0,9 (0,3) | 0,8 (0,3) | 0 (0) | 0 (0) | 0 (0) | 0,1 (0) | 1,3 (0,3) |
| 2015 | 0,8 (0,3) | 0,8 (0,2) | 0,1 (0) | 0,1 (0,1) | 0,1 (0) | 0,1 (0) | 1,8 (0,5) |
| Moy. | 0,9 (0,2) | 0,8 (0,2) | 0 (0) | 0,1 (0) | 0 (0) | 0,1 (0) | 1,5 (0,2) |
| Projet | |||||||
| 2016 | 0,9 (0,3) | 2,1 (1,4) | 0 (0) | 0,1 (0) | 0,1 (0,1) | 0,1 (0,1) | 2,7 (1,2) |
Le fait que les concours postréforme comportaient plusieurs étapes et que diverses stratégies visaient à limiter le nombre de demandes passant à l’étape suivante selon le concours complique un peu l’interprétation. En moyenne, une demande qui est passée à l’étape finale des deux concours de subventions Fondation a nécessité 9,7 heures, ce qui est supérieur aux 7,9 heures nécessaires pour évaluer une demande dans les concours du POSF. Cependant, toutes les demandes des concours du POSF ont nécessité en moyenne 7,9 heures d’évaluation, tandis que les demandes des concours de subventions Fondation qui n’ont pas été retenues à la première ou à la deuxième étape ont nécessité en moyenne 3,4 heures ou 8,2 heures de temps d’évaluation, respectivement. Le tableau 4 présente les moyennes pondérées de la durée nécessaire pour évaluer une demande dans les concours préréforme et postréforme, ce qui contribuera à déterminer si la mise en place de plusieurs étapes a entraîné une diminution du temps d’évaluation nécessaire.
| Étape | Durée cumul. moy. par demande | Nbre moy. de demandes | Moyenne pondérée |
|---|---|---|---|
| POSF | |||
| 1 | 7,9 | 2 493,75 | 7,9 |
| Fondation | |||
| 1 | 3,4 | 785,5 | 5,0 |
| 2 | 8,2 | 248 | |
| EEF | 9,7 | 104,5 | |
| Projet | |||
| 1 | 4,8 | 3 713 | 4,9 |
| EEF | 7,5 | 100 | |
Par exemple, dans le concours de subventions Projet, 3 713 des 3 813 demandes présentées n’ont pas été retenues à l’étape 1 et n’ont donc nécessité que 4,8 heures d’évaluation. Les 100 demandes qui sont passées à l’EEF ont nécessité les 4,8 heures de l’étape 1 ainsi que les 2,7 heures de l’EEF, pour un total de 7,5 heures par demande, ce qui donne une moyenne pondérée de 4,9 heures par demande. D’après les données du tableau 4, la mise en œuvre de la réforme du financement des IRSC a donc donné lieu à une diminution de la durée moyenne nécessaire pour évaluer une seule demande.
Temps par évaluateur
Même si la réforme du financement des IRSC a entraîné une diminution de la durée nécessaire pour évaluer une seule demande, lorsque les évaluateurs sont recrutés, on leur demande d’évaluer un ensemble de demandes. Il est donc possible que la diminution du temps consacré à l’évaluation d’une seule demande ne se soit pas traduite en une diminution globale de la charge de travail des évaluateurs.
Le tableau 5 présente un sommaire des données issues des sondages menés auprès des évaluateurs pour les concours du POSF et des programmes de subventions Fondation et Projet concernant le nombre de demandes qu’ils ont indiqué avoir reçues. L’étape 2 des concours de subventions Fondation est la seule étape postréforme où le nombre moyen de demandes assignées était inférieur à la norme préréforme du POSF; or, le nombre moyen de demandes attribuées à l’étape 1 du concours de subventions Projet n’était que légèrement supérieur à celui du POSF (10,1 comparativement à 9,8).
| POSF | Fondation | Projet | ||||
|---|---|---|---|---|---|---|
| Étape 1 | Étape 2 | EEF | Étape 1 | EEF | ||
| Minimum | 4 | 7 | 4 | 8 | 1 | 8 |
| 1er quartile | 9 | 10 | 8 | 16 | 8 | 16 |
| Médiane | 10 | 13 | 10 | 16 | 10 | 16 |
| Moyenne | 9,8 | 12,9 | 9,2 | 15,5 | 10,1 | 15,5 |
| 3e quartile | 11 | 15 | 11 | 17 | 13 | 17 |
| Maximum | 12 | 20 | 14 | 20 | 20 | 20 |
Nous avons calculé la charge de travail totale des évaluateurs à chaque étape du processus d’évaluation en multipliant le nombre moyen de demandes attribuées à chaque évaluateur par la durée moyenne nécessaire pour évaluer une seule demande (tirée du tableau 4). Les évaluateurs ont indiqué que pour le POSF, on leur demandait de passer en moyenne 77 heures à évaluer des demandes (tableau 6). Le temps d’évaluation total a diminué pour atteindre, en moyenne, environ 44 heures pour les étapes 1 et 2, et 23 heures pour l’étape d’évaluation finale des concours de subventions Fondation. De même, on a demandé aux évaluateurs de consacrer en moyenne 48 et 42 heures à l’évaluation de demandes à l’étape 1 et à l’étape d’évaluation finale du concours de subventions Projet.
En ce qui a trait au temps total consacré par les évaluateurs à chaque étape, nous l’avons calculé en multipliant la durée nécessaire pour chaque évaluateur par le nombre total d’évaluateurs à cette étape. Nous avons compilé ces valeurs afin de déterminer la charge de travail des évaluateurs pour un concours. Les concours du POSF ont nécessité, en moyenne, plus de 75 000 heures de la part des évaluateurs. Après la réforme, les concours de subventions Fondation ont nécessité environ 28 000 heures de la part des évaluateurs, et le concours de subventions Projet de 2016, près de 58 000 heures (tableau 6).
Pour comparer les trois types de concours, nous avons divisé la charge de travail totale des évaluateurs par le nombre moyen de demandes présentées aux concours. Les concours du POSF ont nécessité 30,3 heures par évaluateur par demande (tableau 6). Après la réforme, les deux concours de subventions Fondation ont nécessité 24,8 heures par évaluateur par demande, tandis que les exigences du concours de subventions Projet ont diminué pour atteindre 15,1 heures par demande.
| Étape | Temps moy. par demande | Nbre moy. de demandes évaluées | Temps d’éval. total moy. par évaluateur | Nbre moy. d’évaluateurs par étape | Temps total moy. – évaluateurs | Temps total moy. par concours – évaluateurs | Nbre total moy. d’évaluations présentées | Temps moy. par demande présentée – évaluateurs |
|---|---|---|---|---|---|---|---|---|
| POSF | ||||||||
| 1 | 7,9 | 9,8 | 77,4 | 977,5 | 75 678 | 75 678 | 2 494 | 30,3 |
| Fondation | ||||||||
| 1 | 3,4 | 12,9 | 43,9 | 437,5 | 19 189 | 28 262 | 1 138 | 24,8 |
| 2 | 4,8 | 9,2 | 44,2 | 195 | 8 621 | |||
| EEF | 1,5 | 15,5 | 23,2 | 19,5 | 453 | |||
| Projet | ||||||||
| 1 | 4,8 | 10,1 | 48,3 | 1 164 | 56 207 | 57 419 | 3 813 | 15,1 |
| EEF | 2,7 | 15,5 | 41,8 | 29 | 1 212 | |||
Conclusion
D’après les données autodéclarées par les pairs évaluateurs dans les sondages :
- La durée nécessaire pour évaluer une seule demande était moins élevée à chaque étape des concours postréforme que dans les concours préréforme du POSF.
- Le processus d’évaluation en plusieurs étapes mis en œuvre durant la réforme a entraîné une augmentation du temps total consacré à l’évaluation d’une demande à l’étape finale des concours de subventions Fondation, mais n’a entraîné aucune modification significative pour ce qui est de l’étape finale du concours de subventions Projet. Cependant :
- Le processus postréforme de tri des demandes lors d’étapes successives a conduit à une diminution globale du temps total moyen d’évaluation par demande.
- Comparativement aux concours préréforme du POSF analysés, les évaluateurs ont eu besoin de moins de temps total dans les concours postréforme.
- Tant les concours de subventions Fondation que les concours de subventions Projet ont nécessité une durée moyenne moindre par évaluateur que ceux du POSF.
Limites de l’analyse
Les conclusions ont été tirées en fonction de données autodéclarées sur le temps consacré aux activités d’évaluation.
Les sondages ont été réalisés après les concours, ce qui signifie que pour répondre aux questions, les évaluateurs ont dû se remémorer leur expérience. Or, le biais de rappel est un facteur de confusion bien connu de la collecte de données de sondageNote en bas de page 1, et les résultats ne sont fiables que dans la mesure où l’on peut faire confiance à la mémoire des évaluateurs et à leur capacité de répondre avec exactitude. De plus, les répondants ont choisi eux-mêmes de participer; ils n’ont donc pas été choisis au hasard. Par conséquent, il est difficile de généraliser les résultats à l’ensemble de la cohorte d’évaluation.
Les sondages préréforme étaient différents des sondages postréforme.
- Dans les sondages préréforme, les pairs évaluateurs devaient indiquer le temps consacré à la lecture des demandes, à la rédaction d’évaluations, aux réunions et aux déplacements.
- Dans les sondages postréforme, les pairs évaluateurs devaient indiquer le temps consacré à la lecture de demandes, à la recherche d’autres renseignements liés aux demandes, à la rédaction d’évaluations, à la lecture des évaluations des autres évaluateurs, à la participation aux discussions et au classement des demandes assignées.
Ces différences ont pour conséquence que le « temps total » consacré à l’évaluation résume un ensemble différent d’éléments pour chaque concours, ce qui pourrait changer la perception qu’a l’évaluateur du temps total nécessaire pour évaluer une demande. Nous suggérons d’en tenir compte au moment de tirer des conclusions des résultats présentés ici.
Pour certaines questions, les évaluateurs devaient indiquer le temps consacré à chaque demande; pour d’autres, ils devaient indiquer le temps total.
De ce fait, nous avons dû manipuler les données avant de pouvoir combiner les activités individuelles en un temps total. Pour calculer le temps par demande, nous avons dû diviser le « temps total consacré aux réunions » par les évaluateurs du POSF par le nombre de demandes évaluées. Il se pourrait que ce nombre soit différent de celui qui aurait été obtenu si les participants avaient dû indiquer le temps par demande consacré aux réunions sur les évaluations.
La variance n’a pas été intégrée aux calculs de l’analyse comportant l’extrapolation des résultats de sondage à des concours entiers (tableaux 4 et 6).
Il est impossible de tirer des conclusions statistiques à partir de ces chiffres sans prendre en compte la variance. Or, la multiplication et la division de variances dépassaient la portée de notre analyse; ces chiffres ont été présentés aux fins d’étude.
Remarques sur la méthodologie
- Les valeurs extrêmes des données de sondage ont été déterminées à l’aide de la méthode de Tukey (1,5 x écart interquartile) et ont été exclues du reste des calculs.
- Les sondages postréforme comprenaient des réponses des évaluateurs aux étapes 1 et 2, et des évaluateurs de l’étape d’évaluation finale.
- Le nombre total d’évaluateurs et le nombre total de demandes évaluées dans les concours du POSF ont été obtenus à partir des données du SPRLS.
- Le nombre total d’évaluateurs et le nombre total de demandes évaluées à chaque étape des concours de subventions Fondation et Projet proviennent du diaporama sur l’analyse de la charge de travail des évaluateurs préparé par Ioana Dobre.
- Date de modification :