Foire aux questions
Déclaration de San Francisco sur l'évaluation de la recherche (DORA)

Directives

• 1. Pourquoi les IRSC ont-ils émis de nouvelles directives?

  Les méthodes d'évaluation de la recherche appliquées dans le cadre du concours de subventions Projet des IRSC respectaient déjà bon nombre des principes de la Déclaration de San Francisco sur l'évaluation de la recherche (DORA), notamment d'encourager les évaluateurs à tenir compte d'un éventail de résultats de recherche en ne se limitant pas à la publication d'articles dans les revues. Cependant, des parties prenantes ont fait valoir aux IRSC la nécessité de donner des directives supplémentaires dans le but d'aider les candidats et les pairs évaluateurs à inclure un vaste éventail de contributions à la recherche dans leurs demandes et leurs évaluations, respectivement. C'est la raison pour laquelle les IRSC ont actualisé leur documentation sur les programmes : ils souhaitaient fournir une liste étoffée d'exemples de contributions visant à faciliter l'élaboration et l'évaluation des demandes. Les IRSC encouragent ainsi l'évaluation du contenu et des résultats de la recherche plutôt que le prestige des revues dans lesquelles les chercheurs publient leurs travaux, ce qui implique de rompre avec l'idée d'utiliser les indicateurs bibliométriques comme succédané d'appréciation de la qualité des articles de recherche.

• 2. Quels sont les changements apportés aux directives ou aux documents destinés aux candidats? Où les candidats peuvent-ils indiquer leurs contributions à la recherche et leurs retombées?

  Les instructions pour la présentation d'une demande aux concours de subventions Projet et de bourses de recherche ont été actualisées pour y ajouter des directives concernant la DORA, et ce, dans le but de préciser où les candidats peuvent indiquer leurs contributions et de leur expliquer la façon dont les principes de la DORA seront appliqués dans l'évaluation de leur demande. Un avis a également été ajouté aux possibilités de financement pour indiquer aux lecteurs qu'il faut tenir compte des principes de la DORA dans la préparation et l'évaluation des demandes.

  Selon la possibilité de financement, les candidats peuvent mettre en valeur une série de contributions à la recherche et de retombées dans leur CV, dans leur résumé des progrès réalisés et dans la section « Contributions les plus importantes » de leur demande, y compris les suivantes : articles de recherche, rapports, livres, documents d'orientation, ensembles de données, codes, outils, formations et mentorat, bénévolat, mobilisation de la communauté, normes, logiciels, produits commercialisés, influence des travaux sur les politiques et les pratiques, résultats cliniques, retombées sociétales et travaux de recherche en santé significatifs, culturellement sécurisants et fondés sur les distinctions.

  Les candidats peuvent consulter la ressource Comment mettre l'accent sur les contributions à la recherche et les retombées pour des conseils à ce sujet. Les changements liés à la DORA sont communiqués au milieu de la recherche de diverses façons, dont des webinaires à l'intention des candidats, le bulletin Accès et les médias sociaux.

• 3. Quels sont les changements apportés aux directives ou aux documents destinés aux pairs évaluateurs?

  Les guides d'évaluation par les pairs pour les subventions Projet et les bourses postdoctorales Banting ont été actualisés afin d'y inclure les nouvelles directives liées à la DORA. Ainsi, les pairs évaluateurs doivent tenir compte d'un éventail de contributions (articles, mobilisation des connaissances, mobilisation de la communauté, documents d'orientation, normes, logiciels, produits commercialisés, livres, etc.) et de retombées (influence sur les politiques et pratiques, résultats cliniques, retombées sociétales, etc.) dans leur travail. De plus, on demande maintenant aux évaluateurs de prendre en compte la situation des candidats (stade de carrière, congés, répercussions de la pandémie) et son incidence sur la productivité. Il y a également de nouvelles consignes sur l'utilisation d'indicateurs lors de l'évaluation par les pairs.

  Les évaluateurs sont invités à consulter la ressource Élargir l'évaluation des contributions à la recherche et des retombées.

• 4. Ces changements concernent quels programmes et quand entrent-ils en vigueur?

  Les IRSC sont en voie d'harmoniser leurs programmes de financement avec les recommandations de la DORA. Les nouvelles directives à cet égard ont été mises en œuvre en juillet 2023, et s'appliquent au concours de subventions Projet de l'automne 2023 et au concours de bourses de recherche 2023-2024 des IRSC. Les IRSC feront progressivement de même avec leurs autres programmes (programmes de recherche priorisée et de bourses salariales ou de formation) tout au long de l'exercice 2023-2024. Pour chaque concours, l'inclusion de directives donnant suite aux recommandations de la DORA sera indiquée avec clarté dans la documentation dès le lancement : possibilité de financement, instructions pour la présentation des demandes et guide d'évaluations par les pairs.

Évaluation des contributions

• 5. Quels sont les changements apportés à l'évaluation des contributions?

  Les méthodes d'évaluation de la recherche appliquées dans le guide d'évaluation par les pairs du Programme de subventions Projet en 2021 respectaient déjà bon nombre des principes de la DORA, notamment d'encourager la prise en compte d'un éventail de résultats de recherche en ne se limitant pas à la publication d'articles dans les revues. Les nouvelles directives favorisent également l'évaluation de la qualité et des retombées de la recherche plutôt que le prestige, en précisant que les indicateurs bibliométriques ne doivent pas servir à évaluer la qualité et les retombées des travaux. Les documents actualisés fournissent une liste étoffée d'exemples de contributions et de retombées visant à faciliter l'élaboration et l'évaluation des demandes.

• 6. En quoi l'utilisation d'indicateurs bibliométriques, tels que le facteur d'impact des revues, est-elle problématique?

  Un recours excessif à des méthodes d'évaluation fondées sur des mesures et l'utilisation inopportune d'indicateurs bibliométriques peut nuire à l'objectivité de l'évaluation par les pairs. Le recours aux indicateurs bibliométriques comporte certaines limites, par exemple :

  • Le facteur d'impact d'une revue est fondé sur le nombre de citations tirées de tous les articles de la revue; par conséquent, ce chiffre n'a rien à voir avec la qualité des travaux d'un auteur particulier.^{Note en bas de page 1}
  • L'indice h avantage les chercheurs chevronnés et les chercheurs exerçant dans des domaines à forts taux de publications et de citations, en plus de récompenser les mauvaises pratiques en matière de publication et de référence.^{Note en bas de page 2}
  • Les taux de citation varient considérablement entre les disciplines de recherche, et le facteur d'impact des revues ne tient pas compte du contexte de la recherche et des conclusions. Qui plus est, le facteur d'impact ne prend pas en considération le lectorat et l'intérêt de la revue hors du milieu scientifique ni les retombées qui en découlent (comme les changements apportés aux politiques).

  La valorisation de contributions diverses à la recherche et l'abandon du recours inapproprié à des indicateurs bibliométriques permettent à la recherche d'être évaluée selon ses propres mérites, rehaussent la qualité de la recherche et favorisent la réduction des inégalités dans le milieu universitaire.

  Étant donné le nombre croissant d'articles faisant état des effets néfastes de l'usage exclusif d'indicateurs tels que le facteur d'impact, il importe également que les évaluateurs considèrent le contexte et les limites des indicateurs quantitatifs et les concilient avec les éléments qualitatifs de chaque proposition.

• 7. Est-ce que certaines contributions à la recherche valent plus que d'autres?

  Les IRSC financent la recherche dans de nombreux domaines de la santé, et les formes de contributions à la recherche (dont les articles publiés) peuvent varier énormément d'une discipline à l'autre. Les IRSC reconnaissent qu'il n'existe pas de démarche universelle en recherche et que chaque milieu et discipline comporte des occasions et attentes différentes quant aux contributions à la recherche et aux autres activités.

  Il faut mettre les contributions à la recherche sur un pied d'égalité (sans égard au résultat) lorsqu'on évalue la qualité et les retombées des travaux. Les évaluateurs doivent connaître les préjugés inconscients (comme l'ancienneté ou la discipline) pouvant les amener à considérer certains résultats tels que la publication dans des revues prestigieuses comme la norme d'excellence, et à reléguer d'autres activités, comme la mobilisation des connaissances, à l'arrière-plan en tant que résultats « de deuxième ordre » ou « littérature grise ».

• 8. Doit-on baisser la cote lorsqu'un candidat n'inclut que des articles, des citations et des indicateurs connexes?

  Toutes les contributions, y compris les articles, ont de la valeur lorsqu'elles sont mises en contexte par le candidat au moyen d'indicateurs de la qualité et de la démonstration de leur incidence sur ses recherches.

  Les IRSC reconnaissent qu'il n'existe pas de démarche universelle pour l'évaluation de la recherche et que chaque milieu et discipline comporte des occasions et attentes différentes quant aux contributions à la recherche et aux autres activités. Par conséquent, les candidats ne doivent pas être pénalisés pour avoir mis l'accent sur des contributions qui ont toujours été bien perçues (articles, rapports, livres, etc.) quand les pairs évaluateurs les jugent appropriées. Toutefois, on encourage les candidats à sortir des sentiers battus quant aux contributions à la recherche et aux retombées. Par exemple, tandis que certains chercheurs possèdent un excellent programme de formation et de mentorat, d'autres sont très engagés au sein de leur collectivité et d'autres encore concentrent leurs énergies sur la création de documents d'orientation, de normes et d'outils destinés à un usage public. Les IRSC ont pour objectif de mieux faire connaître et accepter diverses formes de contributions, qui sont toutes aussi précieuses et valables.

• 9. Comment tient-on compte de la situation d'un candidat?

  Les IRSC reconnaissent qu'il n'existe pas de démarche universelle en recherche et que les chercheurs vivent des situations différentes et ont profité d'occasions différentes. En outre,^{Note en bas de page 3} les obstacles systémiques au sein du milieu universitaire et de celui de la recherche peuvent empêcher un candidat de répondre à la définition généralement acceptée d'un « chercheur idéal ». L'évaluation des réalisations d'un candidat doit donc tenir compte de sa situation. Il existe des causes légitimes pouvant influer sur un programme de recherche ou occasionner des retards, par exemple :

  • Les interruptions de carrière, comme la maladie, l'éducation d'un enfant ou la prise en charge d'un proche, peuvent limiter les occasions de produire des connaissances, de publier des travaux et de mener d'autres activités liées à la recherche.
  • Des disciplines et des milieux différents offrent différentes occasions de contribuer à la recherche, au travail de publication et aux autres activités liées à la recherche.
  • Au Canada, les établissements ont des budgets différents, ce qui peut influencer l'infrastructure encadrant la préparation de demandes de subventions et de bourses ainsi que la publication des travaux.
  • Les projets de recherche en santé créés conjointement de façon à être significatifs, culturellement sécurisants, fondés sur les distinctions et axés sur le patient exigent beaucoup de temps, d'efforts et d'attention, ce qui peut avoir une incidence sur le temps dont dispose un chercheur pour publier des travaux et mener d'autres activités liées à la recherche.
  • Le bilan des réalisations des chercheurs qui adoptent un parcours de carrière non traditionnel pourrait s'écarter de la « norme ».
  • Les universitaires en quête d'équité pourraient participer à un plus grand nombre de comités ou de projets de recherche communautaire, soit deux activités à considérer à égalité avec les autres contributions à la recherche.
  • Les chercheurs appartenant à des groupes sous-représentés, détenteurs de droits ou en quête d'équité sont confrontés à des obstacles systémiques dès le début qui s'accumulent avec le temps, ce qui a une incidence sur les résultats scientifiques et les possibilités de perfectionnement.

  Il convient de tenir compte de ces facteurs, entre autres, lorsqu'on évalue la productivité, les progrès et les retombées du programme de recherche d'un candidat.

• 10. Comment évalue-t-on la productivité, les progrès et les retombées?

  Conformément à la DORA, les IRSC encouragent les évaluateurs à mesurer la productivité et les progrès d'une façon générale, en tenant compte d'un éventail de contributions et de retombées, car il y a de nombreuses façons de démontrer la productivité, les progrès et les retombées.

  Les pairs évaluateurs doivent analyser la pertinence de la combinaison d'expertise, d'expérience et de ressources des candidats (candidat principal désigné, candidats principaux et cocandidats) et de leur établissement ou organisme, dans la perspective de la capacité à atteindre collectivement les objectifs du projet.

• 11. Comment le CV des trois organismes favorise-t-il l’excellence dans le financement et l’évaluation responsable de la recherche?

  Les IRSC s’engagent à favoriser l’excellence dans les pratiques de financement et d’évaluation responsable de la recherche. Pour respecter cet engagement, il est essentiel de reconnaître un vaste éventail de résultats de recherche dans le processus d’évaluation et de veiller à ce que le travail des candidats soit évalué à son juste mérite.

  Conformément à la Déclaration de San Francisco sur l’évaluation de la recherche, les IRSC veillent à ce que les pairs évaluateurs ratissent large lorsqu’ils évaluent les contributions à la recherche et les retombées, sans se limiter aux indicateurs traditionnels de productivité. On leur demande, d’une part, d’éviter d’utiliser des paramètres (p. ex. nombre de publications et de citations; nombre de subventions de recherche et leur montant) hors contexte et, d’autre part, d’éviter d’utiliser les indicateurs bibliométriques (p. ex. facteurs d’impact) comme succédané d’appréciation de la qualité et des retombées de la recherche.
  

  Le CV des trois organismes permet aux candidats d’indiquer leurs contributions pertinentes au moyen d’indicateurs de la qualité et des retombées de la recherche, ainsi que de fournir une mise en contexte sous forme de texte suivi afin d’aider les évaluateurs à apprécier leurs réalisations.

Date de modification :

2024-02-26