Guide de l’évaluateur pour les bourses de recherche au doctorat des IRSC

Table des matières

• Introduction
• Résumé du processus d’évaluation par les pairs
• Instructions étape par étape
  • Étape 1 : Lire les documents pertinents
  • Étape 2 : Signaler les conflits d’intérêts
  • Étape 3 : Analyser attentivement les demandes
  • Étape 4 : Soumettre les évaluations et les cotes par RechercheNet
  • Étape 5 : Être prêt à procéder à une réévaluation
• Classement des demandes
• Rétroaction
• Annexe A — Critères d’évaluation

Introduction

Au nom des IRSC, nous remercions les évaluateurs d’avoir accepté d’agir à titre de membres du comité d’évaluation par les pairs. Le succès du processus d’évaluation repose sur des gens comme vous qui donnent généreusement de leur temps et de leur expertise. Les IRSC et le milieu scientifique vous en sont très reconnaissants.

Le présent document a pour but de fournir des instructions sur le processus d’évaluation par les pairs pour les programmes de bourse d’études supérieures du Canada au niveau du doctorat (BESC D) et de bourse d’études doctorales à l’étranger (BEDE).

Remarque : Dans le cadre de leur participation au processus d’évaluation par les pairs aux IRSC, on demande aux évaluateurs de remplir ou de mettre à jour leur profil d’évaluateur dans RechercheNet. Ce profil est un outil qui permet d’améliorer et de soutenir la gestion de l’expertise des évaluateurs.

Évaluation par les pairs aux IRSC

Le Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC contient des renseignements sur les objectifs, la gouvernance et les politiques des IRSC et décrit les rôles et les responsabilités des membres des comités d’évaluation par les pairs de même que les politiques, les principes et les procédures d’évaluation par les pairs. Il est important que les évaluateurs se familiarisent avec ce guide, de même qu’avec le présent document, avant le début des évaluations.

Résumé du processus d’évaluation par les pairs

Dans le cadre de votre participation au processus, les IRSC vous demandent de prendre quelques instants pour remplir ou modifier votre profil d’évaluateur dans RechercheNet. Le profil d‘évaluateur a été créé comme outil pour faciliter la gestion de l'expertise des évaluateurs.

À ce moment-ci, nous vous demandons d’ouvrir une session dans RechercheNet puis de cliquer sur l’onglet « Mon profil d’évaluateur » dans la barre de navigation à gauche afin de créer ou de mettre à jour votre profil. Lorsque vous remplissez votre profil, dans la section « Type d’évaluateur », sous le groupe de chercheurs, choisissez « Autre », puis indiquez « Boursier postdoctoral ». Prière de ne remplir que les parties qui s’appliquent à vous, selon votre expérience, vos compétences ainsi que votre intérêt. Pour plus de précisions sur la façon de remplir votre profil, veuillez consulter le module d’apprentissage à ce sujet.

Le processus d’évaluation, qui est structuré et intégré à la plateforme en ligne RechercheNet, comporte une seule étape, qui consiste à évaluer et à noter individuellement les demandes assignées (il n’y a pas de réunion du comité). Toutes les demandes admissibles reçues sont assignées à deux (2) évaluateurs.

Ce programme compte deux (2) comités d’évaluation par les pairs. Chaque demande reçue sera confiée au comité couvrant le domaine scientifique qui a été choisi par la personne candidate et qui se rapproche le plus de ses activités de recherche proposées. Pour plus de détails sur les mandats des comités, veuillez consulter la page Comités d’évaluation par les pairs et mandats — Bourses de recherche au doctorat.

On demande aux évaluateurs de suivre les étapes suivantes afin de bien effectuer chacune des tâches de l’évaluation par les pairs :

• Étape 1 : Lire les documents pertinents
• Étape 2 : Signaler les conflits d’intérêts
• Étape 3 : Analyser attentivement les demandes
• Étape 4 : Soumettre les évaluations et les cotes par RechercheNet
• Étape 5 : Être prêt à procéder à une réévaluation

Instructions étape par étape

Étape 1 : Lire les documents pertinents

Le présent document décrit le processus d’évaluation par les pairs. Il est donc essentiel de le lire et de se familiariser avec celui-ci. Il est également important de prendre connaissance des documents suivants :

• Guide d’évaluation par les pairs pour les bourses de formation et d’appui salarial des IRSC
• Comités d’évaluation par les pairs et mandat – Bourses de recherche au doctorat
• Possibilité de financement de bourse d’études supérieures du Canada au niveau du doctorat (BESC D)
• Possibilité de financement de bourse d’études doctorales à l’étranger (BEDE)

Étape 2 : Signaler les conflits d’intérêts

Voici les étapes que les évaluateurs doivent suivre pour signaler les conflits d’intérêts :

• Ouvrez une session dans RechercheNet.
• Sur la page d’accueil, cliquez sur le lien de votre comité pour ouvrir la liste de tâches.
• Effectuez la tâche Examiner les Lignes directrices sur la confidentialité et les conflits d’intérêts (lorsque vous aurez terminé, les autres tâches s’ouvriront).
• Ouvrez la tâche Gérer les conflits.
• Consultez les renseignements fournis pour chacune des demandes qui vous ont été assignées afin d’indiquer si vous êtes apte à évaluer la demande ou si vous êtes en situation de conflit d’intérêts. Le cas échéant, les IRSC assigneront la demande à un autre évaluateur.
• Contrairement au processus suivi pour les subventions, les IRSC assignent les demandes de bourse au doctorat à différents comités d’évaluation par les pairs selon le domaine scientifique indiqué par la personne candidate et non selon l’expertise de l’évaluateur, ce qui explique pourquoi des demandes qui ne portent pas nécessairement sur votre domaine d’expertise pourraient vous être attribuées. Les IRSC demandent aux évaluateurs qu’ils évaluent le défi intellectuel que représente la recherche à laquelle participera la personne et qu’ils effectuent leurs évaluations du point de vue d’un généraliste, même si le domaine ne leur est pas forcément familier.
  • Remarque : Comme les autres évaluateurs du comité déclareront également leurs conflits d’intérêts, il est probable que des demandes additionnelles vous soient assignées. La charge de travail sera répartie adéquatement pour assurer un processus d’évaluation par les pairs équitable.

Étape 3 : Analyser attentivement les demandes

Lorsque les conflits d’intérêts auront été déclarés, les évaluateurs pourront accéder à l’intégralité du contenu de leurs demandes en ouvrant la tâche Effectuer des évaluations. Ils devront ensuite suivre les étapes ci-dessous.

3.1 Examiner les critères d’évaluation

Les évaluateurs doivent d’abord se familiariser avec les critères d’évaluation qui se trouvent à l’annexe A du présent document. L’annexe fournit une interprétation des critères et énumère les éléments à évaluer pour chacun d’entre eux.

Les IRSC ont signé la Déclaration de San Francisco sur l’évaluation de la recherche (DORA), qui reconnaît que les résultats de recherche ne se limitent pas à la publication d’articles dans les revues, mais qu’ils peuvent comprendre un large éventail de contributions. Les évaluateurs doivent donc tenir compte :

• de diverses formes de contributions (articles de recherche, rapports, livres, documents d’orientation, ensembles de données, codes, outils, formations et mentorat, bénévolat, mobilisation de la communauté, normes, logiciels, produits commercialisés) ainsi que de diverses retombées (influence sur les politiques et les pratiques, incidence sur la pensée, utilisation des résultats de la recherche par les intervenants, résultats cliniques, retombées sociétales, travaux de recherche en santé significatifs, culturellement sécurisants et fondés sur les distinctions);
• de la situation de la personne candidate (p. ex. problèmes de santé, responsabilités familiales, handicaps, traumatismes ou pertes, répercussions de la pandémie, stade de carrière, domaine de recherche, acquis expérientiels, cheminement de carrière hors norme) et de l’incidence sur son travail  (voir les diverses formes de contributions). Veuillez prendre note des précisions suivantes concernant le domaine de recherche et le stade de carrière :
  • Le domaine de recherche ou la discipline doit être pris en considération dans l’évaluation d’une demande. Par exemple, le nombre de publications attendu d’un chercheur biomédical, d’un clinicien et d’un chercheur en sciences sociales n’est pas nécessairement le même.
  • Il faut porter attention au stade de carrière des candidats afin de mieux évaluer et pondérer leurs demandes (par exemple, accès direct à une bourse de recherche à partir du doctorat par opposition à l’accès après plusieurs années hors du milieu universitaire). De plus, bien que les IRSC aient éliminé l’exigence selon laquelle les candidats doivent avoir obtenu leur doctorat depuis moins de trois ans pour être admissibles, cette décision n’a pas pour but d’encourager les chercheurs à occuper plus longtemps des postes postdoctoraux. On demande aux évaluateurs de faire preuve d’esprit critique pour déterminer si la formation visée par un candidat aura les retombées professionnelles désirées, comparativement à d’autres candidats.

Les évaluateurs devraient se garder d’accorder trop d'importance au nombre de contributions; ils devraient plutôt mettre l'accent sur l'incidence et l'importance de ces contributions. Ils doivent ainsi éviter de se servir d’indicateurs bibliométriques, tels que les facteurs d’impact, comme succédané d’appréciation de la qualité ou de l'excellence, car de tels indicateurs peuvent nuire à l'objectivité de l'évaluation par les pairs. De plus, les taux de citation varient selon les disciplines et les contextes; les membres doivent en tenir compte dans leur évaluation.

Comme l’indique la DORA, « le contenu scientifique d’un article est beaucoup plus important que les indicateurs de publication ou l’image de marque de la revue dans laquelle il a été publié ». Il revient aux candidats de fournir des détails sur leur rôle dans les contributions scientifiques citées ainsi que sur les retombées et l’importance de ces contributions.

3.2 Lire les demandes

On conseille aux évaluateurs de lire attentivement l’ensemble des demandes qui leur sont assignées avant de commencer à attribuer les cotes, et de prendre en note leurs réflexions sur les demandes.

Il importe de noter que de nombreux candidats mèneront probablement des recherches en dehors de la spécialité scientifique de l’évaluateur. Ce dernier doit donc étudier la demande du point de vue d’un généraliste et évaluer la qualité globale de la recherche proposée  à l’aide des critères d’évaluation appropriés.

De plus, les évaluateurs doivent reconnaître l’importance de l’intégration du sexe et du genre dans les propositions de recherche et en évaluer la pertinence dans les demandes qui leur sont assignées. Pour de plus amples renseignements sur la prise en compte du sexe et du genre en recherche, les évaluateurs sont invités à suivre les modules de formation suivants :

• Introduction à la prise en compte du sexe et du genre en science fondamentale
• Introduction à la prise en compte du sexe et du genre en recherche clinique et épidémiologique
• L’évaluation de l’intégration du sexe et du genre en recherche

Pour évaluer les demandes faisant intervenir des membres des Premières Nations, des Inuits et des Métis, les évaluateurs sont fortement encouragés à consulter le module de formation et la documentation qui suit :

• Mise en contexte de la recherche en santé autochtone
• Éthique de la recherche en santé visant les Premières Nations, les Inuits et les Métis

Pour assurer une évaluation uniforme de toutes les demandes, les évaluateurs doivent juger chacune en fonction de son contenu seulement, et ne pas faire d’autres vérifications sur la personne candidate ou l’établissement proposé (p. ex. recherche de publications au moyen de PubMed).

3.3 Apprentissage à l’intention des participants à l’évaluation par les pairs

Les IRSC offrent plusieurs modules pour vous permettre d’acquérir une connaissance approfondie de leurs programmes, processus et outils. Ces modules visent à assurer une même connaissance des processus et politiques nécessaires à la réalisation d’une évaluation juste et efficace par les participants.

Surmonter les préjugés

En lisant les demandes, les évaluateurs doivent tenir compte des préjugés liés au genre, à l’ethnicité, à la situation de handicap, à l’identité autochtone et aux systèmes de connaissances autochtones, à la taille de l’établissement, à la région, à l’âge, à la langue et aux approches interdisciplinaires de recherche, et prendre des mesures pour les atténuer. Par exemple, il est important d’être conscient que :

• les interruptions de carrière en raison d’une grossesse et de l’éducation des enfants peuvent avoir un effet sur les possibilités de production de connaissances, les publications et les variables connexes;
• des disciplines et des environnements différents offrent des occasions différentes de contribuer à la recherche (publications, influence sur les politiques et les pratiques, brevets, activités de mobilisation des connaissances, etc.);
• la réputation des établissements ne doit pas avoir d’effet sur l’opinion que vous avez des candidats ou de leur milieu de formation en recherche;
• les évaluateurs doivent prendre des mesures afin d’atténuer leurs préjugés inconscients dans le processus de réflexion sur les différences de culture (p. ex. dans le cas des peuples autochtones);
• l’identité autochtone doit être reconnue dans un cadre de réconciliation, de nation à nation;
• les évaluateurs doivent s’assurer de respecter la dualité linguistique canadienne en reconnaissant la valeur de la recherche en français ainsi que la valeur de la recherche dans les communautés francophones en situation minoritaire.

Pour en apprendre davantage au sujet des préjugés dans le processus d’évaluation par les pairs, les évaluateurs doivent suivre le module d’apprentissage correspondant.

Le sexe et le genre dans la recherche en santé

Les évaluateurs doivent suivre l’un des deux modules en ligne sur le sexe et le genre dans la recherche en santé selon leur domaine d’expertise :

• Introduction à la prise en compte du sexe et du genre en science fondamentale
• Introduction à la prise en compte du sexe et du genre en recherche clinique et épidémiologique

3.4 Attribuer une cote aux demandes

On demande ensuite aux évaluateurs de coter les demandes selon chacun des critères d’évaluation décrits à l’annexe A, en utilisant l’échelle de cotation habituelle des IRSC (ci‑dessous). Il est essentiel d’utiliser toute l’échelle.

Les demandes dont la cote globale pondérée est inférieure à 3,5 ne sont pas admissibles au financement des IRSC, y compris celles provenant de programmes de partenariat ou d’annonces de priorités.

3.5 Rédiger une évaluation pour chaque demande

On demande aux évaluateurs de rédiger une courte évaluation venant appuyer les cotes attribuées à chacune des demandes qui leur sont assignées afin de lancer la discussion sur celles-ci et de fournir des remarques constructives au candidat pour l’aider à améliorer la qualité et l’efficacité de la formation proposée.

Les commentaires devraient être axés sur les forces et les faiblesses liées à chaque critère d’évaluation. Voici quelques recommandations :

• Demeurez simple.
• Utilisez des descripteurs connus, comme ceux de l’échelle de cotation des IRSC qui correspondent à votre évaluation.
• Fournissez une justification pour chaque sujet présenté, y compris un contexte et une explication des commentaires, le cas échéant.
• Respectez les principes de la DORA en prenant en considération diverses formes de contributions et retombées et en évitant de vous servir d’indicateurs bibliométriques, tels que les facteurs d’impact, comme succédané d’appréciation de la qualité. Plutôt que d’examiner le nombre de publications et de citations ou la valeur et le nombre de subventions et de bourses reçues hors contexte, conciliez les indicateurs quantitatifs et l’information qualitative dans la proposition.
• Soyez clair et concis.
• Même si la concision est acceptable (p. ex. listes à puces), formulez des opinions complètes et assurez-vous de fournir suffisamment de renseignements pour éclairer le lecteur.
• Utilisez un langage objectif et non incisif – évitez tout langage ou approche biaisés.
• Évitez toute formulation qui pourrait être considérée comme sarcastique, cavalière, arrogante ou inappropriée.
• Dans la mesure du possible, privilégiez les termes et les tournures épicènes lorsque vous faites allusion aux candidats et candidates. Vous pouvez par exemple remplacer « le candidat » ou « la candidate » par « la personne candidate ».

La personne candidate recevra l’évaluation telle qu’elle est soumise par l’évaluateur. C’est pourquoi les évaluateurs doivent s’abstenir d’indiquer les cotes dans les commentaires et d’inscrire leur nom afin de préserver la confidentialité du processus d’évaluation. Pour d’autres directives sur la réalisation d’évaluations de qualité, voir la page sur les attentes quant à la qualité des évaluations des IRSC et le module Effectuer des évaluations de qualité.

3.6 Relever toute question devant être portée à l’attention des IRSC

Toute préoccupation liée, entre autres, à l’admissibilité, à la recherche avec des participants humains ou aux cellules souches humaines doit immédiatement être portée à l’attention du personnel des IRSC à des fins de suivi, et ne devrait pas faire l’objet de commentaires écrits, sauf s’ils ont une incidence sur la qualité scientifique de la demande. Pour la liste complète des enjeux possibles, consultez le Guide d’évaluation par les pairs des IRSC pour les demandes de bourses de formation et d’appui salarial.

De même, si vous croyez qu’une demande contient de fausses informations ou que la politique de l’organisme peut avoir été enfreinte, prière de nous en informer immédiatement pour que nous puissions déterminer si la question relève de la conduite responsable de la recherche. Pour une liste des violations potentielles, veuillez consulter le Cadre de référence des trois organismes sur la conduite responsable de la recherche.

Étape 4 : Soumettre les évaluations et les cotes par RechercheNet

Au fil de leur travail, les évaluateurs pourront enregistrer des versions préliminaires de leurs évaluations en sélectionnant Sauvegarder l’ébauche dans RechercheNet, ce qui leur permettra d’apporter des changements ultérieurement. Toutefois, au moment de présenter leurs évaluations et leurs cotes aux IRSC, ils devront sélectionner Soumettre l’évaluation finale. Ils ne pourront plus y apporter de modifications par la suite.

Les évaluateurs doivent respecter l’échéance fixée et soumettre leurs évaluations et leurs cotes dans RechercheNet au plus tard à la date convenue avec le personnel des IRSC. Tout retard dans le processus d’évaluation par les pairs pourrait empêcher les IRSC de faire part de leurs décisions aux candidats à la date publiée. Si un évaluateur croit, à un moment ou à un autre du processus, qu’il ne sera pas en mesure de soumettre ses évaluations avant la date limite, il doit en aviser le personnel des IRSC dès que possible.

Étape 5 : Être prêt à procéder à une réévaluation

Une fois que toutes les cotes globales pondérées seront soumises, les IRSC évalueront l’écart entre celles-ci en calculant le résultat final de chaque demande. Ils détermineront ensuite les demandes susceptibles de faire l’objet d’une décision injuste du fait d’un important écart entre les cotes des deux évaluateurs. Dans un tel cas, ils demanderont aux deux évaluateurs de discuter ensemble afin de revoir leur évaluation initiale et de présenter une nouvelle cote. Cette deuxième évaluation ramène habituellement l’écart entre les cotes globales à un niveau acceptable. Si l’écart persiste, les IRSC exigeront une troisième évaluation (à moins que l’écart qui persiste n’ait aucune incidence sur les demandes les mieux classées).

Nous recommandons donc aux évaluateurs de conserver leurs observations dans leurs dossiers jusqu’à quelques semaines après l’annonce des résultats du concours.

Classement des demandes

Au terme de l’évaluation par les pairs, les IRSC établiront un classement des demandes. Cette information guidera les décisions de financement.

Rétroaction

Un élément important de toute évaluation par les pairs est l’examen de l’efficacité du travail du comité, ainsi que les commentaires sur les questions stratégiques soulevées au cours du processus. Cette rétroaction peut appuyer les efforts continus des IRSC pour maintenir un système d’évaluation par les pairs efficace et de grande qualité.

Puisqu’aucune réunion en personne ou par téléconférence n’a lieu, les évaluateurs devraient envoyer leur rétroaction au coordonnateur du comité par courriel.

Annexe A — Critères d’évaluation

Les critères suivants doivent être utilisés pour évaluer les demandes :

Date de modification :

2024-07-31