La planification et la gestion des évaluations de recherches sur le développement

Le présent document est un guide interactif pour les personnes qui demandent des évaluations des projets de recherche sur le développement ou de la programmation.

Les « instances qui commandent les évaluations » sont les personnes réclamant une évaluation. Ces personnes sont responsables de veiller à ce que l’évaluation ait lieu et qu’elle soit parfaitement adaptée aux besoins des utilisateurs de l’évaluation.

Il s’agit d’un guide exhaustif pouvant être utilisé à chaque étape du processus d’évaluation à grande échelle nécessitant la participation de multiples parties prenantes. Il vous invite à consigner vos décisions par écrit dans un mandat officiel auquel toutes les parties prenantes peuvent se reporter. Vous pouvez, dans le cas des évaluations plus simples, parcourir rapidement certaines sections du présent guide ou les omettre. Dans ces cas, le mandat peut être moins formel et il est possible qu’il vous suffise de consigner par écrit vos décisions pour vous-même, vos collègues et les évaluateurs que vous décidez d’utiliser.

Quelles sont les caractéristiques de l’évaluation de recherches?

Le Centre de Recherches pour le Développement International (CRDI), un organisme canadien, finance et facilite principalement la recherche sur le développement dans les pays du Sud. Sa mission est « de lancer, d’encourager, d’appuyer et de mener des recherches sur les problèmes des régions du monde en voie de développement et sur la mise en oeuvre des connaissances scientifiques, techniques et autres en vue du progrès économique et social de ces régions ».

L’évaluation de la recherche sur le développement comporte plusieurs caractéristiques uniques en comparaison avec l’évaluation d’autres interventions au service du développement à l’échelle internationale. Elle est également différente de l’évaluation d’autres domaines de recherche. Ces différences sont décrites ci-dessous, de même que les outils pour évaluer la programmation de la recherche sur le développement qui pourraient être pertinents pour l’évaluation que vous commandez.

Longues chaînes de résultats non linéaires : Comme cela est montré ci-dessous, trois différents projets peuvent viser à améliorer la santé : la construction d’un hôpital a un lien clair avec l’amélioration de la santé; la formation des travailleurs de la santé a également un lien plausible avec l’amélioration des résultats en matière de santé, même s’il y a plus de liens dans une chaîne causale entre la formation et l’amélioration de la santé; et pour finir, un projet de recherche qui porte sur la consommation alimentaire et la nutrition chez les enfants a pour but d’améliorer la santé, mais il y a de nombreux liens intermédiaires dans la chaîne causale avant que la recherche puisse contribuer à améliorer la santé des enfants. L’évaluation de la recherche sur le développement commence par la détermination des résultats de la longue chaîne causale que vous souhaitez évaluer, puis se poursuit par l’évaluation de la contribution de la recherche aux résultats souhaités. Pour évaluer les résultats de la programmation de la recherche sur le développement, il faut accepter le fait que les parcours sont rarement linéaires, que le contexte est essentiel et que la complexité est la norme.

Les types de résultats de la recherche sur le développement sont également différents de ceux des autres interventions au service du développement. Par exemple, ils peuvent comprendre la capacité accrue des personnes, des organisations et des réseaux à effectuer la recherche et à utiliser la recherche. Les évaluations des résultats peuvent être axées sur l’influence de la recherche sur le développement technologique, l’innovation, ou la modification des politiques ou des pratiques. Ils comprennent également les efforts visant à accroître l’influence de la recherche. Les ressources suivantes peuvent aider à évaluer les résultats de la recherche sur le développement :

La boîte à outils sur l’application des connaissances – propose un survol de ce en quoi consiste l’application des connaissances et de la manière dont elle peut le mieux servir à combler l’écart entre la théorie et la pratique de façon à jeter des ponts entre la recherche, les politiques, la pratique et les gens. Elle décrit les théories sous-jacentes et fournit les stratégies et les outils visant à encourager et faciliter une prise de décision fondée sur des données probantes.
L’évaluation de l’influence sur les politiques fait l’objet d’un livre écrit par Fred Carden qui est accessible gratuitement : Des connaissances aux politiques. Tirer le meilleur parti possible de la recherche en développement – Le livre commence par une explication savante des voies par lesquelles la recherche exerce une influence sur la conception des politiques et la prise de décision. Il montre que la recherche peut contribuer à une meilleure gouvernance d’au moins trois façons : en encourageant le questionnement et le débat, en procurant aux citoyens les connaissances voulues pour tenir les gouvernements responsables de leurs actes et en élargissant l’ensemble d’options et de solutions parmi lesquelles le processus de conception des politiques peut puiser.
L’Overseas Development Institute propose plusieurs guides utiles pour évaluer l’influence sur les politiques. Par exemple, l’outil RAPID Outcome Mapping Approach (ROMA) et de courts guides tels que le suivant : Monitoring and evaluation of policy influence and advocacy.
Les outils visant à évaluer le renforcement des capacités comprennent le cadre utilisé dans l’évaluation du renforcement des capacités du CRDI pour les particuliers, les organismes et les réseaux et le cadre 5C du Centre européen de gestion des politiques de développement (ECDPM).
Dans la publication Monitoring and Evaluation Strategy Brief, Douthwaite et ses collègues donnent un aperçu du système de suivi et d’évaluation du programme de recherche sur les systèmes agricoles aquatiques du Groupe consultatif pour la recherche agricole internationale et décrivent la façon dont ce système est conçu pour soutenir le programme afin d’atteindre ses objectifs. L’exposé porte sur : 1) les objectifs du système de suivi et d’évaluation des systèmes agricoles aquatiques en respectant les principaux éléments de programme; 2) la théorie utilisée pour concevoir le système de suivi et d’évaluation; 3) les composantes du système de suivi et d’évaluation.
Le projet Impress du Centre de coopération internationale en recherche agronomique pour le développement décrit un projet de recherche qui étudie les répercussions de la recherche agronomique internationale, notamment la méthodologie utilisée et plusieurs études de cas.

Enfin, l’évaluation de la recherche sur le développement est également différente de l’évaluation de la recherche fondamentale. En général, l’évaluation de la recherche fondamentale est effectuée au moyen de méthodes délibératives (tels que l’examen par les pairs) et d’analyses (telles que la bibliométrie). Le CRDI utilise une approche globale qui reconnaît le mérite scientifique comme une condition nécessaire mais insuffisante pour évaluer la qualité de la recherche et le rôle de plusieurs parties prenantes et utilisateurs potentiels dans la détermination de l’efficacité de la recherche (pour ce qui de la pertinence, de l’utilisation et de l’incidence). Le CRDI a élaboré le cadre d’appréciation Qualité de la recherche plus (QR +) qui englobe trois composantes :

les principales influences (facteurs habilitants ou contraignants) de l’effort de recherche ou dans l’environnement externe, notamment : a) la maturité du champ de recherche; b) l’intention de renforcer la capacité de recherche; c) le risque dans l’environnement de recherche; d) le risque dans l’environnement politique; et e) le risque dans l’environnement des données;
les dimensions et sous-dimensions de la qualité de la recherche qui sont étroitement liées, notamment : a) l’intégrité scientifique; b) la légitimité de la recherche; c) l’importance; et d) le positionnement aux fins d’utilisation;
des rubriques d’évaluation personnalisables (ou rubriques évaluatives) qui utilisent à la fois des mesures qualitatives et quantitatives pour caractériser chaque influence clé et pour évaluer le rendement de l’étude de recherche sur les diverses dimensions et sous-dimensions de la qualité.

Le travail du CRDI contribue au débat général continu sur la façon d’évaluer la qualité de la recherche et reconnaît les approches utiles d’autres organisations travaillant dans ce domaine (voir les ressources ci-dessous à titre d’exemple). Le CRDI invite les bailleurs de fonds de la recherche et les chercheurs à traiter le cadre QR + comme un outil dynamique à adapter à leurs buts précis.

Renseignements et ressources supplémentaires

Ofir Z, T. Schwandt, D. Colleen et R. McLean. 2016. RQ+ Research Quality Plus. A Holistic Approach to Evaluating Research, Ottawa : Centre de recherches pour le développement international (CRDI) – Ce rapport décrit l’approche du CRDI et présente la version inaugurale du cadre d’appréciation QR + visant à évaluer la qualité de la recherche. Le rapport comprend de précieuses leçons retenues de la mise en oeuvre du cadre et présente diverses utilisations possibles du cadre.
Pour obtenir de plus amples renseignements sur la bibliométrie, consultez les sites suivants: https://www.nature.com/articles/520429a et http://www.leidenmanifesto.org/. On y présente des méthodes courantes d’évaluation de la qualité de la recherche et des problèmes connexes.

Vous pouvez également consulter le site suivant : http://www.researchtoaction.org/2013/08/altmetrics-and-the-global-south-increasing-research-visibility/ qui comprend des liens vers les sites Altmetrics et ImpactStory (sites qui font le suivi de l’incidence des travaux écrits en analysant l’intégration de la recherche dans les médias sociaux) et The Scholarly Communication in Africa Programme (SCAP) (une initiative qui vise à accroître la visibilité et les répercussions sur le développement des extrants de recherche des universités d’Afrique australe).

Étapes du processus de commande

En règle générale, les instances qui commandent les évaluations décident de l’objet de l’évaluation, des personnes participant à l’évaluation, des résultats considérés comme importants et des données probantes pertinentes. Bien que les instances comptent habituellement sur l’expertise des évaluateurs pour prendre des décisions au sujet des méthodes précises à utiliser, ils fixent souvent les paramètres d’ensemble (c’est-à-dire l’approche globale, le budget, et le calendrier) dans les limites desquelles l’évaluation doit se dérouler.

Étapes du processus d’évaluation

Ce document est un guide interactif pour les personnes qui gèrent une évaluation.

Évaluer ou pas ?

À l’exception des examens de programme externes, qui sont gérés de façon centrale par la Division des politiques et de l’évaluation, l’évaluation au CRDI est stratégique plutôt que systématique. Cela signifie que les évaluations gérées par le personnel de programme du CRDI et les bénéficiaires sont entreprises de façon sélective et dans les cas où les raisons de l’évaluation sont claires.

Dans le système d’évaluation décentralisé du CRDI, le personnel de programme et les bénéficiaires ont un certain pouvoir quant aux décisions d’évaluation au niveau du projet et, dans une certaine mesure, au niveau du programme.

Au niveau du projet : Les évaluations de projets sont normalement réalisées sous la direction des administrateurs de programme ou des partenaires de projet. Les projets ne sont pas tous évalués de façon systématique.

La décision d’évaluer un projet est habituellement motivée par l’un des éléments suivants :

investissement important;
risque élevé;
approche nouvelle/novatrice;
priorité sur le plan politique élevée ou examen minutieux;
phase avancée ou maturité du partenariat.

Au niveau du programme : Les évaluations impulsées par les programmes sont définies et réalisées dans le cadre d’un programme, conformément à ses besoins. Les évaluations impulsées par les programmes sont souvent axées sur des questions importantes ou des besoins en matière d’apprentissage au niveau du programme. Elles évaluent de façon stratégique tout aspect défini important du portefeuille du programme (projets, organisations, enjeux, modalités, etc.). Les évaluations impulsées par les programmes peuvent être réalisées à l’interne, à l’externe ou dans le cadre d’une approche hybride. Les principaux utilisateurs sont habituellement l’équipe du programme ou ses collaborateurs (bailleurs de fonds partenaires, partenaires de projets, organismes aux vues similaires, etc.).

Quand NE PAS évaluer

En général, il y a des circonstances dans lesquelles il n’est pas recommandé d’entreprendre une évaluation de projet ou de programme :

domaine de contenu intermédiaire/principal;
changement constant. Lorsqu’un projet ou un programme fait l’objet de bouleversements et de changements constants, l’évaluation pourrait être prématurée ou non concluante;
certains projets et programmes sont simplement trop jeunes et trop récents pour être évalués, sauf si l’évaluation est conçue comme un accompagnement ou une évaluation de développement;
manque de clarté et de consensus en ce qui concerne les objectifs. L’évaluateur a alors de la difficulté à définir ce qu’il doit évaluer;
principalement aux fins de promotion. Même si les histoires de réussite et les pratiques exemplaires constituent souvent des produits dérivés positifs de l’évaluation, il n’est pas recommandé d’entreprendre une évaluation si le principal objectif est de mettre en lumière des histoires de réussite. Les évaluations doivent systématiquement viser à cerner ce qui a fonctionné mais aussi ce qui n’a pas bien fonctionné.

Question clé : Avez-vous vraiment assez de temps pour entreprendre une évaluation ?

Lorsque les délais relatifs à la planification et à la réalisation d’une évaluation sont tels qu’ils nuisent à la crédibilité des conclusions de l’évaluation, il vaut mieux ne pas la réaliser et plutôt concentrer ses efforts sur la façon de rendre les conditions plus propices.

Les rôles et responsabilités en matière d’évaluation

Dans le cadre du système d’évaluation décentralisée du CRDI, les responsabilités relatives à la réalisation et à l’utilisation des évaluations sont partagées.

La haute direction favorise activement une culture d’apprentissage, en incitant le personnel à procéder à des évaluations et à tirer des enseignements des échecs et des résultats décevants. Elle affecte des ressources à l’évaluation et prend en considération les constatations des évaluations dans sa prise de décisions.
Les membres du personnel des programmes et les partenaires des projets effectuent et appuient des évaluations de grande qualité et axées sur l’utilisation. Ils cherchent à renforcer leurs capacités en matière d’évaluation, à penser en fonction de l’évaluation, et à élaborer des démarches et des méthodes d’évaluation propres à la recherche sur le développement.

Ressources du CRDI

Pour plus de renseignements sur la démarche d’évaluation globale du CRDI, de même que sur les principes directeurs, les éléments et les rôles de l’évaluation au sein de notre système décentralisé, consultez le document L’évaluation au CRDI.

Renseignements et ressources supplémentaires

Liste de contrôle de l’USAID quant à la décision d’évaluer

Respect des principes éthiques et des normes

Les recherches et les évaluations qu’appuie le CRDI s’efforcent de se conformer aux principes éthiques acceptés :

assurer le respect des personnes, des animaux et de l’environnement. Lorsque la recherche ou l’évaluation nécessite la participation de personnes, elle doit respecter l’autonomie de celles-ci.
Souci du bien-être des participants : les chercheurs/évaluateurs doivent agir de manière à favoriser le bien-être des participants (bienveillance) et à ne pas infliger de préjudices (non-malfaisance).
Justice : obligation de traiter les personnes de façon juste et équitable et avec dignité.

Les recherches et les évaluations soutenues par le CRDI doivent être conformes aux notions universelles de justice et d’équité et témoigner d’une sensibilité aux normes et pratiques culturelles propres aux collectivités où le travail est effectué.

Les participants doivent être informés qu’ils participent à une étude de recherche ou d’évaluation et qu’ils ont le droit de refuser de participer ou d’interrompre leur participation en tout temps sans conséquences négatives.

Le principe directeur selon lequel la priorité est de ne porter préjudice à personne s’applique de la même façon au personnel, aux consultants et aux bénéficiaires pendant le processus d’évaluation.

L’American Evaluation Association (AEA) a élaboré et adopté des principes directeurs importants pour les évaluateurs:

Enquête systématique : Les évaluateurs effectuent systématiquement une enquête basée sur les données.
Compétence : Les évaluateurs affichent un rendement approprié.
Intégrité/Honnêteté : Les évaluateurs font preuve d’honnêteté et d’intégrité tout au long du processus d’évaluation.
Respect des personnes : Les évaluateurs respectent la sécurité, la dignité et l’estime de soi des répondants, des participants au programme, des clients et des autres parties prenantes de l’évaluation.
Responsabilités du bien-être général et public : Les évaluateurs déterminent les intérêts et valeurs généraux ainsi que publics et en tiennent compte.

[Source : American Evaluation Association, 2004.]

Importance du savoir-faire culturel en matière d’évaluation

Le savoir-faire culturel est la capacité de comprendre les valeurs culturelles des personnes et des groupes et d’être sensible à celles-ci. La culture peut être décrite comme le schéma transmis socialement de croyances, de valeurs et d’actions partagées par des groupes de personnes.

Le savoir-faire culturel en matière d’évaluation est une compétence essentielle qui permet à un évaluateur de démontrer une compréhension des valeurs culturelles et une sensibilité à l’égard de celles-ci. Cela garantit que l’évaluation respecte les personnes et en tient compte. Le savoir-faire culturel aide à travailler efficacement dans un contexte interculturel.

Une perspective tenant compte des facteurs culturels peut favoriser une collaboration efficace. Cela peut également garantir que le savoir-faire culturel est intégré à l’ensemble du processus d’évaluation, du choix de la méthodologie à la communication des données et des conclusions, en passant par la sélection des bonnes enquêtes ou des bons outils de collecte des données.

Une personne possédant un savoir-faire culturel doit :

tenir compte des différences entre les groupes et les personnes;
bien connaître différentes cultures;
comprendre l’interaction entre les cultures;
bien connaître les perceptions négatives ou les stéréotypes touchant un groupe;
être capable de s’adapter au besoin pour atteindre de façon adéquate divers groupes.

[Source : The University of Minnesota. De plus amples renseignements peuvent être obtenus ici.]

Ressources du CRDI

Principes du CRDI en matière d’éthique de la recherche

Remerciements

Le présent guide a été élaboré grâce au financement du Centre de recherches pour le développement international (CRDI), au Canada par Dr Greet Peersman et la professeure Patricia Rogers [contenu], ainsi que Nick Herft [conception] du projet BetterEvaluation (BE) de "Australian and New Zealand School of Government (ANZSOG)" de Melbourne (Australie), avec la participation de membres du personnel du CRDI.

Nous tenons à remercier les réviseurs de contenu :Farid Ahmad, directeur de la planification stratégique, de la surveillance et de l’évaluation du Centre international de mise en valeur intégrée des montagnes (ICIMOD) à Katmandou (Népal), et Vanessa Hood, responsable des évaluations, de la stratégie et de la planification de Sustainability Victoria, à Melbourne (Australie).