Examiner les aspects importants de l’évaluation

Les évaluations sont conçues pour répondre aux questions principales d’évaluation. Différentes méthodes et conceptions sont nécessaires pour répondre aux différents types de questions.

Les évaluations comptent quatre principaux types de questions :

Les questions descriptives portent sur ce qui s’est produit ou sur la situation présente. Voici des exemples :

Quelles sont les ressources qui ont été utilisées directement ou indirectement par le programme ?
Quelles activités ont été organisées ?
Quels sont les changements qui ont été observés dans les conditions ou chez les participants ?

Les questions causales portent sur ce qui a contribué aux changements qui ont été observés. Voici des exemples :

Qu’est-ce qui a produit les résultats et les effets ?
De quelle manière le programme a-t-il contribué à produire les changements observés ?
Quels sont les autres facteurs ou programmes qui ont contribué aux changements observés ?

Les questions évaluatives visent à déterminer si une intervention peut être considérée comme une réussite, une amélioration ou la meilleure option. Elles exigent une combinaison de valeurs explicites et de données probantes. Voici des exemples :

De quelles façons et pour qui le programme s’est-il avéré une réussite ?
La programme a-t-il optimisé ses ressources, si l’on prend en considération tous les coûts engagés (pas seulement le financement direct) ainsi que tous les résultats négatifs.

Les questions relatives aux mesures portent sur ce qui devrait être effectué pour donner suite aux constatations de l’évaluation. Voici des exemples :

Quels changements devraient-ils être apportés afin de régler les problèmes cernés ?
Que devrait-on conserver ou ajouter pour renforcer les points forts existants ?
Le programme devrait-il être financé de nouveau ?

Les questions principales d’évaluation comptent souvent plusieurs types de questions. Par exemple, pour répondre à la principale question d’évaluation « Dans quelle mesure le programme a-t-il été efficace ? », il est nécessaire de répondre également aux questions suivantes :

Questions descriptives – Quels changements se sont-ils produits ?

Questions causales – De quelle manière l’intervention a-t-elle contribué aux changements ?

Questions évaluatives – Dans quelle mesure les changements ont-ils été utiles en ce qui a trait aux objectifs énoncés – en tenant compte des types, des niveaux et de la répartition des changements.

Il est important de vérifier la pertinence de la conception en subdivisant chaque question principale d’évaluation en différents types de questions, puis en les contrôlant au regard des points présentés ci-dessous.

(i) Vérifier la pertinence de la conception des questions descriptives

La conception devrait indiquer clairement la manière de répondre aux questions descriptives. Ces questions peuvent concerner les sujets suivants :

Intrants – le matériel et le personnel
Processus – la mise en oeuvre et les projets de recherche
Extrants – p. ex., des publications de recherche
Résultats – p. ex., des changements dans les politiques fondés sur des recherches
Effets – p. ex., des améliorations en matière de production agricole

Il pourrait être utile de présenter les résultats dans un tableau indiquant la manière dont les données seront recueillies et analysées pour répondre à ces questions descriptives.

Question descriptive	Les données existantes pouvant être utilisées	Collecte ou extraction de données supplémentaires	Échantillonnage	Analyse
Quelles ressources ont été utilisées dans le cadre du programme ?
Qui a participé au programme ?
Quels changements se sont produits en ce qui a trait à [comportement précis] ?

Le texte devrait expliquer les choix qui ont été faits et aborder les points suivants :

Utilisation optimale des données existantes, y compris un examen de leur qualité et de leur pertinence.
Échantillonnage approprié – des personnes, des sites, des organisations ou des périodes – le type d’échantillonnage choisi et les raisons pour lesquelles celui-ci est approprié pour le type de généralisation qui sera effectuée.
Méthodes de collecte de données appropriées – les raisons pour lesquelles ces méthodes ont été choisies.
Méthodes de collecte de données appropriées – les raisons pour lesquelles ces méthodes ont été choisies.

(ii) Vérifier la pertinence de la conception des questions évaluatives

Bon nombre d’évaluations ne précisent pas clairement la manière de répondre aux questions évaluatives – quels seront les critères (les domaines de rendement), quels seront les normes (le niveau de rendement qui sera considéré comme adéquat ou bon), et la manière dont les différents critères seront pondérés. Un examen de la conception pourrait permettre de répondre à chacune des questions suivantes :

Y a-t-il des critères clairs pour cette question évaluative ?
Y a-t-il des normes claires permettant d’évaluer la qualité du rendement par rapport à chaque critère ?
La manière d’effectuer la synthèse des données probantes pour l’ensemble des critères est-elle claire ? Par exemple, est-ce mieux d’obtenir de modestes améliorations pour tout le monde ou de grandes améliorations pour certaines personnes ?
Les critères, les normes et les approches appliqués à la synthèse des données probantes sont-ils appropriés ? Quelle a été leur source ? Un examen plus poussé de ceux-ci est-il requis ? Qui devrait être mobilisé ?

Idéalement, une conception de l’évaluation précise clairement les critères et les normes, y compris leur source, qui peuvent être présentés dans un tableau comme le suivant :

Tableau 1: Exemple d’un tableau présentant les critères, les normes, le processus de synthèse des données, ainsi que les sources.

Aspect évaluatif	Processus visant à élaborer, d’une manière concertée, les critères, les normes et la synthèse des données	Critères	Normes	Synthèse des données/Pondération
La pertinence des ressources pour le programme	Appliquer des normes nationales à la prestation des services	Le nombre de [services] par 100 000 personnes	[x] par 100 000 personnes	La moyenne dans l’ensemble des régions, pondérée selon la population
La qualité des services fournis	Les normes de service nationales	L’accessibilité financière	Tous peuvent avoir accès aux services, peu importe leur capacité de payer
	Les normes de service nationales	La propreté	Les surfaces servant à la manipulation des aliments sont aseptisées
	Consultation communautaire	Pertinence culturelle	Les gens de toutes les origines ethniques se sentent les bienvenus dans le service

(iii) Vérifier la pertinence de la conception des questions causales

Bon nombre d’évaluations ne précisent pas clairement la manière de répondre aux questions causales. De nombreuses conceptions et méthodes peuvent être utilisées, mais elles comprennent une ou plusieurs des stratégies suivantes :

(a) Comparer les résultats à une estimation de ce qui se serait produit si le programme n’avait pas existé (il s’agit d’un raisonnement hypothético-déductif).

Cela peut comprendre la création d’un groupe de contrôle (dans lequel on détermine aléatoirement si les personnes ou les sites vont participer ou non) ou d’un groupe de comparaison (dans lequel les participants sont comparés à d’autres qui sont appariés de différentes manières). Les techniques comprennent :

Les essais comparatifs sur échantillons aléatoires – un groupe de contrôle est comparé à un ou plusieurs groupes de traitement.
Les comparaisons appariées – chaque participant est apparié à un non-participant en fonction des variables qui sont jugées pertinentes. Il peut être difficile d’apparier adéquatement les personnes en fonction de tous les critères pertinents.
L’appariement des coefficients de propension – crée un groupe de comparaison selon une analyse des facteurs qui ont influé sur la propension des personnes à participer au programme.
La discontinuité de la régression – compare les résultats des personnes qui sont juste au-dessous du seuil avec ceux des personnes qui sont juste au-dessus du seuil.

(b) Vérifier si les données probantes sont conformes à la théorie sur la manière dont l’intervention devait contribuer aux résultats observés.

Cette technique peut consister notamment à vérifier si les résultats intermédiaires ont été obtenus, à utiliser la reconstitution du processus pour vérifier chaque lien causal dans la théorie du changement, à cerner et à surveiller les anomalies qui ne s’harmonisent pas aux tendances, et à demander aux participants d’expliquer les changements. Les techniques comprennent :

L’analyse des contributions – établit la théorie du changement qui est censé produire les effets et les résultats observés, et recherche de manière itérative des données probantes qui appuieront ou réfuteront cette théorie.
L’attribution causale réalisée par les informateurs clés – consiste à demander aux participants et à d’autres personnes informées d’indiquer quelles sont, à leur avis, les causes des effets, et à recueillir des détails au sujet des processus causaux.
L’analyse comparative qualitative – compare différents cas afin de déterminer les différentes combinaisons de facteurs qui produisent certains résultats.
La reconstitution du processus – il s’agit d’une méthode d’inférence causale fondée sur des études de cas qui consiste à utiliser des indices associés à un cas (observations par processus causal) pour trancher entre les différentes explications possibles. Cette technique comprend la vérification de chaque étape de la chaîne causale pour voir si les données probantes appuient, n’appuient pas ou réfutent la théorie selon laquelle le programme ou le projet a produit les effets observés.
Le protocole d’évaluation qualitative des effets – combine l’attribution causale réalisée par les informateurs clés, la reconstitution du processus et l’analyse des contributions, et utilise les entrevues menées afin de réduire les évaluations partiales.

(c) Cerner et exclure les autres explications.

Ce travail consiste à utiliser un processus pour cerner les autres explications possibles (éventuellement en s’appuyant sur des entrevues menées avec des personnes qui sont sceptiques ou critiques à l’égard du programme, sur des évaluations et des recherches antérieures, ainsi que sur des entrevues menées avec les participants), et à rechercher ensuite des données probantes qui permettraient d’exclure ces autres explications.

Même si une expertise technique est requise afin de choisir l’option appropriée pour répondre aux questions causales, en tant que gestionnaire, vous devriez pouvoir vérifier si une méthode explicite est actuellement utilisée, et solliciter un examen technique afin d’assurer sa pertinence.

Lien de causalité (entre une variable et une autre – une étape de la chaîne causale)	Quelles sont les stratégies, les méthodes et les conceptions qui sont utilisées aux fins de l’inférence causale ?
Par exemple, la participation à un programme et l’amélioration de la santé et du bien-être de la population.	Raisonnement hypothético-déductif – des groupes de comparaison comprenant des participants et des non-participants appariés.
Par exemple, l’acquisition de compétences et un comportement modifié.	Cohérence entre les données probantes et exclusion des autres possibilités – reconstitution du processus et attribution causale réalisée par les informateurs clés.

(iv) Vérifier si la conception et le processus répondent aux composantes relatives aux mesures des questions principales d’évaluation

Les réponses aux questions relatives aux mesures sont souvent formulées sous forme de recommandations. Celles-ci ne proviennent pas nécessairement des constatations. En fait, il est souvent nécessaire d’effectuer une étape supplémentaire visant à déterminer les mesures possibles, puis à choisir la plus appropriée selon les valeurs particulières et la disponibilité des ressources.

En tant que gestionnaire, vous devriez vous assurer qu’il existe un processus explicite servant à élaborer et à examiner les recommandations, et que le niveau de participation des intervenants clés est suffisant.