Tenir compte des aspects importants du sujet de l’évaluation

Le sujet de l’évaluation a une incidence sur la manière dont il devrait être évalué. Il est utile de cerner certains aspects du sujet de l’évaluation et de s’assurer qu’ils sont pris en compte dans la conception de l’évaluation.

1. Déterminer l’incidence du stade d’avancement du projet ou du programme faisant l’objet de l’évaluation.

Est-il encore en voie de planification ? Est-il en cours de mise en oeuvre ? Est-il presque terminé ou déjà terminé?

Stade d’avancement	Incidence	Incidence possible sur la conception de l’évaluation
Pas encore commencé	La collecte de données peut être planifiée au début de la mise en oeuvre	Il est possible de recueillir des données de référence en guise de points de comparaison, et d’établir des groupes de contrôle ou de comparaison dès le début.
		Il est possible d’intégrer un processus de collecte des données dans les systèmes administratifs afin de réduire les coûts et d’augmenter la portée des données.
	La période de collecte des données sera longue.	Il est nécessaire d’élaborer de solides systèmes de collecte de données, y compris l’enregistrement et le contrôle de la qualité des données
En cours de mise en oeuvre	Il est impossible de recueillir des données de référence si cette tâche n’a pas été planifiée.	Il faudra recueillir des données de référence rétrospectives afin d’évaluer les changements qui se sont produits
En cours de mise en oeuvre	Il est possible de déterminer les aspects positifs, soit ceux qui semblent plus fructueux et ceux qui semblent l’être moins.	Il y a moyen d’effectuer un échantillonnage raisonné et de tirer des leçons des réussites ainsi que des cas qui n’ont pas beaucoup progressé.
Presque terminé	Il est impossible de recueillir des données de référence si cette tâche n’a pas été planifiée.	Il faudra recueillir des données de référence rétrospectives afin d’évaluer les changements qui se sont produits.
Presque terminé	Selon les calendriers, certains effets et résultats pourraient déjà être apparents.	Il est possible de recueillir des données probantes sur les résultats et les effets.
Terminé	Il est impossible de recueillir des données de référence si cette tâche n’a pas été planifiée.	Il faudra recueillir des données de référence rétrospectives afin d’évaluer les changements qui se sont produits.
	Selon les calendriers, certains effets et résultats pourraient déjà être apparents.	Il est possible de recueillir des données probantes sur les résultats et les effets.
	Il est impossible d’observer directement la mise en oeuvre.	Il faut se fier aux données existantes et aux souvenirs sur la mise en oeuvre.

2. Il faut déterminer si des aspects importants qui sont compliqués (comportent de nombreux éléments) ou complexes (émergents) devraient être pris en compte dans la conception de l’évaluation.

(i) Centre d’intérêt

Est-ce que tous les intervenants partagent les mêmes objectifs ?

	Incidence
Tous les intervenants partagent un même ensemble d’objectifs.	Les effets qui doivent être inclus peuvent être facilement déterminés dès le début.
Il existe différents objectifs auxquels divers intervenants accordent de l’importance (objectifs concurrents ou différents objectifs à différents échelons).	Il est nécessaire de dégager et de recueillir les données probantes sur les multiples changements possibles.
	Il faudra convenir d’une façon de pondérer les résultats dans différents domaines, et d’en faire la synthèse, afin de porter un jugement sur le rendement global.
Les objectifs énoncés changent (souvent en réponse à l’évolution des possibilités ou des besoins).	Il faut établir des systèmes souples d’évaluation des effets qui permettent de recueillir des données probantes adéquates sur les effets ou les résultats intermédiaires émergents.

ii) Gestion

Qui est responsable de la gestion et de la prise de décisions ?

	Incidence
Une seule organisation.	Les principaux utilisateurs et utilisations prévus de l’évaluation sont faciles à déterminer et à prendre en compte dans l’élaboration des questions principales d’évaluation et dans l’approbation de la conception.
De multiples organisations (qui peuvent être identifiées) ayant des responsabilités précises et officialisées.	Il sera probablement nécessaire de négocier l’accès aux données et de trouver des moyens d’associer et de coordonner les données.
	Il faudra peut-être négocier les paramètres d’une évaluation concertée des effets, y compris la portée et l’orientation.
Une liste changeante d’organisations qui travaillent ensemble de manière souple.	Il existe un besoin d’établir des systèmes souples d’évaluation des effets qui permettent de recueillir des données probantes sur les contributions des acteurs émergents et de répondre à l’importance que ces derniers accordent aux effets prévus ou imprévus.

(iii) Uniformité

À quel point la mise en oeuvre des activités varie-t-elle ?

	Incidence
Mise en oeuvre normalisée – un programme universel.	La qualité de la mise en oeuvre doit être examinée sous l’angle de la conformité aux pratiques exemplaires
Mise en oeuvre adaptée – les variations du programme sont prévues et associées à des facteurs contextuels préalablement déterminés.	La qualité de la mise en oeuvre doit être examinée sous l’angle de la conformité aux pratiques prescrites pour ce type de situation.
Mise en oeuvre adaptative – un programme personnalisé et évolutif qui répond à des besoins précis et changeants.	La qualité de la mise en oeuvre doit être examinée afin de déterminer dans quelle mesure la prestation des services était adaptée aux besoins.

(iv) Nécessité

Combien existe-t-il de façons différentes de résoudre le problème ou de produire les effets souhaités ? Dans quelle mesure cette initiative précise est-elle requise pour résoudre le problème ?

	Incidence
Il existe seulement une manière de produire les effets voulus.	Un raisonnement hypothético-déductif est approprié.
L’intervention représente l’une des nombreuses façons de produire les effets, et les possibilités peuvent être déterminées.	Le raisonnement hypothético-déductif n’est pas approprié car il n’accepte pas la relation causale entre l’intervention et les effets, sauf dans le cas où ces derniers ne se seraient pas produits sans l’intervention.
Il s’agit possiblement de l’une des nombreuses façons de produire les effets voulus.	Le raisonnement hypothético-déductif n’est pas approprié car il n’accepte pas la relation causale entre l’intervention et les effets, sauf dans le cas où ces derniers ne se seraient pas produits sans l’intervention.

(v) Caractère suffisant de l’intervention

Dans quelle mesure le problème sera-t-il réglé en utilisant seulement l’intervention ?

	Implications
L’intervention est suffisante pour produire les effets attendus. Elle fonctionne de la même manière pour tous.	Un raisonnement hypothético-déductif est approprié.
	Il est raisonnable de se poser la question suivante : « Est-ce que l’intervention fonctionne ? »
L’intervention fonctionne uniquement dans des contextes précis qui peuvent être cernés (p. ex., environnements de mise en oeuvre, caractéristiques des participants, soutien d’autres interventions).	Il faut se poser les questions suivantes pour évaluer les effets : « À qui l’intervention s’adresse-t-elle ? Dans quelles circonstances doit-on l’utiliser ? Comment fonctionne-t-elle ?
	Le raisonnement hypothético-déductif est approprié uniquement si l’ensemble causal du contexte habilitant ainsi que les autres activités peuvent être cernés et inclus.
L’intervention fonctionne uniquement dans des contextes précis qui ne sont pas compris ou qui ne sont pas stables.	Il faut se poser les questions suivantes pour évaluer les effets : « À qui l’intervention s’adresse-t-elle ? Dans quelles circonstances doit-on l’utiliser ? Comment fonctionne-t-elle ?
	Le raisonnement hypothético-déductif n’est pas approprié lorsque l’ensemble causal du contexte habilitant ainsi que les autres activités changent, ou s’ils sont mal compris ou qu’ils ne peuvent être cernés adéquatement.

Évolution des changements

Dans quelle mesure peut-on s’attendre à ce que les variables liées aux effets changent au fil du temps ? – p. ex., une augmentation linéaire ou une courbe en J) – Dans quelle mesure peut-on comprendre et prévoir les liens entre les différentes variables ?

	Incidence
Un lien simple (cause et effet) et prévisible.	La mesure des changements peut être effectuée à un moment convenable et extrapolée avec confiance.
Un lien compliqué qui nécessite une certaine expertise afin de le comprendre et de le prévoir.	La mesure des changements devra être effectuée au moment où elle sera la plus utile – des conseils d’experts seront requis.
Des facteurs émergents et de multiples causes, ou des changements soudains (points de basculement) qui sont imprévisibles. Un lien pouvant seulement être compris rétrospectivement.	Les changements devront être mesurés à différents moments, car leur évolution est imprévisible.

Effets inattendus

Dans quelle mesure peut-on prévoir les effets inattendus ?

	Incidence
Les effets sont facilement prévisibles et, par conséquent, ils peuvent être facilement inclus dans les plans de collecte de données.	Il faut s’appuyer sur les recherches précédentes et le bon sens pour cerner les effets inattendus potentiels et recueillir des données à leur sujet.
Une certaine expertise est nécessaire pour prévoir et aborder les effets.	Il est nécessaire d’obtenir des conseils d’expert au sujet des effets inattendus potentiels et de la manière de les cerner.
Les effets sont imprévisibles; il est seulement possible de les cerner et de les aborder lorsqu’ils surviennent.	Il faut prévoir une vaste collecte de données probantes permettant de déceler les effets inattendus et non voulus.

Source: Centre de ressources d’évaluation C4D 2016 – adapté de Funnell and Rogers (2011), p.90-91, Rogers 2016.

3. Déterminer si l’un ou l’autre des problèmes suivants est présent et devra être réglé :

Problème	Incidence possible sur la conception de l’évaluation
Les effets prendront du temps à se manifester.	Il faudra peut-être recueillir des données sur les résultats intermédiaires (qui seront apparents au cours de la période visée par l’évaluation) et utiliser des données probantes issues d’autres recherches et évaluations afin de prévoir les effets probables.
Il est difficile d’observer les activités de mise en oeuvre (p. ex., endroits éloignés ou touchés par des conflits).	Il faudra possiblement recueillir des données à l’aide de la télédétection, d’informateurs clés, de données massives ou de l’impartition
Il est difficile d’observer les résultats (ou les effets), p. ex., en raison de questions délicates ou de comportements individuels	Il sera peut-être nécessaire de recueillir des données au moyen d’entrevues avec des informateurs clés, de mesures discrètes (p. ex., rechercher des traces d’usure découlant de la circulation piétonnière) ou de techniques permettant de recueillir des données de nature délicate (p. ex., les isoloirs).