Gérer la conception des évaluations

La conception d’une évaluation décrit la manière dont les données seront recueillies et analysées pour répondre aux questions principales d’évaluation.

En tant que gestionnaire, plusieurs possibilités s’offriront à vous, selon la personne qui préparera la conception de l’évaluation. Dans la plupart des cas, votre évaluateur se chargera de la conception de l’évaluation. Cependant, vous devrez parfois vous en occuper si vous possédez des compétences en évaluation ou si la conception de l’évaluation a déjà été élaborée (par exemple, dans le cas d’une évaluation conçue pour être jumelée à une évaluation antérieure).

Comprendre les facteurs importants suivants qui doivent être pris en considération dans la conception de l’évaluation

1. La nature du sujet de l’évaluation 

Plus particulièrement, déterminer s’il existe des aspects compliqués ou complexes qui doivent être abordés dans l’évaluation, ainsi que d’autres défis particuliers comme le temps écoulé avant que se manifestent les effets ou les obstacles à la collecte de données exactes. Tenir compte des aspects importants du sujet de l’évaluation.

2. La nature de l’évaluation 

Plus particulièrement, les types de questions principales d’évaluation qui sont posées, ainsi que le moment où les réponses sont requises. Examiner les aspects importants de l’évaluation.

3. Les ressources disponibles et les contraintes –

Les ressources comprennent l’argent, les données existantes, l’expertise et l’équipement technique. Quant aux contraintes, on peut mentionner les exigences à respecter pour utiliser certains indicateurs communs, les limites liées à la disponibilité des informateurs clés, et les obstacles à l’accès aux données existantes. Tenir compte des répercussions des ressources disponibles et des contraintes spécifiques.

Si un évaluateur prépare la conception de l’évaluation

• Embaucher un expert compétent en matière d’évaluation (interne, externe ou les deux). Choisir un évaluateur ou une équipe d’évaluation.
• Comprendre les facteurs importants suivants qui doivent être pris en considération dans la conception de l’évaluation
• La conception devrait fournir des détails sur la manière dont les données seront recueillies et analysées. Il est souvent utile de réaliser cette tâche à l’aide d’une matrice d’évaluation qui indique la manière dont il faudra répondre à chaque question principale d’évaluation

Si vous préparez la conception de l’évaluation

• Comprendre les facteurs importants suivants qui doivent être pris en considération dans la conception de l’évaluation
• Préparer une conception de l’évaluation qui tient compte de ces facteurs importants.
• Résumer la conception sous la forme d’une matrice d’évaluation qui indique la manière dont il faudra répondre à chaque question principale d’évaluation

Après, planifier un examen technique de la conception de l’évaluation et planifier un examen de la conception par l’organe de gestion de l’évaluation (p. ex., le comité directeur). Idéalement, cela comprendra des représentants des principaux utilisateurs prévus.

La planification d’un examen technique de la conception de l’évaluation

Avant de terminer la conception, il pourrait être utile qu’un ou plusieurs évaluateurs mènent un examen technique de celle-ci. Il faudra peut-être faire appel à plusieurs évaluateurs afin de fournir des conseils d’expert sur les méthodes proposées, y compris les mesures et les indicateurs précis qui seront utilisés. De plus, vous devez vous assurer que les évaluateurs possèdent l’expérience nécessaire pour utiliser différentes méthodes et conceptions, et qu’ils connaissent bien le contexte, afin de vous assurer qu’ils pourront fournir des conseils concernant des situations précises.

La planification d’un examen de la conception par l’organe de gestion de l’évaluation

En plus d’être considérée comme fiable sur le plan technique par les experts, la conception de l’évaluation doit absolument être perçue comme crédible par les personnes qui devront l’utiliser.

Il est important de solliciter un examen organisationnel officiel et une approbation de la conception auprès d’un comité directeur de l’évaluation (consulter la section portant sur les structures, les processus et les mandats possibles d’un éventuel comité directeur).

Si possible, examiner les constatations possibles selon diverses données avec les principaux utilisateurs prévus. Il s’agit d’une stratégie efficace pour vérifier la pertinence de la conception en présentant des maquettes des tableaux, des graphiques et des citations que la conception pourrait produire. Il vaut mieux produire au moins deux différentes versions – une dans laquelle le programme fonctionnerait bien et une dans laquelle le programme ne fonctionnerait pas bien. Idéalement, les principaux utilisateurs prévus de l’évaluation les examineront et confirmeront la pertinence de la conception, ou ils demanderont des modifications afin de rendre les constatations potentielles plus pertinentes et crédibles. (Pour obtenir plus de renseignements, consulter Patton, M.Q. (2011) Essentials of Utilization-Focused Evaluation. p. 309-321).