Choisir un évaluateur ou une équipe d’évaluation

Un processus de sélection transparent utilise des critères explicites et fait participer plus d’une personne (souvent un groupe ou un comité) afin de discuter et de s’entendre sur la sélection. Idéalement, il faut discuter et convenir des critères et du processus de sélection ainsi que de la personne responsable de l’approbation au début du processus d’évaluation (voir l’étape 1 pour de plus amples renseignements).

Présélection des candidats potentiels

Les candidatures doivent être examinées et une présélection des candidats potentiels doit être effectuée. Habituellement, les candidatures sont classées selon la mesure dans laquelle elles répondent aux critères de sélection. L’examen minutieux de l’importance relative des critères de sélection pour le travail en question permet de faciliter le classement. Dans un premier temps, utilisez les qualités « essentielles » et « souhaitées »; par la suite, d’autres distinctions pourront également être nécessaires (comme une expertise précise du contenu ou des travaux antérieurs effectués dans un contexte particulier ou auprès de certains intervenants) [voir la liste des qualités des évaluateurs].

Sélection finale des évaluateurs

Les candidats présélectionnés sont ensuite interrogés de manière plus approfondie grâce à une entrevue de suivi (en personne ou par téléphone ou Internet) ou à d’autres moyens de communication. Choisissez les personnes qui feront partie du comité de sélection et les questions qui seront posées. Par exemple, les questions ci-dessous peuvent s’avérer utiles.

• Connaissances et expérience – Le soumissionnaire possède-t-il une expérience professionnelle, du marché ou de l’industrie lui permettant de répondre aux besoins de votre organisme?
• Composition de l’équipe – Les membres de l’équipe inscrits dans la proposition sont-ils ceux qui vont réellement effectuer le travail? Votre organisme connaît-il l’équipe?
• Valeurs et politiques organisationnelles – Le soumissionnaire reflète-t-il les valeurs organisationnelles et les attentes en matière de qualité de votre organisme?
• Compréhension du travail – Dans quelle mesure le soumissionnaire comprend-il l’ampleur et la portée du travail? Le soumissionnaire est-il en mesure de relever le défi?
• Pensée novatrice et créative – Le soumissionnaire sera-t-il en mesure de répondre aux problèmes émergents tout au long de l’évaluation?

[La liste de questions ci-dessus a été adaptée de : Choosing the right consultant. In: Policy Makers Toolkit. Steps in Managing and Evaluation Project. Premier & Cabinet, NSW Government, Australia.]

La sélection d’un chef d’équipe est particulièrement importante pour le succès de l’évaluation. Un bon chef d’équipe se concentre sur les résultats et les objectifs de gestion. Il doit avoir démontré sa capacité à gérer et à synthétiser les commentaires et la participation des divers membres de l’équipe ainsi que des nombreux intervenants concernés. De bonnes aptitudes en communication, tant à l’oral qu’à l’écrit, et de bonnes aptitudes à la facilitation et à la négociation sont essentielles.

Déterminer un conflit d’intérêts potentiel ou maintenir un niveau adéquat d’« indépendance »

Un autre point important dans la sélection finale consiste à déterminer si la personne ou son organisation présente un conflit d’intérêts potentiel, ce qui peut compromettre la crédibilité de l’évaluation. Les critères visant à déterminer si certaines personnes ou organisations doivent être exclues de la réalisation de l’évaluation peuvent être les suivants :

• ne pas avoir participé à la conception, à la mise en oeuvre ou à la surveillance des activités;
• ne pas avoir reçu un financement de l’organisation ou du programme récemment (p. ex. pendant les deux dernières années au moins);
• ne pas avoir un intérêt dans les constatations de l’évaluation.

Effectuer des vérifications des références

Comme dernière étape avant d’embaucher un évaluateur, examinez ses travaux antérieurs, vérifiez ses références et assurez-vous qu’il est crédible, compétent et capable de diriger un processus d’évaluation utile. Voici certains points clés qui peuvent être abordés au cours de la vérification des références :

• Respect des délais – L’évaluateur a-t-il atteint les jalons et fourni le produit à temps?
• Capacité d’adaptation – A-t-il fait preuve de suffisamment de souplesse pour gérer les problèmes imprévus ou les retards? A-t-il répondu à l’équipe du projet ou du programme de manière appropriée?
• Pertinence – A-t-il respecté le mandat?
• Professionnalisme – Quelles étaient sa façon de travailler et sa capacité à communiquer ou quel était son niveau de sensibilité culturelle?
• Bonnes pratiques de l’évaluateur – A-t-il communiqué ouvertement avec l’équipe du projet ou du programme? A-t-il expliqué ses décisions de manière proactive en se fondant sur les bonnes pratiques d’évaluation?
• Conclusions fondées sur des données – Les conclusions du rapport étaient-elles fondées sur des données ou reposaient-elles principalement sur des conjectures?

[La liste de questions ci-dessus est adaptée de : Willard A. Managing and implementing an evaluation. Guidelines and Tools for Evaluation Managers. USA: American Red Cross, Catholic Relief Services, USAID, 2008.]