Evaluación horizontal

Originalmente desarrollado para evaluar nuevas metodologías para la investigación y el desarrollo agrícola, la evaluación horizontal tiene un potencial más amplio de aplicación. En su entorno original, el enfoque de la evaluación horizontal es la propia metodología de investigación y desarrollo I&D en lugar del proyecto en sí o el equipo o la organización que la desarrolló.

La participación de los pares neutraliza las relaciones de poder desequilibradas que prevalecen en las evaluaciones externas tradicionales, creando una atmósfera más favorable para el aprendizaje y la mejora.

El elemento central de cualquier evaluación horizontal es un taller de tres días facilitado profesionalmente que incluye todas las etapas y procesos esenciales para este enfoque. El taller reúne a un grupo de 10-15 ‘participantes locales’ que están desarrollando una nueva metodología I&D y un grupo de ‘visitantes’ o ‘pares’ de tamaño similar que también están interesados en la metodología. El taller es organizado de inicio a fin por un pequeño grupo conocido como “organizadores del taller” (un sub-grupo de los participantes locales). Combina presentaciones sobre la metodología con visitas de campo, trabajo en grupos pequeños y discusiones plenarias. Obtiene y compara las percepciones de los dos grupos con respecto a las fortalezas y debilidades de la metodología.

Las percepciones de los grupos son capturadas en una matriz de evaluación que es una herramienta clave en este enfoque. La matriz es utilizada para recolectar datos sobre un número limitado y pre-acordado de ciertos criterios relevantes y enfocados por sitio. La etapa del análisis proporciona sugerencias prácticas para mejorar que surgen de las fortalezas y debilidades observadas por el ‘grupo de pares’ y discutidas en el taller. Estas recomendaciones están destinadas a ser tilizadas de inmediato, por lo que la Evaluación Horizontal es esencialmente formativa/de desarrollo (TAG).

Los procesos empleados durante el taller y las visitas de campo sirven para promover el aprendizaje social entre los diferentes grupos involucrados. La experiencia hasta la fecha sugiere que el enfoque estimula una mayor experimentación y desarrollo de la metodología en otros entornos. Los autores creen que la evaluación horizontal puede ser aplicada en diferentes tipos de proyectos y programas y es especialmente adecuada para aquellos que
operan en un modo de red de sitios múltiples.

La responsabilidad principal de la planificación y ejecución de los detalles del taller recae en el grupo de “organizadores del taller” – un sub-grupo de los ‘participantes locales’. Los organizadores del taller son responsables de las siguientes tareas:

Identificar el objeto apropiado para la evaluación (en los casos en que los autores han apoyado esto ha sido una metodología I&D de amplio interés regional).
Asegurar el reclutamiento y la participación de un grupo apropiado de participantes locales y visitantes. El grupo debería tener interés en conocer y quizás utilizar la metodología o una versión revisada y mejorada de la misma.
Diseñar en detalle el taller de 3 días.
Encontrar un moderador que ya debería estar familiarizado o dispuesto a dominar el enfoque de evaluación horizontal.
Desarrollar, en una manera participativa, los criterios preliminares de evaluación. Estos a menudo se basan en los criterios de la organización o del proyecto utilizando la metodología.
Organizar las visitas de campo que demuestren la aplicación de la metodología.
Enviar a ambos grupos de participantes – locales y visitantes – toda la información básica necesaria antes del taller.
Organizar un “ensayo general” de los momentos clave y presentaciones para el taller.
Proporcionar lo necesario para redactar y promover el uso de los resultados del taller.

Planeando el taller: El moderador profesional, seleccionado por los organizadores del taller, trabaja con el grupo local para (i) identificar la metodología apropiada a ser evaluada, (ii) seleccionar los participantes (tanto locales como visitantes) y (iii) contribuir con los organizadores del taller en las preparaciones para el evento.

Día 1 – Introducción de la metodología: Al inicio del evento, el moderador presenta los objetivos del taller y los procedimientos a seguir. El moderador enfatiza que el taller está destinado a evaluar ÚNICAMENTE la metodología seleccionada, no el proyecto en su totalidad, ni el organismo ejecutor como una organización. El moderador alienta a los visitantes a ser críticos pero constructivos al identificar las fortalezas y los aspectos positivos de la metodología, así como sus debilidades. También anima a los participantes locales a ser abiertos y receptivos a comentarios y sugerencias.

Día 2 – Visitas de campo: Las visitas de campo brindan la oportunidad para que los visitantes vean de primera mano la metodología que se está desarrollando y para hablar con aquellos cuyos medios de vida se ven directamente afectados por ella. Los visitantes realizan entrevistas semi-estructuradas y observan cuidadosamente lo que ven y, en la medida posible, tratan de triangular diferentes fuentes de información.

Día 3 - Análisis comparativo y cierre: Para cada criterio de evaluación, los dos grupos (visitantes y participantes locales) identifican por separado las fortalezas, debilidades y sugerencias para mejorar. Se le pide a cada grupo que se limite a identificar no más de seis fortalezas, seis debilidades y seis sugerencias para cada criterio de evaluación. Después de este trabajo de grupo, los visitantes y los participantes locales presentan sus conclusiones en sesiones plenarias separadas. El moderador luego ayuda a todos los participantes a identificar ideas convergentes y divergentes. Cuando las fortalezas convergen, los participantes locales pueden sentirse seguros de que están en buen camino. Cuando las debilidades coinciden para ambos grupos, se indica la necesidad de una acción correctiva. Cuando las evaluaciones de fortalezas o debilidades de los dos grupos divergen, las razones deben ser exploradas juntas en detalle para alcanzar un entendimiento compartido de las diferencias de opinión.

Fortalezas

Supera la falta de resultados claros y la falta de seguimiento que generalmente resultan de las meras visitas al sitio.
Supera las evaluaciones tradicionales lideradas por expertos externos que limitan la participación y el aprendizaje y pueden dar lugar a recomendaciones mal implementadas.
Flexible, ya que se puede aplicar en una variedad de entornos y una variedad de evaluaciones que incluyen metodologías de I&D bastante complejas.
Facilita el intercambio de información, experiencias y conocimiento, aprendizaje interactivo.
Facilita la construcción de confianza y el sentido de comunidad.
Promueve el sentido de propiedad de los resultados que, a su vez, alienta la adopción de medidas correctivas necesarias para mejorar las metodologías de I&D.
Crea las condiciones para la adaptación y el uso más amplio de las tecnologías de I&D que se están evaluando.
Es agradable para los participantes que, como parte del proceso, aprenden bastante en un entorno dinámico pero estructurado;
Los participantes locales aceptan comentarios críticos y observaciones más fácilmente de sus compañeros que de evaluadores externos;
Fomenta el aprendizaje social, ya que los participantes locales y los visitantes participan activamente de todo el proceso de revisión, que guía el análisis y la síntesis y genera nuevo conocimiento y propuestas para acción;
Estimula la experimentación y un mayor desarrollo de la metodología en otros lugares;
Se puede utilizar junto con una evaluación externa más tradicional para generar información y perspectivas adicionales.

Factores Críticos de Éxito

Los autores identifican los siguientes factores como críticos para el éxito de una aplicación del enfoque de evaluación horizontal:

Seleccionar el momento adecuado para el taller – uno en el que la nueva metodología de I&D esté lo suficientemente avanzada para que haya una sustancia real para revisar, pero no tan completa que deje poco margen para modificaciones;
Seleccionar a los visitantes con cuidado para asegurar que tengan perspectivas diversas, posean el conocimiento y la experiencia adecuada, y sean percibidos como compañeros en lugar de superiores para los miembros del equipo cuya tecnología se está evaluando;
Asegurar un buen moderador para crear un ambiente de confianza, centrar la atención de los participantes y administrar el tiempo de manera eficiente;
Identificar y emplear un número limitado de criterios de evaluación claramente definidos;
Asegurar que las presentaciones y las visitas de campo estén bien planeadas y preparadas para garantizar que los visitantes tengan toda la información que necesitan para entender la metodología.