Realist evaluation
La evaluación realista es una forma de evaluación dirigida por la teoría, pero se distingue por sus fundamentos filosóficos explícitos.
Nota: Esta página no contiene la versión más reciente del contenido. Por favor, consulte la versión en inglés para el contenido más reciente.
Pawson y Tilley (1997) desarrollaron el primer enfoque de evaluación realista, aunque desde entonces se han desarrollado otras interpretaciones. Pawson y Tilley argumentaron que, para ser útiles para los tomadores de decisiones, las evaluaciones deben identificar ‘¿qué funciona en qué circunstancias y para quién?’, en lugar de simplemente ‘¿funciona?’.
La pregunta realista completa es: "¿Qué funciona, para quién, en qué aspectos, en qué medida, en qué contextos y cómo?". Para responder a esta pregunta, los evaluadores realistas buscan identificar los mecanismos generativos subyacentes que explican "cómo" se causaron los resultados y la influencia del contexto.
La comprensión realista de cómo funcionan los programas
La filosofía realista (Pawson y Tilley usan el término "realismo científico") considera que una intervención funciona (o no) porque los actores toman decisiones particulares en respuesta a la intervención (o no). El "razonamiento" de los actores en respuesta a los recursos u oportunidades proporcionados por la intervención es lo que causa los resultados.
Estrictamente hablando, el término "mecanismo generativo" se refiere a los impulsores sociales o psicológicos subyacentes que "causan" el razonamiento de los actores. Por ejemplo, un programa de habilidades para padres puede haber logrado diferentes resultados para los padres y las madres. El mecanismo que genera diferentes "razonamientos" por parte de las madres y los padres puede relacionarse con las normas sociales dominantes sobre los roles y responsabilidades de las madres y los padres. Mecanismos adicionales pueden estar situados en esferas psicológicas, sociales u otras.
El contexto importa: en primer lugar, influye en el "razonamiento" y, en segundo lugar, los mecanismos generativos solo pueden funcionar si las circunstancias son correctas. Volviendo a nuestro ejemplo, puede haber diferentes creencias sociales acerca de los roles y responsabilidades de las madres y los padres en diferentes culturas, lo que puede afectar la forma en que los padres responden al programa de crianza. Si los padres pueden poner en práctica su nuevo aprendizaje dependerá de una serie de factores, tal vez el tiempo que tengan disponible, sus propias creencias sobre la crianza de los hijos o su salud mental. Finalmente, el contexto puede proporcionar explicaciones alternativas de los resultados observados, y estos deben tenerse en cuenta durante el análisis.
Emprendiendo una evaluación realista
Desarrollando la teoría inicial del programa
La evaluación realista comienza con la teoría y termina con la teoría. En otras palabras, el propósito de una evaluación realista es tanto probar y perfeccionar la teoría del programa como determinar si el programa funcionó en un entorno particular y cómo lo hizo.
La teoría del programa describe cómo se espera que la intervención conduzca a sus efectos y en qué condiciones debe hacerlo. La teoría inicial del programa puede basarse en investigaciones, conocimientos, experiencias y suposiciones previas de los diseñadores de la intervención sobre cómo funcionará la intervención. La diferencia entre los enfoques de evaluación realista y otros tipos de evaluación, basada en la teoría, de los programas es que una teoría de programas realista especifica qué mecanismos generarán los resultados y qué características del contexto afectarán si esos mecanismos funcionan o no. Idealmente, estos elementos (mecanismos, resultados, contexto) se explicitan en la etapa de diseño de la evaluación, ya que permite diseñar la recopilación de datos para enfocarse en probar los diferentes elementos de la teoría del programa.
Eligiendo los métodos de evaluación
La evaluación realista es método-neutral (es decir, no impone el uso de métodos particulares).
Al igual que con cualquier evaluación, la elección de la recolección de datos y los métodos y herramientas de análisis deben guiarse por los tipos de datos necesarios para responder a las preguntas de la evaluación o, más específicamente, para probar la teoría inicial del programa en todas sus dimensiones.
Por lo general, los datos cuantitativos y cualitativos se recopilan en una evaluación realista, a menudo con datos cuantitativos centrados en el contexto y los resultados, y datos cualitativos centrados en mecanismos generativos. Debido a que el análisis realista utiliza principalmente comparaciones intra-programa (es decir, comparaciones entre diferentes grupos involucrados en el mismo programa) para probar la teoría inicial, un diseño de evaluación realista no necesita construir grupos de comparación. Más bien, la teoría refinada del programa se probará posteriormente en un contexto diferente en un próximo estudio. A menudo se utiliza el diseño del estudio de caso, por lo que la selección de casos es generalmente intencional, ya que los casos deberían permitir la "prueba" de la teoría inicial del programa en todas sus dimensiones.
Utilizando un enfoque realista de análisis de datos
El análisis realista de datos está impulsado por los principios del realismo: la evaluación realista explica el cambio provocado por una intervención al referirse a los actores que actúan y cambian (o no) una situación en condiciones específicas y bajo la influencia de eventos externos (incluida la intervención misma). Se considera que los actores y las intervenciones están integrados en una realidad social que influye en cómo se implementa la intervención y cómo los actores responden a ella (o no). La configuración de contexto-mecanismo-resultado (CMO, por sus siglas en inglés) se utiliza como la estructura principal para el análisis realista.
En la primera fase del análisis, los datos se organizan en relación con la teoría inicial del programa, es decir, si los datos se relacionan con lo que se hizo (las actividades de intervención) o con el contexto, el mecanismo, el resultado y (grupos de) actores. Los datos cualitativos están codificados y se aplican métodos apropiados para analizar datos cuantitativos. Los datos sobre los resultados se desglosan por subgrupos (que se seleccionaron sobre la base de la teoría del programa).
Una vez que se identifican los patrones de resultados, se pueden analizar los mecanismos que generan esos resultados, siempre que se disponga de los tipos de datos correctos. Los contextos en los que los mecanismos particulares "activaron", o no, se pueden determinar. Los contextos pueden relacionarse con los subgrupos para los cuales se generaron resultados y/o con otros actores, procesos de implementación, condiciones organizativas, socioeconómicas, culturales y políticas.
El proceso analítico no es necesariamente secuencial, pero debería dar lugar a un conjunto de declaraciones de "contexto-mecanismo-resultado" (CMO): "En este contexto, ese mecanismo en particular se activó para estos actores, generando esos resultados. En ese contexto, este otro mecanismo se activó, generando estos resultados diferentes".
La última fase del análisis consiste en determinar qué configuración(es) de CMO ofrece la explicación más sólida y plausible del patrón observado de los resultados. Esta configuración de CMO resultante se compara con la teoría inicial del programa, que se modifica (o no) según los hallazgos de la evaluación.
Utilizando los hallazgos de la evaluación realista
Tanto los mecanismos generativos como las teorías de programas pueden considerarse a diferentes niveles de abstracción, desde muy específicos (individuos particulares dentro de programas particulares) hasta bastante abstractos (a través de diferentes tipos de programas). Pawson y Tilley argumentaron que las "teorías de rango medio"* (MRT, por sus siglas en inglés) son las más útiles. Las MRT son lo suficientemente específicas para generar proposiciones particulares para probar y lo suficientemente generales para aplicar en diferentes situaciones. Normalmente, las MRT se desarrollan a lo largo del tiempo en base a acumulación de conocimientos adquiridos a través de una serie de estudios que permiten una especificación gradual de los hallazgos realistas. Todos los tipos de teoría en la evaluación realista (teoría de programas, teorías sobre mecanismos particulares, CMO y teoría formal) son más útiles si se desarrollan en un nivel medio de abstracción.
Debido a que la evaluación realista utiliza la idea de causalidad generativa (es decir, los mecanismos solo se activan cuando el contexto es propicio), los realistas son modestos en sus afirmaciones, indicando que una evaluación no puede producir resultados universalmente aplicables. En el mejor de los casos, la evaluación puede dar sentido a los procesos complejos que subyacen a los programas al formular explicaciones plausibles ex post. Puede indicar las condiciones en las que la intervención funciona (o no) y cómo lo hacen. Esta especificación realista permite a los tomadores de decisiones evaluar si las intervenciones que tuvieron éxito en un entorno pueden tener éxito en otro, y ayuda a los planificadores de programas a adaptar las intervenciones a los contextos específicos.
*Una teoría de rango medio se entiende como "la teoría que se encuentra entre las hipótesis de trabajo menores pero necesarias... y los esfuerzos sistemáticos integrales para desarrollar una teoría unificada que explique todas las uniformidades observadas de comportamiento social, organización social y cambio social" [Merton, RK. (1968). Teoría social y estructura social. Nueva York: The Free Press, p39]. En esencia, "rango medio" se refiere al grado de abstracción y puede referirse a la teoría de programas, mecanismos generativos, CMOs, teorías formales, etc.
Ejemplo
Prácticas de gestión hospitalaria en Ghana
Presentamos un ejemplo de un estudio realista de las prácticas existentes dentro del sistema de atención médica en Ghana; no es una evaluación de una intervención per se. Por lo tanto, nos referimos a la teoría de rango medio (MRT, por sus siglas en inglés) en lugar de a la teoría de programas.
Existe un considerable debate sobre los resultados de la gestión de recursos humanos (HRM, por sus siglas en inglés) y aún más sobre los métodos para demostrarlos. En general, los resultados proximales se pueden describir en tres categorías: (1) mejor disponibilidad del personal; (2) mejores actitudes y afectos del personal (compromiso, satisfacción en el trabajo) y (3) mejor comportamiento del personal (mayor desempeño de tareas y comportamiento de ciudadanía organizacional, menor ausentismo).
En una serie de estudios de caso de hospitales regionales y distritales en Ghana, evaluamos el papel de las prácticas de gestión hospitalaria en el desempeño organizacional. La MRT se desarrolló a través de: una visita exploratoria del hospital regional central durante la cual se entrevistó al personal; una revisión bibliográfica sobre la gestión de recursos humanos y el rendimiento hospitalario que condujo al concepto de "gestión de alto compromiso"; y, repasando investigaciones previas sobre cultura organizacional.
Hemos formulado la MRT de la siguiente manera:
“Los administradores de hospitales de buen desempeño despliegan estructuras organizativas que permiten la descentralización y equipos auto-gestionados y estimulan la delegación de toma de decisiones, buenos flujos de información y transparencia. Sus paquetes de HRM combinan seguridad en el empleo, compensación adecuada y capacitación. Esto resulta en un fuerte compromiso y confianza organizacional. Las condiciones incluyen líderes competentes con una visión explícita, espacios relativamente grandes para la toma de decisiones y recursos adecuados”.
Inicialmente seleccionamos "compromiso organizativo" y "confianza" como resultados inmediatos de la gestión de recursos humanos, porque nuestra revisión inicial de la literatura indicó que a menudo se encuentra que estos resultados explican el efecto de una gestión de alto compromiso. Las revisiones posteriores de la literatura señalaron la noción de respaldo organizativo percibido (POS, por sus siglas en inglés) como un factor determinante importante del compromiso organizacional e indicaron que la gestión de un alto compromiso induce al POS. POS se refiere a la percepción del personal operativo de que la organización los respalda y reconoce efectivamente. Esto proporcionó una explicación potencial en forma de una ruta causal entre las prácticas de gestión y el compromiso organizacional.
El estudio comenzó con un estudio de caso de un hospital con buen desempeño, en el que el estilo de administración y sus efectos se evaluaron sobre la base de la teoría inicial de rango medio. Las entrevistas con los miembros del equipo de administración y el personal operativo combinados con el análisis de datos cuantitativos nos permitieron identificar dos conjuntos distintos de prácticas según su mecanismo clave:
La primera CMO se puede resumir de la siguiente manera: un equipo de administración del hospital puede lograr un mayor compromiso organizacional si sus prácticas de gestión actúan sobre el intercambio económico y el intercambio social. Cuando el personal percibe altos niveles de apoyo de gestión o respaldo organizativo percibido (intervención), desarrollará comportamientos de rol adicionales, como trabajar hasta más tarde, los comportamientos de ciudadanía organizacional, etc. (resultados) sobre la base de reciprocidad (mecanismo), incluso en hospitales con márgenes limitados de libertad de contratación, escalas salariales, ascensos y despidos (contexto).
La segunda configuración de CMO se puede resumir como "mantener los estándares de excelencia a través de la cultura organizacional". Construyendo sobre la base del 'capital humano' dentro de su personal y en un contexto organizativo de disponibilidad de recursos relativamente buena y profesionales bien capacitados (contexto), los gerentes desarrollaron un conjunto integral de prácticas de gestión tanto 'duras' como 'blandas' que respondieron a las necesidades del personal y les permitió mantener sus estándares profesionales (intervención). Esto contribuyó a una fuerte cultura organizativa positiva (resultado inmediato) que contribuyó y mantuvo los estándares de desempeño en un nivel alto (resultado intermedio) y al desempeño organizacional (resultado distal).
En una próxima ronda de estudios de casos, probamos la teoría del programa refinado en otros hospitales. Estos estudios de caso confirmaron la importancia del respaldo organizativo percibido (POS), pero también indicaron que el respaldo supervisado percibido (PSS, por sus siglas en inglés) es un determinante importante que podría actuar como un sustituto del POS y que también está activando el comportamiento recíproco. Se encontró que PSS estaba operando en el caso de perfiles no profesionales como personal de mantenimiento y administrativo. Para más detalles, nos referimos a Marchal et al. (2010a) y a Marchal et al. (2010b).
Consejo
Consejo para ELEGIR este enfoque (recomendaciones y trampas)
Un diseño de evaluación realista es adecuado para evaluar cómo funcionan las intervenciones en situaciones complejas porque le permite al evaluador desarmar la red causal de las condiciones subyacentes a dichas intervenciones.
Una evaluación realista proporciona información que indica cómo funciona la intervención (es decir, mecanismo generativo) y las condiciones que se necesitan para que un mecanismo en particular funcione (es decir, especificación de contextos) y, por lo tanto, es probable que sea más útil para los responsables de la formulación de políticas que otros tipos de evaluación.
Al igual que con cualquier evaluación, el alcance de la evaluación realista debe establecerse dentro de los límites de tiempo y recursos disponibles. El uso de un enfoque realista para la evaluación no es necesariamente más intensivo en recursos o tiempo que otras evaluaciones basadas en la teoría, pero puede ser más costoso que un simple diseño de evaluación inicial y final.
Consejo para UTILIZAR este enfoque (recomendaciones y trampas)
Evaluaciones realistas de gran escala o más complicadas son idealmente llevadas a cabo por equipos interdisciplinarios, ya que esto normalmente permite una consideración más amplia de mecanismos probables. Sin embargo, es posible realizar una evaluación realista con profesionales individuales y en evaluaciones a pequeña escala.
Si la teoría del programa/MRT se hace explícita junto con los actores principales, puede llevar a una mejor comprensión compartida de la intervención. Esto, a su vez, podría mejorar la apropiación y conducir a intervenciones más adecuadas al contexto.
Desarrollar la teoría causal también puede contribuir a una mejor definición de lo que se necesita evaluar y, por lo tanto, cuáles son las preguntas clave de la evaluación.
Permitir suficiente tiempo para evaluar las interacciones entre la intervención, los actores y el contexto.
Este texto fue traducido como parte de una cooperación entre BetterEvaluation, DEval y ReLAC, con apoyo financiero del Ministerio alemán Federal de Cooperación Economica y Desarrollo.