Seguimiento y Evaluación de Resultados e Impacto

 

Hola, qué tal?

En la clase de hoy se continuó desarrollando la Unidad IV de la materia. En esta ocasión se profundizó sobre criterios de Evaluación y los siguientes tres tipos de evaluación: SEGUIMIENTO, EVALUACIÓN DE RESULTADOS Y EVALUACIÓN DE IMPACTO.

Luego de un repaso sobre los elementos claves que forman parte de una intervención planificada, y los conceptos generales de evaluación (temas ya desarrollados en clases anteriores), se introdujo y desarrolló el tema de los criterios y variables típicos de una evaluación.

Criterios de Evaluación e indicadores de Evaluación

Estos criterios, como señalamos en clase, responden a diferentes puntos de vista o variables sobre las que se puede tener interés a la hora de evaluar una intervención. La Organización para la Cooperación Económica y el Desarrollo (OCDE) ha formalizado 5 criterios que hoy son de uso común a nivel internacional y siempre pueden ser usados como un punto de partida, aun cuando se decida enfocar la evaluación hacia criterios más específicos. En muchos organismos internacionales, cada evaluación debe hacer referencia a los cinco criterios, pero también es posible priorizar solamente los particulares, según lo que sirva al propósito de la evaluación en curso. Los cinco criterios de la OCDE son: Pertinencia, Eficacia, Impacto, Eficiencia y Sostenibilidad. La figura sintetiza a qué refiere cada uno de ellos.

sin-titulo-1

Pero, más allá del criterio, interesa pensar en el tipo de preguntas que le hacemos a la intervención (programa o proyecto) cuando abordamos cada criterio. A modo de ejemplo, acá van las principales preguntas para cada criterio o variable a estudiar.

Cuando queremos analizar la pertinencia de una intervención, podemos preguntar:

  • ¿En qué medida resulta adecuada la intervención para contribuir a la solución del problema central hacia el cual se dirige esa  intervención?
  • ¿En qué medida existe un consenso social (población objetivo, otros involucrados) respecto a los objetivos de la intervención?
  • ¿En qué medida existe una coherencia entre los objetivos de la intervención y la política del país o es que se presentan contradicciones?
  • ¿Los bienes y los servicios son accesibles de igual manera para toda la población beneficiaria (accesibilidad) o se observan patrones de exclusión?
  • ¿En qué medida la intervención contribuye a temas transversales definidos por parte del gobierno (por ejemplo Igualdad de género, sostenibilidad ecológica)?

Cuando queremos analizar la eficacia de una intervención, podemos preguntar:

  • ¿Qué cobertura (propuesta vs. alcanzada) ha logrado la intervención? ( relación entre el tamaño de la población objetivo y la población efectivamente beneficiada).
  • ¿Hasta qué punto los resultados alcanzados coinciden con las metas propuestas?
  • ¿Cuáles son los factores centrales que determinan el logro o no logro de los objetivos?
  • ¿Qué involucrados han contribuido en el logro de los resultados?
  • ¿Qué resultados no planeados, positivos o negativos, se han presentado? ¿Cómo se valoran dichos resultados en términos del éxito de la intervención?

Cuando queremos analizar la eficiencia de una intervención, podemos preguntar:

  • ¿Quién aplica qué recursos (humanos, financieros, otros) para la implementación de la intervención?
  • ¿En qué medida es adecuada la relación entre los recursos aplicados y los resultados alcanzados?
  • ¿Qué soluciones alternativas existen / hubieran existido para perseguir el mismo objetivo general?
  • ¿Se ha elegido la solución más apropiada en términos de eficiencia?
  • ¿En qué medida los recursos se han aplicado de una manera que ha maximizado los resultados obtenidos?

Cuando queremos analizar el  impacto de una intervención, podemos preguntar:

  • ¿Qué cambios (positivos o negativos) se observan a nivel de los resultados indirectos, por ejemplo, en la población objetivo, el entorno sectorial?
  • ¿Qué efectos tuvieron los resultados del proyecto?
  • ¿Cuáles de estos cambios pueden atribuirse (de manera plausible o metodológicamente confiable) a la intervención?
  • ¿En qué medida contribuye el programa a logros superiores de la política del país o de la comunidad internacional (por ejemplo Objetivos del Milenio)?

Cuando queremos analizar la sostenibilidad de una intervención, podemos preguntar:

  • ¿Qué resultados obtenidos van a perdurar más allá del final de la intervención?
  • ¿Cómo se valora la sostenibilidad en sus cuatro dimensiones (social, política, económica, ambiental)?
  • ¿Qué factores fomentan o amenazan la sostenibilidad?
  • ¿Qué instrumentos, métodos o conceptos se usan con el  fin de asegurar la sostenibilidad?

Además de los criterios anteriores, es importante prestar atención al tema de indicadores. Los indicadores nos ayudan a responder a la pregunta ¿cómo sabemos que los objetivos fueron o están siendo alcanzados?

indicadoresEste tema ya lo hemos desarrollado cuando analizamos el Enfoque del Marco Lógico, en el momento de formulación o diseño de un proyecto o programa. Acá adquieren relevancia, en tanto a través de ellos podremos observar el desempeño y los resultados de nuestra intervención. Sólo a modo de repaso, vale señalar que los indicadores son un medio de información específico que ofrece evidencia objetiva acerca de los logros de una intervención planeada. Ellos sirven para verificar si se están originando los cambios previstos tanto en cantidad como calidad para cada uno de los niveles de la intervención (productos, resultados, impacto).

Los indicadores, vistos desde la evaluación, son un medio para medir hechos en comparación con lo planificado en términos de calidad, cantidad y puntualidad. Deben ofrecer una evidencia objetiva (verificada independientemente) sobre el desempeño de una intervención. En términos generales, podríamos clasificar los indicadores en tres grandes grupos: (a) indicadores de realización o desempeño, (b) indicadores de resultados, y (c) indicadores de impacto (ver imagen).

Existe una gran variedad de indicadores. Hay indicadores cuantitativos (medido y contados), cualitativos (sentimientos, percepciones, juicios de valor), directos (por ejemplo, el porcentaje de empleo o el nivel de ingreso) e indirectos o proxi (medida que se obtiene a partir de varios indicadores, por ejemplo la cohesión grupal). La selección de uno u otro dependerá de los criterios y variables sobre los que pondremos énfasis en la evaluación que nos toque realizar, pero también sobre el tipo de intervención (programa o proyecto) y el momento en que realicemos la evaluación. A la hora de definir indicadores, podemos realizar preguntas como: ¿cómo sabremos (o demostraremos a otros) que los cambios anunciados en los resultados se han alcanzado satisfactoriamente?, ¿quién cambió como consecuencia de los resultados de las actividades del proyecto? y ¿qué cambió a causa del proyecto?. Para elegir buenos indicadores es necesario tener en cuenta, entre otros, los siguiente aspectos: (a) que sean ‘medibles’, (b) que sean ‘relevantes’ para los productos y objetivos identificados, (c) que sean suficientemente ‘específicos’ para cada nivel de resultados, y (d) que existan datos e información disponible a costos y esfuerzo razonable.

Una experiencia para ponerle algo de ‘realidad’ a los conceptos.

Una vez desarrollos los criterios de evaluación e indicadores, presentamos el caso ‘AGUA EN ARROYO BLANCO’ de Rivera, Uruguay. Se trata de una iniciativa de la repartición de Agricultura y Ganadería de Uruguay, la cual decide flexibilizar sus prioridades institucionales para atender necesidades centrales y sentidas por los pobladores de una comunidad rural del vecino país. La experiencia narra la historia y el desarrollo organizativo de una comunidad rural para acceder a una necesidad básica como es el agua potable, destacando todo el proceso de intervención (pasado, presente y perspectivas futuras de la comunidad). Es un caso interesante para identificar elementos básicos de un proyecto, así como el alcance y limitaciones de este tipo de intervención.

sin-titulo-2En esta ocasión utilizamos el caso para ejemplificar la ‘mirada’ particular que los tres tipos de evaluación (desarrollados más adelante) podrían tener sobre una misma experiencia. Una vez compartido el caso, comenzamos con el desarrollo conceptual de los tres tipos de evaluación analizados en esta clase.

Pero, volviendo al tema de los tipos de evaluación, vale recordar que mientras algunos de los enfoques se orientan hacia los resultados (en sus diferentes niveles de cambio) otros ponen énfasis en el proceso. Los primeros se ubican en el grupo conocido como evaluación sumativa, aquellas evaluaciones que se concentran sobre distintos aspectos y niveles de los resultados esperados o alcanzados por una intervención. Las evaluaciones de tipo sumativa tienen como finalidad comprobar si se han alcanzado los diferentes niveles de cambio, o si se han efectuado beneficios para la población objetivo y otros impactos deseados o no deseados. Este tipo de evaluaciones está principalmente destinado a quienes toman decisiones. En esta materia analizaremos tres enfoques de evaluación del tipo sumativa: el seguimiento o evaluación durante, la evaluación de resultados y la evaluación de impacto.

En la mayoría de los enfoques de evaluación orientada por resultados, como hemos visto, el énfasis central es la medición de los resultados e impacto del proyecto. Ahí, lo esencial de la evaluación es la valorización de las acciones emprendidas en una práctica, como el cumplimiento de metas y objetivos, la relación costo-beneficio en el uso de los fondos, la adecuación de los métodos a los objetivos, etcétera.

Otros enfoques de evaluación, como la sistematización de experiencias que veremos en una próxima clase, se orientan al aprendizaje y se conocen como evaluaciones de tipo formativas. Ellos pueden incluir elementos como ‘resultados’, ‘desempeño’ e ‘impacto’, pero lo esencial es su intento por captar el desarrollo de la experiencia. En estos enfoques, como la sistematización, interesa principalmente la comprensión de los procesos que se desarrollan en un determinado contexto para poder mejorar su implementación y rescatar los aprendizajes. A los efectos de resaltar lo específico de cada tipo de evaluación, y comprender cuáles son los tipos de evaluación de grupo sumativa que veremos en la materia, presentamos una figura que re-edita la gráfica de una intervención básica. En este caso incluimos ahí los diferentes tipos de evaluación y cómo cada uno de ellos pone una singular atención sobre diferentes aspectos de la intervención. Vale destacar que este gráfico no pretende ser exhaustivo, sino -simplemente- marcar, a modo de ‘trazo grueso`, las principales diferencias entre los abordajes que se pueden realizar sobre una experiencia (proyecto, programa o política).

sin-titulo-3

Ahora sí, hechas estas aclaraciones, nos concentramos en los principales aspectos de cada tipo de evaluación.

Evaluación Durante, Seguimiento o Monitoreo.

image001Continuando con la clase, desarrollamos primero este tipo de evaluación, conocida  como seguimiento, monitoreo o evaluación durante.  Comenzamos explicando que este tipo de evaluación consiste en “un proceso continuo y sistemático de recolección, análisis y uso de información sobre la ejecución del plan de trabajo para la toma de decisiones que permitan realizar ajustes y contribuya al logro de los objetivos priorizados” (Tapella, 2011).

Luego de ofrecer algunos elementos conceptuales, se enfatizó sobre el ‘por qué’ de este tipo de evaluación, destacando que el seguimiento:

  • permite tomar decisiones oportunas y fundamentadas para redireccionar o reprogramar las acciones, resignar recursos, modificar estrategias para alcanzar más y mejores logros;
  • permite saber si las metodologías de trabajo y las actividades son las adecuadas y si su implementación se desarrolla según lo esperado;
  • en escenarios sociales y culturales como los actuales, caracterizados por la alta incertidumbre y rápida velocidad de los cambios, el seguimiento nos permite estar alerta de los posibles riegos y/o problemas para evitar efectos negativos en la ejecución;
  • porque proporciona la información en tiempo real, necesaria para la gestión y sirve de insumos fundamentales para evaluaciones de resultados, impacto y sistematización.

El seguimiento abarca el uso de información sobre la marcha de un proyecto o programa. Se trata de rastrear la implementación, progreso, productos y resultados parciales de una intervención. El seguimiento se propone generar información oportuna para tomar decisiones o realizar ajustes respecto del plan original. Este tipo de evaluación focaliza en recursos, actividades, productos y resultados parciales, y sirve también para motivar a los actores claves a continuar la ejecución y reorientar el proyecto hacia los objetivos primariamente establecidos.

preguntas de seguimientoEl seguimiento de proyectos de pequeña escala o escala local debe prestar especial atención a: (1) las actividades principales y sus productos/resultados (indicadores), (2) comparar constantemente lo planeado con lo realizado, (c) el contexto y los supuestos sobre los que se basa el plan de trabajo, y (d) los recursos previstos para ser usados por el proyecto.

Como todo tipo de evaluación, el seguimiento implica realizar preguntas sobre la marcha de un proyecto o programa. ¿Tenemos suficientemente claro hacia dónde va nuestra intervención?, ¿El objetivo del plan de trabajo describe los cambios que se esperan alcanzar?, ¿Tenemos ‘hitos’, ‘indicadores de camino’ y ‘metas intermedias’ para reconocer la ‘trayectoria de nuestra intervención’?, ¿Quién los ha establecido?, ¿Intercambiamos opiniones sobre los indicadores elegidos, sobre si son adecuados o no? Estos tipos de preguntas son básicas e iniciales, aunque las mismas pueden ser complementadas con las preguntas que figuran en la siguiente gráfica.

Finalmente, se hizo referencia sobre aquellos aspectos que se deben tener en cuenta en cuanto la socialización de los hallazgos evaluativo. Se destacó que en todo tipo de evaluación, en cualquier momento que se realice, se deben efectuar socializaciones (devoluciones) apropiadas y oportunas a los interesados. Son las personas que están en terreno, donde tienen lugar las acciones, quienes primordialmente deben recibir tales devoluciones y tener la oportunidad de criticarlas y corregirlas. Los informes de seguimiento deben ser comprensibles para todos los involucrados y tener en claro que el hecho de brindar información garantiza  la transparencia de la gestión. Además, estos informes son la base para el aprendizaje organizacional y  la mejora institucional y social de quienes se desempeñan en este tipo de intervenciones.

Para profundizar sobre este tipo de evaluación y prepararse para el examen final, es necesario acceder a la bibliografía básica sobre el tema. Para acceder a conceptos prácticos y simples, revisen esta guía. Para profundizar sobre el diseño de un sistema de seguimiento de proyectos pueden acceder a este manual. Para profundizar sobre instrumentos, métodos y enfoques diversos de seguimiento y evaluación, acceder a este manual.  Para comprender la dimensión participativa del seguimiento, acceda a este documento.

Evaluación de Resultados e Impacto.

Estos dos tipos de evaluación, sobre los que suele haber confusión, se ubican luego de la ejecución de un programa o proyecto. Por ellos se los conoce también como Evaluación Ex – Post.  Aunque vale destacar que hay muchos otros tipos de evaluación ex – post, una de ellas la sistematización de experiencias, que veremos más adelante en la materia. Como decíamos, tanto la evaluación de resultados como de impacto, son realizadas una vez que el proyecto ha concluido su ejecución.

La evaluación de resultados tiene la finalidad de realizar un análisis valorativo del proyecto para determinar la medida en que el mismo alcanza sus objetivos, particularmente los cambios de segundo nivel, que son responsabilidad directa del proyecto.

La evaluación de resultados tiene, por lo general, dos dimensiones, el análisis de la efectividad y el análisis de la eficiencia. El análisis de la efectividad, muchas veces usado como sinónimo de eficacia, mide el grado en que los resultados han sido alcanzados, es decir, en qué medida un proyecto o plan de trabajo alcanza sus objetivos en un período determinado, independientemente de los costos que ello implique. Se concentra principalmente sobre el análisis de los productos y resultados alcanzados comparados con los objetivos y metas expresados en el diseño del proyecto/programa. Por su parte, el análisis de la eficiencia procura determinar de qué manera un proyecto hace uso de los medios disponibles, cómo se realizan las actividades y de qué modo se alcanzan los resultados previstos. La eficiencia valora la forma en la que se utilizan los recursos que se consumen durante la ejecución, procurando así medir el rendimiento del proceso de ejecución. Se concentra principalmente sobre el análisis de las actividades y sus costos y los productos y resultados del proyecto.

L evaluación de impacto, por su parte, presta especial atención al cambio en la vida de las poblaciones como consecuencia de los resultados de una intervención. Es decir, analiza los efectos que los resultados del proyecto o plan de trabajo han generado respecto de la situación inicial. Estos cambios pueden ser positivos o negativos, deliberados o involuntarios, directos o indirectos, esperados o inesperados. Este tipo de evaluación compara principalmente la situación inicial (sin intervención) y la situación final (luego de un tiempo de finalizado el proyecto/programa).

La evaluación de impacto, según la define la OCDE, se concentra sobre “los efectos a largo plazo, positivos y negativos, primarios y secundarios, producidos por una intervención de desarrollo, sean directos o indirectos, esperados o no. Estos efectos pueden ser económicos, socioculturales, institucionales, ambientales o de otro tipo” (OECD, 2002). Acá, en lugar de comparar los objetivos y los resultados de un proyecto o programa, se presta especial atención al cambio en la vida de las poblaciones como consecuencia de los resultados de una intervención. Es decir, analiza los efectos que los resultados del proyecto o plan de trabajo han generado respecto de la situación inicial. Como se evidencia en la imagen, estos dos tipos de evaluación tienen en común el momento en tanto ambas son evaluaciones ex – post. Ambas se concentran sobre lo que podríamos llamar el “para qué” de una intervención planificada.

EVALUACION RESULTADO E IMPACTO

Entonces, ¿qué debiéramos incluir en una “evaluación de resultados e impacto rigurosa”?

sin-titulo-4Tomando la gráfica anterior, podríamos decir que, en torno a los resultados, una evaluación debiera preguntarse principalmente en torno a la relación causa-efecto directa entre un producto (o un limitado número de productos) y un resultado que puede ser medido al final de proyecto. Esto es, encontrar una atribución clara entre las acciones y los resultados. En torno al impacto, una evaluación debiera preguntarse sobre los cambios en el más alto nivel, esto es indicadores sobre mejoras sostenidas en la calidad de vida de la gente (por ejemplo los Objetivos de Desarrollo del Milenio). En la gráfica se ilustra el énfasis de cada tipo de evaluación (resultados e impacto) según el tipo de preguntas que pretende resolver.

Si bien parece relativamente simple, este tema de evaluación suele prestarse a confusión. Muchos confunden evaluación de resultados con evaluación de impacto, y cuáles son sus particulares miradas respecto de una intervención. Recomendamos revisar diferentes documentos disponibles en la biblioteca virtual de la materia para la Unidad IV. Estos documentos, entre otros, les permitirá comprender con más precisión de qué se trata cada tipo de evaluación, a saber: (a) Diseño del sistema de seguimiento y evaluación de los proyectos (b) Términos clave sobre seguimiento y evaluación de proyectos, (c) Manual de evaluación de impacto de programas y proyectos, y (d) Los Estudios de Base o Línea de Base. Para ejemplificar y profundizar, revisar otros materiales de la biblioteca o consultar al equipo cátedra.

Saludos cordiales,

El equipo de planificación.

 

 

Anuncios
de planificacionsocialunsj Publicado en Clases

Preguntas - Comentarios

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s