¿Cuál es el impacto de la evaluación de impacto?

La gran promesa de la evaluación de impacto es que la evidencia rigurosa que resulta de ellas permite diseñar mejores políticas públicas que aprovechan los éxitos y evitan los errores del pasado. Así, los resultados de una evaluación pueden dar luces sobre la efectividad de nuevas y viejas políticas, permitiendo escalar políticas exitosas y/o reducir, modificar o eliminar aquellas que no logran sus objetivos, mejorando poco a poco la gestión pública.

Esta promesa, y algunos éxitos claros, han llevado a gobiernos, multilaterales y ONGs a abocarse a utilizar y promover la evaluación de impacto para la gestión de sus políticas públicas y del desarrollo invirtiendo cuantiosos recursos. En CAF, por ejemplo, hace cinco años se fundó una Dirección de Evaluación de Impacto y Aprendizaje de Políticas que ya cuenta con 18 evaluaciones completadas y 63 activas.

Los que nos dedicamos a llevar a cabo evaluaciones de impacto aspiramos a hacer realidad esa promesa, y que los resultados de nuestras evaluaciones se discutan en las salas de conferencia de los ministerios que las impulsan, los congresos que las legislan, las ONGs que las promueven, y de decenas de otros gobiernos nacionales, regionales, y locales que están pensando en implementarlas, ayudando a todos a tomar mejores decisiones.

Pero, ¿será que la evaluación de impacto realmente alcanza esa promesa? ¿Se le habrá sacado provecho a los recursos hasta ahora invertidos en evaluar? Es decir… ¿Cuál será el impacto de la evaluación de impacto?

Aunque parezca trivial, esta última pregunta no es nada fácil de contestar, lo que ayuda a explicar la poca evidencia que existe sobre este asunto. El mayor reto para contestarla está en la construcción de indicadores estándar que permitan identificar, de forma confiable y comparable, la influencia de los resultados de las evaluaciones de impacto sobre las decisiones de recursos públicos o de desarrollo.

Esto implicaría poder comparar, por ejemplo, si un estudio sobre políticas sociales en Perú fue más o menos influyente sobre decisiones de recursos públicos que otro estudio sobre políticas de patrullaje policial en Colombia, y si los USD 100.000 que invirtió una ONG internacional en ellos valió la pena. Los retos para contestar la pregunta saltan a la vista, ¿cómo definimos el nivel de influencia? ¿Cómo logramos que esas definiciones sean comparables entre países o regiones?

Uno de los pocos esfuerzos conocidos por medir este impacto de las evaluaciones de impacto viene del Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) en México. Desde 2012, la institución cuantifica su contribución para mejorar el desempeño y la rendición de cuentas de la política de desarrollo social en el país como consecuencia de sus evaluaciones de impacto. Para ello, usan encuestas y data administrativa del Estado para medir indicadores como las mejoras a los programas y las políticas de desarrollo social derivadas del uso de la información del CONEVAL, la percepción de mejora del desempeño y la rendición de cuentas, el porcentaje de funcionarios que han considerado las recomendaciones recibidas del CONEVAL, y el índice de difusión de las evaluaciones.

En CAF hemos desarrollado nuestro propio instrumento que busca medir, un año después de cerradas, el impacto de nuestras evaluaciones de impacto sobre la institución implementadora de la política. El instrumento, que se le aplica a los formuladores de políticas públicas de las instituciones con las que trabajamos, pregunta sobre temas como la difusión de los resultados, el uso de los aprendizajes, y potenciales cambios en la cultura organizacional de las instituciones. La información obtenida en esta medición para los proyectos culminados entre 2012 a 2015 sugieren impactos prometedores aunque heterogéneos.

En la gran mayoría de los proyectos se reporta una buena difusión de resultados e interés por seguir haciendo evaluaciones de impacto, pero en solo alrededor de la mitad de los casos se afirma que las evaluaciones ayudaron a tomar decisiones sobre mantener, modificar o detener las políticas públicas que evaluaron y/o cambios en normativas. También, en todos los casos se registran mejoras en la generación y monitoreo de datos, pero en muy pocos casos se reportó haber designado personal específico para impulsar una agenda de aprendizaje dentro de la institución. Estos resultados son muy preliminares, y solo representan una línea base, pero dan idea de los retos que tenemos por delante en CAF.

Estos esfuerzos por medir el resultado de la evaluación de impacto son solo dos de varias iniciativas de un proceso que probablemente tomarán tiempo en alcanzar una definición. Ojalá más instituciones se sumen a este debate, criticando y aportando nuevas ideas que nutran la discusión y mejoren las herramientas. Hacerlo es fundamental, ya que la sostenibilidad de la evaluación de impacto dependerá de que se pruebe que ella misma tiene un impacto positivo y que es una de las claves para lograr el desarrollo económico y social de nuestros países.