5 respuestas a 5 objeciones para hacer una evaluación de impacto

Si bien las raíces de esas objeciones suelen ser legítimas, muchas veces no toman en cuenta el gran aporte de esta herramienta para la gestión pública. 

A continuación se exponen las objeciones más frecuentes, así como algunas respuestas a ellas:

1. No es necesario evaluar porque es evidente que el programa funciona. Muchas veces se cree que un programa tiene impactos positivos porque aparentemente es una solución muy razonable ante un problema, se tiene una alta seguridad de que su diseño fue realizado con la rigurosidad suficiente o se manejan datos que parecen afirmar esta impresión. A pesar de que eso sea cierto, la evaluación de impacto genera conocimientos adicionales a la comprobación objetiva de la funcionalidad de un programa. Por ejemplo, permite determinar su relación costo-efectividad (cuál es el efecto del programa por cada unidad monetaria invertida). De esta manera, realizar evaluaciones de impacto permite comparar entre distintas alternativas que busquen atacar el mismo problema para priorizar recursos hacia aquélla que resulte más efectiva, así como para tener argumentos objetivos para escalar o desmantelar los programas según sus resultados.
   
   
2. Las evaluaciones de impacto son muy costosas. Los mayores costos monetarios asociados a una evaluación de impacto están relacionados con el levantamiento de información cuando ésta no se encuentra previamente disponible. En consecuencia, todo programa que incluya dentro de sus procesos la fijación y recolección sistemática de datos, verá cómo los costos de evaluar se reducen considerablemente. Si lo anterior no es posible, existen instituciones comprometidas con la generación de evidencia que ofrecen financiamiento para este fin. Por ejemplo, la fundación británica Nesta cuenta con el Centre for Social Action Innovation Fund para financiar evaluaciones de impacto que indaguen sobre la efectividad de programas innovadores. Por otra parte, el costo de oportunidad de no evaluar un programa tiende a aumentar en función a su duración y tamaño. De esta manera, en el largo plazo siempre terminará siendo más costoso financiar un programa de amplio alcance con efectos bajos o negativos que el haber invertido recursos en el presente para evaluar su impacto y tomar decisiones basadas en sus resultados.
   
   
3. Las evaluaciones de impacto tardan demasiado. La duración de las evaluaciones de impacto depende en gran medida de la naturaleza de la intervención y las variables que se busca medir. Existen variables cuyos cambios tenderán a observarse en plazos largos (estatura y habilidades socioemocionales en niños, productividad empresarial, etc.) mientras que otras pueden ser alteradas en menor tiempo (consumo de calorías, recaudación tributaria, asistencia escolar, etc.). Independientemente del plazo, los resultados pueden llevar a cambios perdurables derivados del aprendizaje por los que vale la pena esperar. ay que recordar que no solo el programa evaluado mejoraría si estos ajustes se incorporan, sino que la evidencia generada puede quedar disponible como un insumo valioso para programas similares a futuro.
   
   
4. Las evaluaciones de impacto no son éticas cuando la asignación se hace de manera aleatoria. Cuando un programa enfrenta exceso de demanda (la cantidad de elegibles supera al número de cupos disponibles) la asignación al azar es un criterio justo para distribuir la participación en el mismo, ya que esto asegura que cada potencial beneficiario tenga la misma probabilidad de ser seleccionado. Este punto tiene aún más fortaleza cuando existan dificultades para fijar y medir los criterios que determinarían quiénes son aquellos beneficiarios que más necesitarían el programa.Aunado a esto, es una gran cantidad de casos no es necesario aleatorizar estrictamente la participación al programa sino el momento de entrada al mismo, lo cual se puede considerar una solución a este dilema y se adapta apropiadamente a las realidad del sector público, donde los recursos suelen ser menores que la necesidades.
   
   Por último, no hay que olvidar que la aleatorización es la forma más rigurosa para identificar los impactos del programa, por lo que se podría argumentar que siempre será más ético maximizar la calidad de la evaluación en la búsqueda de respuestas para asignar recursos de manera más eficiente (escalar un programa con efectos positivos o descontinuar) y generar aprendizaje perdurables y transmisible a otras instituciones.
   
   
5. Las evaluaciones de impacto son muy complicadas. Es cierto que su rigurosidad científica, mayor que en otro tipo de evaluaciones, requiere de conocimientos técnicos y estadísticos especializados. No obstante, carecer de especialistas en evaluación de impacto dentro de la institución no debería ser una restricción vinculante. Esto se debe a que existen organismos como CAF que ofrecen oportunidades de apoyo técnico y asesoría de expertos en este tema, con el objetivo de ayudar a la institución a responder preguntas relevantes para ella. Asimismo, algunas instituciones ofrecen seminarios y cursos (algunos gratuitos) que permiten entender las nociones básicas y conceptos elementales de la evaluación de impacto. 

Existe un tipo de medición de impacto que suele esquivar los argumentos presentados en esta nota: aquellas que permiten evaluar las maneras de mejorar un proceso institucional o la implementación de una política. Dichas iniciativas se enfocan en responder al “cómo” y no al “qué”, y en CAF las llamamos “Evaluaciones de Gestión”. Éstas han demostrado proveer resultados relativamente rápidos a un muy bajo costo político y representan un insumo especialmente relevante para aumentar la eficiencia de nuestras instituciones.