7 claves para triunfar en la Convocatoria del llamado por una #MejorGestión

En CAF -banco de desarrollo de América Latina- estamos buscando iniciativas de gestión pública o programas públicos que contribuyan a mejorar la forma en que se provee un servicio, así como la calidad de un proceso interno en una municipalidad, departamento nacional o ministerio. 

Para esto, con la I Convocatoria internacional CAF de evaluaciones de impacto para una mejor gestión estamos poniendo a disposición de los entes públicos de la región nuestros recursos y amplia experiencia, con la finalidad de ayudar a generar aprendizajes de calidad y promover el uso de evidencia rigurosa en la toma de decisiones. 

Desde la apertura de la convocatoria, hemos seleccionado 9 proyectos para darles apoyo en el diseño e implementación de evaluaciones de impacto de la más alta rigurosidad científica. Sin embargo, la segunda ventana del llamado estará abierta hasta el 1 de noviembre y se espera seleccionar alrededor de 7 propuestas adicionales. 

A continuación compartimos algunas claves para aquellas instituciones interesadas en participar: 

1. Claridad sobre el programa o iniciativa a evaluar: Para que podamos determinar la factibilidad de una evaluación necesitamos entender con detalle qué objetivos se quieren lograr con el programa y cómo se logran: a través de qué actividades, dónde, cuándo y sobre quién. De igual forma, es necesario entender claramente cómo funciona el programa y tener muy clara la teoría de cambio que va desde la intervención hasta la materialización de los beneficios, o hasta que se considere que el problema de gestión planteado ha sido resuelto. Una buena pregunta de evaluación no puede surgir si no hay un entendimiento profundo sobre lo que se quiere evaluar o, como mínimo, sobre la pregunta de gestión que se quiere responder. 
2. Beneficiaros claramente identificados: Es necesario cuantificar cuánto beneficio se ha generado, lo que requiere que haya claridad, en el contexto del programa, sobre qué se entiende por un beneficio y cómo se puede medir. En la evaluación de programas esto implica identificar quién recibe el beneficio y cómo se materializa el mismo. En evaluaciones de gestión, implica entender qué proceso se busca mejorar y cuándo se puede considerar que la mejora ha ocurrido. La unidad que se beneficia (bien sea una persona, una firma, una manzana, una familia, productor, un colegio o un proceso de pago, por ejemplo) tiene que estar claramente identificada y tiene que ser contable. 
3. Selección de beneficiarios casi aleatoria: Una evaluación rigurosa no se puede realizar si no es posible aislar los efectos del programa o iniciativa a evaluar, de otros factores que intervengan sistemática o circunstancialmente. Lograr esto requiere que la selección de las unidades sea aleatoria, o que dependa de alguna característica casi continua, o que no esté relacionada con las variables de impacto (la inicial del apellido, el primer número del documento de identidad, un puntaje u otro criterio numérico, etc.). Una selección de este tipo requiere modificar los criterios de selección usuales de un programa, pero esto es posible en casos en que se quiera pilotar una iniciativa e incluso, cuando hay exceso de demanda, es la forma más justa de seleccionar beneficiarios, ya que no se beneficia ni perjudica a nadie puntualmente. En ocasiones cuando no hay exceso de demanda, pero hay restricciones para atender a todos los beneficiarios simultáneamente, una posibilidad es sortear el orden en que cada unidad recibe el programa. 
4. Número de beneficiarios grande: La comparación entre un par de individuos, uno de los cuales es beneficiario de programa y otro que no, no es suficiente para calcular el impacto del programa. Dado que hay muchos factores externos desconocidos que pueden incidir en la forma en que un programa provee o no beneficios, necesitamos medir después del programa que ocurrido con muchos beneficiarios y compararlos con muchos no beneficiarios. El número preciso puede variar dependiendo de cuán grande sea el beneficio esperado del programa, pero en general esperamos que sea mayor a 30 o 40 unidades (sumando el grupo de tratados y el grupo de control). Un grupo más pequeño hace que sea técnicamente más difícil detectar impactos incluso cuando estos existen y son moderados o grandes, pero esto es aún más difícil cuando los efectos existen y son pequeños.
5. Disponibilidad de datos administrativos: Medir el impacto requiere información sobre las unidades beneficiarias o procesos que se espera mejoren como consecuencia del programa. Esto es mucho más sencillo si la institución ya cuenta con datos generados administrativamente, de forma periódica, a nivel de las unidades beneficiarias y disponibles en formato digital. 
6. Flexibilidad institucional: En ocasiones hacer la evaluación requiere modificar ligeramente la forma en que el programa funciona. A veces solo es necesario modificar la forma en que se selecciona a los beneficiarios, otras veces se requieren cambios en la forma en que se implementa el programa, o a veces es necesario implementar el programa de forma diferente para comparar los resultados con lo que ocurriría bajo la implementación estándar. En todo caso, aunque los cambios son menores y no buscan alterar el espíritu del programa, se requiere que la institución tenga la disposición de realizar e implementar estos cambios. 
7. Tener una necesidad de aprendizaje: La evaluación es, sobre todo, una oportunidad para aprender de la gestión propia y de identificar espacios de mejora institucional para quien evalúa. Por lo tanto, cualquier esfuerzo de evaluación parte primordialmente de la pregunta del implementador y de deseo por aprender, por saber más y por mejorar.