Aprendizajes institucionales a partir de una evaluación de procesos
Este blog fue escrito por Cecilia Paniagua y Agustina Hatrick
Existen distintos tipos de evaluación que pueden ser útiles y muy enriquecedores a la hora de generar aprendizajes y mejoras institucionales. En un reciente proyecto liderado conjuntamente por CAF y el Ministerio de Inclusión Económica y Social (MIES) de Ecuador, ganador de la primera Convocatoria Internacional CAF de Evaluaciones de Impacto para una mejor gestión pública, se llevó adelante una evaluación de procesos (EP) de las capacitaciones brindadas a los beneficiarios del Crédito de Desarrollo Humano (CDH).
El CDH, desde su creación en 2007, tiene como objetivo facilitar que las personas en condición de pobreza accedan a financiamiento y utilicen estos recursos para generar emprendimientos productivos que les permitan mejorar sus ingresos, alcanzar autonomía económica y ascender socialmente. Este beneficio consiste en un anticipo de las cuotas de Bono de Desarrollo Humano (BDH), que los beneficiarios dejan de percibir durante uno o dos años, condicionado a la realización de capacitaciones, las cuales tienen como objetivo brindar conocimientos a los beneficiarios para desarrollar y fortalecer sus emprendimientos productivos.
En el marco de la agenda de aprendizaje consensuada conjuntamente entre CAF y el MIES, que incluía también la realización de una evaluación de impacto, surgió la necesidad de evaluar si el programa estaba implementándose de acuerdo a lo planeado, qué tan bien estaba funcionando y si existían fallas por qué podrían ocurrir. Esto es lo que se conoce como una evaluación de procesos (EP). La EP es el análisis sistemático de un programa que busca, por un lado, identificar cómo los procedimientos y las actividades conducen al logro de los resultados definidos en el diseño y, por otro, detectar cuellos de botella que hayan podido afectar la aplicación de estos procedimientos y actividades, de tal manera que se puedan identificar oportunidades de mejora y brindar recomendaciones.
Para poder realizar esta EP, y contribuir al monitoreo y seguimiento de la intervención, se analizó información de distinta índole:
- Información administrativa y de procesos proporcionada por el MIES: norma técnica de las escuelas de inclusión, norma técnica de monitoreo, manual de operación de gestión de servicios de inclusión económica (que incluía el flujograma de la intervención), registros administrativos de inscripción del programa y de cumplimiento de las capacitaciones.
- Información cualitativa y cuantitativa recolectada en el territorio. Primero, se analizaron los contenidos de los cursos a partir de los materiales utilizados para impartir los módulos de capacitación. Segundo, se analizó la adecuación de los perfiles de los capacitadores a partir de información de sus hojas de vida. Tercero, se realizaron consultas puntuales al personal del MIES en el territorio para conocer sus apreciaciones sobre el programa. Cuarto, se confeccionaron y aplicaron encuestas de percepción tanto a los beneficiarios de CDH como a los capacitadores para conocer su opinión sobre la calidad de la capacitación, la utilidad y aprendizaje del curso, la calidad y cantidad de los materiales, las condiciones de infraestructura y la organización de la capacitación.
A partir de la información analizada, se pudo detectar que existían ciertas fallas en los procesos y en la forma en que las capacitaciones estaban siendo impartidas a la población objetivo. Entre las fallas encontradas se destacan:
- ausencia de curso de formador de formadores para los distintos capacitadores que participaron de la iniciativa (provenientes de distintos bancos e instituciones),
- falta de una mayor adecuación de los perfiles de los capacitadores,
- ausencia de estandarización de contenidos entre los distritos
- falta de adecuación de los contenidos para un público diverso (para que sea entendible para personas que no saben leer ni escribir o bien hablan en otras lenguas regionales distintas al castellano),
- falta de ejercicios prácticos (para aplicar los contenidos teóricos enseñados),
- no se entregaron materiales a los asistentes como anotadores, folletos o la presentación (pues al retirarse de la capacitación no les quedaba ningún material de consulta).
Asimismo, dentro del plan de operaciones del programa se detectaron algunas fallas adicionales, a saber: demoras en carga de información al sistema, duplicación de información solicitada a beneficiarios, necesidad de brindar mayor información a los beneficiarios al momento de contactarlos para las capacitaciones, entre otros.
En el esquema 1, que muestra de manera simplificada la teoría de cambio de esta intervención, podemos observar que buena parte de estas fallas afectan los insumos y actividades, los cuales podrían limitar los resultados intermedios e impactos esperados del programa.
A la luz de las fallas y oportunidades de mejora detectadas, se decidió no realizar la evaluación de impacto y se discutieron con el MIES posibles acciones a implementarse en el corto plazo que permitieran mejorar los procesos. También, se reflexionó sobre algunos ajustes que podrían introducirse en el mediano plazo para adecuar la capacitación a las necesidades de la población objetivo y aumentar su potencial impacto.
El camino de aprendizaje y de mejora recorrido con el MIES nos permite extraer reflexiones relevantes para la política pública: la realización de una evaluación de procesos es de suma importancia ya que permite detectar fallas e identificar oportunidades de mejora para, en última instancia, garantizar la efectividad de los objetivos del programa. Adicionalmente, las EP aportan conocimiento útil que permite mejorar la gestión no solo del programa evaluado sino también de otros programas implementados por la institución . Por último, vale destacar que para que estas experiencias de aprendizaje sean provechosas es crucial que, como ocurrió con el MIES, las instituciones estén receptivas a aprender sobre sus programas y comprometidas con mejorar la gestión pública.
