Este blog es el tercero de la serie sobre un ciclo de aprendizaje del Laboratorio de Aceleración del PNUD en México.  Junto con la Unidad de Evaluación del Desempeño de la Secretaría de Hacienda y Crédito Público (UED-SHCP), buscamos formas de potenciar la capacidad del Sistema de Evaluación del Desempeño (SED) para incorporar aprendizajes de quienes implementan programas públicos. En este blog te contamos cómo llegamos a nuestra primera serie de experimentos, que involucró el uso de las ciencias del comportamiento para mejorar la interacción entre la UED-SHCP y las Unidades Responsables (UR) de programas presupuestales. Las dos entradas anteriores las puedes leer aquí: primera y segunda.

La Matriz de Indicadores para Resultados

El SED es un sistema que involucra a múltiples instituciones y procesos (aquí puedes aprender un poco más). Dentro del SED, nos llamó la atención el proceso a través del cual las UR definen, bajo ciertos lineamientos y el acompañamiento de la SHCP, los indicadores con los que se monitorea su progreso en el logro de metas. En este proceso se presentan posibles juegos de incentivos y conductas adaptativas que nos parecieron muy interesantes. Al estar involucradas las personas implementadoras en la definición de los parámetros con que se monitorea su labor, se promueve una actitud propositiva que podría mitigar el rechazo a ser evaluado, además, quién mejor que quien implementa para bosquejar lo que es posible lograr dado el diseño y recursos de un programa. Por otro lado, también se abre la puerta a comportamientos adaptativos y la posible tentación de establecer métricas y/o metas conservadoras y fáciles de alcanzar.

Las UR están obligadas a definir los objetivos de sus programas, así como los componentes y actividades que van a realizar para alcanzarlos, con los recursos que les son asignados. Todo lo deben plasmar en una Matriz de Indicadores para Resultados (MIR) siguiendo la Metodología de Marco Lógico (MML), donde definen indicadores que den cuenta de los resultados e impacto de los programas. Una vez definida, la MIR se carga en una plataforma y las UR reportan periódicamente sus avances.

Cómo se ve el proceso de la MIR

Este es el proceso en el que decidimos concentrar el esfuerzo de nuestro ciclo de aprendizaje. Comienza cuando la UED-SHCP avisa a las UR de su obligación y organiza jornadas de capacitación para que las y los funcionarios cuenten con las competencias teóricas, metodológicas y técnicas necesarias para diseñar su MIR, cargarla en el sistema y darle seguimiento a sus indicadores.

Después de la capacitación, las UR hacen una primera versión de su MIR y la cargan en un sistema informático administrado por la UED-SHCP, el Programa Aplicativo de la Secretaría de Hacienda (PASH). La UED-SHCP revisa las MIR y, si considera necesario, ofrece asistencia técnica para que las UR mejoren el ejercicio. Así, van refinando las matrices hasta que se llega a una versión final.

Ya aprobada, es responsabilidad de las UR recopilar los datos para calcular los indicadores y reportar avances en el PASH. La UED-SHCP, que tiene acceso a todas las MIR, y utiliza esa información para realizar análisis y generar diagnósticos y reportes para las y los tomadores de decisiones, así como para mantener una plataforma donde el público puede consultar información. El proceso dura un año y cada año los programas pueden actualizar los indicadores de sus MIR.

Cómo nos gustaría que fuera el proceso

Tenemos un ideal, que compartimos con la UED-SHCP, de cómo debería funcionar el proceso de la MIR. Comienza porque las personas que tienen el nivel jerárquico suficiente para tomar decisiones sobre la implementación del programa se interesen y asistan a la capacitación con sus equipos. Que los equipos desarrollen un entendimiento sólido de la MML y conozcan el potencial que tiene la Gestión para Resultados (GpR) para mejorar el programa y abonar al PbR.

Luego, que regresen a sus oficinas e integren estas herramientas como piezas clave de su trabajo y no solo como un requerimiento de Hacienda. Y, finalmente, que toda la información sirva a la UED-SHCP para analizar, desde una perspectiva global, la estructura programática del gobierno, y generar diagnósticos y reportes de relevancia para la toma de decisiones.

Mucho de esto sucede, pero hay partes donde el sistema, tal y como está configurado, propicia comportamientos que se desvían de este ideal. Queremos comprender el sistema y entender dónde se generan estas desviaciones para probar alternativas que nos ayuden a encauzar la conducta de las personas utilizando hallazgos de las Ciencia del Comportamiento, la rama del cocimiento que combina la economía, la psicología y la neurociencia para comprender y explicar mejor el comportamiento humano y la toma de decisiones.

Los experimentos

Para comenzar a familiarizarnos con el proceso decidimos, junto con la UED-SHCP, dos puntos de entrada en los cuales diseñar experimentos. El primero es la invitación que la UED-SHCP envía a las UR, y el segundo es la capacitación de PbR que la UED-SCHP brinda. En etapas posteriores del ciclo tenemos planeado explorar otros elementos, dentro y fuera de este proceso, con los cuales experimentar.

Con la invitación, queremos probar formas distintas de entablar contacto con las UR para que la invitación llegue a quienes toman decisiones sobre el diseño del programa y la definición de indicadores de desempeño, y se interesen más en el SED. Con la capacitación, queremos probar distintos métodos de aprendizaje y cambios en la dinámica pedagógica para afianzar mejor el conocimiento y despertar mayor interés en las personas.

¿Eres funcionaria o funcionario público, conoces del tema y/o has recibido una capacitación de PbR de la SHCP? Puedes utilizar este canal para compartir con nosotros ideas sobre cómo mejorar esta experiencia y despertar mayor interés en las personas sobre la Gestión para Resultados. En el Laboratorio de Aceleración estamos creando la red de aprendizaje sobre retos del desarrollo sostenible más grande y ágil del mundo.