Construyendo un sistema de monitoreo y evaluación basado en resultados para el desarrollo social Versión preliminar Junio 8, 2008
Introducción La gestión para resultados es un enfoque orientado a mejorar el desempeño de las instituciones públicas, buscando una mayor eficiencia y efectividad en el uso de los recursos. A través de la gestión para resultados se persiguen al menos tres objetivos. En primer lugar, orientar las acciones del gobierno en la provisión de bienes y servicios para alcanzar metas cuantificables, de manera eficiente. En segundo lugar, promover la toma de decisiones con base en evidencia. Finalmente, se busca atender las demandas de la sociedad en materia de transparencia y rendición de cuentas. Este enfoque ha sido utilizado en las últimas décadas en distintos países miembros de la Organización para la Cooperación y el Desarrollo Económico (OCDE). Desde el año 2000, más del 75% por ciento de los países miembros de la OCDE reportaban utilizar información sobre desempeño en los procesos de presupuestacion1. Entre los países con mayor experiencia se pueden mencionar al Reino Unido con la introducción desde 1982 del Financial Managment Initiative y Nueva Zelanda con la introducción (1984) de un sistema de relaciones intra-gubernamentales que consiste en contratos de servicios (purchase agreements), suscritos entre los ministros y los órganos ejecutores dotados de autonomía administrativa, conteniendo términos de referencia expresados en indicadores de resultados. Posteriormente, en 1993 en Estados Unidos se aprobó la Ley de Desempeño y Resultados del Gobierno (Government Performance and Results Act) que procura la instalación de un sistema presupuestario basado en el desempeño y en la flexibilidad gerencial, el cual concluye con un proceso de informe programático que se entrega al Congreso para apoyar la discusión presupuestal2. En años más recientes existen también ejemplos de esfuerzos similares en países latinoamericanos como Argentina, Colombia y Chile3. Este último constituye uno de los referentes más importantes a nivel latinoamericano y mundial. Sus orígenes datan del principio de los años noventa, cuando se inició con un esquema piloto del Plan de Modernización de la Gestión Pública con el objetivo de introducir paulatinamente un esquema de presupuestación por resultados. El modelo chileno cuenta actualmente con un sistema de gestión ligado al presupuesto que incluye entre sus herramientas el establecimiento de indicadores de desempeño ligados a metas; un sistema de evaluaciones a programas y a nivel institucional; un programa de mejoramiento de la gestión vinculado al pago de incentivos a funcionarios públicos por desempeño; y un fondo concursable ligado a matrices de marco lógico, que sirve entre otras cosas para que los ministerios (y programas) compitan por financiamiento4.
1
Ver ILPES-CEPAL, Gestión Pública por Resultados, 2003 Shack Yalta, Nelson, Avances en la implementación de indicadores de desempeño en los organismos públicos del Perú, en ILPES-CEPAL, Gestión Pública por Resultados, 2003. 3 Ver Banco Mundial y OCDE, Buenas prácticas recientemente identificadas de gestión para resultados de desarrollo, 2005 y May, et.al. Hacia la Institucionalización de los Sistemas de Monitoreo y Evaluación en America Latina y el Caribe, 2006. 4 Ver Guzmán, Marcela, Sistema de Control de Gestión y Presupuestos por Resultados: La Experiencia Chilena, División de Control de Gesión del Ministerio de Hacienda, Chile, 2004 2
2
En México, SEDESOL ha realizado desde 1999 un esfuerzo por incorporar un enfoque de gestión orientado hacia el logro de resultados y con ello ha hecho hincapié en el desarrollo y fortalecimiento de sus funciones e instrumentos de monitoreo y evaluación. Inicialmente, este esfuerzo se centró en la evaluación externa anual de los programas sujetos a reglas de operación5. A partir del 2004, se promueve la construcción de un sistema de evaluación y monitoreo basado en resultados. Con el sistema se busca fortalecer el componente de evaluación con mediciones rigurosas del impacto de los programas, y desarrollar un mecanismo piloto de monitoreo basado resultados. En la actualidad, la Secretaría se encuentra lista para iniciar una segunda fase del sistema bajo un nuevo modelo y con un alcance mayor. Para ello, se han identificado importantes desafíos transversales en el ámbito institucional, técnico-operativo y de información. El presente artículo se divide en cuatro secciones que detallan i) la primera fase del sistema de monitoreo y evaluación basado en resultados; ii) el cambio en el contexto institucional y normativo; iii) el nuevo modelo para la etapa de expansión y consolidación, y finalmente, iv) las conclusiones. I.
Construyendo un sistema de evaluación y monitoreo basado en resultados 2004-2007
Durante mucho tiempo, los programas sociales carecieron de mecanismos de rendición de cuentas y generación de evidencia sobre su efectividad. Entre los primeros esfuerzos, aún aislados, de cuantificar rigurosamente los beneficios de la intervención gubernamental se encuentra la evaluación de impacto del Programa de Educación, Salud y Alimentación (PROGRESA) entre 1997 y el 2000. Posteriormente, se introduce de manera más sistemática la obligación de evaluar anualmente los programas sujetos a reglas de operación y el reporte trimestral de indicadores. A partir de lo anterior, la SEDESOL solicitó al Banco Mundial llevar a cabo un diagnóstico sobre los sistemas de información existentes y la capacidad institucional de la Secretaría, a fin de desarrollar un sistema de monitoreo y evaluación que permitiera avanzar hacia una gestión basada en resultados. Dicho diagnóstico concluyó que efectivamente, la SEDESOL contaba con las bases necesarias para transitar hacia una gestión basada en resultados. Sin embargo, era necesario reorientar, entre otros, los siguientes aspectos: • • • •
Vinculación incipiente entre la entrega de productos/servicios de programas y la medición de resultados Abundante producción de información operativa (productos), no necesariamente complementada con información sobre resultados (efectos, impactos) Multiplicidad de sistemas de información administrativa, operativa y de gestión Numerosos reportes de indicadores a distintas instituciones externas, sin una utilidad clara para la gestión de los programas
5
Desde 1999 se establece en el Presupuesto de Egresos de la Federación la obligación de llevar a cabo evaluaciones externas anuales a todos los programas sujetos a reglas de operación.
3
• • •
Diseño de sistemas para el reporte de actividades, pero con información y un uso limitado para retroalimentar a los encargados de la toma de decisiones Desvinculación entre planeación estratégica, operativa y presupuestal. Necesidad de crear incentivos en los niveles medios jerárquicos para promover la orientación a resultados
Con base en este diagnóstico se concibió un sistema de evaluación y monitoreo orientado a apoyar la gestión para resultados, considerando 3 componentes principales: evaluaciones de resultados anuales, evaluaciones de impacto6 y la implementación piloto de un sistema de indicadores para el monitoreo enfocado a resultados. La conceptualización de los tres componentes en un Sistema de Evaluación y Monitoreo basado en Resultados (SEMBR) traslada el énfasis de la gestión tradicional concentrada en insumos a la consecución de resultados. La figura 1 muestra la interacción de los componentes y su alcance, todo ello enfocado a la gestión basada en resultados.
6
Además, existen estudios complementarios como evaluaciones cualitativas, monitoreo de sostenibilidad de obra pública y ejercicios específicos de satisfacción de beneficiarios.
4
Figura 1. Sistema de evaluación y monitoreo basado en resultados
Resultados
Monitoreo tradicional
Gestión para resultados
Impacto
Mejoras en las condiciones de vida (resultados de largo plazo) Efectos intermedios de los productos en los beneficiarios (resultados de corto y mediano plazo)
Productos
Bienes y servicios producidos y ofrecidos por el programa
Actividades
Tareas y acciones emprendidas en la implementación del programa
Insumos
Evaluación de impacto
Evaluación de resultados y Monitoreo de indicadores
Recursos financieros, humanos y materiales del programa
Evaluación de resultados anual: Conforme a lo establecido en la normatividad vigente7, cada año debería realizarse un informe de evaluación elaborado por un evaluador externo para los programas sujetos a reglas de operación (ver Tabla 1). El enfoque de la evaluación era principalmente para la rendición de cuentas en el ejercicio fiscal correspondiente sobre el cumplimiento de los objetivos de los programas, de las reglas de operación, y de las metas físicas y financieras. Adicionalmente, se solicitaba un análisis de los beneficios económicos y sociales, cuyo alcance estaba acotado por la periodicidad de la entrega de los informes de evaluación. Se promovió la retroalimentación de los resultados de las evaluaciones, a través del Sistema de Seguimiento a las Evaluaciones Externas en el cual se establecía un plan de trabajo para atender las recomendaciones derivadas de las evaluaciones. Tabla 1: Evaluaciones Externas Anuales 2004-2007 2004
2005
2006
2007
Programa operados por SEDESOL
7
8
8
11
Programas operados por órganos desconcentrados o entidades sectorizadas
6
8
9
10
Total
13
16
17
21
7
Decreto de presupuesto de egresos de la federación para el ejercicio fiscal correspondiente y Acuerdo por el que se expiden los requisitos mínimos que las dependencias y entidades de la Administración Pública Federal deberán considerar para seleccionar a las instituciones académicas y de investigación u organismos especializados, de carácter nacional o internacional, interesados en realizar la evaluación de resultados de los programas gubernamentales sujetos a reglas de operación en el ejercicio fiscal 2002 (DOF 30-04-2002).
5
Evaluación multi-anual de impacto: Para complementar lo anterior, se realizaron diferentes evaluaciones de mediano y largo plazo con el fin de cuantificar las relaciones causales entre las acciones implementadas por los programas y los cambios en diferentes dimensiones del bienestar de los beneficiarios. A través de las evaluaciones de impacto, se buscó generar evidencia sólida sobre la efectividad de distintas intervenciones en la nutrición de los niños, la asistencia escolar, el ingreso de las familias, el acceso a servicios básicos, entre otros. Estas evaluaciones requieren una mayor inversión en términos de presupuesto, un nivel superior de especialización para su análisis y un mayor tiempo de maduración de las intervenciones para observar los impactos esperados. Por lo anterior, se realizaron de forma selectiva para programas y acciones de carácter estratégico tales como Oportunidades, Hábitat, Tu Casa, Programa de Apoyo Alimentario, fortificación de la leche Liconsa, Estrategia de Microrregiones, y acciones de piso firme. Los resultados de estas evaluaciones son públicos y se han utilizado para informar la toma de decisiones sobre adecuaciones al diseño, expansión de cobertura y continuidad de los programas. Monitoreo basado en resultados: Aunque se realizaban reportes periodicos de indicadores del avance físico y financiero de los programas, no se encontraban sistematizados ni tenían una orientación hacia el logro de resultados. Con base en el diagnóstico realizado por el BM, se inició con la implementación de una fase piloto del componente de monitoreo basado en resultados8. Esta fase incluyó capacitación extensiva sobre la metodología de marco lógico (MML)9; la construcción de matrices; el diseño conceptual del sistema; y el desarrollo de una plataforma informática. Las matrices de marco lógico se elaboraron a través de talleres participativos con los responsables del diseño, operación y evaluación de los programas. El objetivo de dichos talleres fue i) identificar de manera consensuada el objetivo general de cada programa y su correspondiente modelo lógico (i.e. cadena de resultados: actividades, productos, resultados e impactos); ii) definir los indicadores del programa y sus metas; y iii) determinar las fuentes de información para el seguimiento de los indicadores. La introducción de las MML implicó una mejora en relevancia y parsimonia de los indicadores. Una vez identificados los indicadores y establecidas las metas, éstos fueron concentrados en un tablero de control10. El tablero presenta la información utilizando semáforos que indican el avance de los indicadores con respecto a las metas establecidas. A partir de 2007, la Secretaría avanzó hacia la definición y el uso de matrices de marco lógico (MML) en sus 21 programas sujetos a reglas de operación. Esto significó un paso adicional hacia el mejoramiento y estandarización de los procesos de formulación de 8 En la fase piloto se incluyeron cuatro programas (Opciones Productivas, Coinversión Social, Hábitat y Apoyo Alimentario) con distintos grados de avance institucional en la recopilación de indicadores y sistemas de información. 9 La MML es una herramienta de gestión pública que permite presentar de forma sistemática y lógica los objetivos de un programa, las relaciones de causalidad de sus componentes y los factores externos al programa que pueden influir en su consecución. 10 Un tablero de control o cuadro de mando, es una analogía utilizada en la gestión empresarial para el diseño y operación de un conjunto de instrumentos que den cuenta de la buena marcha (o no) de una organización. De manera más reciente se ha popularizado la imagen de un semáforo que indica las alertas y señales requeridas para la buena gestión.
6
indicadores y metas, y hacia el establecimiento de bases más sólidas para realizar la medición de resultados de sus programas. De acuerdo con el planteamiento inicial, una vez concluida la fase piloto del componente de monitoreo, se buscaría la incorporación del resto de los programas de desarrollo social al tablero de control. Si bien, el objetivo de contar con un sistema de evaluación y monitoreo que apoye la gestión para resultados continúa vigente, recientemente se han dado importantes cambios normativos e institucionales a nivel nacional que hacen necesario un replanteamiento del diseño conceptual del SEMBR. II.
Cambios en el marco normativo e institucional
La necesidad de iniciar una segunda fase del SEMBR que involucra un replanteamiento del modelo de orientación a resultados de la Secretaría responde a dos razones principales. La primera está relacionada con la experiencia adquirida a partir de la implementación piloto del componente de monitoreo. La segunda razón tiene que ver con la necesidad de adaptar el SEMBR a un nuevo contexto normativo e institucional marcado por las reformas introducidas al presupuesto público11, la creación del Consejo Nacional de Evaluación de la Política Social (CONEVAL), así como por la necesidad de adoptar los lineamientos de iniciativas federales actualmente en desarrollo como el Sistema de Evaluación del Desempeño (SED)12 y el Programa de Mejora de la Gestión (PMG). Hacia mediados de 2007, se introdujo una nueva y clara orientación desde la SHCP, la SFP, la Presidencia de la República y el CONEVAL para avanzar hacia el establecimiento de un vínculo (nacional y sectorial) entre la planeación, el presupuesto y la ejecución de los programas federales haciendo uso de herramientas de monitoreo y evaluación. En particular, esta nueva orientación se materializa en la administración federal a través de la creación del SED, con el impulso al PMG, y con base en el Plan Nacional de Desarrollo y de los programas sectoriales. Tanto en los lineamentos de evaluación como de presupuestación se plantea la necesidad de contar con un marco de referencia en la gestión que considere los objetivos estratégicos del país y de los sectores, así como su alineación y articulación. Igualmente, se plantea la utilización de la información del desempeño por parte de las instancias encargadas de programar el presupuesto, y de promover el mejoramiento institucional con base en incentivos de desempeño. A esto se suma el planteamiento de incrementar la rendición de cuentas, a través de proveer más y mejor información del desempeño para las discusiones presupuestarias. 11
Ver Ley Federal de Presupuesto y Responsabilidad Hacendaria (DOF 30-03-2006) y su reglamento; Decreto de Presupuesto de Egresos de la Federación para los ejercicios 2007 y 2008; y Lineamientos para la Programación Presupuestal 2008. 12 El Sistema de Evaluación del Desempeño es el conjunto de elementos metodológicos que permiten realizar una valoración objetiva del desempeño de los programas, bajo los principios de verificación del grado de cumplimiento de metas y objetivos, con base en indicadores estratégicos y de gestión que permitan conocer el impacto social de los programas y de los proyectos;
7
En este contexto, a partir de finales del 2007, la SHCP coordinó un esfuerzo para operacionalizar la gestión basada en resultados, desde la perspectiva del Sistema de Evaluación del Desempeño (SED) que tiene entre sus objetivos: →
→
La verificación y monitoreo del cumplimiento de metas y objetivos, con base en indicadores estratégicos y de gestión que permitan conocer los resultados de los programas Vincular la planeación, programación, presupuestación seguimiento, ejercicio de los recursos y la evaluación de las políticas públicas y los programas presupuestarios.
Esto derivó en la conformación de las Directrices generales para avanzar hacia el presupuesto basado en resultados y el Sistema de Evaluación del Desempeño, en las cuales se implanta la matriz de indicadores (o matriz de marco lógico) como una herramienta para la planeación estratégica de los programas presupuestarios y se realiza un ejercicio para ligar los indicadores de las matrices de todos los programas sujetos a reglas de operación al presupuesto federal. A través de una plataforma informática13, se concentran la totalidad de los indicadores de las matrices, desde el nivel de operación hasta los de impacto14 (y su vinculación con los objetivos estratégicos de las dependencias y el Plan Nacional de Desarrollo), a los cuales se les da un seguimiento periódico para verificar el grado de avance que existe en el cumplimiento de las metas asociadas15. Con el objeto de tener un manejo estratégico de la información, la SHCP, en coordinación con cada dependencia, seleccionó a partir de las matrices un subconjunto de indicadores clave para el seguimiento presupuestal de los programas. Asimismo, la Presidencia de la República da seguimiento a los indicadores y metas de los programas sectoriales. Este nuevo marco institucional y normativo configura un contexto diferente para el desarrollo del SEMBR. Este contexto contrasta ampliamente con el anterior, basado en un enfoque individualizado de los programas, y particularmente de su operación. Previamente, no existía un marco de referencia más amplio que vinculara la planeación estratégica sectorial y el presupuesto, y no se contaba con mecanismos sólidos que incentivaran la demanda y el uso de la información del desempeño por parte de la Presidencia, la SHCP, la SFP y el CONEVAL. III.
Un nuevo modelo del SEMBR para la fase expansión y consolidación 20082012
13
Portal Aplicativo de la Secretaría de Hacienda (PASH) La matriz de indicadores contempla cuatro niveles de monitoreo de los programas: actividades, componentes, propósito y fin. Los primeros se refieren a las acciones operativas y los bienes o servicios que genera el programa. Los niveles superiores miden los resultados e impactos del programa y su contribución con los objetivos sectoriales. 15 Periódicamente se reporta el avance en los indicadores de las matrices de todos los programas federales. 14
8
En respuesta a los cambios institucionales y normativos, se realizó un replanteamiento del SEMBR. En el nuevo modelo se pasa de un enfoque fundamentalmente basado en la operación de los programas a un esquema más amplio, centrado en el desempeño agregado del sector desarrollo social. Dicho esquema se fundamenta en la medición del desempeño a partir de la dimensión estratégica del Programa Sectorial de Desarrollo Social (PSDS), así como de su alineación con el Plan Nacional de Desarrollo. Bajo este enfoque, el rediseño del SEMBR tiene como objetivo operacionalizar dentro de la SEDESOL la iniciativa del presupuesto basado en resultados y el SED, incorporando sus lineamientos y propósitos. Con este nuevo enfoque se busca consolidar los avances logrados, corregir los problemas encontrados y complementar su alcance, incorporando otras áreas de evaluación de la gestión, incluyendo la dimensión presupuestal. En el replanteamiento del sistema se consideran tres pilares principales: monitoreo basado en resultados, evaluación basada en resultados y presupuesto basado en resultados (Figura 2). El desarrollo, fortalecimiento e integración de estos tres componentes establece un mayor balance en los proceso de generación de información del desempeño y facilita su utilización dentro de los procesos de toma de decisiones. El monitoreo buscará ser una función continua y la evaluación una actividad selectiva con base en criterios de prioridad de política y monto de los recursos asignados, entre otros. Con el componente de monitoreo, se fortalece el seguimiento a la operación de los programas y sus resultados, y se amplía esta tarea al ámbito de las estrategias y planes del sector desarrollo social (PSDS). Con el componente de evaluación, se avanza en la consolidación de las metodologías de análisis de causalidad entre los principales programas operados y coordinados por SEDESOL y sus efectos, además de incorporar nuevas herramientas como las evaluaciones de consistencia y resultados, indicadores y procesos16. A través del componente de presupuesto por resultados se introducen mecanismos para asegurar la retroalimentación de las decisiones presupuestales con la información del desempeño proveniente del monitoreo y las evaluaciones, buscando contribuir por esta vía al mejoramiento de la calidad del gasto. El balance en la operación conjunta de estos componentes facilitará y estimulará el seguimiento de los resultados agregados de la Secretaría, generando incentivos para su mejoramiento continuo. Adicionalmente, este enfoque permite fortalecer la planeación estratégica dentro de la gestión de la política social, y mejorar la rendición de cuentas de sus resultados tanto internamente, como externamente.
16
Conforme a lo establecido en los Lineamientos generales para la Evaluación de los Programas Federales de la Administración Pública Federal (DOF 30-03-07)
9
Figura 2: Nuevo modelo conceptual del SEMBR.
SEMBR Monitoreo Basado en Resultados
Evaluaci ón Basada en Resultados
Presupuesto Basado en Resultados
Objetivos Estratégicos
Estudios y Evaluaciones
Integración Plan-Presupuesto
MML Indicadores transversales -Cobertura -Focalización -Percepción
Impacto Diseño Consistencia y Resultados Indicadores y procesos Específicas
Presupuesto por objetivos Avance físico y financiero Rendición de cuentas y PMG
Objetivos del SEMBR El objetivo general es operacionalizar dentro del sector desarrollo social la iniciativa del presupuesto basado en resultados y la evaluación del desempeño, bajo un enfoque que busque el logro de las metas sectoriales, a través de un sistema de evaluación y monitoreo basado en resultados. Se pretende avanzar en la implementación y consolidación del SEMBR como herramienta de gestión pública que permita: i) realizar un seguimiento integrado al avance físico y financiero de los programas; ii) establecer un marco unificado, y con base en criterios de prioridad, para el desarrollo de evaluaciones anuales y de impacto que permita identificar el efecto de los mismos en el mejoramiento de la calidad de vida de los beneficiarios; iii) retroalimentar la toma de decisiones sobre la operación, asignación de recursos y diseño de los programas; y, iv) facilitar y estimular la gestión de la Secretaría en relación con la planeación sectorial y nacional. Objetivos específicos •
Establecer un vínculo permanente y progresivo entre los procesos de planeación, presupuestación, ejecución y evaluación y monitoreo, con base en indicadores seleccionados de productos, resultados e impacto y metas sectoriales de desarrollo
10
social, con el fin de lograr una mejor alineación con el Plan Nacional de Desarrollo y el Programa Sectorial. •
Articular y balancear las funciones de monitoreo, evaluación y rendición de cuentas, para que contribuyan a orientar la gestión de la Secretaría al logro de resultados.
•
Fortalecer la institucionalidad del Sistema, precisando los papeles y responsabilidades de las diferentes instancias, así como los mecanismos de coordinación y decisión que se requieran.
•
Incentivar una nueva dinámica organizacional dentro de la Secretaría y entidades coordinadas, vinculando a las áreas responsables de planeación, programación y presupuesto, sistemas informáticos y evaluación, con las unidades operativas de los programas y las delegaciones estatales.
•
Mejorar la calidad, disponibilidad y oportunidad de la información de evaluación y monitoreo del Sistema con base en una herramienta tecnológica que permita monitorear el cumplimiento de las metas sectoriales y consolidar la información para la toma de decisiones a nivel estratégico y de gestión.
•
Desarrollar la capacidad de evaluación y monitoreo de los programas operados y entidades coordinadas por la SEDESOL para generar información confiable y oportuna para la toma de decisiones de programación y presupuestación.
Diseño conceptual El diseño conceptual del SEMBR se estructura en torno a seis componentes básicos. Como ya se mencionó, los tres primeros constituyen los pilares del modelo –monitoreo, evaluación y presupuesto basado en resultados – y el resto corresponden a aspectos transversales del sistema: organización institucional requerida para respaldar al SEMBR; desarrollo de capacidad institucional en evaluación y monitoreo; y agenda de información. Monitoreo basado en resultados Con el fin de monitorear el avance en el cumplimiento de los objetivos de SEDESOL establecidos en el Programa Sectorial de Desarrollo Social y el Plan Nacional de Desarrollo se está elaborando un Plan Indicativo Sectorial. Este plan indicativo busca facilitar la alineación de los programas (a partir de sus matrices de marco lógico individuales) estableciendo metas con líneas de base e indicadores de resultados consistentes con las asignaciones presupuestales. En la actualidad, se cuenta con matrices para 21 programa y alrededor de 470 indicadores: 107 ligados con resultados; 150 referentes a la cantidad, eficiencia y calidad de los bienes y servicios entregados por los programas; y el resto a las actividades necesarias para su producción. A partir de estos indicadores, se identificaron alrededor de 10 indicadores
11
estratégicos para el seguimiento presupuestal. Asimismo, se monitorean cerca de 20 indicadores prioritarios para el cumplimiento de los objetivos sectoriales, incluidos en el plan indicativo. Evaluación basada en resultados Considerando la importancia en el Programa Sectorial y el Plan Nacional de Desarrollo se está definiendo una agenda de evaluación 2008-2012 con base en los siguientes criterios, entre otros: i) el monto de recursos públicos involucrados; ii) el tamaño y características de la población objetivo; iii) la importancia para el sector; iv) el carácter innovador del programa o política; y, v) el potencial de aplicación y replicabilidad de las lecciones derivadas de la evaluación. Esta agenda definirá las acciones de evaluación del corto y mediano plazo, considerando los distintos tipos de evaluación: i) evaluaciones del desempeño de los programas sociales (consistencia y resultados); ii) evaluaciones del desempeño de las delegaciones; iii) evaluaciones de impacto para programas estratégicos; y iv) evaluaciones específicas, de procesos e indicadores. Presupuesto basado en resultados Para que el ejercicio de monitoreo y evaluación sea completo y robusto, se requiere establecer mecanismos que permitan visualizar los resultados a nivel sectorial y de programa en función de la programación y ejecución de su presupuesto. Este objetivo es necesario además para hacer consistente el SEMBR con los lineamientos del Sistema de Evaluación del Desempeño. Esto implica establecer la correspondencia entre productos y resultados con el presupuesto para establecer un vínculo entre éste y las prioridades del Programa Sectorial. De esta forma se busca que se pueda identificar hacia donde se está destinando el gasto de la SEDESOL y, con base en el monitoreo y las evaluaciones, conocer si se están obteniendo los resultados esperados con las asignaciones presupuestales en las metas previstas. En este componente del SEMBR, un primer paso será revisar la clasificación presupuestal, de corte funcional y contable que actualmente rige la elaboración del presupuesto y complementarla o ajustarla a la clasificación programática asociada a los objetivos del programa sectorial. Este ejercicio busca establecer una secuencia lógica entre el programa presupuestal y los objetivo de la estrategia o plan sectorial, asociando a estos los indicadores, metas y líneas de base en cada nivel. Es importante señalar que la vinculación con el presupuesto debe ser contextualizada considerando la diferencia entre la temporalidad del ejercicio presupuestal, y los plazos de materialización de los bienes y servicios, de maduración de los efectos esperados y su medición. Mientras que el ejercicio presupuestal es casi inmediato, la construcción de una red de agua puede requerir varios meses, y aún más, la medición del cambio en la incidencia de enfermedades diarreicas. Adicionalmente, se debe considerar que la relación
12
presupuesto-resultados no es directa ni automática, por lo que el SEMBR debe ser utilizado como una herramienta que apoye la toma de decisiones, no la determine. Agenda de información La utilización de la información para la orientación estratégica del gasto, la rendición de cuentas y la retroalimentación de la gestión para estimular el mejoramiento continuo es uno de los prerrequisitos del SEMBR Esto implica disponer de información básica con atributos de calidad, oportunidad y accesibilidad para todos los programas, a fin de conocer los resultados de la gestión y facilitar la formulación y la toma de decisiones fundamentadas. Por lo anterior, es importante impulsar una agenda de información que contemple por un lado, bases normativas y estándares para la generación, recolección y procesamiento de datos del desempeño, así como mecanismos para el control de su calidad. Por otro lado, buscaría definir parámetros de interoperabilidad de las herramientas tecnológicas existentes, conectividad de las oficinas, entidades y delegaciones y el desarrollo de una plataforma tecnológica para desplegar el Sistema. Organización institucional Es importante considerar la estructura organizacional para fortalecer la integración de los procesos de planeación y presupuesto, y establecer mecanismos de coordinación para realizar tareas de monitoreo institucional. Así mismo, es fundamental generar un marco institucional que asegure que la información sobre los resultados del desempeño retroalimente los procesos de toma de decisiones y que garantice la sostenibilidad de estos esfuerzos en el largo plazo. Desarrollo de la capacidad institucional Con el fin de consolidar en la SEDESOL una cultura de gestión orientada al logro de resultados, es necesario fortalecer la capacidad institucional. Para lograr este objetivo se buscará: i) definir metodologías, incluyendo manuales básicos para la construcción de indicadores, y la aplicación de métodos de evaluación; ii) divulgar las bases conceptuales, los instrumentos y las herramientas tecnológicas del Sistema; y, iii) capacitar a los funcionarios públicos sobre la gestión para resultados y el monitoreo y evaluación. IV.
Conclusiones
En los últimos años, se ha buscado transitar a una gestión de la política de desarrollo social orientada al logro de resultados. A partir del 2004, se han sistematizado gradualmente las acciones de evaluación y monitoreo con el fin de construir un sistema de evaluación y monitoreo que apoye la gestión para resultados. En una primera etapa, se conceptualizó un sistema con un mayor énfasis en evaluación y centrado en la gestión individual de programas. Respondiendo a los cambios recientes en el marco normativo e institucional y a las lecciones aprendidas en la primera etapa, se hizo un replanteamiento del modelo. Este 13
modelo busca incorporar una visión del desempeño sectorial; vincular el monitoreo y la evaluación con el proceso de planeación y presupuestación; y explicitar componentes transversales críticos, incluyendo una agenda de información y la organización y capacidad institucional. Construir una gestión para resultados es un proceso continuo de mediano y largo plazo que requiere una combinación de elementos técnicos y políticos. Requiere generar información relevante, oportuna y de calidad que sea utilizada en la toma de decisiones. Es necesario también, conformar las bases institucionales que permitan la vinculación entre las actividades de planeación, programación y presupuestación, ejecución, y evaluación. Finalmente, es importante contar con un esquema de incentivos orientado al logro de resultados y mecanismos para garantizar la sostenibilidad de la iniciativa.
14
