M a n u a l p a r a g e s t o r e s d e l d e s a r r o l l o 29672 Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados System Jody Zall Kusek Ray C. Rist JODY ZALL KUSEK RAY C. RIST Manual para gestores del desarrollo DIEZ PASOS HACIA UN SISTEMA DE SEGUIMIENTO Y EVALUACIÓN BASADO EN RESULTADOS preliminar00.p65 3 25/07/05, 05:51 p.m. The findings, interpretations, and conclusions expressed herein are those of the author(s) and do not necessarily reflect the views of the Executive Directors of The World Bank or the governments they represent. The World Bank does not guarantee the accuracy of the data included in this work. The boundaries, colors, denominations, and other information shown on any map in this volume do not imply any judgment concerning the legal status of any territory or the endorsement or acceptance of such boundaries. Los resultados, interpretaciones y conclusiones expresados aquí son los del (los) autor (es) y no reflejan necesariamente las opiniones de los Directores del Banco Mundial, o de los gobiernos que ellos representan. El Banco Mundial no garantiza la exactitud de los datos incluidos en este trabajo. Las fronteras, los colores, los nombres y otra información expuesta en cualquier mapa de este volumen no denotan, por parte del Banco, juicio alguno sobre la condición jurídica de ninguno de los terri- torios, ni aprobación o aceptación de tales fronteras. Publicado originalmente en inglés como: Ten Steps to a Results-Based Monitoring and Evaluation System: A Handbook for Development Practitioners, por el Banco Mundial. La traducción al castellano fue hecha por Mayol Ediciones, editorial que es responsable de su precisión. En caso de discrepancias, prima el idioma original. © 2004 Banco Internacional de Reconstrucción y Fomento/Banco Mundial 1818 H Street, NW Washington, DC 20433, USA Todos los derechos reservados. Para esta edición: © 2005, Banco Mundial en coedición con Mayol Ediciones S.A. Calle 131A N° 56-62 Bogotá, Colombia PBX: (571) 253 4047 Fax: (571) 271 2909 ISBN 958-97647-4-6 Traducción al castellano: María Victoria Mejía Coordinación editorial: María Teresa Barajas S. Edición y diagramación: Mayol Ediciones S.A. Impreso y hecho en Colombia - Printed and made in Colombia preliminar00.p65 4 24/07/05, 10:31 a.m. CONTENIDO PREFACIO xv ACERCA DE LOS AUTORES xix INTRODUCCIÓN CONSTRUCCIÓN DE UN SISTEMA DE SEGUIMIENTO Y EVALUACIÓN (SyE) BASADO EN RESULTADOS 1 Parte 1. Nuevos retos en la gestión del sector público 2 Iniciativas internacionales y externas, y factores de cambio 3 Enfoque de la Estrategia Nacional de Reducción de la Pobreza 8 Iniciativas internas y factores de cambio 10 Parte 2. Sistemas de yE basados en resultados. Poderosa herramienta S de gestión pública 11 Seguimiento y evaluación: ¿de qué se trata? 12 Rasgos clave de sistemas de yE tradicionales basados en resultados S con un enfoque en la ejecución 15 Muchas aplicaciones para sistemas de y basados en resultados S E 18 Retos políticos y técnicos a la construcción de un sistema de y S E basado en resultados 20 Introducción del modelo de diez pasos para construir un sistema de y basado en resultados S E 22 Dónde comenzar: enfoque de La totalidad del gobierno, de enclave o enfoque mixto 25 Parte 3. La experiencia de sistemas de y en países industrializados S E y en países en desarrollo 27 La experiencia de sistemas de y en países industrializados S E y en países miembros de la OCDE 27 Retos particulares del y que enfrentan los países en desarrollo S E 32 Experiencia del sistema de y en países en desarrollo S E 35 preliminar00.p65 5 24/07/05, 10:31 a.m. vi Manual para gestores del desarrollo CAPÍTULO 1 PASO 1: HACER UNA ESTIMACIÓN DE LA PREPARACIÓN 39 Parte 1. Por qué realizar una estimación de la preparación 40 Parte 2. La estimación de la preparación: ocho preguntas clave 44 Parte 3. Estimaciones de la preparación en países en desarrollo: Bangladesh, Egipto y Rumania 50 Parte 4. Lecciones aprendidas 54 CAPÍTULO 2 PASO 2. ELEGIR LOS EFECTOS PARA MONITOREARLOS Y EVALUARLOS 57 La importancia de los efectos 58 Aspectos que se deben considerar en la elección de los efectos para hacerles seguimiento y evaluarlos 58 La importancia de construir un proceso participativo y consultivo involucrando a las principales partes interesadas 59 El proceso general de fijar efectos y llegar a un acuerdo sobre los mismos 60 Ejemplos y posibles enfoques 62 CAPÍTULO 3 PASO 3. SELECCIONAR INDICADORES CLAVE PARA MONITOREAR LOS EFECTOS 67 Se requieren indicadores para todos los niveles de sistemas de y S E basados en resultados 68 Convertir efectos en indicadores de efectos 68 La CREMA de indicadores adecuados de desempeño 70 La utilización de indicadores sustitutos 73 Las ventajas y las desventajas de utilizar indicadores diseñados de antemano 74 Construcción de indicadores 76 Confección de indicadores: experiencia de países en desarrollo 78 preliminar00.p65 6 24/07/05, 10:31 a.m. Contenido vii CAPÍTULO 4 PASO 4: ESTABLECER Y RECOLECTAR DATOS BÁSICOS SOBRE INDICADORES 83 Establecer datos básicos sobre indicadores 84 Construcción de datos básicos 85 Identificación de fuentes de datos para los indicadores 86 Diseño y comparación de métodos de recolección de datos 87 La importancia de realizar pilotos 90 Recolección de datos: experiencias de dos países en desarrollo 91 CAPÍTULO 5 PASO 5: PLANIFICAR PARA MEJORAR. SELECCIONAR OBJETIVOS DE RESULTADOS 95 Definición de objetivos 96 Factores que deben considerarse en la selección de objetivos de indicadores de desempeño 96 Ejemplos de objetivos relacionados con aspectos del desarrollo 99 El contexto global basado en el desempeño 99 CAPÍTULO 6 PASO 6: HACER SEGUIMIENTO PARA OBTENER RESULTADOS 101 Parte 1. 101 Tipos y niveles clave de seguimiento 103 Nexos entre seguimiento de la ejecución y seguimiento de los resultados 107 Parte 2 109 Principios clave de la construcción de un sistema de seguimiento 109 Logro de resultados por medio de alianzas 110 Necesidades de todos los sistemas de seguimiento basados en resultados 111 El triángulo de la calidad de los datos: confiabilidad, validez y oportunidad 113 Análisis de datos de desempeño 115 Prueba preliminar de instrumentos y procedimientos de recolección de datos 116 preliminar00.p65 7 24/07/05, 10:31 a.m. viii Manual para gestores del desarrollo CAPÍTULO 7 PASO 7: UTILIZAR INFORMACIÓN DE EVALUACIÓN PARA RESPALDAR UN SISTEMA DE GESTIÓN BASADO EN RESULTADOS 119 Usos de la evaluación 121 El momento oportuno de las evaluaciones 124 Tipos de evaluaciones 127 Características de las evaluaciones de calidad 132 Ejemplos de evaluaciones en el ámbito de las políticas, de los programas y de los proyectos 134 CAPÍTULO 8 PASO 8: PRESENTAR INFORMES SOBRE HALLAZGOS 135 Los usos de los hallazgos del seguimiento y la evaluación 136 Conocer y seleccionar a los grupos objetivo 136 Presentación de datos de desempeño de manera clara y comprensible 139 Qué sucede si los resultados del sistema de y son malas S E noticias sobre el desempeño 143 CAPÍTULO 9 PASO 9: UTILIZAR LOS HALLAZGOS 145 Uso de hallazgos de desempeño 145 Beneficios adicionales de utilizar los hallazgos: retroinformación, conocimientos y aprendizaje 147 Estrategias para compartir información 152 CAPÍTULO 10 PASO 10: SUSTENTAR EL SISTEMA DE SyE DENTRO DE LA ORGANIZACIÓN 159 Seis componentes clave de sustentar sistemas de y basados S E en resultados 160 La importancia de los incentivos y de los elementos disuasorios para sustentar los sistemas de yE S 166 Posibles problemas de sustentar sistemas de y e información S E 167 Validar y evaluar sistemas de y y la información S E 168 Sistemas de y : estimular cambios culturales positivos S E en los gobiernos y en las organizaciones 168 Últimos recordatorios 169 preliminar00.p65 8 24/07/05, 10:31 a.m. Contenido ix CAPÍTULO 11 HACER QUE EL SISTEMA DE SyE BASADO EN RESULTADOS FUNCIONE PARA USTED Y PARA SU ORGANIZACIÓN 171 Por qué sistemas de y basado en resultados S E 171 Cómo crear sistemas de y basados en resultados S E 173 Recapitulación 179 ANEXO I Estimación de la capacidad de SyE basada en el desempeño Encuesta de estimación para países, instituciones de desarrollo y sus asociados 181 ANEXO II Estimación de la preparación: Hacia el SyE basado en resultados en Egipto 187 ANEXO III Objetivos de Desarrollo del Milenio (ODM) Listado de metas y objetivos 215 ANEXO IV Políticas nacionales de evaluación para Sri Lanka Asociación de Evaluación de Sri Lanka, SLEva, conjuntamente con el Ministerio de Desarrollo y ejecución de las políticas 219 ANEXO V Ley de 2003 de Rendición de Cuentas de Andhra Pradesh (India) (Proyecto de ley) (Ley APPAC de 2003) 229 ANEXO VI Glosario Términos clave de la OCDE de evaluación y gestión basada en resultados (2002) 247 REFERENCIAS BIBLIOGRÁFICAS 255 ENLACES ÚTILES EN INTERNET 260 OTRAS LECTURAS 260 preliminar00.p65 9 24/07/05, 10:31 a.m. x Manual para gestores del desarrollo RECUADROS Recuadro I.I. Objetivos de desarrollo del milenio 4 Recuadro I.II. Ejemplo de objetivos de desarrollo del milenio, de sus metas e indicadores 4 Recuadro I.III Transparencia Internacional 6 Recuadro I.IV El poder de medir resultados 11 Recuadro I.V Aspectos clave del seguimiento de la ejecución vs. seguimiento de los resultados 16 Recuadro I.VI Modelo australiano de La totalidad del gobierno 29 Recuadro I.VII Francia: rezagados pero ahora avanzando en la reforma gubernamental 30 Recuadro I.VIII República de Corea: grandes avances en el camino a sistemas de yS E 31 Recuadro I.IX Malasia: confección de presupuestos basada en resultados, construcción de nación y competitividad global 36 Recuadro I.X Uganda y la reducción de la pobreza. Ímpetu hacia yE S 37 Recuadro 1.1 El caso de Bangladesh. Construcción desde la base 51 Recuadro 1.2 El caso de Egipto. Avances lentos y sistemáticos hacia sistemas de yS E 52 Recuadro 1.3 El caso de Rumania. Algunas oportunidades para avanzar hacia sistemas de yS E 53 Recuadro 3.1 Dilemas de los indicadores 73 Recuadro 3.2 Indicadores básicos de bienestar de la región de África 78 Recuadro 3.3 Políticas nacionales de evaluación de Sri Lanka 79 Recuadro 3.4 Plan de acción de Albania a tres años 80 Recuadro 3.5 Indicadores de resultados de programa y de proyecto: ejemplo del sector de riego 81 Recuadro 3.6 Efectos: mayor participación de los agricultores en mercados locales 81 Recuadro 4.1 Estrategia de Albania para fortalecer la capacidad de recolección de información 92 Recuadro 4.2 Líbano: ingreso al sistema de datos del FMI 93 Recuadro 5.1 Ejemplo de objetivos de desarrollo 99 Recuadro 6.1 Seguimiento de resultados en México 105 Recuadro 6.2 Seguimiento de resultados en Brasil 106 Recuadro 7.1 La evaluación ofrece información sobre: 123 preliminar00.p65 10 24/07/05, 10:31 a.m. Contenido xi Recuadro 9.1 Diez usos de los hallazgos de los resultados 146 Recuadro 9.2 Uso de datos de desempeño para rastrear y reducir el delito en la ciudad de Nueva York 148 Recuadro 9.3 El DOL de Estados Unidos. Una organización con un sistema maduro y operativo de y basado en resultados S E 149 Recuadro 9.4 Señales para mejorar las condiciones para el aprendizaje basado en la evaluación en los organismos alemanes de ayuda 151 Recuadro 9.5 Obstáculos al aprendizaje 152 Recuadro 9.6 Incentivos para el aprendizaje, la construcción de conocimientos y la mayor utilización de hallazgos de desempeño 153 Recuadro 9.7 Enfoques activos y pasivos a la utilización de información de resultados 154 Recuadro 9.8 Informes del gobierno canadiense al Parlamento sobre desempeño 156 Recuadro 10.1 Carta ciudadana del Reino Unido 163 Recuadro 10.2 Ley de Desempeño y Resultados del Gobierno de Estados Unidos 164 Recuadro 10.3 Listado de control para incentivos al personal que estimulan un sistema de y participativo y orientado al aprendizaje S E 166 Recuadro 10.4 Listado de control de elementos disuasorios que impiden un sistema de y participativo y orientado al aprendizaje S E 167 Recuadro 10.5 Una cultura de evaluación y alianzas de cooperación ayuda a construir la capacidad de un organismo 169 CUADROS Cuadro I.I. Funciones complementarias de sistemas de yE basados en S resultados 13 Cuadro 4.1 Construcción de datos básicos 85 Cuadro 4.2 Comparación de principales métodos de recolección de datos 89 Cuadro 8.1 Formato de presentación de informes sobre efectos: efectos actuales vs. objetivos 139 Cuadro 8.2 Cuadro de muestra para presentación de informes sobre datos descriptivos: diferencias de género en el voto 142 Cuadro 10.1 Desarrollo de capacidad de evaluación e institucionalización. Problemas clave resueltos en Colombia, China e Indonesia 165 preliminar00.p65 11 24/07/05, 10:31 a.m. xii Manual para gestores del desarrollo GRÁFICOS Gráfico I.I Modelo ilustrativo lógico para una meta nacional de desarrollo 17 Gráfico I.II Diez pasos para diseñar, construir y sustentar un sistema de segui- miento y evaluación basado en resultados 24 Gráfico 1.1 Realizar una estimación de la preparación 39 Gráfico 2.1 Ponerse de acuerdo sobre los efectos para hacerles seguimiento y evaluarlos 57 Gráfico 2.2. Desarrollo de declaraciones de efectos 61 Gráfico 2.3 Declaraciones de efectos derivados de problemas o temas identificados 64 Gráfico 2.4 Cómo no elaborar declaraciones de efectos 65 Gráfico 2.5 Desarrollo de efectos para un área de las políticas 66 Gráfico 3.1 Seleccionar indicadores clave para hacer seguimiento a los efectos 67 Gráfico 3.2 Desarrollo de un conjunto de indicadores de efectos para un área de las políticas 70 Gráfico 3.3 Listado de control para estimar indicadores propuestos 73 Gráfico 4.1 Datos básicos sobre indicadores -¿cuál es la situación actual? 83 Gráfico 4.2 Desarrollo de datos básicos para un área de las políticas 84 Gráfico 4.3 Métodos de recolección de datos 88 Gráfico 5.1 Planificar para mejorar. Seleccionar objetivos de resultados 95 Gráfico 5.2 Identificar el nivel deseado de resultados exige seleccionar objetivos de desempeño 96 Gráfico 5.3 Desarrollo de objetivos para un área de las políticas 100 Gráfico 6.1 Hacer seguimiento para obtener resultados 101 Gráfico 6.2 Diagrama de Gantt de muestra 102 Gráfico 6.3 Seguimiento basado en resultados 104 Gráfico 6.4 Ejemplos de seguimiento de resultados 104 Gráfico 6.5 Nexos entre seguimiento de la ejecución y seguimiento de los resultados 107 Gráfico 6.6. Vínculos entre el seguimiento de la ejecución y el seguimiento de los resultados 108 Gráfico 6.7 Logro de resultados por medio de alianzas 110 Gráfico 6.8 Todos los sistemas de seguimiento necesitan 111 Gráfico 6.9 Criterios clave para recabar datos de calidad de desempeño 113 Gráfico 6.10 El triángulo de la calidad de los datos: confiabilidad 114 Gráfico 6.11. El triángulo de la calidad de los datos: validez 114 preliminar00.p65 12 24/07/05, 10:31 a.m. Contenido xiii Gráfico 6.12 El triángulo de la calidad de los datos: oportunidad 115 Gráfico 6.13. Análisis de datos de los resultados 116 Gráfico 7.1 El papel de las evaluaciones 119 Gráfico 7.2 Uso de evaluaciones para explicar las divergencias de desempeño 124 Gráfico 7.3 Uso de evaluación para determinar los impactos del diseño y la ejecución sobre los efectos 125 Gráfico 7.4 Siete tipos de evaluaciones 127 Gráfico 7.5 Características de evaluaciones de calidad 132 Gráfico 7.6 Ejemplos de evaluación 134 Gráfico 8.1 Presentar informes sobre hallazgos 135 Gráfico 8.2 Principios de excelencia gráfica 144 Gráfico 9.1 Utilizar los hallazgos 145 Gráfico 10.1 Sustentar el sistema de y dentro de la organización S E 159 preliminar00.p65 13 24/07/05, 10:31 a.m. preliminar00.p65 14 24/07/05, 10:31 a.m. PREFACIO Para lograr un desarrollo socioeconómico sostenible resulta esencial contar con un Estado eficaz. El advenimiento de la globalización ha traído consigo presiones crecientes que buscan que gobiernos y organizaciones del mundo entero se mues- tren más receptivos a las demandas de partes interesadas internas y externas que exigen gobernabilidad, rendición de cuentas y transparencia, mayor eficacia del desarrollo y entrega de resultados tangibles. Gobiernos, parlamentos, ciudada- nos, el sector privado, organizaciones no gubernamentales (ONG), la sociedad ci- vil, organismos internacionales y los donantes se encuentran entre las partes interesadas que pretenden un mejor desempeño. Conforme aumentan las de- mandas de mayor rendición de cuentas y de resultados reales, se vislumbra una necesidad concomitante de un sistema mejorado de seguimiento y evaluación de las políticas, programas y proyectos basado en resultados. El sistema de seguimiento y evaluación (SyE) constituye una poderosa herra- mienta pública de gestión que se puede utilizar para mejorar la manera en que gobiernos y organizaciones logran resultados. Justo en la medida en que los go- biernos necesitan sistemas financieros, de recursos humanos y de rendición de cuentas, así mismo los gobiernos necesitan sistemas adecuados de retroinfor- mación del desempeño. En el campo del seguimiento y la evaluación ha ocurrido una evolución la cual implica un viraje de enfoques tradicionales basados en la ejecución hacia enfoques basados en nuevos resultados. Estos últimos sirven para resolver las preguntas ¿y qué?. En otras palabras, es posible que gobiernos y organizacio- nes logren ejecutar programas o políticas, pero ¿han obtenido los resultados reales y esperados? ¿Gobiernos y organizaciones han cumplido verdaderamente las pro- mesas hechas a las partes interesadas que los apoyaron? Por ejemplo, no es sufi- ciente limitarse simplemente a ejecutar programas de salud y suponer que su ejecución exitosa equivale a mejoras reales en la salud pública. Uno siempre debe examinar efectos e impactos. La introducción del sistema de SyE basado en resulta- dos lleva un paso adelante a los encargados del proceso decisorio para evaluar si las metas se están logrando en el tiempo y cómo se están logrando. Estos sistemas sirven para resolver las tan importantes preguntas ¿y qué?, y responder las cre- cientes exigencias de resultados de las partes interesadas. prefacio01.p65 15 24/07/05, 10:31 a.m. xvi Manual para gestores del desarrollo El objetivo primario del presente manual son los funcionarios públicos que enfrentan el reto que plantea la gestión por resultados. Los países en desarrollo en especial enfrentan muchísimos obstáculos que deben salvar en la construcción de sistemas de SyE. Sin embargo, como lo veremos más adelante, tanto para los países industrializados como para los países en desarrollo, los sistemas de SyE basados en resultados son un trabajo continuo en curso. Como ya lo hemos apren- dido, cuando se ejecutan de la manera apropiada, estos sistemas proporcionan un flujo continuo de retroinformación al sistema, la cual puede orientar a los encargados de formular las políticas hacia el logro de los resultados esperados. Con el ánimo de llegar a comprender mejor el desempeño de sus propias organi- zaciones, están utilizando este enfoque directivos experimentados de programa en los países industrializados y de organismos internacionales donde ya funcio- nan sistemas de SyE basados en resultados. Este Manual no tiene paralelo como guía para el diseño y construcción de un sistema de SyE basado en resultados en el sector público. Así mismo, se puede utilizar conjuntamente con un taller que ha desarrollado el Banco Mundial, co- nocido como Diseño y construcción de un sistema de seguimiento y evaluación basado en resultados: Herramienta de gestión del sector público. la meta que pretende lograr el Manual es ayudar al lector a planificar, diseñar y ejecutar en su organización un sistema de SyE basado en resultados. Además, el Manual tam- bién va a demostrar la forma en que un sistema de SyE puede convertirse en he- rramienta valiosa de respaldo de una administración pública eficiente. El enfoque del Manual está dirigido a un modelo integral de diez pasos que le servirá de guía al lector a lo largo del proceso de diseño y construcción de un sistema de SyE basado en resultados. Una estimación de la preparación será el primer paso que llevará al lector a través del diseño, la gestión y, lo más importan- te, la sostenibilidad del sistema de SyE propio. El Manual hace una descripción detallada de estos diez pasos, de las tareas que va a ser necesario emprender para cumplir esos pasos y de las herramientas disponibles que le serán de ayuda al lector a lo largo del camino. Sugerimos tomar atenta nota de otros materiales disponibles que se relacio- nan en el anexos y se pueden utilizar para perfeccionar la comprensión del lector de la estrategia descrita, tendiente a ayudarle a construir su propio sistema de SyE basado en resultados. Debemos una nota especial de gratitud al Departamento de Examen de Políti- cas y Operaciones, del Ministerio de Relaciones Exteriores de los Países Bajos, en particular a Rob D. Van den Berg y Hans Slot. Por medio del apoyo financiero prestado (a través del Fondo Holandés de Fideicomiso en el Banco Mundial) y de su estímulo intelectual, han sido los principales promotores de esta iniciativa. Que estemanualsehayaconvertidoenrealidadsedebeprincipalmenteasuconsis- tencia y visión. prefacio01.p65 16 24/07/05, 10:31 a.m. Prefacio xvii Igualmente deseamos agradecer la colaboración en la preparación del Manual prestada por la doctora Bárbara Balaj. Fueron invaluables sus agudas percepcio- nes analíticas, sus críticas reflexivas y su apoyo continuo. El Manual se ha visto significativamente enriquecido con su participación. Agradecemos también los comentarios y críticas de Osvaldo Feinstein y Laura Rawlings, nuestros colegas en el Banco. A Jonathan Breaul y Frans Leeuw, nues- tros agradecimientos por sus reseñas constructivas. En verdad valoramos sus es- fuerzos. Construir un sistema de SyE basado en resultados es una labor que toma tiem- po. A lo largo del camino habrá muchos recodos y cambios de rumbo, pero el viaje y las recompensas valdrán la pena. Jody Zall Kusek Ray C. Rist Washington, D.C. prefacio01.p65 17 24/07/05, 10:31 a.m. prefacio01.p65 18 24/07/05, 10:31 a.m. ACERCA DE LOS AUTORES Jody Zall Kusek, coordinadora del Sistema de SyE de Resultados de la Región África, del Banco Mundial. Es asesora de estrategias para mejorar la capacidad del sistema de SyE, tanto en el Banco como en los organismos clientes. Se desempeñaba como encargada principal de Evaluaciones del Banco Mun- dial, desarrollando iniciativas de mejoría en todos los departamentos del Banco en el campo de seguimiento y evaluaciones basados en resultados. Antes de su llegada al Banco Mundial, la señora Kusek fue directora de Planeación de Desem- peño para el Secretario del Interior de Estados Unidos y asesora principal en Ges- tión del Secretario de Energía de Estados Unidos. Su experiencia laboral también incluye la dirección del examen de Desempeño de Gestión de Recursos Natura- les, para el anterior presidente de los Estados Unidos, Bill Clinton. Ha trabajado en Albania, Egipto, la República Kirguisa, Mozambique, Rumania y Zambia, pres- tando apoyo al desarrollo de sistemas nacionales de SyE. Recientemente ha publi- cadodiezartículossobreeltemadedesarrolloygestióndesistemasdeseguimiento de la pobreza, y hace parte del Consejo Editorial de una revista del gobierno de Estados Unidos sobre conocimientos y aprendizaje. Ray C. Rist es encargado principal de Evaluaciones del Departamento de Evalua- ción de Operaciones, del Banco Mundial. Su cargo anterior en el Banco fue el de asesor de Evaluación y jefe de la Unidad de Evaluación y Becas del Instituto del Banco Mundial. Anterior a su vinculación con el Banco, en 1996, prestó durante quince años sus servicios al gobierno de Estados Unidos, desempeñando cargos tanto en la Rama Ejecutiva como en la Legislativa. Fue profesor universitario con cargos en la Universidad Johns Hopkins, Universidad de Cornell y Universidad George Washington. En 1976 y 1977, el doctor Rist fue Miembro Fullbright Princi- pal del Instituto Max Plank, en Berlín, Alemania. Es autor o editor de 24 libros, ha escrito más de 125 artículos y ha dictado conferencias en más de sesenta países. El doctor Rist es miembro de consejos editoriales de nueve revistas profesionales y también preside un grupo internacional de trabajo que colabora en trabajos de investigación relacionados con la evaluación y la gobernabilidad. autores02.p65 19 24/07/05, 10:31 a.m. autores02.p65 20 24/07/05, 10:31 a.m. INTRODUCCIÓN CONSTRUCCIÓN DE UN SISTEMA DE SEGUIMIENTO Y EVALUACIÓN BASADO EN RESULTADOS La gobernabilidad no representa un lujo: es una necesidad vital del desarrollo (Banco Mundial 1997, p. 15). En tanto, durante la historia reciente, el papel del Estado ha cambiado y evolu- cionado, hoy día se ha hecho fácilmente aparente que la gobernabilidad resulta clave para lograr un desarrollo socioeconómico sostenible. Como nunca, los Esta- dos confrontan el reto de las demandas de la economía global, de las nuevas tec- nologías y de la información y de los llamados a favor de mayor participación y democracia. Gobiernos y organizaciones del mundo entero se ven enfrentados a deman- das y presiones internas y externas de mejorías y reformas de la administración pública. Estas demandas surgen de diversas fuentes, entre ellas, las instituciones multilaterales de desarrollo, gobiernos donantes, parlamentos, el sector privado, ONG, grupos de ciudadanos y la sociedad civil, los medios, y muchos otros. Sea que se trate de llamados a favor de mayor rendición de cuentas y transpa- rencia, mayor eficacia de los programas de desarrollo a cambio de ayuda extran- jera, o de resultados reales de promesas políticas hechas, los gobiernos y las organizaciones deben ser cada vez más receptivos a partes interesadas internas y externas y demostrar resultados tangibles. El clamor a favor de mayor eficacia del gobierno ha alcanzado proporciones de crisis en muchos países en desarrollo, donde el Estado ha fracasado en el intento de suministrar aun bienes públicos tan fundamentales como derechos de propiedad, vías y salud y educación básicas (Banco Mundial 1997, p. 2). En resumen, el desempeño del gobierno se ha con- vertido hoy día en un fenómeno global. El sistema de SyE basado en resultados constituye una poderosa herramienta de gestión pública utilizable para ayudar a los encargados de formular las políti- cas y del proceso decisorio a rastrear los avances de un proyecto, programa o políticas determinadas y demostrar su impacto. El sistema de SyE basado en re- sultados difiere de sistemas de SyE tradicionales con un enfoque en la ejecución, introduccion.p65 1 24/07/05, 10:31 a.m. 2 Manual para gestores del desarrollo en cuanto trasciende el énfasis en insumos y productos, haciendo mayor hinca- pié en efectos e impactos. No resulta tarea fácil construir sistemas de SyE basados en resultados. Hacerlo exige un compromiso continuo, tiempo, esfuerzo, recursos y defensores, pero se puede hacer. Una vez se ha creado el sistema, el reto consiste en sustentarlo. Son muchos los retos políticos, organizativos y técnicos que países industrializados y países en desarrollo por igual deben vencer para construir estos sistemas. Cons- truir y sustentar estos sistemas no es tanto un proceso técnico, cuanto un proceso político. No existe un método correcto único para construir estos sistemas, y mu- chos países y organizaciones se van a encontrar en etapas diferentes de desarro- llo con respecto a buenas prácticas de gestión pública en general y de sistemas de SyE en particular. Es importante reconocer que los sistemas de SyE basados en resultados son obras permanentes en curso. Los países industrializados, en especial los países de la Organización para la Cooperación y el Desarrollo Económicos (OCDE), cuentan con más de veinte años de experiencia en sistemas de SyE, en tanto muchos países en desarrollo apenas están comenzando a utilizar esta herramienta clave de gestión pública. Las expe- riencias de los países industrializados son esclarecedoras y son muchas las leccio- nes importantes que pueden ofrecer a los países en desarrollo. Los países industrializados han elegido diversos puntos de partida para ejecutar los siste- mas de SyE basados en resultados, entre ellos enfoques de la totalidad del gobier- no, de enclave o mixtos, los que también son aplicables a países en desarrollo. Por su parte, los países en desarrollo confrontan diversos retos únicos a medida que intentan resolver la pregunta ¿y qué?: ¿cuáles son los resultados e impactos de las acciones del gobierno? La Introducción se divide en tres partes. Primero, hace énfasis en los nuevos retos de la gestión del sector público, a saber, las muchas presiones internas y externas que enfrentan los gobiernos y las organizaciones para que hagan una gestión en búsqueda de resultados. Segundo, examina la utilización de sistemas de SyE como herramienta de gestión pública que se puede utilizar para rastrear resultados y demostrarlos. Tercero, documenta la experiencia de sistemas de SyE en los países industrializados, así como los retos particulares que enfrentan los países en desarrollo. PARTE 1 Nuevos retos en la gestión del sector público En la gestión del sector público han ocurrido muchísimos cambios globales en la medida en que diversas fuerzas internas y externas han convergido para hacer más responsables a los gobiernos y a las organizaciones frente a las partes intere- sadas. A los gobiernos se les exige, cada vez más, demostrar resultados. A las par- introduccion.p65 2 24/07/05, 10:31 a.m. Introducción 3 tes interesadas ya no les interesa únicamente las actividades y los productos organizativos; hoy, más que nunca, están interesadas en efectos reales. ¿Las políti- cas, los programas y los proyectos han producido los resultados y los efectos es- perados? ¿Cómo podemos saber si estamos en la senda correcta? ¿Cómo podemos saber si a lo largo del camino vamos a tener problemas? ¿Cómo podemos resolver esos problemas en cualquier momento en el tiempo? ¿Cómo medimos el avance? ¿Cómo podemos distinguir el éxito del fracaso? Estos son los tipos de preocupa- ciones y de preguntas que se están planteando partes interesadas internas y ex- ternas, mientras gobiernos de todas partes se esfuerzan por encontrar la forma de abordar esas preocupaciones y de resolverlas. Iniciativas internacionales y externas, y factores de cambio Existe un número cada vez mayor de iniciativas internacionales y de fuerzas en juego ejerciendo presión y persuadiendo a los gobiernos para obligarlos a adop- tar sistemas de gestión pública encaminados hacia reformas y, sobre todo, hacia resultados. Entre éstos podemos mencionar: Objetivos de Desarrollo del Milenio (ODM) Iniciativa de País Pobre Muy Endeudado (PPME) Financiación de la Alianza Internacional para el Desarrollo (AID) Membresía de la Organización Mundial del Comercio (OMC) Ampliación de la Unión Europea (UE) e ingreso de nuevos miembros Fondos Estructurales de la Unión Europea Transparencia Internacional (TI). Los ODM se encuentran entre las iniciativas globales más ambiciosas para aco- ger un enfoque basado en resultados hacia la reducción de la pobreza y la mejoría de las condiciones de vida. Ciento ochenta y nueve países miembro de las Nacio- nes Unidas y numerosas organizaciones internacionales adoptaron en 2000 los ocho Objetivos integrales de Desarrollo del Milenio (recuadro I.I). Están com- puestos de una serie de metas que la comunidad internacional países industria- lizados y naciones en desarrollo por igual debe lograr para el año 2015.1 Una lección de gestión pública derivada de más de 25 años de experiencia en los países de la OCDE y los países industrializados, es que la construcción de mayor rendición de cuentas dentro del gobierno va a mejorar su funcionamiento en general. Lo mismo debería ser aplicable al mundo en desarrollo. 1 En el Anexo 3 aparece un listado completo de los ODM, incluyendo metas e indicadores. introduccion.p65 3 24/07/05, 10:31 a.m. 4 Manual para gestores del desarrollo RECUADRO I.I. OBJETIVOS DE DESARROLLO DEL MILENIO 1. Erradicar la pobreza extrema y el hambre 2. Lograr la educación primaria universal 3. Fomentar la igualdad de género y empoderar a las mujeres 4. Reducir la mortalidad infantil 5. Mejorar la salud materna 6. Luchar contra el VIH/SIDA, la malaria y otras enfermedades 7. Garantizar la sostenibilidad ambiental 8. Crear una alianza global para el desarrollo. Fuente: Naciones Unidas Esta nueva agenda para el desarrollo hace énfasis en la necesidad de medir los resultados de la financiación de la ayuda. ¿Las iniciativas para el desarrollo están marcando una diferencia y tienen un impacto? ¿De qué manera los gobiernos van a saber si han progresado y han logrado esas metas? ¿Cómo van a poder distinguir el éxito del fracaso, o el avance de los reveses? ¿Cómo van a identificar obstáculos y barreras? Y, en el plano más elemental, ¿conocen por lo menos sus puntos de parti- da y básicos respecto a cuán lejos deben avanzar para lograr sus metas? Los ODM contienen algunos elementos de un enfoque del sistema de SyE basa- do en resultados. Por ejemplo, las metas de los ODM se han vertido en un conjun- to de indicadores que pueden medir los avances logrados. En el recuadro I.II aparece un ejemplo de una de las tantas maneras en las cuales los objetivos se han articulado en una serie de indicadores y metas. RECUADRO I.II EJEMPLO DE OBJETIVO DE DESARROLLO DEL MILENIO, SUS METAS E INDICADORES Objetivo: Erradicar la pobreza extrema y el hambre Meta 1. Entre 1990 y 2015, reducir a la mitad la proporción de personas con un ingreso menor a un dólar al día Indicador 1. Proporción de la población por debajo de un dólar al día Indicador 2. Relación de brecha de pobreza (incidencia x grado de pobreza) Indicador 3. Proporción del quintil más pobre en el consumo nacional Meta 2. Entre 1990 y 2015, reducir a la mitad la proporción de personas que sufren de hambre Indicador 4. Incidencia de niños de peso inferior al normal Indicador 5. Proporción de la población por debajo del nivel mínimo de consumo de energía dietética Fuente: Naciones Unidas introduccion.p65 4 24/07/05, 10:31 a.m. Introducción 5 En términos más generales, la construcción y el sostenimiento de sistemas de SyE integrales basados en resultados en el ámbito de país y de donante van a ser vitales para medir y hacer seguimiento a los logros de los ODM. La conferencia de Monterrey, México, celebrada en 2002, abordó de manera específica los medios para alcanzar los ODM. Se llegó a un nuevo consenso inter- nacional, al tenor del cual los países industrializados aportarían mayor ayuda conjuntamente con mejor gobernabilidad, políticas de reforma y mayor énfasis en efectividad y resultados por parte de los países en desarrollo. Los ODM simbolizan un enfoque en resultados... El nuevo paradigma del desarrollo hace énfasis en resultados, alianzas, coordinación y rendición de cuentas ... Combina una orientación a resultados, apropiación interna de las políticas mejoradas, alianzas entre gobiernos, el sector privado y la sociedad civil, y un enfoque holístico a largo plazo, consciente de la interacción entre sectores y temas del desarrollo. (Picciotto 2002, p. 3) Los ODM también están planteando retos especiales de evaluación a la comu- nidad internacional. Cada vez es más evidente la necesidad de una nueva arqui- tectura de evaluación. Es indispensable sentar las bases para construir sistemas de SyE basados en resultados que trasciendan el plano de país poniéndolos de acuerdo y coordinándolos en el ámbito internacional con organismos de la ONU, donantes multilaterales y bilaterales, la sociedad civil y similares. Éste va a ser el reto futuro para expandir la esfera del sistema de SyE. Ahora, muchos países, en especial los países en desarrollo, deben pugnar por convertirse en parte de iniciativas internacionales, organizaciones y bloques, con el fin de cosechar los beneficios esperados en términos socioeconómicos, políti- cos y de seguridad. Es inevitable que parte del trato conlleve adherir a un conjun- to de requerimientos, condiciones y metas específicas entre ellas, seguimiento y evaluación. Si estos gobiernos van a convertirse en parte de la comunidad global, deben abrirse a un mayor escrutinio y ser más transparentes y responsables ante las partes interesadas. En este contexto, deben aprender a hacer gestión por re- sultados. En el recuadro I.III se describe el impacto que Transparencia Internacio- nal (TI), una organización externa, tiene en el avance hacia la rendición de cuentas. A continuación aparecen algunos ejemplos de los tipos de iniciativas interna- cionales y de requerimientos estipulados para convertirse en miembro de organi- zaciones y bloques internacionales y para cosechar los beneficios de esa membresía y de la inclusión. Juntos, han creado una fuerza global de rendición pública de cuentas y de resultados comprobados: introduccion.p65 5 24/07/05, 10:31 a.m. 6 Manual para gestores del desarrollo RECUADRO I.III TRANSPARENCIA INTERNACIONAL Transparencia Internacional es la única organización internacional dedicada exclusivamente a frenar la corrupción (TI 1997). Medios de comunicación del mundo entero citan al Índice de Percepción de la Corrupción, publi- cado cada año por TI, el cual califica a 102 países según niveles percibidos de corrupción entre funcionarios públicos, como el índice más importante en el campo. El Índice de TI de Pagos de Sobornos califica a los principales países exportadores según la propensión que muestren a pagar sobornos. TI no está afiliada a ningún partido político, y cuenta con sucursales en 88 países que desarrollan una misión contra la corrupción en el ámbito nacional, ayudando a acrecentar la conciencia públi- ca sobre problemas de corrupción y el impacto perjudicial concomitante sobre el desarrollo. La corrupción socava el buen gobierno, fundamentalmente distorsiona las políticas públicas, condu- ce a una asignación inadecuada de recursos, perjudica al sector privado y al desarrollo del sector privado y lastima a los pobres en especial (TI 2002). TI construye coaliciones con instituciones y actores regionales institucionales con miras a luchar contra la corrupción. En el ámbito nacional, TI también trabaja en la construcción de coaliciones entre todos los grupos de la sociedad para fortalecer sistemas de integridad gubernamental. Así mismo, TI tiene impacto en el seguimiento del desempeño en el plano corporativo multinacional. El auge de Transparencia Internacional ha coincidido con el descubrimiento que han hecho muchas compañías en el sentido que deben mejorar su imagen siendo socialmente responsables en muchos países. Este hecho ha ayudado a reforzar la prosperidad de la organización empresarial, convirtién- dola en actor importante de la batalla global contra la corrupción (Crawford 2003, p. 1). Con su gran alcance global y su acceso a los medios, TI continúa siendo otro factor global impor- tante para presionar a los gobiernos y a las corporaciones multinacionales para ser más responsa- bles, y producir resultados tangibles para sus partes interesadas. Fuente: TI, 1997, 2002. Iniciativa de País Pobre Muy Endeudado (PPME). En 1996, el Banco Mun- dial y el Fondo Monetario Internacional (FMI) propusieron la Iniciativa de País Pobre Muy Endeudado, el primer enfoque integral a la reducción de la deuda externa de los países más pobres del mundo y los más endeudados. Otro objetivo de la PPME consiste en apoyar la reducción de la pobreza, estimular el crecimiento liderado por el sector privado y la mejoría de los indicadores sociales de un país. Como condición para el alivio de la deuda y análogo a los ODM los gobiernos receptores deben contar con la capaci- dad para hacer seguimiento, evaluar e informar sobre empeños de reforma y los avances logrados hacia la reducción de la pobreza. Por ejemplo, Uganda logró avanzar en sistemas de SyE y calificó para un alivio mejorado bajo la iniciativa PPME. En otros casos, sin embargo, la falta de capacidad para cons- truir y mantener sistemas de SyE basados en resultados ha representado un problema especial para países PPME participantes, como Albania, Madagascar y Tanzania. introduccion.p65 6 24/07/05, 10:31 a.m. Introducción 7 Financiación de la Alianza Internacional para el Desarrollo (AID). Al tenor de las negociaciones de reposición AID 13 cuyo resultado fueron las contri- buciones de donantes más cuantiosas de la historia (cerca de 23 mil millones de dólares) 39 donantes basaron específicamente en resultados sus contribu- cionespara79delospaísesmáspobresdelmundo,seformularonindicadores explícitos de efectos dirigidos a rastrear los resultados hacia el logro de objeti- vos, en particular en salud, educación y desarrollo del sector privado. Actualmente, AID cuenta con un sistema de Asignación Basada en Desem- peño, que ha servido para dirigir mejor los recursos de los donantes hacia países con políticas e instituciones adecuadas: en resumen, gobernabilidad. Se han logrado nexos más estrechos entre desempeño y asignaciones de recursos de donantes, y en el diálogo de país se integran cada vez más las estimaciones y las asignaciones resultantes. Con AID 13, también se dio comienzo a una iniciativa tendiente a implantar un sistema integral para medir, hacer seguimiento y administrar los resul- tados del desarrollo. El sistema se enlaza con iniciativas actuales y está de conformidad con sistemas de medición establecidos por prestatarios de AID, según sus propios Documentos de Estrategia Nacional de Reducción de la Pobreza, así como con el trabajo que realizan hacia el logro de las MDM. También se está trabajando para garantizar que el anterior enfoque goce de plena aceptación y se coordine con otras acciones que está emprendiendo la comunidad de donantes (AID 2002). Membresía de la Organización Mundial del Comercio (OMC). Otras presio- nes provienen de las nuevas reglas del juego que han surgido con la globali- zación,dondehanaumentandolasdemandasporlareduccióndelasbarreras al comercio, y donde, antes de invertir en un país determinado, los intereses del capital financiero y del sector privado exigen un clima estable de inver- sión, el imperio de la ley y la protección de la propiedad y de las patentes. La OMC, sucesora del Acuerdo General sobre Aranceles y Comercio (GATT, por sus iniciales en inglés), constituye uno de tales ejemplos. Creada en 1995, la OMC facilita el flujo libre del comercio internacional. Cuenta con 147 miembros y otros 26 se encuentran en el proceso de negociación de la membresía. Más de 75 por ciento de los miembros de la OMC se encuentran entre los países en desarrollo o menos desarrollados. Los miembros deben aceptar cumplir con un conjunto específico de normas relacionadas con reciprocidad y trato igual, transparencia de los regímenes comerciales y legales, reducción de las barreras al comercio, adopción de disposiciones legales de derechos de propiedad intelectual y compromiso con la protec- ción del medio ambiente, y aceptan que se les haga seguimiento y se les evalúe según esas normas. Ampliación de la Unión Europea (UE). A lo largo de su historia, la Unión Europea ha experimentado cinco ampliaciones distintas, aumentando de introduccion.p65 7 24/07/05, 10:31 a.m. 8 Manual para gestores del desarrollo seis a 25 Estados miembro. La UE participa y participará en negociaciones con otros países respecto de sus solicitudes de ingreso para convertirse en miembros de la UE. Para lograr su ingreso, los países aspirantes deben satisfa- cer tres criterios básicos: instituciones estables y democráticas y respeto por los derechos humanos y protección de las minorías étnicas; una economía de mercado operativa capaz de manejar presiones competitivas dentro de la UE; y la habilidad para satisfacer las obligaciones que comporta la membresía asociadas con la unión política, económica y monetaria. En este contexto, la UE hace seguimiento a los avances de miembros potenciales con respecto a la adopción,ejecuciónyaplicacióndelalegislacióndelaUE.Lasindustriasnacio- nales también deben satisfacer las normas y estándares de la UE. Fondos Estructurales de la Unión Europea. los Fondos Estructurales de la UE se han utilizado para respaldar y ayudar al desarrollo socioeconómico de las regiones menos desarrolladas de los países miembro de la UE. En un esfuerzo por lograr mayor cohesión económica dentro de la UE, se han uti- lizado Fondos Estructurales para redistribuir fondos hacia las regiones más pobres. A las regiones beneficiadas se les ha exigido establecer un proceso de seguimiento y evaluación. Conforme la UE aumenta de tamaño, tam- bién se van a extender los Fondos Estructurales para incluir a las regiones menos desarrolladas de nuevos países miembro, haciéndolas así partícipes del sistema de evaluación. Enfoque de la Estrategia Nacional de Reducción de la Pobreza Los Bancos Multilaterales de Desarrollo (BMD) han creado estrategias y enfoques para el desarrollo sostenible y la reducción de la pobreza. Así mismo, estas inicia- tivas involucran fijar metas, elegir indicadores y hacer seguimiento de los avan- ces y evaluarlos según estas metas. Estrategias Nacionales de Reducción de la Pobreza. La iniciativa de PPME también está ligada a las Estrategias Nacionales de Reducción de la Pobreza. En 1999, la comunidad internacional para el desarrollo se puso de acuerdo en que las Estrategias Nacionales de Reducción de la Pobreza deberían ser la base de empréstitos en condiciones muy favorables y del alivio de la deuda. Los Documentos de Estrategia de Reducción de la Pobreza (DERP)describen las políticas macroeconómicas, estructurales y sociales y los programas de un país para fomentar el crecimiento y reducir la pobreza, así como las necesidades relacionadas de financiación externa. Los gobiernos elaboran los DERP por medio de un proceso participativo del que hacen parte la so- ciedad civil y los asociados en el desarrollo... (Banco Mundial 2003b). A su vez, las Estrategias Nacionales de Reducción de la Pobreza deben estar ligadas a metas acordadas de desarrollo durante un período de tres años con una matriz de las políticas y conjuntos concomitantes de indicadores introduccion.p65 8 24/07/05, 10:31 a.m. Introducción 9 mensurables y un sistema de seguimiento y evaluación para medir los avan- ces. Específicamente, un DERP va a definir metas a mediano y largo plazos para efectos de reducción de la pobreza (monetarios y no monetarios), es- tablecer indicadores de avances y fijar objetivos anuales y a mediano plazo. Los indicadores y objetivos deben ser apropiados, teniendo en cuenta la es- timación de la pobreza y la capacidad institucional para hacer seguimiento ... un DERP contendría [también] una estimación de los sistemas de seguimiento y evaluación del país... (Banco Mundial 2003b). Por consiguiente, los países que pugnan por convertirse en parte de la ini- ciativa PPME deben comprometerse con un proceso que conlleva rendición de cuentas y transparencia a través del seguimiento, la evaluación y el lo- gro de resultados mensurables. Marco Integral de Desarrollo. El Marco Integral de Desarrollo (MID) está compuesto de cuatro principios básicos: un marco de desarrollo holístico a largo plazo; orientación a los resultados; apropiación de país; y alianza di- rigida por país. El MID y las Estrategias de Reducción de la Pobreza se re- fuerzan entre sí; y ambos recalcan la rendición de cuentas de los resultados. La adopción y aplicación del MID un enfoque sistémico, a largo plazo (diez años, por lo general) al desarrollo que involucra a todos las partes interesa- das también ha tenido como resultado presiones a favor del seguimiento y la evaluación de la participación de partes interesadas y de los avances del desarrollo económico. En una estrategia nacional de desarrollo de país, el MID incluye una descripción clara de metas a mediano y largo plazos de reducción de la pobreza, con indicadores para medir los avances, garanti- zando de este modo que las políticas estén bien formuladas, se ejecuten con eficacia y se les haga el debido seguimiento. Por ejemplo, partes interesadas como ONG que han estado involucradas en el proceso y están a la búsqueda de maneras para hacer seguimiento a su propio desempeño en términos de la Estrategia Nacional de Reducción de la Pobreza y del Plan Nacional de Desarrollo. En varios países se ha comen- zado a ejecutar el Plan Nacional de Desarrollo y se espera que el enfoque produzca información valiosa sobre cómo establecer puntos de referencia y cómo medir los efectos del desarrollo. Por ejemplo, el Plan Nacional de Desa- rrollo se ha convertido en un factor trascendental para establecer en la Repú- blica Kirguisa un sistema de SyE basado en resultados. Según los hallazgos de una estimación reciente del MID, son indispensa- bles investigaciones adicionales y un mayor intercambio de experiencias entre países receptores sobre cómo construir sistemas de seguimiento y eva- luación de apropiación de cada país... (Banco Mundial 2003a, p. 4). introduccion.p65 9 24/07/05, 10:31 a.m. 10 Manual para gestores del desarrollo Iniciativas internas y factores de cambio Los gobiernos también enfrentan llamados cada vez más urgentes de partes inte- resadas internas a favor de la reforma para que, por ejemplo, demuestren respon- sabilidad y transparencia, formulen políticas públicas justas y equitativas y presten bienes y servicios tangibles de manera oportuna y eficiente. Tal vez esas presio- nes provengan de funcionarios del gobierno, del parlamento, de partidos de la oposición, de gerentes y personal de programas, de ciudadanos, empresarios, ONG, la sociedad civil y los medios. Descentralización, liberalización de normas, comercialización y privati- zación. El cambio en muchos países hacia varias reformas, como descentra- lización, liberalización de normas, comercialización o privatización ha acrecentado la necesidad de seguimiento y evaluación en el ámbito regio- nal y local del gobierno. La necesidad de hacer seguimiento también ha aumentado a medida que proveedores de servicios no gubernamentales (como ONG, el sector privado y grupos de la sociedad civil) han comenzado a asumir algunas de las funciones del sector público que normalmente eran desempeñadas antes por los gobiernos. Conforme se emprenden tales iniciativas, se va a registrar la necesidad cons- tante de hacer seguimiento y evaluar el desempeño en diferentes ámbitos gu- bernamentalesynogubernamentales,asícomoentrenuevaspartesinteresadas. Por ejemplo, en la actualidad Colombia, Chile e Indonesia llevan a cabo un procesodedescentralizaciónfiscalyestánempeñadasencrearnuevasrespon- sabilidades de evaluación y extenderlas hasta la base del plano local. Si bien algunos gobiernos puedan estar disminuyendo sus funciones en la prestación de bienes y servicios públicos, todavía van a tener que hacer seguimiento y evaluar el impacto de las políticas y programas indepen- dientemente de quién sea el encargado de ejecutarlas. Cambios en el tamaño del gobierno y sus recursos. Sobre los gobiernos se ejercen muchas presiones internas para que reduzcan su tamaño y se refor- men a sí mismos. Los gobiernos experimentan restricciones presupuesta- rias que los obligan a elegir opciones y a hacer concesiones difíciles para decidir sobre la mejor utilización posible de recursos limitados. Han au- mentado las presiones para que hagan más con menos y aún así demos- trar resultados. Los gobiernos son cada vez más conscientes de la necesidad de construir y sustentan sistemas de SyE basados en resultados para poder demostrar el desempeño. Existen muchísimas fuerzas, iniciativas y partes interesadas nacionales, multila- terales e internacionales que urgen a los gobiernos a ser más responsables y trans- parentes y para que demuestren resultados. Si los países en desarrollo, en especial, introduccion.p65 10 24/07/05, 10:31 a.m. Introducción 11 se van a unir a la caravana de la globalización y van a cosechar los beneficios, van a tener que satisfacer requisitos, estándares y metas específicas. Los sistemas de SyE basados en resultados pueden ser un poderoso instrumento de gestión públi- ca que les ayude a medir el desempeño y rastrear los avances en el logro de metas propuestas. PARTE 2 Sistemas de Seguimiento y Evaluación (SyE) basados en resultados. Poderosa herramienta de gestión pública En la presente sección se examina el poder de medir el desempeño (recuadro I.IV), la historia y definiciones de sistemas de SyE, las diferencias entre un sistema de SyE tradicional basado en la ejecución y los sistemas de SyE más novedosos basados en resultados, y los papeles complementarios del seguimiento y la eva- luación. Así mismo, en la presente sección se exploran las muchas aplicaciones de sistemas de SyE basados en resultados. También se abordan los retos técnicos, organizativos y sobre todo políticos que conlleva la construcción de un sistema de SyE basado en resultados. Por último, se introduce el modelo de diez pasos para diseñar, construir y sustentar tales sistemas, junto con algunos comentarios sobre cómo abordar la garantía de sostenibilidad de estos sistemas en un país determinado. RECUADRO I.IV EL PODER DE MEDIR RESULTADOS Si no mide resultados, no puede distinguir entre el éxito y el fracaso. Si no puede ver el éxito, no lo puede recompensar. Si no puede recompensar el éxito, quizás esté premiando el fracaso. Si no puede ver el éxito, no puede aprender de él. Si no puede reconocer el fracaso, no lo puede corregir. Si puede demostrar resultados, puede ganar el respaldo público. Fuente: adaptado de Osborne & Gaebler 1992. En la medición del desempeño radica un poder enorme. Hace más de cinco mil años, los antiguos egipcios hacían un seguimiento regular de los productos de su país en grano y de la producción pecuaria. En este sentido, ciertamente el seguimiento y la evolución no constituyen un fenómeno nuevo. Durante las últi- mas décadas, también los gobiernos modernos se han comprometido en alguna forma de seguimiento y evaluación. Se han esforzado por rastrear sus gastos, ren- introduccion.p65 11 24/07/05, 10:31 a.m. 12 Manual para gestores del desarrollo tas, niveles de contratación de personal, recursos, actividades de programa y de proyecto, bienes y servicios producidos, y así sucesivamente. Como parte de su equipo de herramientas de gestión, los gobiernos cuentan con muchos tipos diferentes de sistemas de rastreo. Todos los gobiernos necesitan el escaño de tres patas de sistemas de recursos humanos, sistemas financieros y sistemas de rendición de cuentas adecuados. Pero también necesitan de sistemas adecuados de retroinformación. En esencia, un sistema de SyE basado en resulta- dos constituye una herramienta especial de gestión pública que los gobiernos pueden utilizar para medir y evaluar efectos, para luego retroalimentar esta in- formación en los procesos continuos de gobernar y de tomar decisiones. Seguimiento y evaluación: ¿de qué se trata? Las respuestas creíbles a la pregunta ¿y qué? abordan preocupaciones de res- ponsabilidad de partes interesadas, ofrecen a los gerentes del sector público infor- mación sobre avances hacia el logro de objetivos y metas propuestas y suministran evidencias significativas como base para cualesquiera correcciones de las políticas, programas o proyectos que sea necesario hacer a mitad del camino. Construir un sistema de SyE en esencia agrega la cuarta pata al escaño de la gobernabilidad. De lo que regularmente han carecido los sistemas del gobierno ha sido del componente de retroinformación con respecto a resultados y conse- cuencias de acciones gubernamentales. A lo anterior se debe que la construcción de un sistema de SyE proporcione a los encargados del proceso decisorio una herramienta adicional de gestión del sector público. El documento OCDE (2002a) define de la siguiente manera los términos hacer seguimiento y evaluación. Seguimiento es una función continua que utiliza la recolección sistemática de da- tos sobre indicadores especificados con el fin de proporcionar a los directivos de una mediación del desarrollo en curso y las principales partes interesadas, indicadores sobre el grado de avances y logros de objetivos y progresos en la utilización de fondos asignados (p. 27). Evaluación es la evaluación sistemática y objetiva de un proyecto, un programa en curso o terminado o de las políticas, comprendiendo su diseño, ejecución y resul- tados. Lo que se busca es determinar la relevancia y satisfacción de los objetivos, la eficiencia del desarrollo, su efectividad, impacto y sostenibilidad. Una evalua- ción debe proporcionar información creíble y útil, permitiendo la incorporación de lecciones aprendidas en el proceso decisorio, tanto de receptores como de do- nantes (p. 21). (Para un glosario OCDE completo de términos clave de evaluación y gestión basada en resultados, véase el anexo 6). introduccion.p65 12 24/07/05, 10:31 a.m. Introducción 13 Al yuxtaponer las dos definiciones anteriores, de inmediato se hace evidente que, aun siendo distintas, son complementarias. Hacer seguimiento ofrece infor- mación sobre la situación de las políticas, de un programa o un proyecto en un momento dado (y en el tiempo) relativa a objetivos y efectos respectivos. Hacer seguimiento es descriptivo en su intención. La evaluación ofrece evidencias de por qué los objetivos y los efectos se están o no logrando. Busca resolver problemas de causalidad. A la expansión de la función tradicional de sistemas de SyE se le debe asignar un énfasis especial para poner un enfoque explícito en efectos e impactos. La evaluación es un complemento a hacer seguimiento en cuanto que cuando un sistema de seguimiento envía señales de que el trabajo se está desviando de la ruta trazada (por ejemplo, que la población objetivo no está utilizando los servi- cios, que los costos van en aumento, que existe una resistencia real a la adopción de una innovación, y así sucesivamente), entonces la información de evaluación adecuada puede ayudar a aclarar las realidades y tendencias observadas con el sistema de seguimiento. Por ejemplo, si la información sobre desempeño anual se presenta sola y aislada, fuera de contexto y sin el beneficio de la evaluación de programa, existe el peligro de que gerentes de programa, legisladores... y otros saquen conclusiones incorrectas sobre la causa de las mejoras o desmejoras de ciertas medidas... Por lo general, la mera observación de los datos sobre tenden- cias nos puede informar cuán eficaces fueron nuestras mediciones de programa de gobierno (ChannahSorah 2003, p. 7). Para tratar de determinar la causalidad, se recalca la necesidad de información de evaluación adecuada a lo largo del ciclo vital de una iniciativa no justo al final. El cuadro I.I pone de relieve las funciones diferentes si bien complementa- rias que juegan en el seguimiento y la evaluación en los sistemas de SyE. CUADRO I.I FUNCIONES COMPLEMENTARIAS DE SISTEMAS DE SyE BASADOS EN RESULTADOS Seguimiento Evaluación Aclara objetivos de programa Analiza por qué se lograron o no se lograron los resultados esperados Enlaza actividades y sus recursos con Evalúa aportes causales específicos de objetivos actividades a resultados Traduce objetivos en indicadores de Examina el proceso de ejecución desempeño y fija metas Rutinariamente obtiene datos sobre estos Estudia resultados no propuestos indicadores, compara resultados reales con objetivos Informa sobre avances a gerentes y los alerta Brinda lecciones, resalta el logro significativo sobre problemas del potencial de programa y ofrece recomendaciones de mejoría introduccion.p65 13 24/07/05, 10:31 a.m. 14 Manual para gestores del desarrollo El seguimiento se puede hacer en el plano de proyecto, programa o de las políticas. Por ejemplo, cuando se estudia la salud infantil, se podría hacer segui- miento al ámbito de proyecto haciendo seguimiento al conocimiento que la gente de seis poblados objetivos tenga sobre atención prenatal adecuada. En el ámbito de programa, se podría hacer seguimiento para asegurarse de que la información sobre atención prenatal se está dirigiendo a mujeres embarazadas en una región completa de un país. En el plano de seguimiento de las políticas, el interés podría ser hacer seguimiento a la morbilidad global infantil y a las tasas de mortalidad para la misma región. De manera similar al seguimiento, la evaluación se puede realizar en el plano de proyecto, de programa o de políticas. Para tomar un ejemplo de privatización de sistemas hídricos, la evaluación de un proyecto podría implicar la estimación de las mejoras en las tasas de recolección de tarifas de abastecimiento de agua en dos provincias. En el ámbito de programa, se podría considerar avaluar la gestión fiscal de los sistemas del gobierno, en tanto, en el ámbito de políticas, se podría evaluar diferentes enfoques de modelo a la privatización de los suministros pú- blicos de agua. Cuando se hace referencia al término evaluación en el contexto de un sistema de SyE, no solamente se está haciendo referencia al enfoque clásico de definir la atribución según se encarna en la evaluación posterior al hecho de proyectos, programas o políticas. Las evaluaciones de impacto sí abordan la atribución (o al menos lo intentan). Pero aquí se está considerando a la evaluación en un contexto mucho más amplio como un método siempre disponible de análisis que ayuda a los gerentes de programa a adquirir mayor comprensión de todos los aspectos de su trabajo desde el diseño hasta la ejecución y de allí a la conclusión y a los efectos subsiguientes. También se va a analizar la idea de que lo que los gerentes necesitan cada vez más son flujos de información de evaluación, no estudios discontinuos y episódicos de evaluación. La evaluación también se ha utilizado a lo largo de los años para fines diferen- tes. Por ejemplo, en los países de la OCDE, las primeras evaluaciones de los sesenta y los setenta estudiaban métodos para mejorar programas sociales. Posteriormente, en los ochenta y noventa, los gobiernos utilizaron la evaluación para hacer ges- tión presupuestaria, por ejemplo, estudiando métodos para reducir el gasto y recortar programas públicos. Como se anotaba, los empeños para desarrollar sis- temas de SyE se han propagado a los países en desarrollo el deseo de satisfacer requisitos específicos de donante, cumplir metas internacionales de desarrollo, o en algunos casos, ceder a presiones sociales y económicas, tanto externas como internas, ha impulsado muchos de esos esfuerzos . De nuevo, se puede definir la evaluación como una estimación, tan sistemáti- ca y objetiva como sea posible, de una mediación planificada en curso o conclui- da. Lo que se busca es determinar la pertinencia de objetivos, eficiencia, eficacia, impacto y sostenibilidad con el fin de incorporar las lecciones aprendidas en el introduccion.p65 14 24/07/05, 10:31 a.m. Introducción 15 proceso decisorio. En términos específicos, esta clase de evaluación aborda las preguntas por qué, es decir, qué ocasionó los cambios objeto de seguimiento; cómo, es decir, cuál fue la secuencia o proceso que condujo a efectos exitosos (o no exitosos); y a preguntas de conformidad y rendición de cuentas es decir, ¿las activida- des propuestas se llevaron a cabo en realidad y según lo planeado? Rasgos clave de sistemas de yE tradicionales basados en resultados S con un enfoque en la ejecución Los sistemas de SyE tradicionales con un enfoque en la ejecución se han diseñado para abordar la cuestión de cumplimiento (conformidad) la pregunta ¿lo hicie- ron?. ¿Movilizaron los insumos requeridos? ¿Emprendieron y culminaron las actividades acordadas? ¿Suministraron los productos propuestos (los productos o servicios que se debían producir)? El enfoque de ejecución hace énfasis en el seguimiento y la evaluación de cuán bien se está ejecutando un proyecto, un programa o unas políticas, y suele vincular la ejecución con una unidad particu- lar de responsabilidad. Sin embargo, el anterior enfoque no permite una com- prensión por parte de los encargados de formular las políticas, los gerentes y las partes interesadas del éxito o del fracaso de ese proyecto, de ese programa o de esas políticas. Los sistemas de SyE basados en resultados se han diseñado para resolver la pregunta ¿y qué?. ¿Y qué acerca del hecho de que se hayan generado produc- tos? ¿Y qué que se hayan realizado unas actividades? ¿Y qué si se han contabiliza- do los productos de estas actividades? Un sistema basado en resultados proporciona retroinformación sobre los efectos y las metas reales de las acciones del gobierno. Los sistemas de SyE basados en resultados ayudan a resolver las preguntas siguientes: ¿Cuáles son los objetivos de la organización? ¿Se están logrando esos objetivos? ¿Cómo se puede demostrar ese logro? En el recuadro I.V aparecen algunas de las diferencias clave entre sistemas tra- dicionales de SyE basados en la ejecución y sistemas de SyE basados en resultados. El seguimiento basado en resultados es un proceso continuo de recolección y análisis de información que establece una comparación entre la eficiencia con que se está ejecutando un proyecto, un programa o unas políticas y los resultados esperados. En el gráfico I.I se ilustra la manera en que el seguimiento y la evaluación de metas nacionales de desarrollo van a tener que incluir no solamente el enfoque tradicional de ejecución, sino también un enfoque en resultados. Así mismo de- introduccion.p65 15 24/07/05, 10:31 a.m. 16 Manual para gestores del desarrollo RECUADRO I.V ASPECTOS CLAVE DEL SEGUIMIENTO DE LA EJECUCIÓN VS. SEGUIMIENTO DE LOS RESULTADOS Elementos del seguimiento de la ejecución (utilizada tradicionalmente en los proyectos) Descripción del problema o de la situación antes de la mediación Referencias para actividades y productos inmediatos Recolección de datos sobre insumos, actividades y productos inmediatos Informes sistemáticos sobre suministro de insumos Informes sistemáticos sobre producción de productos Ligado directamente con una mediación discontinua (o con una serie de mediaciones) Diseñado para ofrecer información sobre aspectos administrativos, de ejecución y de gestión en contraste con aspectos más amplios de eficacia del desarrollo. Elementos del seguimiento de resultados (utilizado para una gama de mediaciones y estrategias) Datos básicos para describir el problema o la situación antes de la mediación Indicadores de efectos Recolección de datos sobre productos y cómo, y si hacen un aporte al logro de los efectos Mayor enfoque en percepciones de cambio entre partes interesadas Informes sistemáticos con información más cualitativa y cuantitativa sobre los avances hacia los efectos Realizado conjuntamente con socios estratégicos Recoge información sobre éxito o fracaso de la estrategia de alianzas en el logro de efectos esperados. Fuente: Adaptado de Fukuda-Parr, Lopes y Malik 2002, p. 11 muestra la manera en que los sistemas basados en resultados se nutren de siste- mas tradicionales con un enfoque en la ejecución y los complementan. En el gráfico I.I se observa que al dejar la generación de productos como una tarea de ejecución antes que como un resultado, existe, hasta cierto punto, una divergencia respecto del glosario de la OCDE, según el cual la definición de resul- tados incluye productos junto con efectos e impactos. Lo anterior se hace para resaltar el enfoque en la respuesta de la pregunta ¿y qué?. En opinión de los autores, construir una escuela, pavimentar una vía o capacitar a trabajadores ru- rales de la salud no responde la pregunta ¿y qué?. Estos son productos y ahora se va a explicar ¿y qué? ¿Cuáles son los resultados de construir esta escuela, de pavimentar esta vía, de capacitar a estos trabajadores de la salud? Como se puede observar en el gráfico I.I, hacer seguimiento a los avances ha- cia metas nacionales exige que, en el modelo lógico, la información se derive de todos los niveles de resultados, en marcos temporales diferentes y para necesida- introduccion.p65 16 24/07/05, 10:31 a.m. Introducción 17 GRÁFICO I.I MODELO ILUSTRATIVO LÓGICO PARA UN OBJETIVO NACIONAL DE DESARROLLO Fuente: Binnendijk 2000. Nota: TRO = Terapia de Rehidratación Oral des de diferentes partes interesadas. Una estrategia común consiste en medir pro- ductos (número de trabajadores capacitados de la salud) mas no así mejorías de desempeño (utilización mejorada de la terapia de rehidratación oral [TRO] para tratar la diarrea infantil). Si bien se supone un mejor desempeño institucional, introduccion.p65 17 24/07/05, 10:31 a.m. 18 Manual para gestores del desarrollo rara vez se comprueba. Sin resultados medidos, no hay forma de determinar con exactitud si el esfuerzo está logrando en realidad los efectos esperados (utiliza- ción mejorada de TRO) y, en últimas, la meta nacional asociada (reducción de la mortalidad infantil). ¿Entonces, qué significa lo anterior en un contexto gubernamental de SyE ba- sado en resultados? Conforme los gobiernos tratan de ajustar el marco de gastos con los efectos de las políticas, es importante medir el desempeño de la organiza- ción como apoyo al logro de los efectos. La eficiencia de la prestación de servicios, la calidad de la ejecución de programas y de las políticas y la gestión eficaz de los recursos constituyen justo unos pocos ejemplos. Por ejemplo, en Filipinas, el go- bierno se encuentra en las etapas iniciales de definición de indicadores en el pla- no organizativo para diseñar efectos mayores en comparación con los cuales se puedan tomar decisiones de gastos (Banco Mundial 2001e). Muchas aplicaciones para sistemas de yE basados en resultados S Existen muchas aplicaciones para sistemas de SyE basados en resultados y mu- chas otras van surgiendo. Conforme han aumentado las necesidades de rendi- ción de cuentas y de resultados demostrables, así también lo han hecho los usos y las aplicaciones de sistemas de SyE basados en resultados. Aplicaciones a proyecto, a programa y a políticas. Los sistemas de SyE basados en resultados se han diseñado y se han utilizado con gran éxito para hacer segui- miento y evaluar en todos los ámbitos proyecto, programa y políticas. Es posible reunir información y datos y analizarlos en todos y cada uno de los ámbitos con el fin de dar retroinformación en muchos momentos en el tiempo. De este modo, se puede utilizar la información para orientar mejor a los encargados clave del proce- so decisorio, al público en general y a otras partes interesadas. Durante todo el tiempo de duración de un proyecto, un programa o de las políticas, el seguimiento y la evaluación siempre deben ser evidentes y lo mismo debe suceder una vez hayan concluido. Sistemas de SyE con sus flujos continuos de datos y de retroinformación han agregado valor a todas las etapas, desde el diseño hasta la ejecución y el impacto. En cada ámbito, la información específica también va a ser diferente, va a ser diferente la complejidad de la recolección de datos, puede cambiar la sensibilidad política sobre la recolección de los datos y pueden cambiar de un ámbito a otro los usos de la información (Kusek y Rist 2001, p. 17). Aplicaciones internas y externas. Sistemas de SyE se pueden aplicar en el plano local, regional y nacional del gobierno. De modo que si se piensa en sistemas de SyE en relación con los grados de complejidad administrativa (proyecto a programa a políticas) o en términos geográficos, las aplicaciones son evidentes aunque no tie- introduccion.p65 18 24/07/05, 10:31 a.m. Introducción 19 nen que ser idénticas. Una vez más, los indicadores específicos pueden ser necesa- riamente diferentes, ya que también van a ser diferentes las necesidades de infor- mación de las partes interesadas para cada nivel de gobierno. Además, es necesario observar que un sistema de SyE operativo ofrece un flujo continuo de información que resulta útil tanto en el plano interno como en el externo. Los usos internos juegan un papel a medida que la información que suministra el sistema de SyE se utiliza como herramienta crucial de gestión para que el gestor del sector público obtenga resultados y cumpla los objetivos especí- ficos. Toda la información sobre avances, problemas y desempeño resulta clave para un gestor público que se esfuerza por obtener resultados. De igual manera, la información de un sistema de SyE es importante para aquellos que sin pertene- cer al sector público están a la espera de resultados, deseando ver impactos demostrables de la acción del gobierno (y los recaudos tributarios) y a la expecta- tiva de crear confianza en un gobierno que se esfuerza por mejorar la vida de los ciudadanos. Básicamente, el sistema de SyE ayuda a pensar sobre metas y objetivos y a hacer claridad sobre ellos. Gobiernos y partes interesadas también pueden utili- zar los sistemas de SyE para formular solicitudes presupuestarias y justificarlas. A diferencia del anterior enfoque basado en la ejecución, el sistema de SyE basado en resultados centra la atención en el logro de efectos importantes para la organi- zación y sus partes interesadas internas y externas. Los sistemas de SyE pueden servir para identificar programas o prácticas poten- cialmente prometedores. Así mismo pueden identificar resultados de proyectos, programas o políticas no deliberados pero quizás útiles. Al contrario, sistemas de SyE pueden ayudar a los gestores a identificar las debilidades de un programa y emprender acciones para corregirlas. Se puede utilizar una estrategia de sistema de SyE para apaciguar los temores dentro de organizaciones y gobiernos y, en su lugar, sepuedenidearformasdeinculcarunclimaabiertoenelcuallagentepuedaapren- der de los errores, mejorar y crear conocimientos al mismo tiempo. Capital de conocimientos. Los sistemas de SyE adecuados son igualmente fuente de capital de conocimientos. Permiten a gobiernos y organizaciones crear una base de conocimientos de las clases de proyectos, programas y políticas que tie- nen éxito y, en términos más generales, qué funciona, qué no funciona y por qué. Así mismo, los sistemas de SyE pueden ofrecer retroinformación continua en el proceso de gestión de los avances del seguimiento y la evaluación hacia el logro de una meta dada. En este contexto, fomentan el aprendizaje organizativo. También resulta importante un acceso público amplio a la información derivada de sistemas de SyE basados en resultados, para ayudar a impulsar el desarrollo eco- nómico, tanto dentro de un país como entre países. El acceso a la información constituye un componente esencial de una estrategia exitosa de desarrollo. Si es- tamos hablando en serio acerca de reducir la pobreza global, debemos liberar el introduccion.p65 19 24/07/05, 10:31 a.m. 20 Manual para gestores del desarrollo acceso a la información y mejorar la calidad de esa información (Stiglitz e Islam 2003, p. 10). Transparencia y rendición de cuentas. Los sistemas de SyE también pueden ayu- dar a fomentar mayor transparencia y rendición de cuentas dentro de organiza- ciones y gobiernos. Igualmente, de la explicación de los resultados pueden surgir efectos externos beneficiosos. Las partes interesadas internas y externas van a tener una idea más clara de la situación de proyectos, programas y políticas. La habilidad para demostrar resultados positivos también puede ayudar a obtener mayor respaldo político y popular. Existen costos y riesgos organizativos y políticos asociados con la ejecución de sistemas de SyE basados en resultados. Sin embargo, también hay costos y riesgos cruciales involucrados en la no ejecución de estos sistemas. Retos políticos y técnicos a la construcción de un sistema de yE S basado en resultados La construcción de sistemas de SyE basados en resultados conlleva diversos retos políticos y técnicos. Los retos políticos suelen ser los más difíciles de superar. La faceta política del sistema de SyE. En los países de la OCDE y en los países en desarrollo por igual, la ejecución de sistemas de SyE basados en resultados plan- tea muchos riesgos políticos. Principalmente, se necesita un liderazgo político fuer- te y consistente y de voluntad política por lo general encarnado en un adalid político para crear un sistema como este. Llevar a la arena pública información basada en resultados puede cambiar la dinámica de las relaciones institucionales, de la confección de presupuestos y de la asignación de recursos, las agendas po- líticas personales y las percepciones públicas de la eficacia del gobierno. De igual modo, intereses creados fuertes pueden llegar a considerar que son objeto de ataque. Dentro y fuera del gobierno pueden existir opositores a las reformas, quie- nes de manera activa se oponen a esfuerzos de esta índole. Por consiguiente, el papel del adalid político resulta clave para garantizar la institucionalización y la sostenibilidad de sistemas de SyE basados en resultados. Muchas organizaciones preferirían trabajar en la sombra. No desean publicar datos sobre su desempeño y efectos. Crear un sistema de SyE basado en resultados arroja luces sobre problemas del desempeño organizativo. No todas las partes interesadas se van a sentir complacidas de ser objeto de una exposición pública de esta índole. Esta es apenas una de las maneras en que, más que un reto técnico, los sistemas de SyE plantean un reto político. introduccion.p65 20 24/07/05, 10:31 a.m. Introducción 21 Los sistemas de SyE basados en resultados constituyen componentes fundamen- tales de la estructura de gobernabilidad y, por tanto, están básicamente relacio- nados con los sistemas políticos y de poder del gobierno. Los sistemas de SyE pro- porcionan información crítica y habilitan a los encargados de formular las políticas para tomar decisiones mejor informadas. A la vez, ofrecer este tipo de información puede disminuir o de otro modo restringir el número de opciones disponibles a los políticos permitiéndoles menor libertad de acción en sus políticas. En las democracias, resulta cada vez más esencial la información sobre resulta- dos de proyectos, programas y políticas y lo menos que se espera es que se la dé a conocer en el transcurso normal de las operaciones del gobierno. Se supone que información de esta índole puede ayudar en la formulación de las políticas y a orientarla. Sin embargo, los sistemas de SyE pueden plantear retos particulares para los países que en el pasado han sido gobernados por regímenes políticos centra- lizados y autoritarios. Para esta clase de países puede resultar particularmente de- safiante y hasta extraño crear sistemas de SyE que van a poner de relieve los efectos tanto éxitos como resultados y van a ofrecer mayor transparencia y responsabi- lidad. Es posible que hacerlo requiera de un periodo más prolongado para que se adapten y cambien la clase política, los ciudadanos y la cultura. Por último, resulta imposible construir economías fuertes sobre gobiernos débi- les. Los sistemas de SyE basados en resultados pueden servir para fortalecer a los gobiernos reforzando el énfasis en efectos demostrables. Comprender mejorar el funcionamiento y los efectos de programas y políticas económicas y gubernamen- tales puede significar un aporte a la reducción de la pobreza, a un mayor creci- miento económico y al logro de una gran variedad de objetivos de desarrollo. En comparación con la política de crear sistemas de SyE basados en resultados, los problemas técnicos son relativamente menos complejos de abordar y de solucionar. La faceta técnica del sistema de SyE. Construcción de capacidad institucional. El diseño y la construcción de un sistema de información capaz de producir infor- mación confiable, oportuna y pertinente sobre el desempeño de proyectos, pro- gramas y políticas del gobierno exige experiencia, destreza y capacidad institucional. Esta capacidad para un sistema de SyE de información basado en resultados debe incluir, como mínimo, la habilidad para lograr confeccionar indicadores; los medios para recabar, reunir, analizar e informar sobre los datos de desempeño en relación con los indicadores y la información básica; y gestores con las destrezas y la comprensión sobre qué hacer con la información una vez llega a sus manos. Construir en los gobiernos una capacidad de esta índole para estos sistemas representa una labor a largo plazo. introduccion.p65 21 24/07/05, 10:31 a.m. 22 Manual para gestores del desarrollo Algunos países en desarrollo carecen en la actualidad de la capacidad básica para lograr medir insumos, actividades y productos. Pero, al final, todos los paí- ses van a tener que ser capaces de hacer seguimiento técnico y rastreo en todos los niveles del sistema de SyE basado en resultados: en el nivel de insumo, activi- dad, producto (ejecución), consecuencia e impacto (meta). La capacidad estadística constituye un componente esencial de la construc- ción de sistemas de SyE basados en resultados. La información y los datos deben ser verídicos, verificables, transparentes y ampliamente disponibles al gobierno y a partes interesadas entre ellas el público en general. Lo anterior puede resultar difícil para algunos gobiernos que preferirían no divulgar ni compartir datos por razones políticas o para ocultar la corrupción. Así mismo resulta indispensable contar con personal y gestores capacitados téc- nicamente, y, por lo menos, con tecnologías básicas de la información. En algunos casos, en un principio, la asistencia técnica con respaldo de donantes y capacitación va a ser necesaria para que el país produzca el mínimo de información y datos, y comience a construir un sistema de SyE. Por ejemplo, según los hallazgos de una estimación reciente, en la República Árabe de Egipto se va a necesitar la construc- ción de capacidad para funcionarios clave del gobierno nacional en sistemas de SyE basadosenresultadosyenconfeccióndepresupuestosbasadaendesempeño(Banco Mundial 2001c). En el caso de Colombia, funcionarios del gobierno han encargado una evaluación externa de proyectos de importancia mayor, mientras simultánea- mente construyen capacidad interna de evaluación. En ocasiones, en unos países se obtiene una enorme cantidad de datos, pero quizás no existan muchos conocimientos sobre cómo utilizarlos. No resulta de gran ayuda reunir grandes cantidades de datos para luego transferirlos a los gestores. Suministrar montañas de datos sin ningún análisis no va a generar la informa- ción necesaria para mejorar programas. ¿Cuánta información y cuántos datos son suficientes? Obviamente, los encarga- dos del proceso decisorio rara vez disponen de toda la información que necesitan, cuando la necesitan. Se trata de un dilema común respecto a la gestión en cualquier organización. No obstante, aun careciendo de datos perfectos, si el sistema de SyE puede proporcionar algún grado de retroinformación analítica, va a ayudar a los encargados de formular las políticas a que tomen decisiones mejor informadas. Introducción del modelo de diez pasos para construir un sistema de y basado en resultados S E Aunque los expertos difieren sobre la secuencia específica de los pasos para cons- truir un sistema de SyE basado en resultados, todos están de acuerdo en el propó- sito general. Por ejemplo, distintos expertos proponen modelos de cuatro o siete pasos. Independientemente del número de pasos, las acciones fundamentales que implica la construcción de un sistema de SyE están dirigidas a: introduccion.p65 22 24/07/05, 10:31 a.m. Introducción 23 Formular efectos y metas Elegir indicadores de efectos para hacerles seguimiento Recoger información básica sobre la situación actual Fijar objetivos específicos que se van a alcanzar y fechas para lograrlos Reunir con regularidad datos para evaluar si se están logrando los objetivos Analizar los resultados y presentar informes sobre los mismos. Teniendo en cuenta el acuerdo sobre lo que debería contener un sistema ade- cuado, ¿por qué estos sistemas no forman parte de las prácticas comerciales nor- males de los organismos del gobierno, de partes interesadas, de prestamistas y de prestatarios? Una razón evidente es que quienes diseñan los sistemas de SyE a menudo pasan por alto las complejidades y sutilezas del contexto de país, gobier- no o sector. Es más, con frecuencia quienes están listos para comenzar el proceso de construcción del sistema de SyE apenas sí entienden vagamente las necesida- des de los usuarios finales. Es muy escaso el énfasis que se pone en factores organizativos, políticos y culturales. En el contexto anterior, el modelo de diez pasos que presentamos en esta sec- ción (gráfico I.II) difiere de otros porque proporciona muchos detalles sobre cómo construir, mantener y tal vez lo más importante sustentar un sistema de SyE basado en resultados. También difiere de otros enfoques en cuanto contiene una estimación única de la preparación. Una estimación de este tipo debe hacerse antes de la creación real de un sistema. En esencia, la estimación de la preparación es la base del sistema de SyE. Así como la construcción de un edificio debe comen- zar por los cimientos, la construcción de un sistema de SyE debe comenzar por una estimación de la preparación. En ausencia de una comprensión de esos cimien- tos, el avance va a estar plagado de dificultades y, en últimas, de fracasos. Se trata del Paso 1. En toda su extensión, el modelo resalta los procesos políticos, participativos y asociativos involucrados en construir y sustentar sistemas de SyE, es decir, pone de relieve la necesidad de consultar a partes interesadas internas y externas y de comprometerlas en la tarea de fijar efectos, indicadores, objetivos, y así sucesiva- mente. El Paso 2 del modelo conlleva la elección de efectos para hacerles segui- miento y evaluarlos. Los efectos señalan la vía que se debe seguir. El Paso 3 implica confeccionar indicadores clave de desempeño para hacer seguimiento a los avances logrados respecto de insumos, actividades, productos, efectos e impactos. Los indicadores pueden proporcionar retroinformación con- tinua y un acervo de información de desempeño. Existen varias pautas para ele- gir indicadores que puedan ayudar en el proceso. En últimas, confeccionar indicadores adecuados va a ser un proceso iterativo. El Paso 4 del modelo se relaciona con la creación de información básica de desempeño cuantitativa o cualitativa que se pueda utilizar al comienzo de un período de seguimiento. La información básica de desempeño establece un pun- introduccion.p65 23 24/07/05, 10:31 a.m. 24 Manual para gestores del desarrollo GRÁFICO I.II DIEZ PASOS PARA DISEÑAR, CONSTRUIR Y SUSTENTAR UN SISTEMA DE SEGUIMIENTO Y EVALUACIÓN BASADO EN RESULTADOS to de partida con base en el cual posteriormente se haga seguimiento y se evalúen los resultados. El Paso 5 aprovecha los pasos anteriores e involucra la selección de objetivos de resultados, es decir, pasos provisionales en la ruta hacia efectos a más largo plazo. Los objetivos se pueden seleccionar analizando niveles de indicadores básicos y niveles deseados de mejoría. Hacer seguimiento para obtener resultados, el Paso 6 del modelo, incluye tan- to ejecución como seguimiento de los resultados. Hacer seguimiento para obte- ner resultados conlleva recoger datos de calidad de desempeño, para lo cual se dan pautas. El Paso 7 tiene que ver con los usos, tipos y oportunidad de la evalua- ción. El Paso 8, presentar informes sobre hallazgos, estudia las maneras de analizar datos y presentar informes sobre datos para ayudar a los encargados del proceso decisorio a emprender las mejoras necesarias en proyectos, políticas y progra- mas. El Paso 9, utilizar los hallazgos, también es importante para generar y com- partir conocimientos y aprendizaje dentro de gobiernos y organizaciones. Por último, el Paso 10 contempla los retos para sustentar sistemas de SyE basa- dos en resultados, entre ellos, demanda, funciones y responsabilidades claras, información confiable y creíble, rendición de cuentas, capacidad e incentivos apro- piados. El sistema de diez pasos se puede utilizar para proyectos, programas y políti- cas. Si bien visualmente parece un proceso lineal, no lo es en realidad. Es inevita- ble que a lo largo de los pasos se retroceda o se avance, o que se trabaje sobre varios pasos al mismo tiempo. introduccion.p65 24 24/07/05, 10:31 a.m. Introducción 25 La utilización de sistemas de SyE como éstos puede ayudar a que se produzcan cambios en las maneras de funcionar de organizaciones y gobiernos. Cuando se construyen y se sustentan como se debe, sistemas de este tipo pueden dar lugar a mayor responsabilidad y transparencia, mejor desempeño y generación de cono- cimientos. Dónde comenzar: enfoque de La totalidad del gobierno, de enclave o enfoque mixto Gobiernos del mundo entero difieren en sus enfoques a la adopción de sistemas de SyE basados en resultados. En esencia, existen tres enfoques. El primero es el enfoque de la totalidad del gobierno, que fue adoptado en algunos de los prime- ros países pioneros en sistemas de SyE. Este enfoque involucra el establecimiento amplio e integral del sistema de SyE en todas las instancias del gobierno. Con la adopción de los ODM, muchos países en desarrollo están buscando di- señar y ejecutar sistemas integrales de SyE basados en resultados en muchos sec- tores y políticas. Así mismo, ante el creciente énfasis en resultados de la prestación de ayuda internacional, es probable que un mayor número de gobiernos e insti- tuciones donantes ofrezcan apoyo a los países en desarrollo para construir siste- mas amplios de SyE. Entre algunos organismos de donantes y gobiernos existen tendencias para realizar evaluaciones conjuntas que involucren al país receptor como participante activo. Con frecuencia, ministerios diferentes se encuentran en etapas diferentes res- pecto de su habilidad para asumir el establecimiento de un sistema de SyE. La estrategia de la totalidad del gobierno quizás no tenga la capacidad para motivar a todos los ministerios conjuntamente; puede existir la necesidad de una secuen- cia entre ministerios para desarrollar estos sistemas. Muchas veces, las innovacio- nes a un nivel se van a filtrar de manera horizontal y vertical hacia otros niveles del gobierno. Por tanto, el segundo enfoque está más limitado al énfasis en enclave. Muchos países en particular los países en desarrollo puede que todavía no se encuen- tren en una situación que les permita adoptar de manera integral un cambio tan arrollador. Otros enfoques más dirigidos se encuentran disponibles, como comen- zar con los niveles locales, estatales o regionales del gobierno, o realizar pilotos de sistemas de SyE en algunos pocos ministerios u organismos clave. Curiosamente, algunos países, como Irlanda, han adoptado un tercer enfoque mixto al sistema de SyE. En tanto se hace seguimiento y se evalúan algunos cam- pos de manera integral (por ejemplo, proyectos financiados por Fondos Estructu- rales de la UE) otros campos reciben atención esporádica. El gobierno de Irlanda ha avanzado en dirección a un enfoque de evaluación más integral con respecto a introduccion.p65 25 24/07/05, 10:31 a.m. 26 Manual para gestores del desarrollo programas de gastos del gobierno (Lee 1999). Para algunos países en desarrollo, el enfoque mixto también puede convertirse en una alternativa posible. Independientemente de cuál sea el enfoque que se adopte, a menudo se reco- mienda realizar pilotos de sistemas de SyE. La mejor estrategia para introducir un sistema de SyE en un país consiste, primero que todo, en poner a prueba un pro- grama en dos o más ministerios piloto. Albania, por ejemplo, está haciendo con- cordar un programa de SyEbasadoenresultadosconunmarcodegastosamediano plazo recién establecido, y está haciendo pruebas piloto de este trabajo en cuatro ministerios clave. Antes de aplicar el enfoque al gobierno en su totalidad, Egipto ha escogido seis pilotos de desempeño, con el objeto de explorar la forma en que podría funcionar la confección de presupuestos orientada al desempeño. Todavía una tercera estrategia para aplicar un programa orientado a resulta- dos consiste en un enfoque en un grupo particular de consumidores. El gobierno de Egipto quería mejorar sus programas y servicios para promover aspectos de género. Se esperaba que cada uno de los ministerios sectoriales identificara los programas actuales relacionados con aspectos de género y evaluara su desempe- ño. Además, el Consejo Nacional para la Mujer, una organización gubernamental de reciente creación dirigida a mejorar el apoyo del gobierno a la mujer, estaba encargado de identificar un conjunto de indicadores clave de desempeño que luego el gobierno pudiera rastrear y hacerles seguimiento para lograr las metas propuestas relacionadas con el género. Es responsabilidad de los ministerios rela- cionados rastrear y hacer seguimiento a indicadores de programas bajo su con- trol ministerial y hacer seguimiento y evaluar de cerca los programas relacionados del gobierno para lograr resultados (Banco Mundial 2001c). En la medición del desempeño radica una fuente de poder. Los sistemas de SyE basados en resultados constituyen una poderosa herramienta de gestión pú- blica al ayudar a gobiernos y organizaciones a demostrar impactos y efectos a sus respectivas partes interesadas y para conseguir el respaldo público. Si bien los sistemas basados en resultados son similares a los sistemas de SyE, éstos van más allá en su enfoque en efectos e impactos antes que simplemente terminar con un enfoque en la ejecución, es decir, en insumos, actividades y productos. En resumen, estos sistemas tienen muchas aplicaciones y se pueden utilizar en el ámbito de proyecto, programa o políticas. Existen muchos retos políticos, insti- tucionales y técnicos en la construcción de sistemas de SyE basados en resultados. Es más, los países deberían elegir si adoptar un enfoque de gobierno en su totali- dad a la creación de tales sistemas o comenzar por ejecutar un enfoque de encla- ve sólo a un nivel en un gobierno, o dentro de un ministerio único o dentro de un pequeño conglomerado de ministerios. Entre países industrializados y países en desarrollo difiere la experiencia sobre la manera en que todos han optado por abordar el diseño y la construcción de sistemas de SyE basados en resultados. introduccion.p65 26 24/07/05, 10:31 a.m. Introducción 27 PARTE 3 La experiencia de sistemas de yE en países industrializados S y en países en desarrollo La presente sección contiene información de antecedentes sobre experiencias con sistemas de SyE basados en resultados en países industrializados y en países en desarrollo. No existe una manera correcta para construir sistemas como estos. Países diferentes industrializados y países en desarrollo por igual se van a en- contrar en etapas diferentes respecto de la construcción de sistemas de SyE. Den- tro de los países, diferentes ministerios o niveles de gobierno, pueden encontrarse en etapas diferentes de la construcción de su capacidad de SyE. En la presente sección se analizan algunos de los retos particulares que enfrentan los países en desarrollo a medida que intentan construir, operar y sustentar sistemas de SyE basados en resultados. Resulta más fácil decir que se va a construir un sistema eficaz de SyE que hacerlo. Existen varios sistemas que funcionan bien en los países industrializados y menos en los países en desarrollo. No se trata de que los gobiernos no lo estén intentando muchos lo están haciendo. Pero crear un sistema de esta índole toma tiempo, recursos y un clima político estable y defensores fuertes que no se vuelvan timoratos. La experiencia de sistemas de yE en países industrializados y en países S miembros de la OCDE Una gran mayoría de los treinta países miembro de la OCDE cuentan en la actuali- dad con sistemas de SyE basados en resultados. Para estos países, llegar hasta este punto no ha sido un proceso fácil ni lineal. Difieren a menudo significativamente en las rutas que han seguido, en sus enfoques, estilos y niveles de desarrollo. Según una encuesta reciente, Australia, Canadá, los Países Bajos, Suecia y Estados Unidos registran los puntajes más altos de cultura de evaluación entre los países de la OCDE (Furubo, Rist y Sandahl 2002). Esos países han desarrollado culturas de evaluación y sistemas de SyE en res- puesta a diversos grados de presiones internas y externas. Por ejemplo, Francia, Alemania y los Países Bajos lo hicieron en respuesta a fuertes presiones, relacio- nadas en su mayoría con la UE, mientras a países como Australia, Canadá, Repú- blica de Corea y Estados Unidos los motivaron principalmente fuertes presiones internas. Ciertamente, los países pioneros de la OCDE se sintieron motivados para adop- tarculturasdeevaluaciónprincipalmentedebidoafuertespresiones internas.Igual- introduccion.p65 27 24/07/05, 10:31 a.m. 28 Manual para gestores del desarrollo mente estos países jugaron un papel decisivo en la propagación a otros países de la cultura de evaluación, divulgando ideas de evaluación e información y crean- do organizaciones de evaluación, capacitando instituciones, redes y empresas consultoras. En comparación, muchos de los países que llegaron después (por ejemplo, Italia, Irlanda y España) mostraron una tendencia a responder a problemas de evaluación, sobre todo debido a fuertes presiones externas. También recibieron una fuerte influencia de la cultura de evaluación de los pioneros, así como de la cultura de evaluación que se ha arraigado en organizaciones internacionales con las cuales interactúan sus países. En los recuadros I.VI, I.VII e I.VIII se presenta una perspectiva general de ex- periencias de sistemas de SyE basados en resultados en tres países de la OCDE: Australia, Francia y Corea. Las motivaciones, enfoques y estrategias fueron dife- rentes en cada caso. De estas experiencias se pueden derivar lecciones y hallazgos importantes. Indicaciones de avances logrados a la fecha en países de la OCDE. Una encuesta reciente realizada en la OCDE ofrece una perspectiva general útil del grado al cual un enfoque basado en resultados ha calado y se ha arraigado en sistemas y prác- ticas presupuestarios y de gestión de los países de la OCDE. Por ejemplo, hoy día, la mayoría de los gobiernos incluyen información de desempeño en la documen- tación de presupuestos y en la mitad de los países esa información está sujeta a alguna forma de auditoría. Si bien es relativamente nuevo el debate actual sobre la distinción entre efectos y productos en el seno de la comunidad internacional de gestión pública y confección de presupuestos, la diferencia entre las dos cate- gorías de resultados se utiliza en la mayoría o en todas las organizaciones de once de los 27 países (OCDE 2002b, p. 12). En tanto en los países de la OCDE se han logrado avances significativos en va- rios frentes, todavía queda espacio para mejorar. La encuesta de la OCDE encontró que solamente un número limitado de países enlaza objetivos de desempeño con el gasto para todos los programas de gobierno, aunque la mitad de esos paí- ses han creado nexos para algunos de sus programas. Un número limitado de países utiliza objetivos de desempeño sin vinculación alguna con el gasto (OCDE 2002b, p. 12). Otra debilidad de los países de la OCDE es que apenas la mitad de los países notificaron que la información de desempeño se utiliza para fines de asignación durante el procedimiento presupuestario, pero también que esa utili- zación está limitada a la asignación dentro de ministerios y programas (OCDE 2002b, p. 12). Por consiguiente, en tanto en muchos países de la OCDE se han lo- grado avances en el establecimiento de sistemas de SyE basados en resultados y en procedimientos de SyE, todavía queda mucho por hacer. introduccion.p65 28 24/07/05, 10:32 a.m. Introducción 29 RECUADRO I.VI MODELO AUSTRALIANO DE LA TOTALIDAD DEL GOBIERNO Comenzando en 1987, Australia fue uno de los pioneros tempranos del desarrollo de sistemas de SyE. El país contaba con varias ventajas intrínsecas propicias a la construcción de una cultura sólida y una estructura de evaluación: Fuerte capacidad humana, institucional y de gestión en el sector público Servicio público reconocido por su integridad, honestidad y profesionalismo Sistemas financieros, presupuestarios y contables bien desarrollados Una tradición de rendición de cuentas y transparencia Dirigentes políticos con credibilidad y legitimidad. Diversos factores contribuyeron al éxito de Australia en la construcción de sistemas fuertes de SyE. En un principio, restricciones presupuestarias obligaron al gobierno a buscar maneras de obtener más valor por dinero. Australia también contó con dos importantes defensores institucio- nales de la evaluación: el Departamento de Hacienda y la Oficina Nacional de Auditoría de Austra- lia. Australia adoptó una estrategia de la totalidad del gobierno. Esta estrategia busca involucrar a todos los ministerios tanto a los más destacados como a los reacios. Este esfuerzo también contó con el apoyo de miembros del gabinete y de ministros clave, quienes asignaron importancia a la utilización de los hallazgos de la evaluación para tomar decisiones más informadas. El sistema de evaluación de Australia evolucionó de un sistema de rígidos controles centrales impuestos por el Departamento de Hacienda a un enfoque más voluntario y delegatario basado en principios. Este último enfoque ha servido para acrecentar el compromiso de evaluación y el sen- tido de apropiación en el ámbito de programa. Hoy día, el seguimiento y la evaluación son de competencia de departamentos e instancias indivi- duales. Se han relajado considerablemente los requisitos formales del sistema de SyE y los depar- tamentos realizan SyE con base en sus propias prioridades. A la vez, a los departamentos todavía se les exige presentar información sobre desempeño en documentos de presupuesto e informar sobre hallazgos de evaluación cuando éstos existen. Además, el gabinete continúa requiriendo algunas evaluaciones. Los departamentos más grandes del gobierno se muestran especialmente activos encargando evaluaciones formales y utilizando los hallazgos. Fuente: Mackay 2002. Conclusiones y lecciones de los países de la OCDE. Varios factores colaboraron en la adopción de una cultura de evaluación, en particular en los países pioneros. Muchos de los primeros en adoptar sistemas de SyE se mostraron predispuestos a hacerlo porque contaban con sistemas políticos democráticos, fuertes tradiciones empíricas, empleados públicos formados en ciencias sociales (a diferencia de una formación legal estricta) y sistemas administrativos e instituciones eficientes. En efecto, construir sistemas de SyE basados en resultados constituye, primordial- mente, una actividad política con algunas dimensiones técnicas asociadas. Países con elevados niveles de gasto en educación, salud y bienestar social también adoptaron mecanismos de evaluación que luego propagaron a otros cam- introduccion.p65 29 24/07/05, 10:32 a.m. 30 Manual para gestores del desarrollo RECUADRO I.VII FRANCIA: REZAGADOS PERO AHORA AVANZANDO EN LA REFORMA GUBERNAMENTAL En comparación con otros países de la OCDE, Francia hizo parte del grupo que más tardó en cambiar al sistema de SyE basado en resultados. En efecto, Francia hasta quedó rezagada de muchas economías en transición y en desarrollo. A finales de la década de los ochenta y a lo largo de la década de los noventa, se hicieron varios intentos de reformas progresivas. En 2001, sin embargo, el gobierno francés promulgó una legislación arrolladora remplazando los estatutos financieros institucionales de 1959 que eliminaban la confección de presupuestos de partidas presupuestarias e instituyendo un nuevo enfoque de programa. Los nuevos estatutos constitucionales, los cuales se van a escalonar durante un periodo de cinco años (2001-2006), tienen dos propósitos fundamentales: reformar el marco de la gestión pública para orientarlo hacia resultados y desempeño, y fortalecer la supervisión parlamentaria. Como anotaba el anterior pri- mer ministro, Lionel Jospin, La presentación del presupuesto en forma de programas agrupando el gasto según las principales políticas públicas, debe dar, tanto a los miembros del Parlamento como a los ciudadanos, una visión clara de las prioridades del gobierno y el costo y los resultados de sus acciones. Se identificaron aproximadamente de 100 a 150 programas y en el presupuesto se asignaron recursos financieros a todos ellos. Todos los presupuestos de programa que se someten al Parla- mento deben incluir una declaración de objetivos precisos y de indicadores de desempeño. Los gestores públicos cuentan con mayor libertad y autonomía con respecto a la asignación de recur- sos pero, a cambio, se les imputa mayor responsabilidad de los resultados. Por tanto, el nuevo proceso presupuestario está motivado en su totalidad por los resultados. Proyectos futuros de ley presupuestaria incluirán planes anuales de desempeño, detallando los resultados esperados de cada programa y comparándolos con resultados reales. En las revisiones presupuestarias también se incluyen informes anuales de desempeño. En consecuencia, los miem- bros del Parlamento cuentan con la posibilidad de evaluar el desempeño de estos programas gubernamentales. En consonancia con las anteriores observaciones sobre el carácter político del sistema de SyE, la anterior iniciativa de reforma alteró algunas de las relaciones políticas e institucionales dentro del gobierno francés. En este contexto, al Parlamento se le han otorgado mayores poderes de confec- ción de presupuestos. El artículo 40 de la Constitución prohibía anteriormente que los miembros del Parlamento sometieran a aprobación enmiendas que aumentarían el gasto y reducirían las rentas. Ahora ellos podrán cambiar la distribución de apropiaciones entre programas en una mi- sión dada. El Parlamento está habilitado para votar sobre estimaciones de rentas, apropiaciones para cada misión, los límites al número de cargos públicos, y cuentas especiales y presupuestos específicos. Además, los comités de finanzas del Parlamento tienen responsabilidades de segui- miento y de supervisión relacionadas con el presupuesto. Fuente: Republique Française 2001. pos de las políticas públicas. La evaluación debe satisfacer una necesidad. Lo que está involucrado en una mezcla compleja de precondiciones institucionales, cultura política, exposición a tradiciones intelectuales, así como preocupaciones sectoriales que dominan el debate político... (Furubo, Rist y Sandahl 2002, p. 16). introduccion.p65 30 24/07/05, 10:32 a.m. Introducción 31 RECUADRO I.VIII REPÚBLICA DE COREA: GRANDES AVANCES EN EL CAMINO A SISTEMAS DE SyE En términos de evaluación de políticas públicas, el gobierno de Corea utiliza dos enfoques: un sistema de evaluación de desempeño, introducido en 1962, y un sistema de auditoría e inspec- ción, creado en 1948. Organizaciones dentro de la esfera del despacho del primer ministro o bajo las órdenes del primer ministro han llevado a cabo evaluaciones de desempeño. La Junta de Auditoría, la institución suprema de auditoría, lleva a cabo labores que abarcan auditoría de cuen- tas públicas e inspecciones de organismos del gobierno. En los últimos años, la Junta de Auditoría ha crecido y se ha fortalecido, y hoy día su enfoque se centra en mejoras de la eficiencia y la transparencia de las auditorías y de las inspecciones. La crisis económica que asoló a Asia a finales de la década de los noventa trajo consigo nuevos cambios en las prácticas de evaluación de la Rama Ejecutiva. El nuevo gobierno de Corea reafir- mó que la crisis económica nacional, ocasionada por las reservas en divisas, fue el resultado de la falta de eficiencia de la gestión del sector público. Esta evaluación se convirtió en una oportunidad para reinventar el gobierno de Corea, lo cual provocó una restructuración sin precedentes de las organizaciones gubernamentales así como de las no gubernamentales... (Lee 2002, p. 194). Con respecto a la evaluación del sector público de Corea, ahora existen ocho enfoques diferentes en funcionamiento: Evaluación de institución, incluyendo evaluación de las principales medidas de las políticas, capacidad de ejecución de las políticas y encuestas de satisfacción pública de los servicios del gobierno Evaluación de principales programas y proyectos, incluyendo un número seleccionado de pro- yectos clave, elegidos según su importancia para el ministerio, consistencia con las políticas del gobierno e importancia para el público Evaluación de la capacidad de ejecución de las políticas, involucrando autoevaluación en los ministerios, así como una evaluación de la habilidad de una institución para reformar, innovar y mejorar servicios Encuesta de satisfacción ciudadana con principales medidas de las políticas y servicios admi- nistrativos, sondeo de la satisfacción ciudadana con principales políticas, programas y servi- cios del gobierno Evaluación especial de proyecto, incluyendo, por ejemplo, tareas del Estado y proyectos de liberalización de normas Evaluación interna o autoevaluación de ministerios, incluyendo evaluaciones de medidas y pro- gramas de los principales objetivos de las políticas, y esfuerzos de innovación del gobierno por parte de cada ministerio Evaluaciones de principales medidas y programas de las políticas Evaluación de los esfuerzos de innovación del gobierno por parte de cada ministerio. En tanto Corea ha logrado grandes avances en seguimiento y evaluación, los retos persisten. Se hace necesario fortalecer la cooperación y la coordinación entre instituciones de SyE. Ha habido centralización excesiva de análisis y evaluación de las políticas así como de auditoría e inspección. Corea continúa careciendo de un número suficiente de profesionales y de personal calificado y capacitado en sistemas de SyE. Por último, se podría hacer más para mejorar la eficacia de pro- puestas posteriores a la evaluación, las cuales en la actualidad no son legalmente vinculantes. Fuente: Lee 2002. introduccion.p65 31 24/07/05, 10:32 a.m. 32 Manual para gestores del desarrollo Retos particulares del yE que enfrentan los países en desarrollo S El reto de diseñar y construir en un país en desarrollo un sistema de SyE basado en resultados resulta difícil y no se debe subestimar. La construcción de un siste- ma de esta índole es una empresa seria y no va a suceder de la noche a la mañana. Sin embargo, tampoco se debe desechar porque parezca demasiado complicado, demasiado exigente o demasiado complejo para que un país en desarrollo lo pue- da asumir. Todos los países necesitan sistemas adecuados de información que les permitan hacer seguimiento a su propio desempeño los países en desarrollo no menos que los demás. Los países en desarrollo que construyen sus propios sistemas de SyE basados en resultados, confrontan retos tanto similares como diferentes a los de los países industrializados. En un país en desarrollo puede resultar más difícil determinar la demanda y la apropiación de un sistema de este tipo: el requisito más elemental. Por ejemplo, según los hallazgos de una encuesta reciente del Banco Mundial y del Banco Africano para el Desarrollo, ...la falta de demanda constituye la restricción básica al desarrollo de una capacidad exitosa de seguimiento y evaluación en África subsahariana. La falta de demanda se arraiga en la ausencia de una cultura fuerte de evaluación, la cual surge de la ausencia de orientación al desempeño en el sector público (Schacter 2000, p. 15). Luego, con respecto a la demanda, se necesita un mínimo de partes interesadas y de compromiso para que un sistema como éste se establezca y se mantenga en cualquier país ya sea industrializado o en desarrollo. En comparación con los países industrializados, para los países en desarrollo puede resultar más desafiante hacer planeación estratégica, económica, de inver- siones y de políticas a más largo plazo. Una voluntad política y una capacidad institucional débiles pueden ralentizar los avances. Igualmente, las dificultades en la cooperación y en la coordinación entre ministerios pueden impedir los avan- ces hacia la planeación estratégica. En efecto, la carencia de cooperación y coordi- naciónsuficienteenelgobiernopuedeserunfactortantoenpaísesindustrializados como en países en desarrollo. También se requieren defensores que ocupen altos cargos y estén dispuestos a asumir los riesgos políticos de abogar por sistemas de SyE basados en resultados una vez más, haciendo hincapié en el carácter político de la construcción de esta clase de sistemas. A veces esos defensores se encuentran presentes, como es el caso de Egipto (ministro de Hacienda), Zambia (secretario del Gabinete) y República Kirguisa (ministro de Salud), en tanto en otras instancias, como en Bangladesh, esos defensores están ausentes. La presencia de un defensor nacional puede hacer mucho para ayudar a un país a desarrollar y sustentar sistemas de SyE. Muchos países en desarrollo todavía están luchando por crear instituciones fuertes y eficaces. Algunos tal vez requieran reformas de la administración públi- ca, o la reforma de marcos legales y de normatividad. La comunidad internacio- nal para el desarrollo los está apoyando para mejorar muchos de estos introduccion.p65 32 24/07/05, 10:32 a.m. Introducción 33 componentes básicos. Tratar de construir instituciones, de emprender reformas administrativas y de la administración pública y modernizar códigos legales y de normatividad y al mismo tiempo de establecer sistemas de SyE puede resultar todo un reto. Sin embargo, es necesario recordar que instituir sistemas de SyE puede ayudar a informar y a orientar mejor al gobierno para que emprenda re- formas necesarias en todos los anteriores campos. Primero, los países en desarrollo deben contar con cimientos básicos, o deben crearlos: un sistema tradicional de SyE con un enfoque en la ejecución. Algunos países en desarrollo están avanzando en esta dirección. Sentar los cimientos re- quiere de sistemas y de datos estadísticos básicos, así como de sistemas clave de confección de presupuestos. Los datos y la información deben ser de calidad y cantidad apropiadas. Al igual que los países industrializados, los países en desa- rrollo deben conocer sus condiciones básicas, es decir, dónde se encuentran en la actualidad en relación con un programa o políticas determinadas. Se requiere capacidad de la fuerza laboral para desarrollar, respaldar y susten- tar estos sistemas. Se debe capacitar a los funcionarios en recolección moderna de datos, métodos de seguimiento, y análisis. Para muchos países en desarrollo pue- de resultar difícil lograrlo. Por ejemplo, en los países de África subsahariana se registra una escasez aguda de capacidad local, agravada por la emigración de la región de gente calificada (Schacter 2000, p. 8). Es posible que se requiera asistencia técnica y formación para el desarrollo de capacidades e institucional. A menudo los donantes se muestran dispuestos a financiar y respaldar estas actividades y a compartir lecciones de mejores prácti- cas.2 A la vez, los donantes debería tratar de equiparar sus requisitos de evalua- ción con los de los países receptores. Como parte de sus esfuerzos para apoyar la capacidad local en los países en desarrollo, los donantes también están promoviendo la creación de redes de desa- rrollo nuevas redes computarizadas en línea y comunidades participativas que comparten experiencias e información... Todavía es posible aducir que las circuns- tancias de Bangladesh, China y Costa Rica son únicas y peculiares y que no necesa- riamente la experiencia de un país se va a trasladar a otro. No obstante, una vez se acepta el hecho de que existen muy pocos conocimientos genéricos sobre el desa- rrollo es decir, que para poder adaptarlos a las necesidades locales, es necesario reunir todos los conocimientos, para luego analizarlos, modificarlos, desarmarlos y volverlos a armar la fuente es lo de menos. El nuevo lema es: explore globalmente, reinvente localmente (Fukuda-Part, Lopes y Malik 2002, p. 18). 2 De acuerdo con el Comité de Ayuda para el Desarrollo (CAD) de la OCDE, los gastos de coopera- ción técnica ascendieron en 1999 a 14.3 mil millones de dólares. Se trata de un monto enorme, que casi duplica el de 1969. Si se incluye al personal y a la capacitación en inversiones y otros proyectos, la cifra sería todavía más abultada: 24.6 mil millones de dólares (Baris et al., 2002) (Fukuda-Parr, Lopes y Malik 2002, pp. 3-4). introduccion.p65 33 24/07/05, 10:32 a.m. 34 Manual para gestores del desarrollo Los países en desarrollo van a tener que crear una cultura política y adminis- trativa caracterizada por la rendición de cuentas y la transparencia, preocupación por la ética y evitar de conflictos de intereses. No obstante, los encargados de las reformas deben ser conscientes de la posibilidad de que cualquier intento por arrojar luces sobre asignación de recursos y resultados reales a través de la adop- ción de un sistema de SyE encuentre resistencia política, hostilidad y oposición. Además, considerando el carácter de los gobiernos de muchos países en desarro- llo, la construcción de un sistema de SyE podría conducir a una reforma conside- rable de las relaciones políticas. La creación de un sistema más maduro de SyE requiere de interdependencia, concordancia y coordinación entre múltiples instancias gubernamentales. Lo an- terior puede representar un reto porque, en muchos países en desarrollo, los go- biernos guardan ciertas interconexiones y todavía continúan trabajando en la construcción de culturas administrativas sólidas y sistemas financieros transpa- rentes. Como resultado, algunos gobiernos tal vez dispongan apenas de informa- ción vaga sobre el monto y la asignación de recursos disponibles, y sobre si, de hecho, los recursos se utilizan para los fines propuestos. Medir el desempeño del gobierno en un entorno como el descrito, resulta ser un ejercicio aproximado. Países industrializados y en desarrollo por igual continúan trabajando en la creación de un nexo entre el desempeño y un marco o estrategia de gasto público. Si no se crean estos nexos, no hay forma de determinar si las asignaciones presu- puestarias en apoyo de programas, en últimas, lo que están haciendo es apoyar un éxito o un fracaso. Es más, no existirían los medios para proporcionar retroinformación en etapas provisionales para averiguar si se podrían hacer ajus- tes fiscales para modificar proyectos o programas y, así, acrecentar la probabili- dad de lograr los resultados esperados. Algunos países en desarrollo están comenzando a lograr avances en este cam- po. Por ejemplo, Indonesia comenzó en la década de los noventa a crear un nexo entre evaluación y el proceso anual de asignación presupuestaria. A la evalua- ción se le considera como una herramienta para corregir las políticas y los progra- mas de gasto público a través de nexos más directos con el Plan Nacional de Desarrollo y el proceso de asignación de recursos (Guerrero 1999, p. 5). Además, algunos países en desarrollo Brasil, Chile y Turquía- han logrado avanzar en la creación de nexos entre el gasto y objetivos de producto y conse- cuencia. El gobierno de Brasil también expide informes gubernamentales por se- parado sobre objetivos de efectos (OCDE 2002b). Muchos países en desarrollo continúan funcionando con dos sistemas de pre- supuesto uno para gastos ordinarios y otro para gastos de inversión de capital. Hasta hace poco tiempo, el Ministerio de Hacienda de Egipto supervisaba el pre- supuesto ordinario y el Ministerio de Planeación supervisaba el presupuesto de capital. La consolidación dentro de un ministerio de estos presupuestos facilitó al introduccion.p65 34 24/07/05, 10:32 a.m. Introducción 35 gobierno considerar un sistema de SyE basado en resultados para garantizar el cumplimiento de las metas y objetivos del país. Para algunos países en desarrollo pueden resultar ser muy ambiciosos los in- tentos por establecer un enfoque del gobierno en su totalidad hacia un sistema de SyE como en Australia, Canadá y Estados Unidos. Dadas las grandes dificul- tades para establecer sistemas de SyE en países en desarrollo, tal vez sea preferible adoptar un enfoque de enclave o parcial, según los cuales algunos ministerios o departamentos realizan primero pilotos para luego adoptar sistemas de SyE. Por ejemplo, en República Kirguisa, una estimación de la preparación realizada en 2002 recomendaba se apoyara al Ministerio de Salud donde ya existe alguna capacidad de evaluación como modelo potencial para la posible ejecución de un sistema de SyE basado en resultados en todas las instancias del gobierno (Kusek y Rist 2003). Experiencia del sistema de yE en países en desarrollo S Muchos países en desarrollo han logrado avances hacia la implantación de siste- mas de SyE. Teniendo en cuenta los muchos retos que confrontan los países en desarrollo, en los recuadros I.IX y I.X se analizan dos ejemplos: Malasia y Uganda. Ambos países han introducido al proceso presupuestario nuevas medidas (si bien diferentes) con el ánimo de hacerlo más transparente, responsable y con un énfa- sis en resultados. Son muchos los retos que enfrentan los países en desarrollo. Los enfoques de los países pueden diferir y requerir de un periodo prolongado de tiempo para llegar a un enfoque de sistema SyE basado en resultados. Pero la experiencia alre- dedor del mundo indica que en los países en desarrollo se comienzan a sentar los cimientos de la evaluación (para mayor información sobre los esfuerzos de los países en desarrollo en sistemas de SyE, véanse anexos 4 y 5). Frente el creciente movimiento global tendiente a demostrar responsabilidad y resultados tangibles, es posible albergar la expectativa que, en el futuro, muchos más países en desarrollo adopten sistemas de SyE basados en resultados. El enfoque de la comunidad internacional de donantes en el impacto del desarrollo significa que un mayor número de donantes va a tener que mediar para garantizar la ayuda necesaria para que los países en desarrollo pongan en marcha este tipo de sistemas. Tanto para los países industrializados como para los países en desarrollo, la creación de sistemas SyE basados en resultados ha resultado ser todo un reto si bien los países en desarrollo confrontan dificultades particulares. No existe un sendero ni un enfoque correctos. Llegar a la meta implica compromiso, esfuerzo, tiempo y recursos. A la vez, siempre debemos tener en cuenta que la no creación de estos sistemas también implica costos, como también el hecho de no respon- der a los llamados de partes interesadas internas y externas a favor de responsa- bilidad, transparencia y resultados. introduccion.p65 35 24/07/05, 10:32 a.m. 36 Manual para gestores del desarrollo RECUADRO I.IX MALASIA: CONFECCIÓN DE PRESUPUESTOS BASADA EN RESULTADOS, CONSTRUCCIÓN DE NACIÓN Y COMPETITIVIDAD GLOBAL Entre los países en desarrollo, Malasia ha estado a la vanguardia de las reformas a la administra- ción pública, en particular en el campo de las finanzas y el presupuesto. En la década de los sesenta se dio inicio a estas reformas como parte de los planes del gobierno de desarrollar estra- tégicamente al país. Como al sector público se le consideraba el instrumento de desarrollo más importante, en consecuencia el énfasis se puso en la necesidad de fortalecer la administración pública a través de la reforma administrativa. El enfoque de la reforma presupuestaria fue mayor responsabilidad y disciplina financiera entre los distintos órganos del gobierno encargados de llevar a cabo los planes de desarrollo socioeconómico para el país. Además de la mayor responsabilidad del sector público y de un mejor desempeño del sistema presupuestario, el gobierno emprendió varias reformas adicionales, entre ellas mejor cum- plimiento financiero, mejor calidad de gestión, productividad, eficiencia de las operaciones guber- namentales y gestión de esfuerzos nacionales para el desarrollo. En épocas más recientes, el plan de reforma presupuestaria de Malasia ha estado estrechamente vinculado con esfuerzos de construcción de nación y de competitividad global asociados con Visión 2020: un programa dirigido a convertir a Malasia en un país plenamente desarrollado para el año 2020. Con respecto a los esfuerzos de reforma presupuestaria, en 1969 Malasia adoptó el Sistema de Confección de presupuesto basado en desempeño (PPBS, por sus iniciales en inglés) y continuó utilizándolo hasta la década de los noventa. El PPBS remplazó la confección de presupuestos de partidas presupuestarias por un sistema de confección de presupuestos basada en efectos. En tanto los organismos del gobierno utilizaban la estructura de actividad-programa, la ejecución en la práctica continuaba asemejándose a la confección de presupuestos de partidas presupuesta- rias y en un enfoque progresivo. En 1990, el gobierno introdujo el Sistema de Confección Modificada de Presupuesto (MSB) para remplazar el PPBS. Se hizo mayor énfasis en productos e impacto de programas y actividades del gobierno. Según el PPBS, existían nexos mínimos entre productos e insumos. Se continuó finan- ciando las políticas aun cuando no se midiera ningún resultado de manera sistemática. Luego, en 2001, se volvió a modificar el enfoque de MSB, cuando el país se embarcó en otra reforma complementaria mediante la adopción de un sistema de confección bianual de presu- puestos. En algunos años se conocerán los efectos de este sistema. Si bien Malasia ha estado a la vanguardia de las reformas a la administración pública y al presu- puesto, estas tentativas de reforma no han sido fáciles ni consistentes a través de los años. No obstante, el MSB representó una iniciativa osada por parte del gobierno malayo, demostrando pre- visión, inventiva, dinamismo y compromiso para asegurar que ha valido la pena el dinero invertido en los proyectos y las políticas que se están ejecutando. Fuente: Banco Mundial 2001b. No menos que otros países, los países en desarrollo merecen gobernabilidad. introduccion.p65 36 24/07/05, 10:32 a.m. Introducción 37 RECUADRO I.X UGANDA Y LA REDUCCIÓN DE LA POBREZA. ÍMPETU HACIA SyE El gobierno de Uganda se ha comprometido con la prestación eficaz de servicios públicos en respaldo de sus prioridades de reducción de la pobreza. El reconocimiento de la eficiencia de la prestación de servicios como imperativo de la gestión nacional para el desarrollo constituye una evidencia fuerte del compromiso con los resultados, lo cual también se evidencia en varias priori- dades de la gestión pública y de las actividades que actualmente se están llevando a cabo (Hauge 2001, p. 16). Uganda estuvo sometida a lo largo de la década pasada a una reforma económica integral alcan- zando la estabilización macroeconómica. En respuesta al Marco Integral de Desarrollo, Uganda puso en marcha un Plan de Acción para la Erradicación de la Pobreza (PEAP, por sus iniciales en inglés), el cual en la actualidad se ha incorporado al Documento de Estrategia para la Reducción de la Pobreza. El PEAP aboga por una reducción de la tasa de pobreza absoluta (de 44%, a finales de la década de los noventa) a 10% para el año 2017. Uganda fue el primer país en ser declarado elegible para beneficiarse de la iniciativa de Países Pobres Muy Endeudados (PPME). Posteriormente, el país cumplió los requisitos para recibir ayuda mejorada de PPME en reconocimiento de la eficacia de la estrategia de reducción de la pobreza, del proceso consultivo con participación de la sociedad civil y del compromiso continuo del gobierno con la estabilidad macroeconómica. Uganda ha incorporado nuevas medidas para hacer el proceso presupuestario más abierto y trans- parente ante partes interesadas internas y externas. El gobierno está modernizando los sistemas fiscales y emprendiendo un programa de descentralización de la planeación, gestión de recursos y prestación de servicios a las localidades. Así mismo, el Ministerio de Hacienda, Planeación Eco- nómica y Desarrollo (MFPED, por sus iniciales en inglés) ha comenzado a introducir la confección de presupuestos orientada a producto. Además, se van a fortalecer las instituciones del gobierno y se las va a hacer más responsables frente al público. El país continúa experimentando dificultades de coordinación y consistencia respecto del sistema de SyE y del PEAP. La característica más obvia del régimen del PEAP y del sistema de SyE es la separación del seguimiento de la pobreza y del seguimiento de los recursos, si bien es cierto el MFPED se encarga de coordinar a ambos. Los dos ramales del sistema de SyE tienen actores y agentes por separado y utilizan diferentes criterios de evaluación. El seguimiento a los recursos financieros se asocia con insumos, actividades y, cada vez más, con productos, en tanto el segui- miento de la pobreza se basa en el análisis de efectos generales de la pobreza (Hauge 2001, p. 6). Otros aspectos de coordinación del sistema de SyE giran en torno a la creación de una nueva Autoridad Nacional de Planeación, y entre los grupos sectoriales de trabajo. Respecto a los retos futuros y al sistema de SyE, Uganda confronta la tarea de rastrear sus avances hacia la reducción de la pobreza y de aprender de ellos a través de la PEAP / Estrategia Nacional de Reducción de la Pobreza. El sistema de SyE no puede quedar aislado de las prácticas de toma de decisiones y de los incentivos que apuntalan los sistemas y procesos nacionales para el desarrollo. Fuente: Houge 2001; Banco Mundial 2002b. introduccion.p65 37 24/07/05, 10:32 a.m. introduccion.p65 38 24/07/05, 10:32 a.m. CAPÍTULO 1 PASO 1: HACER UNA ESTIMACIÓN DE LA PREPARACIÓN GRÁFICO 1.1 En la sección anterior se examinaron los nuevos retos en la gestión del sector público: llamados a favor de mayor rendición de cuentas pública, mejor gober- nabilidad y resultados demostrables. Se hizo la introducción de una nueva herra- mienta de gestión pública: el sistema de seguimiento y evaluación basado en resultados, que puede ayudar a los encargados de formular las políticas a satis- facer las crecientes demandas a favor de un mejor desempeño que hacen las ONG, la sociedad civil, y partes interesadas nacionales, multilaterales e internacionales. Por último, se examinó la experiencia de países industrializados y de países en desarrollo en seguimiento y evaluación, así como los retos particulares que con- fronta el mundo en desarrollo en la construcción de sistemas de SyE basados en resultados. Ahora, en el presente capítulo, la atención se centra en el Paso 1 del modelo de diez pasos (gráfico 1.1): la estimación de la preparación. El Paso 1 representa una adición única a los muchos modelos de SyE existentes en la actualidad, porque ofrece un contexto analítico para evaluar la capacidad organizativa de un país determinado y la voluntad política para hacer seguimiento, evaluar las metas de cap1.p65 39 24/07/05, 10:32 a.m. 40 Manual para gestores del desarrollo ese país y desarrollar un contexto basado en desempeño. Se trata de un paso clave lamentablemente un paso del cual se suele hacer caso omiso o pasar por alto para ayudar a los países en desarrollo, en especial, a construir sus propios sistemas de SyE basados en resultados. En términos concretos, el presente capítulo aborda: a) la importancia de reali- zar una estimación de la preparación; b) las tres partes principales de la estima- ción de la preparación; c) los ocho campos clave de diagnóstico que se deben considerar en cualquier estimación de la preparación; d) algunos ejemplos de estimaciones recientes de la preparación realizadas en países en desarrollo; y e) lecciones aprendidas a partir de estas experiencias. En el anexo I aparece una versión detallada del paso de la estimación de la preparación: Estimación de la capacidad de seguimiento y evaluación basada en resultados: una encuesta de estimación para países, instituciones para el desarrollo y sus asociados que los países pueden utilizar para hacer sus propias estimaciones. PARTE 1 Por qué hacer una estimación de la preparación Los expertos han ideado diferentes modelos para construir sistemas de SyE, aun- que a menudo omiten las complejidades y los matices del contexto más amplio de país. Con frecuencia, en su empeño por tratar de ofrecer asistencia técnica, estos expertos apenas sí alcanzan a comprender vagamente las necesidades del país receptor. A pesar de todas las buenas intenciones para promover el diseño, la creación y la utilización de sistemas SyE basados en resultados, es muy poco el énfasis que se pone en factores políticos, culturales y organizativos y en los con- textos existentes. La mayor parte de los modelos existentes comienzan saltando directamente hacia la construcción de un modelo de SyE basado en resultados sin ni siquiera saber cuál es la situación actual de un país determinado respecto de diversos fac- tores críticos, entre los cuales se incluyen papeles organizativos, responsabilida- des y capacidades; incentivos y demandas de un sistema de esta índole; habilidad de una organización para sustentar sistemas, y así sucesivamente. Existen unos pocos modelos que plantean preguntas clave respecto de la preparación (véase Mackay 1999 y Banco Mundial 2003a). Un tema constante del Manual va a ser que, primero que todo, y antes que lo contrario, la construcción de un sistema de SyE basado en resultados constituye una actividad política con dimensiones técnicas. cap1.p65 40 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 41 La mayoría de los expertos analizan las preguntas ¿cuál?: cuáles son las me- tas?, ¿cuáles son los indicadores? y no las preguntas ¿por qué?: ¿por qué queremos medir algo?, ¿por qué en un país en particular existe una necesidad de pensar sobre estos aspectos?, ¿por qué queremos embarcarnos en la construcción de sis- temas sostenibles de SyE basados en resultados? Para poder contestar estas preguntas ¿por qué? es necesario hacer un gran volumen de trabajo preparatorio previo a la construcción real de un sistema de SyE basado en resultados. Ese trabajo asume la forma de la estimación de la pre- paración que se presenta en el Manual. Antes de embarcarse en la construcción de un sistema de SyE basado en resultados es necesario avanzar, paso a paso, a través de algunos de los aspectos, preocupaciones y preguntas importantes que se deben resolver para hacerlo. Algunos también podrían plantearse la pregunta, ¿en qué forma una estima- ción de la preparación difiere de una estimación de necesidades? ¿Acaso no son la misma cosa? De hecho, no lo son. Una estimación de las necesidades supone la existencia de alguna pregunta fundamental y básica sobre si los gobiernos necesi- tan este tipo de sistemas. Una estimación de la preparación supone que los go- biernos sí necesitan contar con estos sistemas y abordan la pregunta de si los gobiernos en realidad se sienten preparados para construir, utilizar y sustentar los sistemas y son capaces de hacerlo. Por ejemplo, ¿cuál es la capacidad del go- bierno con respecto al sistema de SyE en general? ¿Simplemente mide productos o se encuentra el gobierno en una situación de avanzar más allá de medir pro- ducto a medir efectos? (También es indispensable recordar que no es suficiente estudiar la capacidad organizativa. Estas son apenas algunas de las preguntas clave y de las preocupaciones que únicamente puede abordar y resolver una esti- mación de la preparación). Una estimación de la preparación brinda el contexto analítico para calificar la habilidad de un país para hacer seguimiento y evaluar sus avances en el logro de objetivos de desarrollo propuestas. Lo hace mediante una estimación de la comprensión, la capacidad y la utilización actuales de siste- mas existentes de seguimiento y evaluación. Una estimación de la preparación se parece a la construcción de los cimientos de un edificio. Unas buenas bases proporcionan apoyo a todo lo que está sobre ellas. Son subterráneas, no se ven, pero son vitales. cap1.p65 41 24/07/05, 10:32 a.m. 42 Manual para gestores del desarrollo Tres partes principales de la estimación de la preparación La estimación de la preparación representa una ayuda de diagnóstico que va a servir para determinar cuál es la situación de un país1 dado en relación con los requisitos para establecer un sistema de SyE basado en resultados. Se compone de tres partes. Incentivos y demandas para diseñar y construir un sistema de SyE basado en resultados. Resulta importante determinar si existen incentivos políticos, insti- tucionales o personales antes de comenzar con el diseño y la construcción de un sistema de SyE basado en resultados. Existen cinco preguntas clave relacionadas con los incentivos: ¿Qué motiva la necesidad de construir un sistema de SyE requerimientos de orden legislativo o legal, demanda de los ciudadanos, requisitos de los donantes (Plan Nacional de Desarrollo, Estrategia Nacional de Reducción de la Pobreza, u otros) o reforma del sector público? ¿Quiénes son los defensores de la construcción y uso de un sistema de SyE gobierno, Parlamento, sociedad civil, donantes, otros? ¿Qué está motivando a quienes defienden la construcción de un sistema de SyE una agenda de reforma política, presiones de los donantes, una agenda política personal o una directriz política? ¿Quién se va a beneficiar del sistema políticos, administradores, sociedad civil, donantes, ciudadanos? ¿Quién no se va a beneficiar de la construcción de un sistema de SyE políti- cos, administradores, sociedad civil, donantes, ciudadanos? ¿Dentro o fuera del sistema político existen personas opuestas a la reforma? Funciones y responsabilidades, y estructuras existentes para estimar el desem- peño del gobierno. Una estimación de la preparación va a permitir calibrar las funciones y responsabilidades y estructuras existentes disponibles para hacer se- guimiento a los objetivos del desarrollo y evaluarlas. ¿Cuáles son las funciones de los principales ministerios sectoriales para es- timar el desempeño? ¿Qué papel desempeña el parlamento? ¿Qué papel desempeña el principal órgano de auditoría? 1 En tanto en el presente contexto se hace referencia al país como a la unidad de análisis, de inme- diato se pone de relieve que el mismo concepto de estimación de la presentación se podría aplicar a un sector, una región, un programa, o hasta a un proyecto individual. También es aplicable en la sociedad civil y en el sector privado. cap1.p65 42 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 43 ¿Ministerios y organismos comparten información entre sí? ¿Existe una agenda política que respalde los datos que se producen? ¿Qué papel juega la sociedad civil? ¿Quién produce datos en el país? En el ámbito del gobierno nacional, incluyendo principales ministerios, ministerios sectoriales, instancias u oficinas especializadas, como la ofi- cina nacional de auditoría En el ámbito subnacional o regional, incluyendo ministerios provincia- les centrales y sectoriales, gobiernos locales, ONG, donantes y otros ¿En qué instancias del gobierno se utilizan los datos? Confección de presupuestos Asignación de recursos Formulación de políticas de programa Legislación y rendición de cuentas al parlamento Planeación Gestión fiscal Evaluación y supervisión. Requisitos de construcción de capacidad para un sistema de SyE basado en re- sultados. La estimación de la preparación también incluye el examen de la capa- cidad actual de un país para hacer seguimiento y evaluar según las siguientes dimensiones: destrezas técnicas; destrezas administrativas; existencia y calidad de sistemas de información; tecnología disponible; recursos fiscales disponibles; y experiencia institucional. Teniendo en cuenta que puede servir para identificar cualquier vacío de la capacidad necesaria para construir y sustentar sistemas de SyE, se trata de una parte importante de la estimación en países en desarrollo. Este tipo de estimación también implica el análisis de barreras existentes o posibles a la construcción de un sistema de SyE, entre ellas, la carencia de recursos fiscales, de voluntad política, de un defensor político, de conocimientos técnicos especializados, de estrategia o de experiencia previa. Es indispensable considerar varias preguntas clave, a saber: ¿Cuáles son las aptitudes de los empleados públicos del gobierno nacional en cada uno de los campos: Gestión de proyectos y programas Análisis de datos Establecimiento de objetivos de proyectos y programas Gestión presupuestaria Auditoría de desempeño? ¿En la actualidad se dispone de asistencia técnica, de construcción de capa- cidades o de formación en sistemas de SyE o qué se ha hecho durante los cap1.p65 43 24/07/05, 10:32 a.m. 44 Manual para gestores del desarrollo últimos dos años en cualquier instancia del gobierno (nacional, regional o local)? ¿Quién prestó esa ayuda y en qué contexto o en qué proceso de reforma? ¿Existen en el país institutos, centros de investigación, organizaciones pri- vadas o universidades que cuenten con alguna capacidad para suministrar asistencia técnica y capacitación en sistemas de SyE a empleados públicos y a otros? El material anterior va a servir de base para analizar los ocho campos clave que abarca con mayor detenimiento una estimación de la preparación. PARTE 2 La estimación de la preparación: ocho preguntas clave La estimación de la preparación constituye una herramienta de diagnóstico utili- zable para determinar si se dispone de los requisitos previos para construir un sistema de SyE basado en resultados. Su propósito es el de ayudar y beneficiar a gobiernos individuales, a la comunidad de donantes y a sus muchos asociados en el desarrollo involucrados en la reforma del sector público.2 La estimación de la preparación ofrece orientación a través de los ocho cam- pos, la cual es necesario analizar y estudiar para poder determinar la habilidad y la disposición de un país o de una organización cualquiera para adoptar un siste- ma de SyE basado en resultados y avanzar a partir de él. ¿Cuáles presiones potenciales estimulan la necesidad de un sistema de y entre el sector público y por qué? S E Es importante saber de dónde y por qué surge la demanda para crear un sistema de SyE. ¿Las demandas y presiones provienen de partes interesadas internas, multilaterales o internacionales, o de una mezcla de todas ellas? Si la respuesta va a ser apropiada a la demanda, es indispensable reconocer y resolver estos reque- rimientos. 2 En el anexo I Estimación de capacidad de SyE basado en resultados: estimación para países, instituciones para el desarrollo y sus asociados, aparece una versión de la estimación de la preparación para países, ministerios individuales y organizaciones para el desarrollo que de- seen emprender un proceso de autoevaluación. Véase también A Diagnostic Guide and Action Framework (Mackay 1999). Algunas preguntas de la estimación de la preparación se han extracta- do de esta obra. cap1.p65 44 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 45 Como se anotaba en la sección introductoria, las demandas internas pueden surgir de llamados a favor de reformas de gobernabilidad del sector público y de una mejor rendición de cuentas y mayor transparencia. Las campañas contra la corrupción pueden constituir una fuerza de motivación. O quizás los opositores políticos no confíen en las intenciones o en las acciones del gobierno. En el ámbito externo, es posible que las presiones surjan de la comunidad de donantes en solicitud de resultados tangibles para sus inversiones. Organizacio- nes internacionales, como la Unión Europea, exigen a todos los países que solici- tan el ingreso, un sistema de retroinformación sobre el desempeño del sector público por medio de un sistema de SyE. Las presiones competitivas de la globali- zación pueden influir, mientas que el imperio de la ley, un fuerte sistema de gobernabilidad, y reglas del juego estipuladas con claridad son, hoy en día, indis- pensables para atraer la inversión extranjera. El capital financiero y el sector pri- vado están en la búsqueda de un clima de inversión estable y transparente y, antes de comprometerse a invertir en un país, esperan la protección de su propie- dad y de sus patentes. Existen múltiples presiones a las que los gobiernos deben responder, y esas presiones van a orientar los incentivos para construir un siste- ma de SyE basado en resultados. ¿Quién es el defensor de un sistema de yE? S Losdefensoresenelsenodelgobiernosemuestranmuycríticosdelasostenibilidad y el éxito de un sistema de SyE basado en resultados. Un defensor del sistema, que ocupe un alto cargo en el gobierno, puede resultar ser un adalid de un proceso decisorio mejor informado y puede ayudar a atenuar y a aislar los ataques de los opositores a la reforma, quienes van a tener intereses creados para impedir la construcción de un sistema de esta índole. Dentro de cualquier organización existen personas o grupos quienes proba- blemente van a aceptar esta iniciativa y abogar por ella, en tanto es posible que otros se opongan o hasta activamente contrarresten la iniciativa. Es importante saber quiénes están a favor y qué cargos ocupan en un gobierno. El apoyo y la defensa que presten van a ser cruciales al éxito potencial y a la sostenibilidad del sistema de SyE. Sin embargo, si el posible defensor se encuentra alejado del centro de la for- mulación de las políticas y ejerce poca influencia sobre los encargados del proce- so decisorio, prever que un sistema de SyE se vaya a utilizar y se confíe en él, va a resultar tarea difícil, aunque no imposible. En estas circunstancias, va a ser com- plicado garantizar la viabilidad del sistema. La viabilidad depende de que a la información se la considere como pertinente, confiable, utilizable y oportuna. Sis- temas de SyE cuyos defensores se encuentran al margen y tienen una influencia apenas tangencial en el proceso decisorio van a tener mayores dificultades para satisfacer estos requisitos de viabilidad. cap1.p65 45 24/07/05, 10:32 a.m. 46 Manual para gestores del desarrollo ¿Qué motiva al defensor para apoyar un empeño como éste? La construcción de un sistema de SyE basado en resultados es un acto inhe- rentemente político que conlleva tanto riesgos políticos como beneficios. Con res- pecto a los riesgos, producir información sobre el desempeño del gobierno y fortalecer la rendición de cuentas no son actividades políticamente neutrales. Respecto de los beneficios, los defensores pueden encontrar recompensas y reco- nocimiento en el plano institucional e individual. Un sentido de responsabilidad pública puede motivar a los defensores, quienes, al cumplir las promesas hechas, también pueden tener buena acogida por parte de parlamentos, partes interesa- das públicas y privadas, sociedad civil y la comunidad internacional de donantes, porque se les percibe como reformistas (fuente de capital político) y demuestran la capacidad para rendir cuentas y ofrecer resultados. Entender la motivación política resulta vital para comprender la forma en que las partes interesadas van a percibir el sistema de SyE, cómo y por qué ciertas personas u organiza- ciones van a asumir el riesgo político en tanto otros no lo van a hacer, y qué van a necesitar los adalides de un sistema de esta índole para defender la iniciativa y triunfar. ¿Quién se va a apropiar del sistema? ¿Quién se va a beneficiar del sistema? ¿Cuánta información quieren en realidad? La política no es el único factor que a menudo se pasa por alto en la construcción de sistemas de SyE. Con frecuencia no se lleva a cabo una estimación institucional cuidadosa en especial, una estimación que reflejaría la capacidad real de los usua- rios para crear, utilizar y sustentar en realidad el sistema. Una estimación de la preparación hecha con todo el cuidado sirve para pro- porcionar una comprensión adecuada de la manera como se debe diseñar el siste- ma para que sea receptivo a las necesidades de información de sus usuarios, cómo determinar los recursos disponibles para crear y sustentar el sistema, y estimar las capacidades de quienes van tanto a producir como a utilizar la información. Com- prender estos aspectos ayuda a adecuar el sistema al nivel correcto de compleji- dad y realización. Para que un sistema de SyE basado en resultados pueda ser utilizado de mane- ra eficaz, debe ofrecer información y datos accesibles, comprensibles, pertinentes y oportunos. Los criterios anteriores motivan la necesidad de una cuidadosa esti- mación de la preparación previa al diseño del sistema, sobre todo en lo que se refiere a factores como apropiación del sistema, y sus beneficios y utilidad para partes interesadas clave. Desde una perspectiva técnica, entre los aspectos que se hace necesario abordar se incluye la capacidad del gobierno o de la organización cap1.p65 46 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 47 para recabar y analizar datos, producir informes, administrar y mantener el siste- ma de SyE y utilizar la información producida. Por tanto, la estimación de la preparación va a suministrar información impor- tante y datos básicos en comparación con los cuales se puedan diseñar y ejecutar actividades de construcción de capacidad en caso de ser necesario. Es más, existe un requisito absoluto de reunir únicamente la información que se necesita. De nuevo, los sistemas de SyE se diseñan y de inmediato se los inunda con un exceso de datos recabados con demasiada frecuencia sin mucha reflexión ni previsión sobre cómo y si en realidad se van a utilizar esos datos. Una preocu- pación constante son la complejidad y el diseño excesivo. También se va a presen- tar una erosión continua del sistema que va a ser necesario resolver. Y es probable que partes interesadas intenten tirar del sistema en demasiadas direcciones dife- rentes a la vez. En resumen, en la arena política pocas cosas permanecen iguales. Mantener vigente y funcionando el sistema de SyE va a requerir de vigilancia y de cuidado (una razón más todavía de por qué son necesarios los defensores). ¿De qué manera el sistema va a respaldar directamente una mejor asignación de recursos y el logro de metas de programa? El sistema de SyE no es un fin en sí mismo. Se trata de una herramienta que se debe utilizar para promover gobernabilidad, prácticas modernas de gestión, in- novación y reformas y mejor rendición de cuentas. Cuando se utilizan de manera apropiada, estos sistemas puede producir información confiable, transparente y pertinente. Los sistemas de SyE pueden ayudar a los encargados de formular las políticas a rastrear y mejorar los productos y los impactos de las asignaciones de recursos. Sobre todo, ayudan a gobiernos y organizaciones a tomar más decisio- nes y a formular políticas bien informadas proporcionando retroinformación con- tinua sobre los resultados. La experiencia demuestra que la creación de un sistema de SyE basado en re- sultados a menudo funciona mejor cuando está ligado a otros programas e ini- ciativas de reforma del sector público, como crear un marco a mediano plazo del gasto público, restructurar la administración pública, o construir una Estrategia Nacional de Reducción de la Pobreza. Vincular la creación de sistemas de SyE a este tipo de iniciativas crea interdependencia y refuerzos que resultan cruciales a la sostenibilidad general de los sistemas. La estimación de la preparación puede proporcionar un mapa de ruta para decidir si esta clase de nexos son estructural y políticamente posibles. cap1.p65 47 24/07/05, 10:32 a.m. 48 Manual para gestores del desarrollo ¿De qué manera la organización, los defensores y el personal van a reaccionar a información negativa producida por el sistema de y ? S E En un clima político u organizativo caracterizado por el temor resulta tarea difícil contar con un sistema de SyE operativo. De manera inevitable (aunque poco fre- cuente) los sistemas de SyE producen datos que pueden resultar embarazosos, sen- sibles políticamente o perjudiciales para quienes detentan el poder. De manera similar, la información puede ser perjudicial para unidades e individuos de una organización. (En las organizaciones no es desconocida la ocurrencia común de castigar al mensajero). Si a partir de la estimación de la preparación queda claro que únicamente se va a permitir que información políticamente popular o correcta surja del siste- ma de SyE, el sistema es vulnerable y está comprometido desde el comienzo. Quie- nes están por fuera de la organización no lo van a considerar creíble. Va a ser visto como un ejercicio hueco. En semejante contexto político, es importante construir el sistema con cuidado y lentitud. Tal vez lo mejor que puede lograrse es encon- trar unidades que vayan a poner en peligro información potencialmente perjudi- cial incluyendo información desfavorable sobre su propio desempeño. Si no se encuentran presentes, no tiene mucho sentido ni justificación seguir adelante con el diseño de un sistema como éste. Deberá ser suficiente un énfasis en un sistema de seguimiento tradicional de la ejecución. Por lo general, los gobiernos dispuestos a utilizar información sobre desempe- ño para formular políticas, han alcanzado cierto grado de democracia y de aper- tura. Pero aún en estos países puede existir cierta renuencia a medir y hacer seguimiento debido a temores en el sentido que el proceso sea portador de malas noticias para dirigentes y partes interesadas por igual. En la construcción de este tipo de sistemas existen limitaciones políticas reales que es necesario tener en cuenta. No todas las barreras se pueden eliminar de manera simultánea en el diseño del sistema. Sin embargo, el hecho de no aceptar la presencia de estas barreras y eliminarlas tan pronto como sea posible crea el riesgo de un grado de resistencia mayor y más prolongado del que puede haber sido necesario. Se trata de una decisión estratégica sobre cuánto tiempo y energía se debería dedicar a eliminar las barreras en contraposición a utilizar ese mismo tiempo y esa energía finitas a fortalecer a los defensores y a respaldar oportunidades nacientes. Apoya- mos fuertemente la última opción. Una estimación de la preparación va a ayudar a identificar las barreras y los obstáculos estructurales, culturales, políticos o individuales en una organización dada. cap1.p65 48 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 49 ¿Dónde existe capacidad para respaldar un sistema de yE S basado en resultados? En muchos lugares es posible encontrar datos e información sobre desempeño. La estimación de la preparación proporciona pautas útiles para determinar si es posible encontrar este tipo de información y datos. Por ejemplo, ¿existen dentro del gobierno unidades organizativas que ya dispongan de capacidad para hacer seguimiento y evaluación y que puedan emprender evaluaciones? ¿Qué sistemas de datos se pueden encontrar dentro de los ministerios centrales y sectoriales u operativos del gobierno, o se encuentran a disposición de estos ministerios res- ponsables de la planificación? Estos datos pueden incluir datos de presupuesto, producto, consecuencia o impacto, auditorías de desempeño, auditorías financie- ras, informes de conclusión de proyectos y programas, e información sobre datos de donante. Por fuera del gobierno, ONG, universidades, institutos de investiga- ción y centros de formación también pueden proporcionar parte de la capacidad técnica necesaria para respaldar un sistema de SyE basado en resultados. ¿De qué manera el sistema de yE va a crear un nexo entre metas S de proyecto, programa, sector y nacionales? Una de las funciones principales de la estimación de la preparación es la de deter- minar las oportunidades y los riegos de vincular de manera coordinada la infor- mación a través del gobierno. En una situación ideal, los datos de desempeño en el plano de proyecto se incorporarían en las estimaciones de programa y se vin- cularían con ellos, y luego estas estimaciones se anexarían a metas y objetivos sectoriales, regionales y nacionales. En otras palabras, el personal de cada instan- cia tendría una visibilidad directa o una comprensión acerca de cada instancia y de la forma como todas se relacionan entre sí. El sistema de SyE basado en resultados que no tenga una alineación clara con metas de programa en el nivel de proyecto, no va a servir más allá de la informa- ción restringida para un proyecto dado. Para poder ser verdaderamente útil, la información debe fluir libremente entre niveles. Cada nivel debe ayudar a infor- mar al nivel siguiente para lograr los resultados esperados. Es igualmente impor- tante asegurarse de que dentro de un nivel exista un compromiso de utilizar y compartir horizontalmente la información proveniente de la recolección y análi- sis de los datos. La meta es crear un sistema de SyE que sea transparente y esté ajustado de un nivel al siguiente. Antes que ser recolectada, almacenada y utiliza- da en un nivel, la información debe fluir hacia arriba y hacia abajo en un sistema gubernamental pero nunca debe ser compartida de un nivel a otro. Un flujo libre de información puede servir para garantizar que las políticas, los programas y los proyectos tengan nexos entre sí y estén coordinados. En últimas, la verdadera pregunta es si el sistema puede resolver la necesidad que existe en todos los nive- cap1.p65 49 24/07/05, 10:32 a.m. 50 Manual para gestores del desarrollo les de ser tanto productores como consumidores de información basada en resul- tados. PARTE 3 Estimaciones de la preparación en países en desarrollo: Bangladesh, Egipto y Rumania La estimación de la preparación puede ayudar a gobiernos, donantes y a sus aso- ciados a confrontar el reto de la formación, construcción de capacidad organizativa y secuenciación de esfuerzos que se van a necesitar para diseñar y construir siste- mas de SyE basados en resultados. Proporciona las bases de un plan de acción para avanzar en el país. Una estimación de la preparación debe comenzar por estudiar los datos que en la actualidad presentan los sistemas de SyE tradicionales con un enfoque en la ejecución, y averiguar si se han hecho revisiones sobre gasto público, datos finan- cieros o adquisiciones. ¿Está el país avanzando hacia una reforma económica, legal y política; mayor democracia y apertura; mayor rendición de cuentas y transparen- cia?(Enocasiones,ocurrequeseestánrealizandovariosestudiosdiferentesdediag- nóstico al mismo tiempo. Por ejemplo, en la República Kirguisa, a comienzos de 2002, simultáneamente se estaban realizando un Examen de País del Desempeño de la Cartera de Inversiones, un Examen del Gasto Público y un Examen de Segui- miento y Evaluación). Una vez se haya determinado la situación del país con respecto a las reformas de la gestión pública, se debe emprender una misión de país o de campo. Mientras se lleva a cabo la misión en el país, se recoge información de campo proveniente de informantes clave, entre ellos funcionarios del gobierno, miem- bros de la sociedad civil y ONG. Es importante hablar con ministros y con diversos funcionarios sectoriales. Nunca se sabe dónde se va a encontrar un adalid intere- sado en disponer de un sistema de datos basado en desempeño que vaya a per- feccionar la formulación de las políticas. Lo ideal sería que alguna persona familiarizada con la construcción de capacidad en sistemas de SyE se encargara de realizar la estimación de la preparación. Estimaciones de la preparación: tres casos de país en desarrollo AcontinuaciónseexplorantresejemplosrealesdelmundoendesarrolloBangladesh, Egipto y Rumania con el objeto de averiguar la forma en que la estimación de la preparación puede informar y moldear el trabajo de construcción de sistemas de SyE basados en resultados (recuadros 1.1 a 1.3). A partir de estas experiencias tam- bién se van a extraer lecciones que pueden ser aplicables a otros países en desa- rrollo. cap1.p65 50 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 51 RECUADRO 1.1 EL CASO DE BANGLADESH. CONSTRUCCIÓN DESDE LA BASE Durante el periodo de ejecución de la estimación de la preparación, Bangladesh planteó un reto enorme con respecto a su buena disposición para diseñar y construir un sistema de SyE basado en resultados. En 2001, Bangladesh fue calificado como el país más corrupto de los 91 países a los cuales hizo seguimiento Transparencia Internacional, siendo los organismos encargados de la observancia de la ley el sector público más corrupto, seguido por educación, gobierno local y salud. En 2002, Bangladesh encabezaba de nuevo la lista como el más corrupto de los ciento dos países investigados. Los sistemas corruptos mantienen la información por fuera del dominio públi- co y este es un obstáculo mayor al Sistema de SyE. La estimación de la preparación no encontró defensor alguno del SyE en ninguna de las instancias del gobierno nacional, ni siquiera en los ministerios centrales o sectoriales. Tampoco se pudieron identificar iniciativas de reformas que pudieran crear incentivos para vincular estas reformas con la creación de un sistema de SyE. Es más, no existían requerimientos legales ni de normatividad para el uso de sistemas de SyE que se pudieran identificar. En las zonas rurales del país existen algunos sistemas de seguimiento para subsidios de educa- ción, electrificación y alimentación. También existían algunas evidencias de que ONG y la comuni- dad de donantes estaban haciendo seguimiento de manera activa a los resultados de proyectos de desarrollo, pero este hecho no había tenido influencia alguna en el gobierno para motivarlo a hacer lo mismo. La Oficina de Estadísticas de Bangladesh resultó ser un organismo estatal muy consolidado. Si el gobierno decide avanzar hacia el desarrollo de un sistema de SyE basado en resultados, y cuando decida hacerlo, esta oficina podría jugar un papel crucial en la recolección y análisis de datos. En términos de capacidad técnica, la estimación de la preparación encontró una capacidad de SyE muy débil, y una capacidad mínima de formación técnica en universidades y centros de investiga- ción. Así mismo, la estimación evidenció una experiencia organizativa mínima en el gobierno na- cional con respecto al manejo de sistemas de información creíble. Como resultado de la estimación de la preparación, se encontró que no era realista ni factible introducir a la vez un sistema de SyE basado en resultados en el gobierno nacional. Antes de que se pueda emprender una iniciativa de esta índole va a ser necesario un fuerte apoyo político y la construcción de una capacidad institucional sostenida. Se vislumbran en el horizonte esperanzas para Bangladesh. Con posteridad a la estimación de la preparación, el gobierno desarrolló una Estrategia Nacional de Reducción de la Pobreza que va a contener componentes de SyE. La estimación de la preparación recomendó a donantes y a ONG que trabajan en Bangladesh cinco estrategias para fortalecer parte de su capacidad y para trabajar en pequeño y con objetivos concretos. Fuente: Banco Mundial 2002c. cap1.p65 51 24/07/05, 10:32 a.m. 52 Manual para gestores del desarrollo RECUADRO 1.2 EL CASO DE EGIPTO. AVANCES LENTOS Y SISTEMÁTICOS HACIA SISTEMAS DE SyE Uno de los componentes más importantes para estimar la preparación de un país para introducir un sistema de SyE basado en resultados consiste en la posibilidad de encontrar a un defensor que esté dispuesto a apropiarse del sistema. La realización de la estimación de la preparación en Egipto puso al descubierto un gran interés por parte de muchos funcionarios de alto rango del gobierno de avanzar hacia un clima de evaluación del desempeño. El mismo presidente ha pedido mejor información para respaldar la toma de decisiones económicas. El ministro de Hacienda resultó ser un defensor a ultranza para que el gobierno de Egipto avanzara a un enfoque en resultados. Este ministro es una persona muy versada en la experiencia interna- cional de otros países, como Malasia y los países miembros de la OCDE. El ministro subrayó la importancia de prestar mayor atención a mejorar la gestión del gasto público avanzando con un conjunto de pilotos con el fin de demostrar la manera en que se podría utilizar el sistema de SyE basado en resultados para lograr una mejor gestión de las asignaciones presupuestarias. El minis- tro de Hacienda va a jugar un papel clave de liderazgo en cualquier empeño por introducir en Egipto un sistema de SyE basado en resultados. Se identificaron otros funcionarios de alto rango que podrían desempeñar papeles importantes. La primera dama de Egipto, quien preside el Consejo Nacional para la Mujer, está desarrollando un sistema para hacer seguimiento y evaluar los esfuerzos que se hacen en muchos ministerios para mejorar la situación y la condición de la mujer. Sin embargo, para que un sistema de SyE tenga éxito y sea sostenible, debe existir aceptación (o un sentido de apropiación) por parte de ministros sectoriales, que sean responsables del gasto de recursos y de la supervisión de la ejecución de programas específicos. El grupo de trabajo encontró mucho interés por parte de varios ministros sectoriales en hacer seguimiento y evaluación para obtener resultados, entre ellos el ministro de Electricidad y Energía y el ministro de Salud. La estimación de la preparación evidenció así mismo en Egipto un alto grado de capacidad para avanzar hacia una estrategia basada en resultados. En la Universidad de El Cairo, en la Universidad Americana de El Cairo y en organizaciones privadas de investigación, se identificaron varias perso- nas con formación en evaluación. Además, la Oficina Central para la Movilización Pública y Estadís- ticas, y el Centro de Apoyo de Información para la Toma de Decisiones del Gabinete cumplen funciones clave en la recolección, análisis y divulgación de datos que van a ser utilizados por investigadores y encargados de formular las políticas tanto gubernamentales como no gubernamentales. El desarrollo de una estrategia bien comunicada y ejecutable constituye un criterio clave para un viraje exitoso hacia resultados. El diagnóstico identificó una estrategia fragmentada para hacer avanzar este empeño. Tentativamente se había identificado un conjunto de pilotos, sin embargo, apenas sí existían unos cuantos criterios, si acaso, para establecer estos estudios como pilotos de desempeño. Tampoco dentro del gobierno se había establecido una estructura de gestión para administrar de manera eficaz este esfuerzo en su totalidad. Sin embargo, el ministro de Hacienda había comenzado a definir un enfoque que, si se ejecutaba, proporcionaría el liderazgo necesario para hacer avanzar este esfuerzo. El ministro se mostró muy definitivo en su deseo de avanzar despacio y de nutrir los pilotos, para aprender a lo largo del camino. Los resultados de esta estimación de la preparación indican que el gobierno de Egipto está prepa- rado para apropiarse del esfuerzo y para comenzar a introducir los conceptos de la gestión por resultados, de manera sistemática y lenta. Existe capacidad visible, la cual se puede aprovechar para sustentar este esfuerzo. Resulta muy significativo que exista un respaldo político obvio para ofrecer el liderazgo necesario (en el anexo II se encuentra la estimación completa de la prepara- ción de Egipto). Fuente: Banco Mundial 2001c. cap1.p65 52 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 53 RECUADRO 1.3 EL CASO DE RUMANIA. ALGUNAS OPORTUNIDADES PARA AVANZAR HACIA SISTEMAS DE SyE Rumania negocia su ingreso a la Unión Europea, con la esperanza de convertirse en miembro en 2007. El gobierno tiene un claro compromiso político con la reforma y ha diseñado una estrategia económica a mediano plazo. El país también cuenta con una fuerza laboral calificada en recolec- ción y utilización de datos y, en este sentido, lleva la delantera a muchos otros países en desarrollo y economías en transición. A la vez, no obstante, Rumania continúa soportando de diversas maneras el legado comunista, como una mentalidad obcecada de planeación centralizada en algunos sectores del gobierno, instituciones gubernamentales débiles, un número escaso de funcionarios públicos con formación en principios y prácticas modernas de gestión pública y una sociedad civil sin experiencia y sin ninguna tradición de participación activa en el negocio de gobernar. La estimación de la preparación puso en evidencia otras barreras al avance hacia un sistema de SyE, tales como la falta de comprensión en el seno del sector público de Rumania de lo que conlleva el desarrollo de una cultura de gestión orientada al desempeño, y conflictos con otras prioridades generales del gobierno. Rumania está realizando varios pilotos de comportante presupuestario, de acuerdo con los cinco organismos se les ha solicitado presentar un conjunto de medidas de desempeño en forma de anexo al presupuesto anual. El programa piloto comenzó con cinco organismos del gobierno, aumentando a ocho al año siguiente, a trece al siguiente y finalmente a todos los demás. En la época en que se realizó la estimación de la presentación, el gobierno todavía se encontraba en la fase piloto con un presupuesto nuevo que incluía trece programas piloto. Los directivos de los organismos del gobierno hicieron mayoritariamente caso omiso de los pro- gramas piloto que tenían un enfoque en la asignación de fondos a las distintas instancias del gobierno con base en indicadores de desempeño, y tampoco el Parlamento los tomó en serio. Sin embargo, esos programas piloto sí representaban el epicentro del aprendizaje sobre la manera apropiada de confeccionar indicadores de desempeño para hacer seguimiento a la efectividad del presupuesto anual. El ministro de Hacienda parece haber sido un fuerte defensor de esfuerzo y pudo proporcionar el liderazgo político necesario para dar comienzo y sustentar un esfuerzo de gestión basada en resultados de mayor alcance. Se identificaron otros dos defensores potenciales, entre ellos el ministro de Justicia y un asesor del primer ministro. Se trata de dos instancias importantes para mejorar la gestión del gobierno de Ru- mania y son conscientes de la importancia de presentar informes sobre el éxito de las estrategias. El compromiso del gobierno para avanzar hacia el SyE está respaldado por un marco de nuevas leyes, avances hacia el ingreso a la UE y expectativas crecientes por parte de la sociedad civil. Por ejemplo, un cambio en el marco legal incluye un conjunto de leyes que respaldan una campaña hacia la administración-e. Esta iniciativa podría convertirse en un vehículo para mejorar la transpa- rencia del gobierno y ofrecer a la sociedad civil resultados del programa de reforma del gobierno. El desarrollo de la administración-e puede convertirse en un instrumento poderoso para la rendi- ción de cuentas del gobierno. Por último, la estimación de la preparación sugiere varias oportunidades de apoyo a la introduc- ción de SyE basado en resultados. El esfuerzo en marcha de confección de presupuestos con base en desempeño y otras reformas del gobierno podrían ofrecer un enfoque significativo en los resultados y servir de catalizador de esos resultados. También existe el suficiente liderazgo político de alto nivel para arrancar con el SyE dentro de tres campos piloto por lo menos: presupuesto, lucha contra la corrupción y reducción de la pobreza. Fuente: Banco Mundial 2001d. cap1.p65 53 24/07/05, 10:32 a.m. 54 Manual para gestores del desarrollo PARTE 4 Lecciones aprendidas ¿Qué lecciones se pueden derivar de estos tres ejemplos de estimación de la pre- paración del mundo en desarrollo? Incentivos y demandas para diseñar y construir un sistema de yE S basado en resultados Resulta de importancia crucial comprender la situación de un país dado en los ocho campos descritos en la estimación de la preparación. Si la estimación no se hubiese realizado en Bangladesh, por ejemplo, los intentos por diseñar y cons- truir un sistema de SyE basado en resultados podrían haber avanzado en un entorno provisto con pocas de las condiciones previas indispensables para SyE. De manera similar, tanto en Egipto como en Rumania, la estimación de la pre- paración proporcionó información vital relacionada con probables puntos de entrada para diseñar y construir un sistema de SyE basado en resultados que con- tara con el beneficio de defensores fuertes y un entorno de reforma de mayor envergadura. Para avanzar hacia un clima orientado a resultados, debe existir un mandato aceptado y hecho público con antelación a la introducción de programas. Como se anotaba, lo anterior puede ser el resultado de iniciativas y factores internos o externos. Por ejemplo, el mandato podría incluir una ley de reforma de la gestión presupuestaria, el ingreso a la UE, la presión ejercida por una ciudadanía preocu- pada, la necesidad de reducir la pesada nómina de la administración pública o el deseo de cumplir las promesas políticas. Se debe estimular y respaldar una fuente sostenida de demanda de informa- ción sobre desempeño, dando aviso al gobierno de que va a tener que demostrar resultados es decir, el gobierno tendrá que demostrar que las políticas y los pro- gramas que se están ejecutando cumplen con las expectativas. A los gobiernos hay que aguijonearlos para asegurarse de que la presentación de informes sobre resultados se convierta en una actividad regular y rutinaria. Un sistema exitoso de SyE basado en resultados debe contar con un liderazgo sostenido. En tanto es importante contar con gestores de programa eficientes que supervisen la ejecución de los programas y proyectos del gobierno, también debe existir un fuerte apoyo político en las instancias más altas del gobierno. A través de su gobierno, el país debe estar al timón del desarrollo de estos sistemas para poder asegurarse de su apropiación. Si no existe un defensor fuerte, bien coloca- do, que esté dispuesto a asumir la apropiación de un sistema de SyE basado en resultados, va a resultar imposible construir el sistema o utilizarlo. cap1.p65 54 24/07/05, 10:32 a.m. Paso 1: Hacer una estimación de la preparación 55 Papeles y responsabilidades, y estructuras existentes para estimar el desempeño del gobierno La alta rotación entre funcionarios del gobierno constituye un reto a la construc- ción de sistemas de SyE. Los cambios frecuentes de funcionarios en los ministerios dificultan la tarea de identificar y poder continuar trabajando con los defensores del sistema. La anterior podría ser una razón más para buscar otros defensores en la sociedad civil, en las ONG o en el Parlamento. Diferentes ministerios y partes del gobierno de muchos países en desarrollo se van a encontrar en etapas diferentes en su habilidad para hacer seguimiento y evaluar. No necesariamente se debe suponer que todo el gobierno va a avanzar al unísono. Con respecto a la construcción de sistemas de SyE, inevitablemente exis- tirá algún tipo de secuenciación y de escalonamiento. La estimación de la prepa- ración puede servir de guía a través del sistema político y ayudar a identificar el grado de habilidad de los ministerios y los órganos del gobierno para hacer segui- miento y evaluar. El enfoque se debe poner en nutrir aquellas partes del gobierno que se encuentran en una posición para avanzar con mayor rapidez hacia el de- sarrollo de una cultura de SyE. Para poder dar el vuelco hacia una cultura basada en resultados, también son necesarios nexos claros entre presupuesto y otras decisiones de asignación de recursos. En la mayoría de los gobiernos, existe más de un organismo que trabaja en un programa en particular. La estimación de la preparación puede ayudar a identifi- car traslapos entre organismos, de manera que el desempeño general del progra- ma se pueda medir y lograr con mayor eficacia y eficiencia. En efecto, la estimación de la preparación puede servir de guía para actuar como mediadora de las dife- rencias entre organismos del gobierno que realizan las mismas tareas o similares. Los encargados de la formulación de las políticas en el gobierno deben estar en comunicación y trabajar en asociación con quienes sean responsables de reunir la información y de divulgarla en especial en campos como los ODM. No van a funcionar universos separados de acción política, respaldo y construcción de ca- pacidad. El sistema de SyE debe integrarse a las políticas de los ODM, de manera que a todas las partes interesadas les quede claro por qué es importante reunir datos, cómo se van a utilizar para informar sobre los esfuerzos del gobierno y de la sociedad civil para lograr los ODM, y qué información se debe conseguir. Requisitos de construcción de capacidad para un sistema yE S basado en resultados Las decisiones de las políticas y de gestión se deben basar en información confiable. Bangladesh, Egipto y Rumania al igual que tantos países en desarrollo carecen de capacidad suficiente y de muchos de los recursos necesarios para construir cap1.p65 55 24/07/05, 10:32 a.m. 56 Manual para gestores del desarrollo sistemas de SyE. No se trata de un obstáculo insalvable. Con tiempo y dinero, es posible adquirir conocimientos técnicos especializados, estrategia y experiencia. Sin embargo, la falta de voluntad política y de defensores impedirá cualquier avance hacia una cultura de SyE. Con el tiempo, el país debe contar con su propia capacidad para diseñar, eje- cutar y utilizar un sistema de SyE basado en resultados. No es suficiente adquirir destrezas como investigación social, gestión pública, estadísticas o gestión de datos a través de contratos de consultoría de la comunidad internacional. En cierta for- ma, estas destrezas deben llegar al país para quedarse y para disponer de ellas con la finalidad de colaborar en un programa de evaluación regular del desempeño del gobierno. Si estas destrezas no se encuentran presentes en cantidades suficientes, se necesita un programa concertado de construcción de capacidad. Los países van a tener que construir la capacidad para implantar bolsas de inno- vación que puedan servir como prácticas iniciales o programas piloto. La habilidad para poner a prueba y llevar a cabo programas piloto va a tener una importancia especial cuando se examine la selección de indicadores clave del desempeño, en el capítulo 3. Uno de los retos del diseño y la construcción de sistemas de SyE radica en que existen tantos donantes diferentes que a menudo le están solicitando al gobierno la presentación de informes sobre la misma meta de desarrollo. La estimación de la preparación se puede utilizar como herramienta para que los donantes coordi- nen los sistemas de SyE y actividades concomitantes de construcción de capaci- dad y de institución. Una coordinación de esta índole puede ayudar al país a utilizar de la mejor manera posible los recursos de los donantes, en especial sosla- yando los escollos de la duplicación, la financiación insuficiente o el desequilibrio entre prioridades. No se deben subestimar los retos que comporta el diseño y la construcción de un sistema de SyE basado en resultados en un país en desarrollo. La construcción de un sistema de este tipo es una empresa seria y no va a suceder de la noche a la mañana. Sin embargo, tampoco se debe desechar porque parezca demasiado com- plicado, exigente o complejo para que lo emprenda un país en desarrollo. Todos los países necesitan sistemas adecuados de información de modo que puedan hacer seguimiento a su propio desempeño los países en desarrollo no menos que otros. En consecuencia, ayudar a los países en desarrollo a lograr esta capaci- dad, amerita el tiempo y la atención de los funcionarios del país y de sus asocia- dos para el desarrollo. cap1.p65 56 24/07/05, 10:32 a.m. CAPÍTULO 2 PASO 2. ELEGIR LOS EFECTOS PARA MONITOREARLOS Y EVALUARLOS GRÁFICO 2.1 Fijar metas hace parte del proceso decisorio gubernamental en todos los ámbi- tos. Todos los gobiernos tienen metas si bien no todos cuentan con la capacidad de SyE. Suponiendo que, de hecho, un país o una organización se encuentre en una situación que le permita avanzar hacia la construcción de un sistema de SyE basado en resultados, el paso siguiente consiste en elegir los efectos (derivados de las metas) y ponerse de acuerdo sobre los efectos para hacerles seguimiento y evaluarlos (gráfico 2.1). La clave consiste en saber dónde está usted antes de em- pezar a moverse. En términos concretos, el presente capítulo aborda: a) la importancia de los efectos; b) los aspectos que se deben considerar en la elección de efectos para hacerles seguimiento y evaluarlos; c) la importancia de construir un proceso participativo y consultivo que involucre a las principales partes interesadas; y d) Si no sabe a dónde va, todos los caminos lo llevarán allá. (Alicia en el país de las maravillas, Lewis Carroll, 1865) cap2.p65 57 24/07/05, 10:32 a.m. 58 Manual para gestores del desarrollo el proceso general de fijar los efectos y ponerse de acuerdo sobre ellos. También se incluyen ejemplos para análisis y debate. La importancia de los efectos Desde un comienzo, es importante distinguir entre metas y efectos. Por lo gene- ral, las metas son a largo plazo, como los ODM a los que ya se hizo referencia. De las metas se avanza a los efectos, los cuales, en el ejemplo del ODM, equivalen a un período de tiempo intermedio (de cinco a diez años). De los efectos se derivan otros objetivos que, por lo general, son a corto plazo en el contexto de los ODM, de uno a tres años, aproximadamente. ¿Por qué es importante hacer énfasis en los efectos en esta etapa? ¿Por qué no avanzar directamente a la confección de indicadores? Porque establecer los efectos va a demostrar a qué se parece el éxito. En comparación, los indicadores sólo son pertinentes cuando se miden en relación con un objetivo. Por tanto, medir indica- dores va a mostrar los avances hechos hacia el logro de los objetivos propuestos. Los encargados del proceso decisorio y las partes interesadas se encuentran en una situación en la que pueden hacer tan explícitas como sea posible a los efectos de la acción gubernamental. No se pueden confeccionar indicadores antes de defi- nir los efectos, porque son los efectos no los indicadores las que, en últimas, van a producir los beneficios. Los efectos van a demostrar si se ha alcanzado el éxito. En resumen, los efectos van a mostrar cuál es el camino que se debe tomar. Determinar los efectos resulta esencial a la construcción de un sistema de SyE basado en resultados. Construir el sistema constituye, básicamente, un proceso deductivo en el cual todos ellos: insumos, actividades y productos se derivan y fluyen de la determinación de los efectos. Indicadores, datos básicos y objetivos (los que se analizarán en capítulos posteriores) son elementos cruciales del contexto de desempeño, se derivan de la determinación de efectos y se basan en éstos. Aspectos que se deben considerar en la elección de los efectos para hacerles seguimiento y evaluarlos ¿Cuáles son las prioridades estratégicas? ¿Cuáles son los efectos deseados? Estas son las preguntas que todas las organizaciones, todos los niveles del gobierno y las partes interesadas de la sociedad civil pueden estar haciendo a sí mismos y a otros. El principal enfoque se pone en la forma en que lo anterior se relaciona con el gobierno nacional. Todos los países cuentan con recursos presupuestarios finitos y deben estable- cerunordendeprioridades.Enefecto,esimportantemantenerpresentelasiguiente distinción: se confeccionan presupuestos para obtener resultados y se hace ges- tión para obtener efectos. cap2.p65 58 24/07/05, 10:32 a.m. Paso 2: Elegir los efectos para monitorearlos y evaluarlos 59 Existen muchos aspectos que es necesario considerar para elegir efectos para hacerles seguimiento y evaluarlos. Por ejemplo, los efectos podrían estar ligados a aspectos del desarrollo económico internacional y crediticios, entre ellos una Estrategia Nacional de Reducción de la Pobreza, un Plan Nacional de Desarrollo, la Iniciativa de PPME, o los ODM. Si para el país existe un plan de ingreso a la UE, con la finalidad de unir formal- mente a este bloque regional tan importante, los encargados del proceso deciso- rio deben examinar una multitud de estándares socioeconómicos y políticos, y deben articular efectos específicos deseados para satisfacerlos. En el ámbito de país, ya podrían existir algunas metas nacionales, regionales o sectoriales declaradas. Igualmente, es posible que ya se hayan hecho promesas políticas y electorales que especifican un desempeño mejorado del gobierno en un campo determinado. Además, es posible que existan datos de sondeos de opi- nión pública que indican preocupaciones sociales particulares. Las acciones par- lamentarias y la legislación facultativa son otros campos que se deben examinar para determinar metas nacionales deseadas. También puede existir un conjunto de metas simples para un proyecto o programa determinado o para una región determinada de un país. A partir de estas metas es posible determinar efectos específicos deseados. Se debe recordar que los países en desarrollo pueden confrontar retos particu- lares en la formulación de efectos nacionales. Para los países en desarrollo puede resultar difícil fijar un orden de prioridades gubernamentales por algunas de las razones a las que ya se hizo referencia, entre ellas la falta de voluntad política, la carencia de capacidad de planeación y de análisis, o un organismo central débil. A la vez, no obstante, todos los gobiernos necesitan tener metas, y existen mane- ras para crear un consenso nacional para desarrollar la capacidad necesaria para fijar un orden de prioridades y determinar los efectos deseados. Lo anterior im- plica emprender un proceso participativo que involucre a grupos clave de inte- rés. La ayuda de donantes en la construcción de instituciones y de capacidad también puede representar un aporte al inicio del proceso técnico y analítico de formular efectos nacionales deseados. La importancia de construir un proceso participativo y consultivo involucrando a las principales partes interesadas Cuando las metas se fijan en aislamiento, el resultado es una falta de apropiación de esas metas por parte de las principales partes interesadas internas y externas. De igual manera, cuando se eligen efectos, resulta crucial construir un proceso participativo y consultivo que involucre a las partes interesadas. El proceso participativo debe comenzar por la fijación de metas y continuar con la elección de efectos y la construcción de un sistema de indicadores. (La confección de los cap2.p65 59 24/07/05, 10:32 a.m. 60 Manual para gestores del desarrollo indicadores no se le debe encargar a los técnicos simplemente, porque es necesa- rio consultar el aparato político y tiene que estar de acuerdo tanto con las metas como con los indicadores. En el Paso 3: Selección de indicadores, se hará un aná- lisis más detenido sobre el tema). Las nuevas realidades de gobernabilidad, globalización, concesión de présta- mos de ayuda y expectativas de los ciudadanos exigen un enfoque consultivo, de cooperación y comprometido con la creación de consenso. Se deben solicitar las opiniones y los puntos de vista de las partes interesadas. Involucrar de manera participativa a grupos clave de interés ayuda a crear consenso y a lograr un com- promiso para alcanzar los efectos deseados. Cuando se eligen efectos, el viaje se debe hacer acompañado. El proceso general de fijar efectos y llegar a un acuerdo sobre los mismos Se debe saber a dónde va, por qué va a ese lugar y cómo va a saber cuándo se llega. Cuando se fijan efectos y se llega a un acuerdo sobre los mismos ocurre un proceso político. Cada una de las partes es crucial al éxito para lograr el consenso de las partes interesadas con respecto a los efectos. Identificar representantes específicos de las partes interesadas ¿Quién son las partes clave involucradas en torno a un tema (salud, educación, y así sucesivamente)? ¿Cómo categorizar, por ejemplo, a las ONG, al gobierno, a los donantes? ¿A los intereses y a las opiniones de quién se les va a dar prioridad? Identificar las principales preocupaciones de las partes interesadas Utilizar técnicas de recolección de información, como debates espontáneos de ideas, grupos de trabajo, encuestas y entrevistas con el fin de conocer los intere- ses de los grupos involucrados. Es necesario escuchar muchas voces no sólo a las más estentóreas, a las personas más ricas, a las mejor conectadas. A la gente se la debe involucrar en el proceso de manera de dar realce y apoyo a un sector demo- crático del público. Convertir los problemas en declaraciones de posibles mejoras de los efectos Es necesario observar que formular los problemas como efectos positivos es muy diferente de una simple reiteración del problema. Una declaración orientada a cap2.p65 60 24/07/05, 10:32 a.m. Paso 2: Elegir los efectos para monitorearlos y evaluarlos 61 los efectos habilita a las personas para que identifiquen la ruta y el destino que las espera. Los efectos se deben enmarcar de manera positiva antes que de manera negativa (gráfico 2.2). Así, las partes interesadas van a responder y a dar mayor apoyo a declaraciones positivas, por ejemplo: queremos una mejor atención en salud para la infancia y la niñez, en vez de queremos que menos niños se enfer- men. Parece que las declaraciones positivas a las cuales puedan aspirar las partes interesadas pueden contener un mayor grado de legitimidad. Resulta más fácil convocar un consenso político hablando de manera positiva respecto de los efec- tos deseados de las partes interesadas. GRÁFICO 2.2 DESARROLLO DE DECLARACIONES DE EFECTOS Desagregar para obtener efectos clave deseados A los efectos se les debe desagregar lo suficiente para obtener sólo un área de mejoría en cada declaración de efecto. Un efecto de ejemplo podría ser incre- mentar el porcentaje de gente empleada. Para saber si se ha logrado este efecto, es necesario desagregar la meta para poder responder las siguientes preguntas: ¿para quién? ¿dónde? ¿cuánto? ¿para cuándo? cap2.p65 61 24/07/05, 10:32 a.m. 62 Manual para gestores del desarrollo Este efecto se debe desagregar examinando el mayor empleo en términos de un grupo objetivo, sector, cambio porcentual y marco temporal. Por ejemplo, el efecto desagregado puede ser aumentar en veinte por ciento el empleo de los jóvenes del sector rural en los próximos cuatro años. Solamente desagregando el efecto y articulando los detalles se va a saber si se logró lo esperado. Simplificar y sintetizar los efectos en este punto elimina igualmente las com- plicaciones posteriores cuando se comience a construir un sistema de indicadores, datos básicos y objetivos por medio de los cuales hacer seguimiento y evaluar. Se pueden confeccionar indicadores para medir resultados desagregando los efec- tos en subcomponentes. Diseñar un plan para avaluar la forma en que un gobierno o una organización va a lograr estos efectos Cuando se hace seguimiento utilizando las herramientas tradicionales basadas en la ejecución de insumos, actividades y productos, es mucho menos evidente la necesidad de tener claridad sobre los efectos. Los gestores reunirían insumos, asignarían actividades y esperarían los resultados. Pero la desventaja de este en- foque consiste en que completar todas las actividades y productos no es lo mismo que lograr los efectos deseados. La suma de todas las actividades puede, o no, significar que se hayan logrado los efectos deseados. Un listado de tareas y de actividades no mide resultados. Aun si se completaran todas las actividades den- tro de un marco temporal determinado, no necesariamente se ha logrado el efec- to deseado. Lo mejor es llegar a un acuerdo primero que todo sobre prioridades y efectos estratégicos y luego utilizarlos para orientar las asignaciones de recursos y las actividades. Lo anterior no significa que las actividades no sean importantes. Para el proce- so resultan cruciales las acciones para manejar y ejecutar programas, utilizar re- cursos y prestar servicios del gobierno. Estar ocupado no es lo mismo que lograr resultados. Ejemplos y posibles enfoques ¿Qué supone el proceso real de elegir efectos? Los ejemplos que aparecen a con- tinuación ilustran un escenario que puede resultar útil. cap2.p65 62 24/07/05, 10:32 a.m. Paso 2: Elegir los efectos para monitorearlos y evaluarlos 63 Situación Después de consultas amplias con partes interesadas cla- ve, un presidente ha fijado algunas metas nacionales y sectoriales importantes para incluirlas en un plan quin- quenal de desarrollo económico. A su vez, el presidente ha solicitado al primer ministro convertir estas metas en un conjunto de efectos alcanzables y demostrar avan- ces hacia la visión estratégica. Acciones El primer ministro solicita al ministro de Hacienda diri- gir una misión de diez semanas para identificar efectos deseados. El ministro de Hacienda conforma un grupo de trabajo que incluye representantes de las partes interesadas exis- tentes en el país. Partes interesadas Gobierno, sociedad civil, donantes. incluidas Justificación Crear consenso en torno al proceso. Tres El ministro de Hacienda encarga tres responsabilidades responsabilidades clave al nuevo grupo de trabajo: a) identificar represen- clave tantes de partes interesadas específicas; b) identificar principales preocupaciones de cada parte interesada, y c) convertir el listado de preocupaciones en un listado de efectos positivos y deseables que se deben lograr. Para el proceso resulta crucial convertir los problemas en declaraciones de efec- tos positivos. Se debe comenzar con los problemas de un país determinado, para luego reformularlos en un conjunto de efectos deseables. En otras palabras, los temas y los problemas se deben representar en un conjunto de soluciones. Los gráficos 2.3 y 2.4 ofrecen ejemplos prácticos para ilustrar el proceso, tanto de ma- nera correcta (gráfico 2.3) como incorrecta (gráfico 2.4). cap2.p65 63 24/07/05, 10:32 a.m. 64 Manual para gestores del desarrollo GRÁFICO 2.3 DECLARACIONES DE EFECTOS DERIVADOS DE PROBLEMAS O TEMAS IDENTIFICADOS A continuación se va a considerar la importancia de obtener un solo efecto en cada declaración de efecto. (Lo anterior va a adquirir una importancia vital cuan- do se analicen los indicadores, en el Paso 3). En el gráfico 2.4 aparecen cuatro ejemplos de cómo no construir declaraciones de efectos. Las declaraciones enu- meran muchos campos de mejoría, complicando el proceso posterior de confec- cionar indicadores. En los ejemplos que aparecen en el gráfico 2.4, debería haber dos declaracio- nes distintas de efectos, mientras que en el momento están mezcladas. Por ejem- plo, la primera debería decir mejorar las estructuras escolares para satisfacer los requerimientos de la economía de mercado y la segunda mejorar los estándares académicos para satisfacer los requerimientos de la economía de mercado. De igual manera, la segunda declaración también contiene dos efectos, y debería decir en su lugar los niños rurales logran igual acceso a los servicios educativos, y los niños rurales logran acceso a servicios médicos. La tercera declaración debe- ría contener dos efectos: mejorar los planes de estudio para satisfacer estándares del mercado y mejorar las instalaciones para satisfacer estándares del merca- cap2.p65 64 24/07/05, 10:32 a.m. Paso 2: Elegir los efectos para monitorearlos y evaluarlos 65 GRÁFICO 2.4 CÓMO NO ELABORAR DECLARACIONES DE EFECTOS do. Por último, la cuarta declaración también se puede traducir en dos efectos: los niños más necesitados están recibiendo ayuda educativa y los niños más necesitados están recibiendo ayuda nutricional. Elegir efectos es el primer paso en la construcción de la matriz de desempeño. En el gráfico 2.5 aparecen ejemplos de posibles efectos del desarrollo educativo. Todos ellos, indicadores, datos básicos y objetivos van a fluir de este paso inicial de establecer efectos. A medida que se avanza a través de los pasos del modelo en los capítulos siguientes, se analizará la forma de confeccionar indicadores, datos básicos y objetivos. cap2.p65 65 24/07/05, 10:32 a.m. 66 Manual para gestores del desarrollo GRÁFICO 2.5 DESARROLLO DE EFECTOS PARA UN ÁREA DE POLÍTICAS Se ha analizado la importancia crucial de fijar efectos, los aspectos involucrados en la elección de efectos para hacer seguimiento y evaluar la importancia de cons- truir un proceso político participativo y consultivo que incluya a las principales partes interesadas. Se ha identificado la secuencia de pasos para fijar efectos, junto con algunas pautas para desarrollar declaraciones de efectos posibles de medir por medio de un conjunto de indicadores. Se continúa con el Paso 3: Seleccionar indicadores clave de desempeño para monitorear los efectos. cap2.p65 66 24/07/05, 10:32 a.m. CAPÍTULO 3 PASO 3. SELECCIONAR INDICADORES CLAVE PARA MONITOREAR LOS EFECTOS GRÁFICO 3.1 ¿Cómo se sabe cuándo se han logrado los efectos deseados? Después de haber analizado la importancia de fijar efectos alcanzables y bien definidos y los aspectos y el proceso involucrados en la aceptación de esos efectos, a continuación se hace hincapié en la selección de indicadores clave (gráfico 3.1). Los indicadores de efec- tos no significan lo mismo que efectos. Los indicadores son las variables cuantitati- vas o cualitativas que ofrecen un medio sencillo y confiable para medir el logro, parareflejarloscambiosconexosaunamediaciónoparaayudaraestimareldesem- peño de una organización según el efecto propuesto. Para todos los niveles del sistema de SyE basado en resultados se deben desarrollar indicadores, lo que signi- fica que los indicadores se necesitan para hacer seguimiento a los avances respecto de insumos, actividades, productos, efectos y metas. Es necesario hacer seguimien- to a los avances en todos los niveles del sistema para poder proporcionar retroinfor- mación a áreas de éxito y a áreas en las cuales se pueda requerir mejoría. Los indicadores de efectos sirven para resolver dos preguntas fundamentales: ¿cómo se va a distinguir el éxito o el logro cuando ocurra? ¿Se están haciendo progresos hacia el logro de los efectos deseados? Estas son las preguntas que cada cap3.p65 67 24/07/05, 10:32 a.m. 68 Manual para gestores del desarrollo vez más se le plantean a gobiernos y organizaciones del mundo entero. Por con- siguiente, la confección de indicadores apropiados para resolver estas preguntas se convierte en un aspecto crucial del modelo de diez pasos. Desarrollar indicadores clave para hacer seguimiento a efectos habilita a los gestores para estimar el grado al cual se están logrando efectos deseados o pro- metidos. El desarrollo de indicadores es una actividad vital en la construcción de un sistema de SyE basado en resultados. Impulsa todas las actividades posteriores de recolección, análisis y presentación de informes de datos. En la creación de indicadores adecuados y efectivos también existen consideraciones políticas y metodológicas importantes. El presente capítulo considera: a) indicadores necesarios para todos los nive- les del sistema de SyE basado en resultados; b) la conversión de efectos en indicadores de efectos; c) la CREMA de indicadores adecuados de desempeño; d) la utilización de indicadores sustitutos; e) las ventajas y las desventajas de utilizar indicadores diseñados de antemano; f) confeccionar indicadores y seguir la pista a información de desempeño; y g) confeccionar indicadores utilizando la expe- riencia de los países en desarrollo. Se requieren indicadores para todos los niveles de sistemas de yE S basados en resultados Es importante confeccionar indicadores para medir los avances en insumos, acti- vidades, productos, efectos y metas para proporcionar al sistema de gestión la retroinformación necesaria. Hacerlo va a ayudar a los gestores a identificar las partes de una organización o de un gobierno que puedan, o no, estar logrando los resultados como se había planeado. Midiendo de manera regular y definida los indicadores de desempeño, gestores y encargados del proceso decisorio pue- den averiguar si los proyectos, programas y políticas avanzan por la senda co- rrecta, se han desviado o lo están haciendo aun mejor de lo esperado de acuerdo con los objetivos de desempeño fijados. Lo anterior brinda la oportunidad de hacer ajustes, corregir el rumbo y adquirir valiosos conocimientos y experiencias institucionales, de proyecto, programa o de políticas. En últimas, hacerlo acre- cienta, por supuesto, la probabilidad de lograr los efectos deseados. Convertir efectos en indicadores de efectos Cuando se considera medir resultados, lo que en realidad se quiere decir es medir efectos, antes que sólo insumos y productos. Sin embargo, estos efectos se deben traducir en un conjunto de indicadores mensurables de desempeño. Es a través de la medición regular de indicadores clave de desempeño como es posi- ble determinar si se están logrando los efectos. cap3.p65 68 24/07/05, 10:32 a.m. Paso 3: Seleccionar indicadores clave para monitorear los efectos 69 Por ejemplo, en el caso del efecto mejorar el aprendizaje de los estudiantes, un indicador de efectos relativos a los estudiantes podría ser el cambio en los puntajes obtenidos por los estudiantes en las pruebas de logros escolares. Si los estudiantes mejoran continuamente los puntajes en las pruebas de logros escola- res, se supone que también han mejorado los efectos generales de su aprendizaje. Otro ejemplo es el efecto reducir el comportamiento en riesgo de quienes se encuentran muy propensos a contraer el VIH/SIDA. Varios indicadores directos podrían ser la medición de diferentes comportamientos arriesgados para las per- sonas que se encuentran en mayor riesgo. Al igual que con aceptar los efectos, cuando se seleccionan indicadores tam- bién se deben tener en cuenta los intereses de muchas partes interesadas diferen- tes. En páginas precedentes se señaló la necesidad de traducir los efectos en un conjunto de indicadores mensurables de comportamiento. No obstante, ¿cómo se sabe cuáles son los indicadores que se deben seleccionar? El conocimiento de la necesidad de tener en cuenta las preocupaciones de partes interesadas e incluirlas, debe orientar el proceso de selección. A los gestores les compete convertir los inte- reses de esas partes en indicadores de desempeño adecuados y utilizables. Por tan- to, se deben desagregar los efectos para asegurarse de que los indicadores sean pertinentes a todas las preocupaciones de muchas partes interesadas y no simple- mente las de una sola parte interesada. De igual importancia, los indicadores de- ben ser pertinentes para los gestores, porque es en el desempeño y en su mejoría donde se pone el enfoque de un sistema como este. Si el efecto es mejorar el aprendizaje de los estudiantes, entonces los estudiantes constituyen, por supuesto, una parte directamente interesada. Sin embargo, en la configuración de un sistema de resultados para medir el aprendizaje, también los funcionarios del sector educativo y el gobierno podrían estar interesados en medir indicadores pertinentes a las preocupaciones de docentes y padres, así como en medir el acceso de los estudiantes a la educación y a materiales de aprendizaje. Lo anterior no significa que deba existir un indicador para cada grupo de inte- rés. La selección de indicadores representa un proceso complicado en el cual es necesario considerar y reconciliar los intereses de varias partes interesadas perti- nentes. Como mínimo, deben existir indicadores que midan directamente el efec- to deseado. En el caso de mejorar el aprendizaje de los estudiantes, debe existir un indicador para estudiantes. Ese indicador especial podrían ser puntajes sobre pruebas de logros. Con la adición de indicadores de efectos (gráfico 2.2), se puede analizar con mayor detenimiento el contexto de desempeño para los efectos educativos del desarrollo, que se introdujo en el capítulo anterior. ¿Cuál es el número ideal de indicadores para cualquier efecto? El número mínimo que responda la pregunta, ¿Se han logrado los efectos? cap3.p65 69 24/07/05, 10:32 a.m. 70 Manual para gestores del desarrollo GRÁFICO 3.2 DESARROLLO DE UN CONJUNTO DE INDICADORES DE EFECTOS PARA UN ÁREA DE LAS POLÍTICAS La CREMA de indicadores adecuados de desempeño Básicamente, la CREMA de la selección de indicadores adecuados de desempeño consiste en un conjunto de criterios para ayudar a desarrollar indicadores para un proyecto, programas o políticas específicas (Schiavo-Campo 1999, p. 85). Los indicadores de desempeño deben ser claros, pertinentes, económicos, adecuados y factibles de hacerles seguimiento. CREMA significa una póliza de seguros, por- que cuanto más precisos y coherentes sean los indicadores, tanto más preciso va a ser el enfoque de las estrategias de medición. Claro Preciso e inequívoco Relevante Apropiado al tema en cuestión Económico Disponible a un costo razonable Mensurable Se aviene a validación independiente Adecuado Ofrece una base suficiente para estimar el desempeño Si no se cumple alguno de estos cinco criterios, los indicadores formales de desempeño se van a ver afectados y van a ser menos útiles.1 1 Existen otros modelos para confeccionar indicadores adecuados de desempeño. Por ejemplo, el PNUD utiliza otra fórmula, el principio SMART; las características de indicadores adecuados son: S = específicos, M = mensurables, A = alcanzables, R = relevantes y T = rastreables (Kahn 2001, p. 24). cap3.p65 70 24/07/05, 10:32 a.m. Paso 3: Seleccionar indicadores clave para monitorear los efectos 71 Los indicadores de desempeño deben ser tan claros, directos e inequívocos como sea posible. Los indicadores pueden ser cualitativos o cuantitativos. Sin embargo, para establecer sistemas de SyE basados en resultados, se recomienda comenzar con un sistema simple y cuantitativo de medición antes que comenzar a insertar indicadores cualitativos de medición desde un comienzo. Los indicadores cuantitativos se deben presentar en términos de un número o porcentaje determinado (número, promedio o mediana). Los porcentajes tam- bién se pueden expresar de diversas formas, por ejemplo, porcentaje que cayó en una categoría particular de efecto... porcentaje que cayó por encima o por debajo de algún valor objetivo... y porcentaje que cayó en intervalos particulares de efec- tos... (Hatry 1999, p. 63). A menudo, los indicadores de efecto se expresan como el número o porcentaje (proporción o tasa) de algo. Los programas deberían con- siderar la idea de incluir ambas formas. En sí mismo, el número de éxitos (o fraca- sos) no indica la tasa de éxito (o de fracaso): lo que no se logró. En sí mismo, el porcentaje no indica la dimensión del éxito. Estimar el significado de un efecto requiereporlogeneraldedatostantosobrenúmerocomosobreporcentaje(Hatry 1999, p. 60). Indicadores/objetivos cualitativos implican estimaciones cualitativas... [es decir], cumplimiento con, calidad de, alcance de y nivel de... Indicadores cualita- tivos... proporcionan perspectivas de cambios en procesos institucionales, actitu- des, creencias, motivos y comportamientos de las personas (Fondo de Población de las Naciones Unidas 2000, p. 7). Un indicador cualitativo podría medir percep- ción, como el grado de habilitación que los funcionarios del gobierno local consi- deran necesario para cumplir de manera adecuada con su trabajo. Indicadores cualitativos también podrían incluir una descripción de comportamiento, como el grado de dominio de una destreza recién aprendida. Si bien existe un papel para datos cualitativos, resulta más dispendioso recabar, medir y extraer, sobre todo en las etapas iniciales. Además, resulta más difícil verificar indicadores cua- litativos porque, a menudo, involucran opiniones subjetivas acerca de circuns- tancias en un momento dado. Los indicadores cualitativos se deben utilizar con precaución. La gestión del sector público no trata simplemente de documentar percepciones de avances. Trata de obtener información objetiva sobre avances reales, lo cual va a ayudar a los gestores a tomar decisiones estratégicas mejor informadas, coordinar presupues- tos y manejar recursos. Los avances reales importan porque, en últimas, los siste- masde SyEvanaayudaraproporcionardenuevoinformaciónapolíticos,ministros y organizaciones sobre lo que, de manera realista, pueden esperar prometer y cumplir. Por su parte, el mayor interés de las partes interesadas van a ser los efec- tos reales, y van a ejercer presión para responsabilizar a los gestores de los avan- ces hacia el logro de los efectos. Los indicadores de desempeño deben ser pertinentes al efecto deseado, y otros aspectos tangenciales al efecto no deben afectarlos. cap3.p65 71 24/07/05, 10:32 a.m. 72 Manual para gestores del desarrollo Es necesario considerar el costo económico de confeccionar indicadores. Lo anterior significa que los indicadores se deben confeccionar teniendo en cuenta los gastos probables de colectar y analizar los datos. Todos los indicadores tienen costos e implicaciones de trabajo. En esencia, cuando se estudia la construcción de sistemas de SyE, se está considerando un nuevo sistema de SyE para cada indicador único. Por consiguiente, se debe ejercer cuidado y criterio en la elección de indicadores. Por ejemplo, el Documento Nacional de Estrategia de Reducción de la Pobre- za para la República Kirguisa, contiene cerca de cien indicadores nacionales y subnacionales que abarcan más de una docena de áreas de reforma de las políti- cas. Como quiera que cada indicador involucra la recolección, la presentación y el análisis de datos, el gobierno de este país va a tener que diseñar y construir cien sistemas individuales de SyE sólo para estimar los avances hacia la estrategia de reducción de la pobreza. Para un país pobre con recursos limitados, hacerlo va a representar todo un esfuerzo. De igual manera, en Bolivia, en un principio el DERP contenía 147 indicadores de orden nacional. Muy pronto se hizo evidente que no sería sostenible la construcción de un sistema de SyE para seguirle la pista a tantos indicadores. Ahora, el borrador del DERP para Bolivia contiene solamente 17 indicadores de orden nacional. Los indicadores debieran ser adecuados. No deberían ser demasiado indirec- tos, demasiado sustitutos, o tan abstractos que estimar el desempeño se convierta en una tarea complicada y problemática. Los indicadores deben ser mensurables, lo que significa la posibilidad de validar- los o de verificarlos de manera independiente, lo cual representa un argumento adi- cional a favor de comenzar con indicadores cuantitativos y no con indicadores cualitativos.Losindicadoresdebenserconfiablesyválidosparagarantizarqueloque se está midiendo en un momento dado sea lo que también se va a medir en un mo- mento posterior y lo que se está mediando sea, en realidad, lo que se buscaba medir. Según la facilidad con que se recaben los datos, se hace necesario tener pre- caución para confeccionar indicadores. Con demasiada frecuencia, los organis- mos basan la selección de indicadores en la facilidad de acceso a los datos, no en cuán importante sea el indicador del efecto para medir el grado al cual se debería intentar lograr los efectos (Hatry 1999, p. 55). En el gráfico 3.3 aparece otro listado de control para estimar indicadores pro- puestos. Es mejor estar aproximadamente en lo cierto que precisamente equivocado (Anónimo). cap3.p65 72 24/07/05, 10:32 a.m. Paso 3: Seleccionar indicadores clave para monitorear los efectos 73 GRÁFICO 3.3 LISTADO DE CONTROL PARA ESTIMAR INDICADORES PROPUESTOS Efectos que se van a medir: ______________________________________________________________ Indicador seleccionado:__________________________________________________________________ ¿Es el indicador... 1. una reflexión tan directa como sea posible del efecto mismo? _________ 2. suficientemente preciso para garantizar una medición objetiva? _________ 3. exige la recolección más practica de los datos y con mayor eficiencia de costos? _________ 4. sensible al cambio en el efecto, pero relativamente insensible a otros cambios? _________ 5. desagregado según se necesita cuando se presenten informes sobre los efectos? _________ Fuente: United Ways of America 1996. La utilización de indicadores sustitutos Tal vez no siempre sea posible ser preciso con indicadores pero se puede intentar ser aproximadamente correcto. En ocasiones resulta difícil medir directamente el indicador de efectos, de manera que se necesita de indicadores sustitutos. Los indicadores indirectos, o sustitutos, sólo se deben utilizar cuando no se dispone de datos para indicadores directos, cuando la recolección de datos va a ser dema- siado costosa o si no resulta factible obtener datos a intervalos regulares. Sin em- bargo, se debe tener precaución para utilizar indicadores sustitutos, porque tiene que existir una suposición en el sentido que el indicador sustituto está dando evidencia, por lo menos aproximada, del desempeño (recuadro 3.1). RECUADRO 3.1 DILEMAS DE LOS INDICADORES El Museo de Ciencia e Industria de Chicago un museo grande y cavernoso con muchas coleccio- nes de tamaño monumental, entre ellas un submarino completo y una mina de carbón quería realizar un estudio para determinar cuáles de todas las colecciones en exhibición despertaban mayor interés en los visitantes. Las autoridades del museo se dieron cuenta de la imposibilidad de contar el número de visitantes que veían cada una de las colecciones, de manera que decidieron utilizar un indicador sustituto. Lo hicieron determinando los lugares donde con más frecuencia se veían obligados a cambiar las losas del piso. ¿Y dónde encontraron las losas del piso más gasta- das que había que cambiar? Frente a la colección donde aparecían unas gallinas con sus pollitos. Fuente: Webb et al., 1966. cap3.p65 73 24/07/05, 10:32 a.m. 74 Manual para gestores del desarrollo Por ejemplo, si resulta difícil realizar encuestas periódicas de hogares en zonas habitadas peligrosas, se puede utilizar el número de techos de lata o de antenas de televisión como medida sustituta del mejor ingreso del hogar. Los indicadores sustitutos podrían estar siguiéndole correctamente la pista al efecto deseado, pero también podrían existir otros factores concurrentes; por ejemplo, el aumento en el ingreso podría ser atribuible a dinero del narcotráfico, o a rentas provenientes del mercado negro, o a la electrificación reciente que ahora permite comprar apa- ratos de televisión. Estos factores harían más difícil reafirmar la atribución a las políticas o al programa de desarrollo económico. Las ventajas y las desventajas de utilizar indicadores diseñados de antemano Los indicadores diseñados de antemano son los establecidos con independencia de un contexto individual de país, organización, programa o sector. Por ejemplo, varias instituciones de desarrollo han creado indicadores para seguir la pista a objetivos de desarrollo, entre ellos: Los Objetivos de Desarrollo del Milenio Los Objetivos de Desarrollo Humano Sostenible del Programa de las Na- ciones Unidas para el Desarrollo El Manual del Banco Mundial para el Desarrollo Rural Los Indicadores del Fondo Monetario Internacional de Solidez Financiera. Las ODM contienen ocho metas, con objetivos concomitantes e indicadores asig- nados a cada uno de ellos. Por ejemplo, la Meta 4 busca reducir la mortalidad infantil, en tanto el objetivo es reducir en dos tercios la mortalidad de menores de cinco años entre el año 1990 y el año 2015. Los indicadores incluyen a) tasa de mortalidad de menores de cinco años; b) tasa de mortalidad infantil; y c) propor- ción de niños de un año de edad inmunizados contra el sarampión. (Véase el anexo III para un listado completo de los indicadores de las ODM). El PNUD creó en 1990 el Índice de Desarrollo Humano (IDH) como una forma para medir los avances de la humanidad y la calidad de vida en todos los países del mundo. El IDH representa el primer intento integral para medir los logros del desarrollo desde una perspectiva humana, expresados en términos de indicadores numéricos que permitan comparaciones entre países y entre espacios en el tiem- po... El índice también ofrece una herramienta de trabajo inicial que podría desa- rrollarse y perfeccionarse todavía más, y que podría orientar los esfuerzos de los países para crear bases de datos relevantes (PNUD 2001). En términos más concretos, el IDH del PNUD mide los logros de un país en tres aspectos del desarrollo humano: longevidad, conocimientos y un nivel decente de vida. La longevidad se mide por la esperanza de vida al nacer; los conocimien- cap3.p65 74 24/07/05, 10:32 a.m. Paso 3: Seleccionar indicadores clave para monitorear los efectos 75 tos se miden por una combinación de la tasa de alfabetismo de adultos y la rela- ción bruta combinada de matrícula primaria, secundaria y terciaria; y el nivel de vida, se mide por el PIB per cápita (PNUD 2001). El Manual del Banco Mundial de Indicadores de Desarrollo Rural, basado en los Indicadores del Desarrollo Mundial, define y divulga estadísticas internacio- nales sobre un conjunto amplio de indicadores rurales para el bienestar rural, la mejora de la economía rural, el desarrollo de mercados rurales, la mejora de la accesibilidad y de las comunicaciones, la gestión sostenible de la base de recursos y el marco institucional y de las políticas. Entre los indicadores específicos se in- cluye, por ejemplo, la población rural por debajo del umbral de la pobreza, el producto agrícola interno bruto, exportaciones agrícolas, vías pavimentadas, po- tencial de tierra arable y rentas tributarias locales. Por tanto, el Manual de Indicadores de Desarrollo Rural ayuda a desarrollar un enfoque común al seguimiento y a la evaluación de los avances logrados tanto dentro de los países como de un país a otro, por medio de un conjunto común, claramente definido, de indicadores. El Manual también contiene una Tarjeta de Puntaje Rural un indicador compuesto que se puede utilizar para, por ejemplo, estimar el avance general de un país (o la falta de avance) hacia el logro de la reducción de la pobreza rural (Banco Mundial 2000). A la luz de las crisis financieras regionales en varias partes del mundo, el FMI se encuentra en el proceso de idear un conjunto de Indicadores de Solidez Financie- ra. Se trata de indicadores de la salud financiera y de la solidez actual de las insti- tuciones financieras, corporaciones y hogares de un país. Se incluyen indicadores de suficiencia patrimonial, calidad de activos, utilidades y rentabilidad, liquidez y sensibilidad a los riesgos del mercado (FMI 2003). En un plano más general, el FMI también hace seguimiento y publica una serie de indicadores macroeconómicos que pueden ser de utilidad para gobiernos y or- ganizaciones. Entre estos se incluyen indicadores de producción, indicadores fisca- les y monetarios, balanza de pagos, indicadores de deuda externa y similares. Existen algunas ventajas y desventajas asociadas a la utilización de indicadores diseñados de antemano: Ventajas: Se pueden totalizar entre proyectos, programas y políticas similares. Reducen los costos de construir sistemas únicos de medición. Facilitan una mayor coordinación de los requerimientos de los donantes. Desventajas: Con frecuencia no abordan metas específicas de país. A menudo se considera que son impuestos, como que provienen de la cús- pide. cap3.p65 75 24/07/05, 10:32 a.m. 76 Manual para gestores del desarrollo No promueven la participación de partes interesadas clave ni la apropia- ción. Pueden llevar a la adopción de múltiples indicadores en competencia. Cuando se escoge un conjunto de indicadores diseñados de antemano en vez de otro existen dificultades para decidir qué criterios emplear. Tal vez los indicadores diseñados de antemano no tengan relevancia para un contexto determinado de país o de organización. Es posible que partes interesa- das externas ejerzan presión para adoptar indicadores diseñados de antemano, pero en opinión de los autores del presente Manual y en la medida de lo posible, los indicadores deben tener una motivación interna y deben ajustarse a las nece- sidades de la organización y a los requerimientos de información de los gestores. Por ejemplo, muchos países van a tener que utilizar algunos indicadores diseña- dos de antemano para abordar los ODM, pero entonces cada país debe desagregar esas metas para hacerlas apropiadas a sus propios objetivos particulares estraté- gicos y a las necesidades de información de los sectores pertinentes. Lo ideal sería desarrollar indicadores para satisfacer necesidades específicas involucrando al mismo tiempo partes interesadas en un proceso participativo. Utilizar indicadores diseñados de antemano puede fácilmente obrar en contra de este importante elemento participativo. Construcción de indicadores Construir indicadores demanda mucho trabajo. Reviste particular importancia que en el proceso de construcción de indicadores participen expertos competen- tes técnicos, independientes y expertos en las políticas igualmente competentes. Se deben tener en cuenta todos los puntos de vista independientes, técnicos y de políticas en el momento de considerar los indicadores. ¿Son los indicadores factibles independientemente, técnicamente posibles de hacer y pertinentes en términos de las políticas? Regresando al ejemplo de un efecto que busca mejorar el aprendizaje de los estudiantes, es muy importante asegurarse de que en los debates sobre cuáles indicadores se deberían seleccionar se incluya a los profesio- nales de la educación, a los técnicos que pueden construir indicadores del apren- dizaje y a expertos de políticas que puedan validar la pertinencia de los indicadores en términos de las políticas. Los indicadores se deben construir para satisfacer necesidades concretas. Tam- bién deben ser una reflexión directa del efecto mismo. Y en el tiempo, probable- mente se van a adoptar nuevos indicadores y otros se van a descartar. Es de esperarse. Sin embargo, se debe ejercer precaución para descartar o para modifi- car indicadores solamente después de que se hayan hecho, por lo menos, tres mediciones. cap3.p65 76 24/07/05, 10:32 a.m. Paso 3: Seleccionar indicadores clave para monitorear los efectos 77 Se va a necesitar más de un intento para desarrollar indicadores adecuados. Va a tomar tiempo llegar a un conjunto final de indicadores apropiados. Hacer tres mediciones por lo menos ayuda a establecer datos básicos y una tendencia en el tiempo. Antes de cambiar o de descartar un indicador se deben plantear dos preguntas importantes: ¿Se ha probado minuciosamente este indi- cador para saber si está proporcionando información para hacer una medición efectiva contra el efecto deseado? ¿Está este indicador proporcionando informa- ción que lo hace útil como herramienta de gestión? También es necesario observar que cuando se cambian indicadores, también se cambian los datos básicos contra los cuales se miden los avances. Todo indica- dor nuevo necesita tener establecidos su propios datos básicos la primera vez que se están recolectando datos para ese indicador. (En el capítulo 4 se analiza con mayor detenimiento el tema de confeccionar datos básicos). En resumen, los indicadores deben ser bien pensados en toda su extensión. No se deben cambiar ni intercambiar con frecuencia (y nunca por capricho), ya que hacerlo podría llevar al caos en el sistema general de recolección de datos. En el sistema de SyE debe existir claridad y acuerdo sobre la lógica y la justificación de cada indicador, desde los encargados del proceso decisorio en la cúspide hasta las personas responsables de la recolección de los datos en el campo. Los indicadores de desempeño se pueden y se deben utilizar para hacer segui- miento a efectos y proporcionar retroinformación continua y flujos de datos perma- nentes a lo largo de la totalidad del ciclo del proyecto, del programa o de las políticas. Además de utilizar indicadores para hacer seguimiento a insumos, acti- vidades, productos y efectos, los indicadores pueden producir un caudal de in- formación sobre el proceso para lograr estos efectos y los alcances de esos efectos. La información proveniente de indicadores puede ayudar a alertar a los gestores sobre discrepancias en el desempeño, insuficiencias en el logro de objetivos, y otras variabilidades o desviaciones del efecto deseado. Por tanto, los indicadores ofrecen a organizaciones y gobiernos la oportunidad de hacer correcciones a medio camino, según se considere apropiado, a la gestión hacia los efectos deseados. Utilizar indicadores para seguir la pista y los avances representa una demostración más de las maneras en que un sistema de SyE basado en resultados puede ser una poderosa herramienta de gestión pública. La función medular de cualquier proceso de medición de desempeño es proporcionar datos regulares y válidos sobre indicadores de efectos del desempeño. (Hatry 1999, p. 17). cap3.p65 77 24/07/05, 10:32 a.m. 78 Manual para gestores del desarrollo Confección de indicadores: experiencia de países en desarrollo Un número cada vez mayor de países y de regiones inclusive ha comenzado a confeccionar indicadores para seguir la pista de los avances hacia sus objetivos de desarrollo. En los recuadros 3.2 a 3.4 se revisan experiencias en la región de Áfri- ca, en Sri Lanka y en Albania. RECUADRO 3.2 INDICADORES BÁSICOS DE BIENESTAR DE LA REGIÓN DE ÁFRICA En todo África se ha emprendido una campaña para crear los componentes estadísticos y técnicos básicos de sistemas de SyE. Entre estos componentes básicos se encuentran las encuestas de indicadores clave realizadas en varios países de África, entre ellos Ghana, Malawi, Mozambique, Nigeria y Lesotho. El Banco Mundial, el PNUD y Unicef crearon conjuntamente el Cuestionario de Indicadores Básicos del Bienestar (CIBB) para hacer seguimiento a objetivos del desarrollo por medio de la utilización de indicadores principales en general, e indicadores sociales en particular. Los indicadores principales son indicadores que dan aviso anticipado de un impacto futuro, cuyo surgimiento puede demorarse o ser difícil de medir (http://www4.worldbank.org/afr/stats/pdf/ cwiq.pdf). En términos concretos, el CIBB ha servido a los gobiernos para recabar indicadores relacionados con el bienestar de los hogares, e indicadores anuales de acceso a, uso de y satisfacción con servicios básicos. Los rasgos distintivos del CIBB incluyen: Un conjunto fijo de preguntas clave con módulos flexibles Rápido ingreso de datos y validación de datos Presentación sencilla de informes Muestra grande Cuestionario corto Fácil recolección de datos. El CIBB no es una encuesta complicada. Incorpora un conjunto de características las cuales, cuando se toman juntas, garantizan una cobertura amplia y un tiempo de respuesta rápido. (www.worldbank.org/afr/stats/pdf/ghcoreinds.pdf). El CIBB también... proporciona indicadores sociales clave para diferentes subgrupos de población dentro de países y de un país a otro; [actúa como] ... un instrumento para hacer seguimiento en el tiempo a cambios en los indicadores sociales clave y brinda a los países una herramienta senci- lla que produce resultados rápidos (Banco Mundial p. 1). A la vez, utilizar el CIBB no prohíbe de ninguna manera a los países participantes desarrollar sus propios indicadores socioeconómicos específicos. Para un ejemplo de un CIBB completo, dirigirse a http://www.worldbank.org/afr/stats/pdf/hgcoreinds.pdf, dirección electrónica donde se publican los Indicadores Clave de Bienestar para Ghana (http://www.worldbank.org/afr/stats/pdf/cwiqloop.pdf). Fuente: Banco Mundial. cap3.p65 78 24/07/05, 10:32 a.m. Paso 3: Seleccionar indicadores clave para monitorear los efectos 79 RECUADRO 3.3 POLÍTICAS NACIONALES DE EVALUACIÓN DE SRI LANKA Las Políticas Nacionales de Evaluación del gobierno de Sri Lanka buscan: a) crear una cultura de evaluación y utilizar las evaluaciones para hacer gestión por resultados; b) promover la evaluación a través de la construcción de capacidad con respecto a personal, instituciones, herramientas y metodologías; c) habilitar el aprendizaje de lecciones de experiencias anteriores; d) mejorar el diseño de las políticas y programas de desarrollo por medio de la integración de los hallazgos de las evaluaciones; y e) establecer la rendición de cuentas, la transparencia y la gobernabilidad. Como parte de las políticas de evaluación, el gobierno ha ordenado la utilización de indicadores de desempeño para todas las iniciativas de formulación de las políticas y de preparación de progra- mas y proyectos. Con este fin, el gobierno estimula la creación de alianzas con organizaciones de la sociedad civil (por ejemplo, la Asociación para la Evaluación) y ONG para introducir evaluaciones participativas en el sector público. Así mismo, el gobierno alienta a las universidades y a las institu- ciones de formación del sector público a incluir módulos de evaluación y compartir conocimientos sobre técnicas y metodologías de evaluación. Véase también anexo IV: El Plan Nacional de Desarrollo de Sri Lanka para hacer seguimiento y evaluación. Fuente: Asociación de Sri Lanka para la Evaluación y Ministerio de Desarrollo Público y Ejecución 2003. En la medida de lo posible, los indicadores se deben desarrollar con base en las necesidades particulares de un país o de una organización determinada ... [la] opción apropiada de indicadores de desempeño difiere para países, tiempos y sectores diferentes. La única regla general válida es, por consiguiente, cuando la medición del desempeño es apropiada y con eficiencia de costos, el desempeño se debe estimar según esa combinación de indicadores de producto, efecto y pro- ceso que sean realistas y adecuados para la actividad, el sector, el país y el tiempo específicos (Schiavo-Campo 1999, pp. 80-81). De nuevo, desarrollar indicadores adecuados implica más de un intento inevi- tablemente, y va a tomar tiempo llegar al conjunto final de indicadores. Lo que, en últimas, se está construyendo es un contexto de desempeño para ofrecer a países y organizaciones los medios para desarrollar estrategias, fijar efec- tos, construir indicadores, establecer datos básicos y confeccionar objetivos. Este proceso va a ayudar a orientar el mejor uso de presupuestos, recursos y personal para lograr los efectos deseados. Los siguientes son ejemplos de indicadores en varios ámbitos: El recuadro 3.5 ofrece algunos ejemplos útiles de indicadores de programa y de proyecto. cap3.p65 79 24/07/05, 10:32 a.m. 80 Manual para gestores del desarrollo RECUADRO 3.4 PLAN DE ACCIÓN DE ALBANIA A TRES AÑOS El gobierno de Albania va a poner en marcha sistemas de seguimiento y evaluación basados tanto en la ejecución como en el desempeño para utilizarlos en retroinformación de los principa- les programas que conforman el Plan de Acción a Tres Años (incluyendo todas las principales iniciativas estratégicas que en la actualidad se llevan a cabo en el sector público de Albania: la Estrategia Nacional para el Desarrollo Social y Económico (Nssed, por sus iniciales en inglés); el Marco de Gastos a Mediano Plazo; el Acuerdo de Estabilización y Asociación; el Plan de Acción contra la Corrupción; y la Estrategia para la Descentralización y la Autonomía Local). El gobierno ha encargado al Departamento de Coordinación, adscrito al Consejo de Ministros, supervisar y coordinar el seguimiento de la ejecución del Plan de Acción a Tres Años. Al Departamento de Nssed, adscrito al Ministerio de Hacienda, se le asignarán responsabilidades similares para hacer seguimiento al desempeño de Nssed. Se espera que el Ministerio de Hacienda supervise la gestión global del desempeño y de la ejecu- ción por parte de los doce ministerios sectoriales incluidos en la Nssed. Algunas de las responsa- bilidades son las siguientes: a) procedimientos para confeccionar indicadores a los que se les va a hacer seguimiento y sobre los cuales se van a presentar informes; b) instrucciones a los ministe- rios sectoriales sobre cómo seleccionar indicadores; c) procesos para seleccionar indicadores con el fin de garantizar que midan los resultados que importan a las partes interesadas clave; y d) procedimientos para definir la forma en que se va a recabar la información según los indicadores y así garantizar la consistencia de la verificación y de la presentación de informes. En el Ministerio de Educación también se han registrado avances. Hace poco el Ministerio creó una matriz borrador de seguimiento de avances de la Nssed y se creó una nueva unidad de SyE dentro del Ministerio, con seis representantes de diferentes departamentos. Se van a confeccionar diversos indicadores de educación conjuntamente con las iniciativas del gobierno: Estrategia de Crecimiento y Reducción de la Pobreza, el Crédito de Apoyo a la Reducción de la Pobreza, el Proyec- to de Educación y Educación para Todos. Algunos indicadores de educación son, entre otros, asis- tencia a la escuela según nivel educativo, salarios de docentes, participación del PIB asignada a la educación, relación estudiante-docente, porcentaje del cuerpo docente que cumple los estándares del ministerio para docentes calificados, tamaño promedio de la clase, tasas generales de termina- ción de estudios, y tasas de educación desagregadas para familias rurales y pobres. En términos más amplios, el gobierno de Albania dispone de capacidad estadística básica (aun- que queda espacio para mejorar), y hace poco creó una unidad de análisis de las políticas. El gobierno también cuenta con los indicadores para los ODM. Fuente: Banco Mundial 2002a. cap3.p65 80 24/07/05, 10:32 a.m. Paso 3: Seleccionar indicadores clave para monitorear los efectos 81 RECUADRO 3.5 INDICADORES DE RESULTADOS DE PROGRAMA Y DE PROYECTO: EJEMPLO DEL SECTOR DE RIEGO Nombre del Proyecto: Fortalecer el riego en una zona determinada del país Metas del proyecto: Mejorar la productividad agrícola Indicadores: Indicadores de efectos: Nuevas zonas con riego Mayor rendimiento Mayor producción Mayor ingreso agrícola Indicadores de productos: Construcciones de diez planes nuevos de riego Reconstrucción de cinco planes antiguos de riego Veinticinco sesiones de capacitación de agricultores. Fuente: adaptado de IFAD 2002, p. 19. El recuadro 3.6 ofrece un ejemplo de un efecto y de algunos indicadores posi- bles. RECUADRO 3.6 EFECTOS: MAYOR PARTICIPACIÓN DE LOS AGRICULTORES EN MERCADOS LOCALES Posibles indicadores de efectos Cambio porcentual en rentas anuales Cambio porcentual en cantidad de cultivos estropeados Cambio porcentual en fijación de precios de cultivos debido a la competencia Cambio porcentual en el empleo agrícola. cap3.p65 81 24/07/05, 10:32 a.m. cap3.p65 82 24/07/05, 10:32 a.m. CAPÍTULO 4 PASO 4: ESTABLECER Y RECOLECTAR DATOS BÁSICOS SOBRE INDICADORES GRÁFICO 4.1 Después de trabajar a lo largo del proceso de seleccionar indicadores clave del desempeño para hacer seguimiento a los efectos, la atención se centra en el Paso 4 y en la creación de datos básicos, es decir, determinar cuál es la situación actual con respecto a los efectos que se intentan lograr (gráfico 4.1). Es imposible proyec- tar el rendimiento en el futuro (fijar objetivos) sin crear primero datos básicos que representan la primera medición de un indicador. Determinan la situación actual en comparación con la cual se puede hacer seguimiento a cambios futuros. Por ejemplo, estos datos sirven para informar a los encargados del proceso decisorio sobre circunstancias actuales antes de embarcarse en la proyección de objetivos para un programa, proyecto o políticas determinadas. De esta manera, los datos básicos se utilizan para aprender sobre niveles actuales o recientes y patrones de desempeño. Lo que es más importante, los datos básicos ofrecen la evidencia por medio de la cual los encargados del proceso decisorio están en capacidad de me- dir el desempeño posterior de las políticas, programas o proyectos. El presente capítulo trata específicamente de: a) establecer datos básicos sobre indicadores; b) construir datos básicos; c) identificar fuentes de datos para cap4.p65 83 24/07/05, 10:32 a.m. 84 Manual para gestores del desarrollo indicadores; d) diseñar y comparar métodos de recolección de datos; e) la impor- tancia de realizar pilotos; y f) recolección de datos, con base en las experiencias de algunos países en desarrollo. Establecer datos básicos sobre indicadores La tercera parte del marco de desempeño consiste en establecer datos básicos sobre indicadores. Estos datos básicos se derivan de efectos y de indicadores. Al comenzar el análisis de los datos básicos, vale la pena observar que estable- cer datos básicos no es una idea extraña. En la vida de las personas se mide el desempeño personal según los datos básicos personales. Por ejemplo, la gente examina su presión sanguínea comparándola con la que ha registrado en algún momento de su vida, le sigue la pista a la capacidad para hacer ejercicio compa- rándola con el desempeño que tuvo cuando comenzó a ejercitarse, y vigila su peso comparándolo con el anterior. Los datos básicos del desempeño son información cualitativa o cuantitativa que proporciona datos al comienzo del período de seguimiento, o justo antes de ese período. Los datos básicos se utilizan como punto de partida, o pauta, me- diante la cual se puede hacer seguimiento al desempeño futuro. Son las primeras mediciones cruciales de los indicadores. En el gráfico 4.2 aparece un ejemplo de datos básicos para un área especial de políticas. Se basa en el marco de desempeño que aparece en el capítulo 1. (Cuan- do se analice el Paso 5, Seleccionar objetivos, se completará el marco). GRÁFICO 4.2 DESARROLLO DE DATOS BÁSICOS PARA UN ÁREA DE POLÍTICAS cap4.p65 84 24/07/05, 10:32 a.m. Paso 4: Establecer y recolectar datos básicos sobre indicadores 85 El reto estriba en obtener datos básicos adecuados sobre cada uno de los indicadores de desempeño para cada efecto. Lo anterior puede convertirse en un proceso complejo. Es importante ser acertado en el número de indicadores elegi- dos, porque cada indicador va a requerir para su sustentación de recolección de datos, de análisis y de presentación de informes. Construcción de datos básicos En la construcción de datos básicos hay ocho preguntas clave que es necesario plantear para cada indicador. (Estas preguntas continúan teniendo aplicación en esfuerzos posteriores para medir al indicador). 1. Cuáles son las fuentes de los datos 2. Cuáles son los métodos de recolección de datos 3. Quién va a conseguir los datos 4. Con qué frecuencia se van a recoger los datos 5. Cuál es el costo y la dificultad para obtener los datos 6. Quién va a analizar los datos 7. Quién va a presentar informes sobre los datos 8. Quién va a utilizar los datos Así que para cada indicador es necesario diligenciar el cuadro 4.1. CUADRO 4.1 CONSTRUCCIÓN DE DATOS BÁSICOS Costo y Método de ¿Quién va Frecuencia dificultad ¿Quién ¿Quién va ¿Quién los Fuente de recolección a conseguir de para los va a a informar va a Indicador los datos de los datos los datos? recolección obtenerlos analizar? los datos? utilizar? 1 2 3 Con frecuencia, los sistemas estadísticos de los países industrializados pueden entregar información precisa para todas las tres etapas del seguimiento tradicio- nal de la ejecución: insumos, actividades y productos. Sin embargo, por lo gene- ral los países en desarrollo cuentan con sistemas menos complejos. Es posible que no se disponga de sistemas de datos y puede que éstos varíen con respecto a la precisión. Algunos países van a saber con precisión razonable cuántos niños del sector rural van a la escuela, en tanto otros países apenas van a contar con cálcu- cap4.p65 85 24/07/05, 10:32 a.m. 86 Manual para gestores del desarrollo los aproximados. Otros países en desarrollo quizás conozcan las tasas de utiliza- ción de camas de hospitales, y otros puede que no. Los indicadores seleccionados de desempeño y las estrategias de recolección de datos utilizados para seguir la pista a estos indicadores deben basarse en las realidades de los sistemas de datos existentes, de los datos que se pueden produ- cir actualmente, y de la capacidad existente para expandir el alcance y el deteni- miento de la recolección y el análisis de los datos. Identificación de fuentes de datos para los indicadores Cada indicador construye su propio sistema de SyE en miniatura, de modo que la primera consideración para comenzar a construir el sistema de información para ese indicador consiste en saber cuáles fuentes de información pueden potencial- mente suministrar los datos pertinentes. Cuando se identifican las fuentes de datos, es necesario tener en cuenta algu- nos aspectos. Después de todo, la información de desempeño debe ser una herra- mienta de gestión y no hay necesidad de obtener información que los gestores no van a utilizar. Como regla empírica, sólo se deben reunir datos básicos que se relacionen directamente con las preguntas y con los indicadores de desempeño que se hayan identificado. No se debe gastar tiempo recabando otra informa- ción (IFAD 2002, Sección 5, p. 32). Las fuentes de datos para indicadores pueden ser primarias o secundarias. La organización interesada consigue directamente los datos primarios y pueden con- tener datos administrativos, sobre presupuestos o sobre personal; encuestas, en- trevistas; y observación directa. Una organización externa ha obtenido los datos secundarios, y se han reunido para propósitos diferentes a los de la organización que se encargó de la tarea. Entre los ejemplos de datos secundarios se incluyen los datos de encuestas recogidos por otro organismo (PNUD o Unesco, por ejemplo), datos del mercado financiero y datos de encuestas demográficas sobre salud. Las fuentes son quiénes o qué proporciona datos, no el método de recolección de datos. Existen ventajas y desventajas asociadas con la utilización de datos secunda- rios para establecer tendencias o indicadores de desempeño. Por el lado positivo, los datos secundarios pueden ser más eficientes en términos de costos. También se pueden utilizar en instancias en las cuales no resulta práctico ni posible reunir con frecuencia datos primarios, como sucede con encuestas de hogares a gran escala y costosas. Sin embargo, por diversas razones, se debe ejercer precaución para utilizar datos secundarios. Estos últimos habrán sido recolectados teniendo en cuenta las metas o las agendas de otra organización. Surgen entonces otras preguntas sobre cap4.p65 86 24/07/05, 10:32 a.m. Paso 4: Establecer y recolectar datos básicos sobre indicadores 87 la utilización de datos secundarios: ¿Son los datos válidos? ¿Son confiables? ¿Con qué frecuencia se validan los instrumentos de recolección de datos? Es más, utili- zar datos secundarios significa utilizar los datos de alguien más para informar sobre los progresos y el éxito para avanzar hacia los efectos esperados por uno mismo. ¿Como gestor, se siente cómodo con este arreglo, considerando todas las ventajas y las desventajas de hacerlo? Registros administrativos (por escrito o computarizados) de organizaciones gubernamentales o no gubernamentales; entrevistas y encuestas con grupos ob- jetivo clientes; funcionarios de programa y proveedores de servicios; informes de observadores capacitados; y mediciones y pruebas mecánicas pueden constituir ejemplos de fuentes de datos reales. En las organizaciones del sector público del mundo entero comienza a desper- tarse una comprensión cada vez mayor de la necesidad de flujos de información, no de estudios discontinuos que son episódicos y espaciados en el tiempo. Los gestores están a la búsqueda de información ya sea sobre estrategias de las polí- ticas, utilización de clínicas de salud, métodos agrícolas o patrones de emigra- ción en la que puedan confiar y utilizar en tiempo real. No sirve esperar a que se concluya un estudio durante meses hasta un año o más. El nuevo enfoque a la construcción de sistemas de SyE basados en resultados se inclina cada vez más hacia la construcción de aquellos sistemas que ofrezcan flujos más o menos conti- nuos de información. Diseño y comparación de métodos de recolección de datos Si se conocen las fuentes de los datos, ¿cuáles van a ser las estrategias e instru- mentos de recolección de datos? Va a ser necesario tomar decisiones sobre cómo obtener de cada fuente los datos necesarios, cómo preparar los instrumentos de recolección de datos para registrar de manera apropiada la información, qué pro- cedimientos utilizar (encuestas o entrevistas, por ejemplo), con qué frecuencia se debe tener acceso a las fuentes de los datos, y así sucesivamente. En el tiempo, se puede y se debe construir la capacidad organizativa interna para recoger y analizar datos, ya que ella representa un componente clave en la creación de un sistema SyE sostenible. El gobierno también podría contratar con proveedores externos para utilizar la capacidad existente de recolección de datos en universidades y centros de in- vestigación. La recolección de datos también se puede comprar a proveedores del sector privado. Sin embargo, cualquier estrategia que implique la compra a largo plazo de recolección de datos de vendedores no gubernamentales contiene ciertas vulnerabilidades y probablemente resulta más costosa. cap4.p65 87 24/07/05, 10:32 a.m. 88 Manual para gestores del desarrollo En el gráfico 4.3 aparecen algunos de los métodos posibles de recolección de datos. No existe una respuesta correcta a cuál de todos estos métodos es el mejor. Va a depender de la disponibilidad de recursos de una organización dada, del acceso, necesidades, restricciones de tiempo, etcétera. También dependerá de las necesidades del usuario de la información. Por ejemplo, puede haber preguntas sobre cuánta precisión necesita en realidad un usuario cualquiera a la luz de con- cesiones sobre costo y tiempo. GRÁFICO 4.3 MÉTODOS DE RECOLECCIÓN DE DATOS Fuente: adaptado de Marchant 2000. En la construcción del sistema de información podría funcionar mejor una combinación de estrategias de recolección de datos para apoyar el rastreo de cada indicador. Por ejemplo, una organización podría optar por tener unos pocos indicadores y basarse en estrategias de recolección de datos de lugares diferentes a lo largo del continuo. No existe un enfoque correcto a la selección de estrategias de recolección de datos. Varias eventualidades ayudan a formular lo que es posi- ble y lo que es asequible. Vale la pena dedicar algún tiempo a comprender las implicaciones de optar por una estrategia de recolección en comparación con otras opciones. Decidirse simplemente por una manera ad hoc, improvisada de utilizar encuestas, o reunir muchos grupos de estudio, o emprender una encuesta de hogares, equivale a crear después problemas críticos. cap4.p65 88 24/07/05, 10:32 a.m. Paso 4: Establecer y recolectar datos básicos sobre indicadores 89 En el cuadro 4.2 se hace una comparación ilustrativa de cuatro métodos prin- cipales de recolección de datos a lo largo de cuatro dimensiones. Se ponen de relieve algunas de las concesiones entre diferentes estrategias. Es importante com- probar con los usuarios antes de tomar cualquier decisión sobre las estrategias que se van a utilizar. Se debe tratar de determinar el grado de comodidad que sienten los usuarios con las concesiones y con los tipos de información de desem- peño que va a recibir. CUADRO 4.2 COMPARACIÓN DE PRINCIPALES MÉTODOS DE RECOLECCIÓN DE DATOS Método de recolección de datos Examen de Cuestionario Calificación por registros de para resolver observador Característica programa personalmente Entrevista capacitado Costo Poco Moderado Moderado Depende de o alto la disponibilidad de observadores a bajo costo Grado de Algo De ninguno Moderado Moderado capacitación a alto a alto a alto requerida para los recolectores de datos Tiempo para Depende de la Moderado Moderado Poco a finalización cantidad de datos moderado que se necesitan Tasa de respuesta Alto, si los registros Depende de la Por lo general, Alto contienen los forma en que de moderado a datos que se se distribuya adecuado necesitan Fuente: United Way of America 1996. Necesariamente, las estrategias de recolección de datos conllevan algunas con- cesiones respecto de costo, precisión, credibilidad y oportunidad. Por ejemplo, los métodos más estructurados y formales de recolección de datos tienden, por lo general, a ser más precisos, costosos y dispendiosos. Si los datos se necesitan con frecuencia y rutinariamente para informar la toma de decisiones de gestión, pue- de ser preferible adoptar estrategias de recolección de datos menos precisas, me- nos estructuradas y menos costosas. cap4.p65 89 24/07/05, 10:32 a.m. 90 Manual para gestores del desarrollo Desde el comienzo, se han hecho observaciones en el sentido que el modelo de diez pasos del presente manual no es estrictamente lineal ni secuencial. A medida que construyen sistemas de desempeño, las organizaciones van a tener que ir avanzando y retrocediendo entre un paso y otro. Va a continuar el desarro- llo y la puesta a punto del sistema y van a cambiar las necesidades de información de los usuarios quienes van a requerir nuevos indicadores, nuevos datos bási- cos, etcétera. El resultado es que debe existir cierto grado de adaptabilidad y de flexibilidad en el sistema para identificar nuevas fuentes de datos, nuevas técni- cas de recolección y nuevas formas de presentación de los datos. La importancia de realizar pilotos Se deben hacer pilotos de indicadores y de los requisitos de información que los respaldan. Punto. Resulta demasiado arriesgado continuar hacia la ejecución ple- na de un sistema de indicadores en cualquier instancia del gobierno o aun de una organización individual, sin antes comprobar de manera exhaustiva los datos, las fuentes, las estrategias de recolección y análisis, y los medios de presentación de los datos. El piloto constituye un medio de saber qué funciona y qué no funciona. Se trata de una forma de cometer errores pequeños al comienzo antes que errores grandes después. Un piloto alerta a los gestores avisándoles que hay algunos indicadores para los cuales no existen datos, o para los cuales los datos son dema- siadocostosos,dispendiososocomplejosdeobtener.Setratadeinformacióncrucial con la que se debe contar a medida que se establecen los datos básicos. El piloto podría demostrar que resultaría más fácil confeccionar un indicador con base en datos secundarios existentes que ya se han recolectado a través de una organiza- ción o de un gobierno a diferencia de crear un nuevo indicador que necesite su propio sistema de SyE. La utilización de sistemas existentes de datos puede ser de gran utilidad en las etapas iniciales de la construcción de un sistema de SyE basado en resultados. Es importante [re]conocer que un sistema existente de recolección de datos puede ofrecer, como mínimo, una ruta parcial para reunir algunos de los datos requeri- dos, posiblemente a menor costo. [Puede existir] una oportunidad... para utilizar partes de un conjunto existente de datos seleccionando, agregando o modifican- do elementos de datos... Diseñar una muestra con base en un sistema existente de recolección de datos, nuevos procedimientos de recolección, o una combina- ción de los dos y extrapolarla al universo (Wye 2002, p. 31). El piloto es el momento adecuado para retroceder y estudiar cualesquiera indicadores propuestos conforme se relacionan con las estrategias de recolección de datos. Si cada indicador va a necesitar métodos costosos de recolección de datos, es necesario volver a considerar cuidadosamente los indicadores. Se po- drían elegir indicadores que vayan a producir la mejor información al menor cos- cap4.p65 90 24/07/05, 10:32 a.m. Paso 4: Establecer y recolectar datos básicos sobre indicadores 91 to. Se trata de una oportunidad para comenzar a racionalizar el conjunto de indicadores y a darle un orden de prioridades. Aunque las partes interesadas van a ejercer mucha presión para que se incluyan más indicadores, es mejor tener menos indicadores que una multitud. Por ejemplo, en un principio, el Marco Integral de Desarrollo de la República Kirguisa, mencionado antes, incluía un listado de cerca de cien indicadores na- cionales cada uno de ellos implicaba estrategias explícitas de recolección de da- tos para medirlos. Para cada indicador, se deben considerar las siete preguntas clave sobre recolección y manejo de datos. Es obvio que puede resultar difícil seguir la pista a tantos indicadores y que se van a reducir los recursos de un país en desarrollo. Con toda seguridad, en un caso como este es preferible reducir el número de indicadores. Recolección de datos: experiencias de dos países en desarrollo En los recuadros 4.1 y 4.2 aparecen ejemplos de recolección de datos en dos paí- ses en desarrollo. El gobierno de Albania trabaja actualmente en la construcción de capacidad y en la reforma de prácticas de datos. El gobierno de Líbano se ha unido al sistema de datos del FMI con el fin de ajustar su sistema de recolección de datos y estadístico a las normas internacionales del FMI. Establecer datos básicos sobre indicadores resulta crucial para determinar la situación actual y para medir el desempeño futuro en comparación con el punto de partida. Mediciones posteriores y continuas a partir de los datos básicos pro- porcionarán importantes datos direccionales o de tendencias, y pueden ayudar a los encargados del proceso decisorio a definir si están en la ruta correcta hacia el logro de los efectos deseados en el tiempo. Pero tomar las decisiones sobre los datos de información de desempeño que se deben recoger, sobre cómo obtener y analizar esos datos, y sobre cómo presentarlos, es importante. Los pilotos pueden ayudar a formular las decisiones. cap4.p65 91 24/07/05, 10:32 a.m. 92 Manual para gestores del desarrollo RECUADRO 4.1 ESTRATEGIA DE ALBANIA PARA FORTALECER LA CAPACIDAD DE RECOLECCIÓN DE INFORMACIÓN El gobierno de Albania está emprendiendo varias iniciativas de las políticas, como la Estrategia de Crecimiento y de Reducción de la Pobreza, que van a necesitar información adecuada para los encargados de formular las políticas a medida que vayan avanzando en el diseño, ejecución y evaluación de programas socioeconómicos. Con la ayuda y el apoyo de algunos donantes interna- cionales, el gobierno está tratando de mejorar las prácticas de datos del país para producir infor- mación estadística confiable de manera regular para medir y hacer seguimiento a la pobreza, a la desigualdad y a otros indicadores sociales. En términos concretos, el proyecto va a asistir al go- bierno en cuatro campos: a) recolección de datos; b) procesamiento y análisis de datos; c) divul- gación y utilización de los datos; y d) organización y administración de encuestas. Con respecto a la recolección de datos, el proyecto va a ofrecer asistencia técnica y capacitación práctica para fortalecer la capacidad del Instituto Albanés de Estadística (INSTAT, por sus iniciales en inglés). La meta es ayudar al INSTAT a producir de manera regular varias encuestas, como la Encuesta de Medición de Nivel de Vida, un Censo de Población y de Hogares, Encuestas de Presupuesto de Hogares y Encuestas anuales de Fuerza Laboral. Con varios ministerios sectoria- les se están haciendo planes para trazar un mapa de la pobreza, entre otros trabajos. Respecto del procesamiento y análisis de datos, el proyecto va a apoyar mejoras de la eficiencia y la utilización de la información, así como de la capacidad institucional para procesar información de hogares. También se va a ofrecer asistencia técnica y capacitación práctica en el campo de ingreso, limpieza y edición de datos, con el fin de ayudar a garantizar la calidad y la oportunidad de la información producida. El campo de análisis de datos incluye el uso de software de Sistemas Geográficos de Información y estadísticos, metodología de análisis de la pobreza, recolección y análisis de datos de grupo, técnicas de encuesta de hogares y desarrollo de cuestionarios, muestreo y trazado de mapas de pobreza. La divulgación y el uso de los datos van a contar con apoyo con el fin de reforzar un proceso participativo para la generación de información estadística. La construcción de capacidad se va a dirigir tanto a productores como a usuarios de información estadística sobre hogares. Se va a conformar un grupo de usuarios de datos el cual va a estar presidido por INSTAT. Del grupo de usuarios van a formar parte representantes de ministerios sectoriales, donantes y ONG. Se va a desarrollar una estrategia integral para publicar y divulgar los datos. Por último, la organización y administración de encuestas va a recibir apoyo del proyecto por medio de un examen de la organización de INSTAT, con un enfoque especial en las unidades de INSTAT con una participación directa en el trabajo de encuesta de hogares. El examen va a estimar opciones para fortalecer la capacidad organizativa de INSTAT para dirigir y administrar encuestas regulares de hogares y va a desarrollar un plan relacionado de contratación de personal. El exa- men también va a estimar los procedimientos organizativos internos para administrar la encuesta, incluyendo las jerarquías de subordinación administrativa y financiera y va a desarrollar un conjun- to de procedimientos administrativos internos relacionados. Fuente: Banco Mundial 2002d. cap4.p65 92 24/07/05, 10:32 a.m. Paso 4: Establecer y recolectar datos básicos sobre indicadores 93 RECUADRO 4.2 LÍBANO: INGRESO AL SISTEMA DE DATOS DEL FMI El gobierno de Líbano está haciendo esfuerzos para poner a la altura de estándares internaciona- les a su sistema de recolección de datos estadísticos. Hace poco ingresó al Sistema General de Divulgación de Datos (DDGS, por sus iniciales en inglés) del FMI. Los propósitos del DDGS son: alentar a los países miembro a mejorar la calidad de los datos; ofrecer un contexto para evaluar las necesidades de mejorar los datos y de fijar prioridades...; y orientar a los países miembro en la divulgación al público de estadísticas económicas, financieras y sociodemográficas integrales oportunas, accesibles y confiables... [El] sistema se construye alrededor de cuatro dimensiones características, calidad, acceso e integridad de los datos y su finalidad es la de ofrecer orientación para el desarrollo general de datos macroeconómicos, financieros y sociodemográficos (FMI 2001). Se espera que el ingreso de Líbano al sistema de datos del Fondo Monetario Internacional fomente la gobernabilidad del país... Al elegir el DDGS como un marco para desarrollar los sistemas nacionales estadísticos del país, las autoridades han subrayado su compromiso para mejorar la producción de datos económicos y sociodemográficos... lo anterior va a ayudar a aumentar el reconocimiento internacional del compromiso de Líbano con estadísticas de mejor calidad, afirmó el director de estadísticas del FMI... (The Daily Star 2003). Las estadísticas se van a publicar en tres idiomas en la página web del Banco Central de Líbano, donde van a estar al acceso del público, y el Banco Central y los ministerios sectoriales las van a actualizar con regularidad. Fuente: The Daily Star 2003; FMI 2002. cap4.p65 93 24/07/05, 10:32 a.m. cap4.p65 94 24/07/05, 10:32 a.m. CAPÍTULO 5 PASO 5: PLANIFICAR PARA MEJORAR. SELECCIONAR OBJETIVOS DE RESULTADOS GRÁFICO 5.1 Después de reunir los datos básicos sobre indicadores, el paso siguiente consiste en determinar los objetivos de resultados qué se puede lograr en un período determinado de tiempo para alcanzar los efectos (gráfico 5.1). La identificación del nivel esperado y deseado de resultados de proyecto, programa o de las políti- cas demanda la selección de objetivos específicos de desempeño. La confección de objetivos constituye el paso final de la construcción del con- texto de desempeño. A su vez, se basa en los efectos, indicadores y datos básicos. El proceso de razonamiento es deductivo, y fluye desde los efectos deseados. En el presente capítulo se aborda: a) una definición de objetivos; b) factores que se deben considerar cuando se escojan objetivos de indicadores; c) ejemplos de objetivos relacionados con aspectos de desarrollo; y d) el contexto general del desempeño. cap5.p65 95 24/07/05, 10:32 a.m. 96 Manual para gestores del desarrollo Definición de objetivos Un objetivo es ...una meta determinada que indica el número, el momento y el lugar de aquello que se debe llevar a cabo1 (IFAD 2002, p. A-11). En esencia, obje- tivos son los niveles cuantificables de los indicadores que pretende alcanzar un país, una sociedad o una organización dentro de un período de tiempo determi- nado. Por ejemplo, un objetivo podría ser para el año 2015, todas las familias deben tener la capacidad para comer dos veces al día, todos los días. Un método para establecer objetivos es comenzando con el nivel de datos bá- sicos del indicador e incluir el nivel deseado de mejoría (teniendo en cuenta los recursos disponibles durante un determinado periodo de tiempo, por ejemplo, 24 a 35 meses), para llegar al objetivo de desempeño. Al hacerlo de este modo, se va a conocer el punto de partida así como los recursos disponibles para avanzar hacia el objetivo durante un período de tiempo particular. Este método va a pro- ducir el desempeño objetivo. La fórmula que aparece en el gráfico 5.2 muestra el proceso para confeccionar objetivos de desempeño. GRÁFICO 5.2 IDENTIFICAR EL NIVEL DESEADO DE RESULTADOS EXIGE SELECCIONAR OBJETIVOS DE DESEMPEÑO Factores que deben considerarse en la selección de objetivos de indicadores de desempeño Existen varios factores importantes que es necesario considerar cuando se selec- cionan objetivos de indicador de desempeño. Uno de estos factores es la impor- tancia de tomar en serio los datos básicos. Debe existir una comprensión clara del 1 Véase también el anexo VI para un glosario completo de términos clave de evaluación y gestión basada en resultados. cap5.p65 96 24/07/05, 10:32 a.m. Paso 5: Planificar para mejorar. Seleccionar objetivos de resultados 97 punto de partida de los datos básicos; por ejemplo, un promedio del desempeño de los últimos tres años, el desempeño del año pasado, tendencia promedio, da- tos de los últimos seis meses, etcétera. En otras palabras, es necesario tener en cuenta el desempeño previo para poder proyectar nuevos objetivos de desempe- ño. Antes de proyectar objetivos futuros de comportamiento, se podría analizar qué comportamiento ha tenido una organización o las políticas durante los últi- mos años. Los datos básicos son la situación existente antes del comienzo de un programa o de una actividad: son el punto de partida para el seguimiento de resultados. El objetivo es lo que se espera que sea la situación al final de un programa o de una actividad... Un análisis detenido de los factores clave que influyen en un problema de desarrollo complementan el desarrollo de datos básicos y la confección de objetivos. (PNUD 2002, pp. 66-67). Los niveles de financiación y de recursos esperados representan una consi- deración más para confeccionar objetivos capacidad existente, presupuestos, personal, recursos de financiación, instalaciones, y similares a lo largo de todo el período del objetivo. Lo anterior puede incluir fuentes internas de financiación así como financiación externa de donantes bilaterales y multilaterales. Dadas to- das las consideraciones de recursos así como la capacidad organizativa para reali- zar actividades y productos, los objetivos deben ser factibles. La mayoría de objetivos se establecen con una proyección anual; algunos para un trimestre, otros para períodos más largos. Sin embargo, no es aconsejable con- feccionar objetivos con una proyección mayor a tres o cuatro años. Existen dema- siadas incógnitas y riesgos respecto a recursos e insumos como para intentar proyectar un desempeño objetivo más allá de tres o cuatro años. En resumen, cuando se confeccionan objetivos, se debe ser realista. También influye el carácter político del proceso. Las preocupaciones políticas son importantes. ¿Qué ha prometido cumplir el gobierno o la administración? Los ciudadanos han votado por un gobierno en particular con base en priorida- des y políticas articuladas que el proceso político debe reconocer y legitimar. Con- feccionar objetivos hace parte de este proceso político y van a haber ramificaciones políticas para cumplir o no con los objetivos. Confeccionar objetivos realistas implica la aceptación que los efectos más desea- dos son a más largo plazo, complejos y no se logran fácilmente. Por tanto, en la ruta al logro de un efecto, es necesario establecer objetivos como metas a corto plazo. Los objetivos se basan en recursos conocidos (financieros y organizativos), además de una proyección razonable de la base de recursos disponibles durante un período fijo de tiempo. cap5.p65 97 24/07/05, 10:32 a.m. 98 Manual para gestores del desarrollo Entonces, ¿cómo se fija metas estratégicas a más largo plazo una organización o un país, que se deben cumplir quizás diez o quince años después, cuando es imposible conocer las cantidades de recursos e insumos? La mayoría de gobier- nos y de organizaciones no pueden predecir con confianza cuál va a ser su base de recursos y sus insumos diez o quince años más adelante. La respuesta es con- feccionar objetivos provisionales para períodos más cortos de tiempo cuando ya se pueda tener una mejor idea sobre los insumos o se puedan calcular mejor. Entre los datos básicos y el ...[efecto] pueden existir varios hitos [objetivos provi- sionales] que corresponden al desempeño esperado a intervalos periódicos (PNUD 2002, p. 66). Por ejemplo, las ODM tienen un lapso de quince años. En tanto estas metas a largo plazo son pertinentes sin duda alguna, la manera de alcanzarlas es median- te la confección de objetivos para lo que razonablemente pueda ser alcanzable durante un conjunto de períodos de tres a cuatro años. El propósito es ajustar estrategias, medios e insumos para seguirle la pista a los avances hacia las ODM durante períodos más cortos de tiempo con un conjunto de objetivos secuenciales. Se podría secuenciar los objetivos: el objetivo uno podría ser para los años uno a tres; el objetivo dos podría ser para los años cuatro a siete, y así sucesivamente. Se espera que cada indicador tenga solamente un objetivo durante un periodo determinado de tiempo. En la confección de objetivos la flexibilidad es importante porque existe la posibilidad de que se recorten recursos internos e internos o de alguna manera se reduzcan durante ciclos presupuestarios. Tal vez se requiera reorientar el progra- ma, volver a capacitar al personal y a dar una orden de prioridades al trabajo. Se trata de un aspecto vital de la gestión pública. Si el indicador es nuevo, se debe ser cuidadoso acerca de la confección de objetivos fijos. Podría ser preferible utilizar en su lugar una gama. Un objetivo no tiene que ser un valor numérico único. En algunos casos puede ser una gama. Por ejemplo, en 2003, se podría fijar un objetivo de educación que estipule para 2007, 80 a 85% de todos los estudiantes que se gradúen de la secundaria van a tener destrezas en computadores. Se necesita tiempo para observar los efectos de las mejoras, de modo que, cuan- do se confeccionan objetivos es mejor ser realista. Se va a necesitar tiempo para que se concreten muchas políticas y programas de desarrollo y sectoriales. Por ejemplo, la reforestación no es algo que se pueda lograr en uno o dos años. Por último, también es importante ser consciente de los juegos políticos que a veces se juegan cuando se confeccionan objetivos. Por ejemplo, una organización puede establecer objetivos tan modestos o tan fácilmente alcanzables, que se van cap5.p65 98 24/07/05, 10:32 a.m. Paso 5: Planificar para mejorar. Seleccionar objetivos de resultados 99 a cumplir con toda seguridad. Otro juego que a menudo se juega en las burocra- cias es mover al objetivo según se necesite para que encaje en la meta de desem- peño. Mover los objetivos ocasiona problemas porque ya no es posible discernir ni medir las tendencias de los indicadores. En otros casos, es posible elegir los objetivos porque no son sensibles políticamente. Ejemplos de objetivos relacionados con aspectos del desarrollo En el recuadro 5.1 aparecen dos ejemplos de objetivos relacionados con aspectos de desarrollo. Se debe trabajar con la idea de fijar un objetivo específico identifi- cando a las partes interesadas, al objetivo y al marco temporal para cuando se debe alcanzar ese objetivo. En todos los casos, el objetivo va a ser justo el primero de varios conjuntos secuenciales de objetivos necesarios para alcanzar el efecto. Es más, cada objetivo secuencial se fija a partir de los datos básicos que se crearon en el paso anterior. RECUADRO 5.1 EJEMPLO DE OBJETIVOS DE DESARROLLO 1. Meta:Bienestar económico Objetivo del efecto: para 2008, reducir la proporción de gente que vive en la pobreza extrema en veinte por ciento frente a los datos básicos. 2. Meta:Desarrollo social Objetivo del efecto: para 2008, aumentar la tasa de matrícula en educación primaria en la República Kirguisa en treinta por ciento frente a los datos básicos. Los objetivos deben especificar a qué se le está siguiendo el rastro, la cantidad esperada de cambio o de mejoría, y un marco temporal para cuando se debe al- canzar el objetivo. El contexto global basado en el desempeño La matriz completa de los efectos, indicadores, datos básicos y objetivos se con- vierte en el contexto de desempeño. Define los efectos y los planes para el diseño de un sistema de SyE basado en resultados que, a su vez, va a comenzar a propor- cionar información sobre si los objetivos provisionales se están logrando a lo lar- go del camino hacia el efecto a más largo plazo. En el gráfico 5.3 aparece el contexto de desempeño ya terminado para un área de las políticas nacionales de desarrollo de la educación. Como siempre lo han hecho, las dimensiones tradicionales de la ejecución de insumos, actividades y cap5.p65 99 24/07/05, 10:32 a.m. 100 Manual para gestores del desarrollo resultados también necesitan objetivos; en este punto se hace hincapié en que los efectos ahora también necesitan objetivos. El marco de desempeño se convierte en la base de planeación con implica- ciones concomitantes para la confección de presupuestos, la asignación de recur- sos, la contratación de personal, etcétera. El contexto puede y debe ser una guía pertinente para los gestores. Se debe consultar y tener en cuenta con frecuencia durante el proceso de gestión hacia los efectos esperados. Estos contextos de desempeño tienen aplicaciones más amplias y se pueden emplear de manera útil como formato para estrategias nacionales de reducción de la pobreza, así como para formular los efectos de proyecto, programa y de las políticas. La confección de objetivos de desempeño resulta vital para el proceso de lo- grar los efectos. La fórmula para llegar al desempeño objetivo es sencilla e implica niveles de datos básicos de indicadores y niveles deseados de mejoría durante un periodo determinado de tiempo. Resulta clave un proceso participativo, en cola- boración con partes interesadas y de asociados pertinentes. GRÁFICO 5.3 DESARROLLO DE OBJETIVOS PARA UN ÁREA DE POLÍTICAS cap5.p65 100 24/07/05, 10:32 a.m. CAPÍTULO 6 PASO 6: HACER SEGUIMIENTO PARA OBTENER RESULTADOS GRÁFICO 6.1 PARTE 1 Una vez se han seleccionado los objetivos y se ha completado el contexto basado en desempeño, es el momento de utilizar la información para hacer seguimiento a los resultados (gráfico 6.1). En el presente capítulo se explica la manera de en- samblar un sistema para obtener los datos necesarios que permitan informar mejor el proceso decisorio. Los datos resultantes van a ofrecer evidencias sobre desem- peño y marcar todos los cambios que se puedan necesitar para un proyecto, pro- grama o políticas. El enfoque del capítulo se hace en la manera en que un sistema de SyE basado en resultados constituye, primero que todo, un sistema para ayudar a los gobier- nos (o a cualquier organización) a hacer una gestión mejorada de los recursos. Ahora se ha hecho evidente el examen de las necesidades para manejar insumos así como productos y efectos. Los gestores utilizan diversas herramientas orga- nizativas para hacer la gestión de insumos, entre ellos presupuestos, planes de contratación de personal y planes de actividades. Para convertirse en un verda- cap6.p65 101 24/07/05, 10:32 a.m. 102 Manual para gestores del desarrollo dero sistema orientado a resultados, un sistema de SyE basado en resultados debe ajustarse a planes anuales y a otros planes de trabajo de la organización. Pero un sistema basado en resultados no es equivalente a hacer seguimiento comparado con un conjunto de planes anuales de trabajo. Sin embargo, hacer seguimiento a planes de trabajo se parece mucho a la forma tradicional en que un gestor estimaría si la ejecución de un proyecto, programa o políticas es adecuada o no. Según este enfoque tradicional, el primer paso que daría el gestor sería iden- tificar actividades y asignar responsabilidades. A menudo, un gestor tal vez utili- zaría un diagrama de actividades o un diagrama de Gantt el cual es, básicamente, un listado de actividades pendientes trazado contra un marco temporal específi- co, y señala la fecha de inicio y la fecha límite para cada rubro y el nombre de la persona responsable de determinadas actividades. En el gráfico 6.2 aparece un ejemplo del diagrama de Gantt. GRÁFICO 6.2 DIAGRAMA DE GANTT DE MUESTRA Fuente: datos de los autores 2004. Un diagrama de Gantt es una herramienta de gestión utilizada para rastrear las actividades y los productos. Sin embargo, esta herramienta de gestión no indi- ca si en realidad se están logrando los resultados deseados. Realizar todas las actividades que aparecen trazadas en el diagrama no significa que la organiza- ción esté logrando las metas y los efectos deseados. cap6.p65 102 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 103 Es más, hacer el enfoque en actividades y productos no significa que no estén trabajando duro las personas que pertenecen a la organización. En muchos casos la gente se mantiene ocupada y con un enfoque en el trabajo rutinario, ¿pero con un enfoque en qué? Un sistema de SyE basado en resultados enfoca la organiza- ción en el logro de efectos y hace gestión para cada indicador, como quedó claro en capítulos anteriores. Un sistema de gestión basado en actividades dirige el enfoque de la organización a trabajar contra un conjunto de actividades identifi- cadas, sin hacer concordar estas actividades con efectos, dificultando entender la manera en que la ejecución de estas actividades tiene como resultado un desem- peño mejorado. Se debe tener cuidado de no caer en la trampa de equiparar estar ocupado con ser eficiente. Las actividades son cruciales. Son las acciones emprendidas para dirigir y eje- cutar programas, utilizar recursos y prestar los servicios del gobierno. Pero la suma de estas actividades puede, o no, significar que se han logrado los efectos. Otra diferencia entre un sistema basado en resultados y un sistema basado en actividades estriba en que, con un plan de trabajo basado en actividades, se ana- liza si las actividades se completaron de manera oportuna y apropiada. Los siste- mas de seguimiento, sin embargo, demuestran si se han logrado los resultados. El uso efectivo de recursos es lo que cuenta, no simplemente el uso eficiente de esos recursos. En el presente capítulo se estudian: a) tipos y niveles clave de seguimiento; b) nexos entre seguimiento de la ejecución y seguimiento de los resultados; c) prin- cipios clave para construir un sistema de seguimiento; d) las necesidades de to- dos los sistemas de seguimiento; e) el triángulo de calidad de los datos; f) análisis de datos de desempeño; g) logro de resultados por medio de alianzas; y h) prue- ba preliminar de instrumentos y procedimientos de recolección de datos. Tipos y niveles clave de seguimiento Como lo indica el gráfico 6.3, existen dos tipos clave de seguimiento: seguimiento de la ejecución y seguimiento de los resultados. Ambos son importantes para rastrear los resultados. En el gráfico 6.4 aparecen ejemplos de seguimiento de resultados en el ámbito de políticas, de proyecto y de programa. El seguimiento de la ejecución rastrea los medios y las estrategias (es decir, aquellos insumos, actividades y productos que hacen parte de planes de trabajo anuales o para varios años) que se utilizan para lograr un efecto determinado. La utilización de herramientas de gestión, entre ellas recursos presupuestarios, con- tratación de personal y planeación de actividades respaldan a estos medios y es- trategias. cap6.p65 103 24/07/05, 10:32 a.m. 104 Manual para gestores del desarrollo GRÁFICO 6.3 SEGUIMIENTO BASADO EN RESULTADOS Fuente: Binnendijk 2000. GRÁFICO 6.4 EJEMPLOS DE SEGUIMIENTO DE RESULTADOS cap6.p65 104 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 105 Es necesario observar que existe una interacción entre objetivos de medios y estrategias (insumos, actividades y productos) y objetivos de efectos. Los objeti- vos se confeccionan según lo que potencialmente puedan producir los medios y las estrategias. Gran parte del presente manual ha estado dedicada a examinar el seguimiento y la evaluación basados en resultados. Pero igualmente se debe medir la ejecución qué tan bien se están logrando los productos utilizando insumos y actividades disponibles. A continuación es necesario analizar la concordancia de los produc- tos con los resultados que la organización espera alcanzar en el tiempo. Lo ante- rior lleva al lector al concepto de contextos presupuestarios del desempeño. Un contexto presupuestario del desempeño consiste en un sistema de planeación del gasto, el cual supone una gestión macroeconómica y fiscal ade- cuada, la determinación de un orden de prioridades sectoriales y la gestión del desempeño de programa. Los presupuestos se desarrollan según los fondos dis- ponibles para un año fiscal determinado, con gestores que establecen los produc- tos que van a obtener durante ese año fiscal. Un presupuesto a mediano plazo incorpora la idea que se deben utilizar tres presupuestos anuales para lograr ob- jetivos o efectos deseados. Por tanto, los presupuestos basados en desempeño presupuestan para productos, pero también ayudan a los funcionarios a hacer gestión para lograr efectos. En los recuadros 6.1 y 6.2 se examinan los trabajos de seguimiento de resulta- dos realizados en México y Brasil. RECUADRO 6.1 SEGUIMIENTO DE RESULTADOS EN MÉXICO México cuenta con procesos de planeación y de presupuesto por separado. Cada seis años se elabora un Plan Nacional de Desarrollo, el cual concluye aproximadamente en la fecha en que lo hace el periodo presidencial. Por medio de este proceso se fijan metas, se formulan políticas y se confeccionan objetivos de desempeño. Del plan se derivan programas (el modo para lograr los objetivos). El proceso de confección de presupuestos anuales toma los objetivos y programas como aparecen en el Plan. Una vez se definen las restricciones de recursos anuales, se asignan fondos a programas y proyectos. En los documentos del presupuesto anual se incluye información sobre desempeño: cerca de 10.000 indicadores que básicamente miden el desempeño relativo a objetivos del Plan. Pero estas medidas de desempeño no se utilizan en las decisiones de gestión de los organismos del gobierno, ni tampoco en las decisiones de asignación de recursos. Aunque el Despacho del Presidente sí hace seguimiento a estos indicadores, es poco claro y no se hacen revisiones formales. Tampoco en la remuneración se tiene en cuenta el desempeño. Es más, du- rante los últimos años, la estructura del programa ha cambiado todos los años, lo que sugiere que no está ligada a una estructura organizativa ni a un gestor de programa; por consiguiente, es débil el marco de rendición de cuentas. Fuente: Dorotinsky 2003b. cap6.p65 105 24/07/05, 10:32 a.m. 106 Manual para gestores del desarrollo RECUADRO 6.2 SEGUIMIENTO DE RESULTADOS EN BRASIL Los países se esfuerzan por integrar información sobre desempeño y supervisión de gestión por hacer que la información sobre desempeño en realidad se utilice en el proceso decisorio. Algunos países intentan hacer seguimiento al desempeño actual relativo a datos básicos de desempeño previos, en tanto otros buscan hacer seguimiento al desempeño relativo a objetivos o planes deter- minados de antemano. El grado al cual se integran los procesos nacionales de planeación y con- fección de presupuestos influencia el enfoque escogido y los mecanismos de ejecución. Brasil cuenta con un plan nacional aparte del proceso de presupuesto. El Ministerio de Planeación, Presupuesto y Gestión es responsable del desarrollo del plan quinquenal (el cual concluye aproxi- madamente en la fecha en que lo hace el periodo presidencial). El proceso de planeación se utiliza para fijar el orden de prioridades, metas y objetivos de desempeño. (A diferencia de México, la estructura del programa es fija, y comprende todas las actividades del gobierno. También, a dife- rencia de México, el plan nacional incluye la asignación de recursos para programas, por año, durante el periodo de planeación). Pero, considerando el carácter fijo, de muchos años, del plan, son muy inciertas las asignaciones de recursos objetivo más allá del primer año. Los nuevos go- biernos ponen la impronta de sus políticas, según las cuales eligen programas como programas prioritarios, con objetivos y asignaciones de recursos designados para los programas. Por ejem- plo, el gobierno de Cardoso designó ochenta programas prioritarios. Se desarrolló un sistema de manejo de información con el propósito de enlazar la financiación de programas con información sobre desempeño con un enfoque en desempeño relativo a objetivos del Plan. Los programas se definieron entre muchas organizaciones atravesando ministerios y organismos de ejecución y se nombraron gestores de programa. Sin embargo, los gestores de programa no tenían autoridad formal, no controlaban recursos y, en realidad, no podrían influir en las actividades de los ministerios que participan en sus programas (excepto por unos pocos casos en los cuales al jefe de una actividad ministerial también era nombrado gestor del programa). De acuerdo con esta estructura, el gestor de actividades no puede utilizar la información sobre desem- peño para dirigir el trabajo y los gestores de programa no tienen influencia sobre la gestión real. Existe un desequilibrio entre autoridad y responsabilidad que impide la rendición de cuentas. En Brasil, la información sobre desempeño no se incluye en los documentos formales del presu- puesto, pero la base de datos en la internet sí permite equiparar parcialmente objetivos, desempe- ño y recursos recursos marginales. Cuando desarrolló el concepto del programa, Brasil creó programas individuales para abarcar los gastos de personal, de manera que todos los demás programas solamente contienen el costo marginal de la actividad. Pese a las fallas estructurales del sistema, Brasil sí intentó alentar a la administración para que utilizara la información sobre desempeño. La oficina de planeación del Ministerio de Planeación, Presupuesto y Gestión utilizó el sistema de información para hacer actualizaciones trimestrales del desempeño. La oficina de planeación utilizó esta información para evaluar cada programa priorita- rio con respecto al desempeño financiero y de objetivos del plan nacional relativos al presupuesto de un año determinado. Los programas con un desempeño inadecuado o que probablemente no utilizaran todos los recursos de ese año, perderían los recursos que entonces se transferirían a otros programas prioritarios que se considerara que tenían un mejor desempeño. Se trató de un intento por utilizar la información sobre desempeño en las decisiones de gestión y de recursos y hacer más imperativa la mejoría del desempeño. Fuente: Dorotinsky 2003b. cap6.p65 106 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 107 Entre las lecciones que se pueden derivar de estas experiencias diversas están las siguientes: Si se van a crear nexos fuertes entre seguimiento del desempeño y asigna- ción de recursos, una sola unidad debe ser responsable de ambos. Si se pretende que el desempeño influya en la gestión, una sola unidad debe ser responsable de llevar a cabo las actividades y de hacer seguimien- to al desempeño. Las unidades responsables de hacer seguimiento al desempeño, a la ges- tión y a la asignación de recursos deben coincidir en hacer posible la rendi- ción de cuentas y en posibilitar mejorías en la eficiencia y en la eficacia (o aun posibilitar el seguimiento de la eficiencia o de la eficacia). Nexos entre seguimiento de la ejecución y seguimiento de los resultados En el gráfico 6.5 se ilustra la manera en que efectos y objetivos se enlazan con planes anuales de trabajo, así como el flujo continuo de información a través de todo el sistema. Los planes anuales de trabajo son los medios y las estrategias que GRÁFICO 6.5 NEXOS ENTRE SEGUIMIENTO DE LA EJECUCIÓN Y SEGUIMIENTO DE LOS RESULTADOS cap6.p65 107 24/07/05, 10:32 a.m. 108 Manual para gestores del desarrollo la organización utiliza para emplear los insumos con eficacia hacia el logro de productos y, en últimas, de efectos e impactos. En el capítulo 5 quedó claro que cada objetivo constituye un esfuerzo provisional hacia el logro de un efecto. Por tanto, para ayudar a lograr cada objetivo, se debe poner en marcha un medio y una estrategia. El ejemplo de morbilidad infantil que aparece en el gráfico 6.6 ilustra los nexos entre medios y estrategias, objetivo, efecto e impacto, es decir, los nexos específi- cos entre seguimiento de la ejecución y seguimiento de los resultados. En este ejemplo, se ha identificado un objetivo reducir en veinte por ciento la incidencia de las enfermedades gastrointestinales en tres años para ayudar a alcanzar el efecto de mejorar la salud infantil. En seguida, un gestor identificaría una estrate- gia anual dirigida a reducir la incidencia de las enfermedades gastrointestinales en el porcentaje objetivo. Al hacerlo, el gestor tendría que tener en cuenta los insumos disponibles durante tres años presupuestarios, y decidir sobre la mane- ra de planificar el trabajo de la organización para alcanzar el objetivo propuesto. GRÁFICO 6.6 VÍNCULOS ENTRE EL SEGUIMIENTO DE LA EJECUCIÓN Y EL SEGUIMIENTO DE LOS RESULTADOS cap6.p65 108 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 109 PARTE 2 Principios clave de la construcción de un sistema de seguimiento En la construcción de un sistema de seguimiento basado en resultados existen varios principios clave, a saber: Existen necesidades de información sobre resultados en el ámbito de pro- yecto, programa y de las políticas. Lainformaciónsobreresultadosdebedesplazarsetantohorizontalcomoverti- calmente en la organización (planteando a veces un reto de las políticas). Se debe identificar la demanda de información sobre resultados en cada nivel. La responsabilidad en cada nivel debe ser clara con respecto a: Qué datos se recogen (fuente) Cuándo se recogen los datos (frecuencia) Cómo se recogen los datos (metodología) Quién reúne los datos Quién presenta los datos Para quién se reunen los datos. La información sobre resultados debe desplazarse tanto horizontal como ver- ticalmente dentro de la organización y entre organizaciones. Resulta crucial que la información se comparta horizontalmente. La gente debe saber y entender qué información está recolectando su propia organización y otras. Por ejemplo, podría haber una organización que está reuniendo datos supuestamente adecuados para otra. Además, si cada organización comienza a montar su propio sistema de infor- mación, tal vez no exista capacidad suficiente para sustentar todos los sistemas. Para muchas organizaciones resulta difícil compartir la información de mane- ra horizontal. Dentro de un sistema, la información se puede desplazar con faci- lidad de manera vertical, pero con frecuencia existen fuertes muros políticos y organizativos entre una parte del sistema y otra. A menudo la causa son las bata- llas burocráticas y políticas por el coto de caza. Igualmente, casi siempre son ver- ticales los incentivos burocráticos; rara vez existen incentivos para compartir información de manera horizontal. Lo ideal sería que todas las organizaciones y los organismos involucrados co- ordinen y colaboren en compartir información sobre desempeño, sobre todo en las instancias en las que se han creado alianzas entre instituciones para lograr objetivos específicos. Es importante tener tanta claridad como sea posible respecto de las respuestas a las seis preguntas sobre a quién le compete la responsabilidad del sistema. Si no se pueden contestar estas seis preguntas, probablemente van a existir vacíos y el cap6.p65 109 24/07/05, 10:32 a.m. 110 Manual para gestores del desarrollo sistema puede fallar. Se trata de una razón más para comenzar por un piloto de la iniciación de un sistema de SyE basado en desempeño. Logro de resultados por medio de alianzas Cada vez se forma un número mayor de alianzas para alcanzar objetivos de desa- rrollo. Las alianzas se pueden conformar en el ámbito internacional y multilateral, regional de país y gubernamental. Cualquiera sea el caso, a los esfuerzos de aso- ciación se les puede aplicar el mismo sistema de desempeño basado en resulta- dos, como se ilustra en el gráfico 6.7. GRÁFICO 6.7 LOGRO DE RESULTADOS POR MEDIO DE ALIANZAS Dados los escasos recursos y los objetivos ambiciosos de desarrollo, los asocia- dos en el desarrollo deben apalancar recursos para lograr la meta deseada. Por consiguiente, muchos asociados van a determinar conjuntamente los medios y las estrategias. Cuando se consideran insumos disponibles, se debe buscar más allá de la unidades de la organización propia. Las alianzas se pueden crear en cualquier parte de la organización propia o aun con otras organizaciones dentro o fuera del gobierno. Cuando se recortan o se disminuyen los recursos, gobiernos y organizaciones tal vez puedan necesitar alianzas con otros o verse obligados a entrar en alianzas cap6.p65 110 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 111 con otros para alcanzar metas que pueden ser similares. Entre las instancias de colaboración se incluyen, entre otros, la conformación de alianzas con el sector privado, ONG y la comunidad internacional de donantes. Los efectos se hacen más alcanzables cuando se combinan recursos aun en épocas de restricciones de insumos. Necesidades de todos los sistemas de seguimiento basados en resultados Todos los sistemas de seguimiento necesitan cuatro elementos básicos: apropia- ción, gestión, mantenimiento y credibilidad (gráfico 6.8). GRÁFICO 6.8 TODOS LOS SISTEMAS DE SEGUIMIENTO NECESITAN Apropiación A la apropiación se la puede considerar como la parte de la demanda de la ecua- ción. La apropiación debe surgir de quienes en todos los ámbitos utilizan el siste- ma, y, en cada ámbito, se debe identificar la demanda de información sobre desempeño. Resulta crucial la apropiación por parte de las partes interesadas de los datos en todos los ámbitos nacional, regional y local. Si existen ámbitos en los cuales la gente no ve la necesidad de los datos recolectados o no tiene en qué utilizarlos, van a surgir problemas con control de calidad y con apropiación. Se va a romper el circuito de información. Sin apropiación, las partes interesadas no van a estar dispuestas a invertir tiempo y dinero en el sistema. En últimas, el sistema se va a degenerar y va a disminuir la calidad de los datos. Un defensor político fuerte puede ayudar a garantizar la apropiación del siste- ma. Se necesita un defensor para que reafirme la necesidad de generar y compar- tir datos adecuados sobre desempeño y de presentarlos de manera apropiada. cap6.p65 111 24/07/05, 10:32 a.m. 112 Manual para gestores del desarrollo Gestión Quién va a estar a cargo del sistema, cómo y dónde resulta crucial para la sosteni- bilidad del mismo. El traslapo de información proveniente de diferentes organis- mos puede también obstaculizar la recolección de datos, al igual que lo hacen la duplicación de datos en ministerios y en la oficina nacional de estadísticas; las demoras para recibir los datos, es decir, los datos se reciben demasiado tarde para tener impacto en el proceso decisorio; y que la gente no sepa qué datos se en- cuentran disponibles. Mantenimiento Para impedir que el sistema decaiga o colapse, el mantenimiento de los sistemas de seguimiento resulta esencial. Es importante saber quién va a recabar qué tipo de información y cuándo, y asegurarse de que la información fluya horizontal y verticalmente en el sistema. Al igual que otros sistemas oficiales de información (como de auditoría o de confección de presupuestos), los sistemas de seguimien- to deben contar siempre con mantenimiento continuo. Para que las organizaciones, los gestores y el personal puedan llevar a cabo las tareas de seguimiento, la gestión y el mantenimiento de sistemas de SyE exige la creación de los incentivos correctos y el suministro de suficientes recursos finan- cieros, humanos y técnicos. Se deben estipular las responsabilidades individuales y corporativas, y establecer una visibilidad directa clara lo que quiere decir que el personal y las organizaciones deben entender los nexos que tienen con metas comunes. Se deben establecer relaciones claras entre acciones y resultados. Las personas y las organizaciones deben comprender la manera en que las tareas es- pecíficas a su cargo hacen un aporte a la gran imagen. El mantenimiento adecuado de sistemas de seguimiento también debe tener en cuenta los nuevos adelantos en gestión y tecnología. Quizás sea necesario per- feccionar y modernizar sistemas, procedimientos o tecnologías. También al per- sonal y a los gestores se les debe ofrecer capacitación periódica para que se mantengan al día en sus conocimientos. Si los sistemas no se mantienen bien, se deterioran. Al igual que cualesquiera otros sistemas, a través de una gestión adecuada, los sistemas de seguimiento requieren de reconstrucción, renovación y fortalecimiento. Credibilidad La credibilidad también resulta esencial para cualquier sistema de seguimiento. Datos válidos y confiables ayudan a garantizar la credibilidad del sistema. Para ser creíbles, los sistemas de seguimiento deben contar con la posibilidad de infor- mar todos los datos buenos y malos. Si de manera deliberada no se presentan cap6.p65 112 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 113 noticias malas, o información que demuestre no lograr satisfacer efectos y objeti- vos esperados, el sistema no va a ser creíble. En algunos casos, se puede llegar a ejercer presión política sobre las oficinas nacionales de estadística para, por ejemplo, minimizar las malas noticias o para no informar ciertos datos. Si las restricciones políticas son de tal magnitud que no se permita publicar noticias o datos negativos, o se castiga al mensajero, va a que- dar comprometido el sistema de seguimiento. En resumen, si la gente cree que la información tiene una motivación o un cariz político, no va a confiar en ella y no la va a utilizar. El triángulo de la calidad de los datos: confiabilidad, validez y oportunidad Un sistema de recolección de datos para todos los indicadores (ejecución y resul- tados), debe contener tres criterios clave: confiabilidad, validez y oportunidad (gráfico 6.9). la credibilidad del sistema va a disminuir en la medida en que falte cualquiera de estos criterios (véase también Hatry 1999, p. 223). GRÁFICO 6.9 CRITERIOS CLAVE PARA REUNIR DATOS DE CALIDAD DE DESEMPEÑO La confiabilidad es el grado al cual el sistema de recolección de datos se man- tiene estable y consistente en el tiempo y en el espacio. En otras palabras, todas las veces la medición de los indicadores se realiza de la misma manera (gráfico 6.10). La validez es importante: los indicadores deben medir los niveles de desem- peño reales y esperados (gráfico 6.11). cap6.p65 113 24/07/05, 10:32 a.m. 114 Manual para gestores del desarrollo GRÁFICO 6.10 EL TRIÁNGULO DE LA CALIDAD DE LOS DATOS: CONFIABILIDAD GRÁFICO 6.11 EL TRIÁNGULO DE LA CALIDAD DE LOS DATOS: VALIDEZ La oportunidad consiste en tres elementos: frecuencia (con qué frecuencia se recogen los datos); actualidad (cuán reciente ha sido la recolección de datos); y accesibilidad (disponibilidad de los datos para respaldar las decisiones de la ge- rencia) (gráfico 6.12). Si cuando los necesitan, los datos no se encuentran disponi- bles para los encargados del proceso decisorio, la información se convierte en datos históricos. La gestión pública moderna exige información adecuada y opor- tuna. Hoy día resulta esencial la información en tiempo real y continua que pue- dan utilizar los encargados del proceso decisorio para orientar y manejar en su entorno de trabajo. No tiene mucho sentido hacer gestión en el sector público utilizando, básicamente, datos históricos que pueden tener tres, cuatro o hasta cinco años. cap6.p65 114 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 115 GRÁFICO 6.12 EL TRIÁNGULO DE LA CALIDAD DE LOS DATOS: OPORTUNIDAD Análisis de datos de desempeño Los hallazgos del seguimiento del desempeño se deben utilizar para ayudar a mejorar proyectos, programas y las políticas. Analizar y presentar datos produce información continua e importante acerca de la situación de proyectos, progra- mas y las políticas. Igualmente puede proporcionar pistas de problemas que sur- gen durante la ejecución y crean oportunidades para considerar mejoras en las estrategias de ejecución. El flujo continuo de datos puede, así mismo, ofrecer un cúmulo de información sobre tendencias y direcciones en el tiempo. Cuando se analizan y se presentan datos, cuanto más frecuentes sean las mediciones de los datos en el tiempo, tanta más certeza puede haber sobre tendencias, direcciones y resultados. Cuanto mayor sea la frecuencia con que se tomen medidas, tanto menos con- jeturas se van a hacer respecto a lo que sucedió entre intervalos específicos de medición (gráfico 6.13). Un mayor número de puntos de datos posibilita a los gestores rastrear tendencias y comprender la dinámica de proyecto, programa y las políticas. Cuanto más tiempo transcurra entre mediciones, tanto mayor la po- sibilidad de que pudieran ocurrir hechos y cambios en el sistema que pueden pasar inadvertidos. Por ejemplo, si pasa un año entre mediciones, pueden pasar muchas cosas y resultar más difícil atribuir causalidad. ¿Mejoró el indicador? ¿Em- peoró? ¿Hubo un avance directo o una oleada repentina? En efecto, la estrategia del sistema de seguimiento debe contener un plan cla- ro de recolección y análisis de datos con detalles sobre: Unidades de análisis (por ejemplo, distrito escolar, hospital comunitario, poblado, región) cap6.p65 115 24/07/05, 10:32 a.m. 116 Manual para gestores del desarrollo Procedimientos de muestreo Instrumentos de recolección de datos que se van a utilizar Frecuencia de recolección de datos Métodos esperados de análisis e interpretación de datos Personas responsables de la recolección de datos Asociados en la recolección de datos, si los hay Personas responsables de analizar, interpretar y presentar los datos Para quién se necesita la información Procedimientos de divulgación Seguimiento a los hallazgos. En ocasiones ocurre una concesión explícita entre frecuencia de la medición y precisión de la medición. El costo y la capacidad también influyen en la toma de decisiones sobre la frecuencia y la precisión con que se deben medir los indicadores. GRÁFICO 6.13 ANÁLISIS DE DATOS DE LOS RESULTADOS Prueba preliminar de instrumentos y procedimientos de recolección de datos La prueba preliminar o la experimentación de instrumentos y procedimientos de recolección de datos resulta crucial a la construcción de un sistema eficaz de se- guimiento. Entre los puntos clave acerca de la prueba preliminar se incluyen los siguientes: cap6.p65 116 24/07/05, 10:32 a.m. Paso 6: Hacer seguimiento para obtener resultados 117 Se debe probar un enfoque de recolección de datos para averiguar qué tan bueno es. La prueba preliminar ofrece un método para mejorar los instrumentos o los procedimientos antes de que la recolección de datos se encuentre en plena marcha. Evitar la prueba preliminar probablemente va a resultar en errores. El error podría costarle mucho tiempo y dinero a la organización y, quizás, su valio- sa reputación con el público. Si existe algún grado de ambigüedad respecto a cómo se van a recoger los datos y a qué se van a parecer, lo mejor es experimentar con varias estrate- gias, si es posible. En resumen, no se debe avanzar con demasiada rapidez. Es mejor comenzar a pequeña escala y experimentar cuandoquiera sea posible. Por ejemplo, los datos básicos van a ser el primer conjunto de mediciones y tal vez no sea exactamente lo que se debería medir. Si los datos básicos están erra- dos porque los datos equivocados (o incompletos) apenas se están recolectando y se han establecido objetivos contra estos datos básicos los cimientos del sistema de seguimiento van a ser defectuosos. En resumen, hacer seguimiento para obtener resultados acarrea tanto hacer se- guimiento a la ejecución como a los resultados. Implica la conformación de alianzas con el fin de lograr efectos comunes. Todos los sistemas de seguimiento requieren de apropiación, gestión, mantenimiento y credibilidad. Hacer seguimiento para lograr resultados también exige la recolección de datos y el análisis de datos de desempeño. Confiabilidad, validez y oportunidad son los criterios clave para reco- lectar datos calificados de desempeño. Por último, en cada sistema de seguimiento es importante realizar una prueba preliminar de instrumentos y procedimientos de recolección de datos. Si el sistema de seguimiento va a ser una herramienta útil de gestión, debe ser manejable. El sistema no se debe sobrecargar con demasiados indicadores. De otra manera, se va a dedicar demasiado tiempo manejando el sistema que produce los datos, y no se va a dedicar tiempo suficiente a utilizar los datos para hacer gestión. cap6.p65 117 24/07/05, 10:32 a.m. cap6.p65 118 24/07/05, 10:32 a.m. CAPÍTULO 7 PASO 7: UTILIZAR INFORMACIÓN DE EVALUACIÓN PARA RESPALDAR UN SISTEMA DE GESTIÓN BASADO EN RESULTADOS GRÁFICO 7.1 En el capítulo anterior se recalcó la función de seguimiento la S de SyE. Para los gestores resulta absolutamente esencial construir un sistema de seguimiento para rastrear continuamente el desempeño. El sistema de seguimiento propor- ciona información permanente (a través de indicadores seleccionados) sobre la dirección, el ritmo y la magnitud del cambio. Así mismo puede identificar cam- bios imprevistos. Todos son cruciales para saber si las políticas, programas y pro- yectos están avanzando en la dirección deseada. También se ha recalcado que los datos de seguimiento no proporcionan las ba- ses de atribución y causalidad del cambio. Estos datos de seguimiento tampoco ofrecen evidencias sobre cómo surgen los cambios sólo informan que éstos están o no ocurriendo. De manera similar, en sí mismos y por sí mismos, los datos de segui- miento no pueden abordar las fortalezas y las debilidades en el diseño del proyec- to, del programa o en la formulación de políticas. Por consiguiente, se necesita información de evaluación para abordar estas y otras preguntas importantes sobre la generación de resultados apropiados la E en SyE (gráfico 7.1). cap7.p65 119 24/07/05, 10:32 a.m. 120 Manual para gestores del desarrollo Se ha definido la evaluación como una estimación de una mediación planifi- cada, en curso o concluida, para determinar su pertinencia, eficiencia, eficacia, impacto y sostenibilidad. El propósito es incorporar en el proceso decisorio las lecciones aprendidas. Es entonces apropiado centrar la atención en un examen de la función eva- luadora que cumplen los sistemas de SyE. Es indispensable reafirmar la comple- mentariedadentreevaluaciónyseguimiento.Seapoyanmutuamenteauncuando cada uno plantee preguntas diferentes y probablemente vaya a utilizar la infor- mación y los análisis de manera diferente. La implicación inmediata es que el cambio a un sistema de SyE basado en resultados exige la construcción de un sistema de información y análisis con dos componentes: seguimiento y evalua- ción. Al final, ninguno de los dos es suficiente por sí solo. Hay diversas complementariedades del seguimiento y la evaluación. En pri- mer lugar, existe la complementariedad secuencial, según la cual la información de seguimiento puede dar origen a preguntas que la evaluación debe responder posteriormente, o al contrario, cuando la información de evaluación genera nue- vos campos o dominios en los cuales se debe hacer seguimiento. En segundo lugar está la complementariedad de la información en la cual, tanto el seguimiento como la evaluación pueden utilizar los mismos datos, aunque planteen preguntas dife- rentes y formulen análisis diferentes. En tercer lugar, existe la complementariedad entre acciones, según la cual, para ayudar a orientar sus iniciativas, los gestores utilizan conjuntamente el seguimiento y la evaluación. Vale la pena recalcar en este punto que la función que cumple la evaluación en el sistema de SyE amplía de manera significativa lo que se entiende como el enfo- que posterior al hecho a la evaluación y trasciende a esta última. La evaluación no se restringe a estimar las causas y cambios posteriores una vez llega a su fin una mediación o una iniciativa. El enfoque posterior al hecho es restrictivo debido a que este tipo de información de evaluación no se reutiliza en la gestión en curso de las organizaciones y unidades del gobierno, encaminada a lograr resultados en el sector público. Necesariamente, el énfasis en evaluaciones ulteriores al he- cho como el medio para tratar de obtener las respuestas definitivas sobre atribu- ción y causalidad, excluye los usos en tiempo real de la evaluación por parte de los gestores del sector público. Lo que sigue no es cómo diseñar y realizar evaluaciones. Existen muchos textos y manuales que llevan al lector paso a paso a través de todo el proceso de una evaluación: desde el diseño, los métodos de selección, recolección y análisis, hasta presentación y divulgación de los datos. El Programa Internacional para el Fomento de la Formación en Evaluación (IPDET, por sus iniciales en inglés) ofrece una fuente electrónica para estos materiales y orientaciones, la cual se encuentra disponible en la dirección electrónica: http://www.worldbank.org/oed/ipdet/ (Banco Mundial 2001a). cap7.p65 120 24/07/05, 10:32 a.m. Paso 7: Utilizar información de evaluación 121 El énfasis se debe hacer en la manera en que el desarrollo en el gobierno de una capacidad de evaluación apoya un enfoque de gestión basada en resultados y los usos que los gestores pueden darle a la información de evaluación. La infor- mación adecuada de evaluación puede ofrecer respuestas a muchas preguntas pertinentes al desempeño y al logro de efectos. A continuación se identifican al- gunas de esas preguntas, así como las estrategias de evaluación disponibles para resolverlas. Usos de la evaluación Es deliberado el énfasis en la construcción de fuentes de información de evalua- ción en curso en comparación con estudios esporádicos e individuales de evalua- ción espaciados a lo largo de periodos generalmente prolongados. Los sistemas de SyE deben ofrecer información útil y oportuna a los funcionarios del gobierno para administrar y orientar los recursos y las mediaciones del gobierno. El valor de una evaluación surge del uso que se le dé. Usos pragmáticos de la evaluación En tanto el acervo de literatura sobre evaluación está repleto de prolongados de- bates técnicos de tipos y categorías diferentes sobre su uso, este material no se va a considerar en esta ocasión. En su lugar, se va a estudiar un listado pragmático de seis usos que los gestores del gobierno le pueden dar a la información de eva- luación. Ayuda a tomar decisiones sobre asignación de recursos. La información de eva- luación puede informar a los gestores sobre las políticas o los programas más o menos exitosos en términos de sus efectos y, por tanto, sobre el monto de los recursos que podrían merecer. De igual manera, la información de evaluación puede ayudar a orientar las decisiones sobre si los resultados de los pilotos indi- can la necesidad de expandir, rediseñar o aun desechar totalmente la iniciativa. Ayuda a repensar las causas de un problema las mediaciones de las políticas o de programas que con frecuencia no parecen tener ningún efecto notorio respec- to de un problema existente. En tanto la ausencia de cambio se puede atribuir o bien a un mal diseño o a una mala ejecución, también puede suceder que la me- diación no tenga efecto alguno porque el problema es distinto a lo que se supuso en un principio. La información de evaluación puede plantear la necesidad de un nuevo examen de la causa probable de un problema y qué tipo de medidas alter- nativas se podrían necesitar para resolverla. cap7.p65 121 24/07/05, 10:32 a.m. 122 Manual para gestores del desarrollo Identificar problemas nacientes. La información de evaluación puede poner de relieve problemas que, aunque todavía no son generalizados, es claro que pue- den requerir la atención de funcionarios del gobierno, como tasas de deserción cada vez más altas de grupos seleccionados de jóvenes, número de huérfanos de padres que han fallecido por causa del VIH/SIDA, o el uso de drogas entre los ado- lescentes. Apoya la toma de decisiones sobre mejores alternativas en pugna. Los gobier- nos a menudo van a abordar una situación problemática haciendo pilotos de más de una estrategia. Por ejemplo, un gobierno puede tratar de resolver el desem- pleo juvenil por medio de programas internos en las escuelas, en particular pro- gramas de aprendizaje en el sector privado, bonos para empleadores que contratan a jóvenes, etcétera. Una vez que los pilotos llevan funcionando algún tiempo, va a ser más fácil averiguar cuál de ellos ofrece la evidencia más convincente y amerita más o menos apoyo. Apoya la reforma y la innovación del sector público. La información de evalua- ción puede ofrecer evidencia a los ciudadanos en el sentido que las campañas de reforma están funcionando. El trabajo del gobierno puede ganar credibilidad a través, por ejemplo, de evidencias en el sentido que se están haciendo mejoras en las escuelas, que se está disminuyendo la corrupción y que más pobres rurales están recibiendo atención en salud. Con frecuencia, las campañas de reforma pier- den impulso si no existen evidencias de cambios positivos. Crea consenso sobre las causas de un problema y sobre cómo resolverlo. La información de evaluación puede hacer un aporte al debate entre funcionarios del gobierno y partes interesadas acerca de las causas de una situación y cómo crear una respuesta apropiada. La definición de un problema debe preceder al despliegue de medidas contrarias para tratar de resolver, o por lo menos mitigar, el problema. La información de evaluación puede ofrecer evidencia de causalidad y evidencia de la pertinencia y el impacto de respuestas anteriores. Para resumir el anterior examen breve de los usos de la información de eva- luación en un sistema de SyE, los funcionarios del gobierno y sus asociaciones pueden utilizar esta información para centrarse en la estrategia política más am- plia y diseñar aspectos sobre temas operativos y de ejecución (¿estamos hacien- do las cosas bien?) y para averiguar si existen métodos mejores para abordar el problema (¿qué estamos aprendiendo?). Véase recuadro 7.1. cap7.p65 122 24/07/05, 10:32 a.m. Paso 7: Utilizar información de evaluación 123 RECUADRO 7.1 LA EVALUACIÓN OFRECE INFORMACIÓN SOBRE: Estrategia: ¿se está haciendo lo que se debe hacer? Justificación o razón de ser Teoría clara del cambio Operaciones: ¿se están haciendo bien las cosas? Efectividad en logro de efectos esperados Eficiencia en optimización de recursos Satisfacción del cliente Aprendizaje: ¿existen métodos mejores? Alternativas Mejores prácticas Lecciones aprendidas Utilizar la evaluación para resolver preguntas de gestión Las evaluaciones también sirven para resolver otros tipos diferentes de pregun- tas que los gestores suelen plantear, a saber: Descriptivas: Describen el contenido de la campaña de información sobre prevención del VIH/SIDA en el país X. (Con un enfoque en la descripción cuidadosa de una situación, proceso o suceso). De normatividad o cumplimiento: ¿Cuántos días durante el año se cumplie- ron los estándares nacionales de agua potable? (Determina si un proyecto, programa o las políticas cumplen con los estándares estipulados). De correlación: ¿Cuál es la relación entre la tasa de alfabetismo y el número de docentes capacitados en una localidad? (Muestra el nexo entre dos si- tuaciones, o dos condiciones, pero no especifica la causalidad). De impacto o causa y efecto: ¿La introducción de una nueva semilla híbrida ha causado un incremento en la producción del cultivo? (Establece una rela- ción causal entre dos situaciones o condiciones). De ejecución o proceso: ¿Se ejecutó un proyecto, programa o las políticas para mejorar la calidad del abastecimiento de agua en una zona urbana como se había planeado? (Aborda si la ejecución se llevó a cabo como se había pla- neado). De desempeño: ¿Se han logrado los efectos y los impactos de las políticas como se había planeado? (Establece nexos entre insumos, actividades, pro- ductos, efectos e impactos). cap7.p65 123 24/07/05, 10:32 a.m. 124 Manual para gestores del desarrollo De uso apropiado de herramientas de las políticas: ¿Ha utilizado el gobierno la herramienta de las políticas correcta en el suministro de subsidio a agricul- tores indígenas para desplegar una nueva tecnología agrícola? (Establece si se seleccionaron los instrumentos adecuados para el logro de los fines). El momento oportuno de las evaluaciones En todas las fases de la gestión de políticas, programas y proyectos la información de evaluación es pertinente y útil a los gestores del gobierno. La cuestión de la oportunidad se resuelve fácilmente: cualquier momento en que surjan preocupa- ciones para las cuales pueda resultar útil la información de evaluación es el mo- mento correcto para recabar información de evaluación. Sin embargo, es necesario ahondar más para averiguar cuándo desplegar re- cursos para reunir información de evaluación. A continuación se describen cua- tro instancias que ameritan información de evaluación para apoyar el proceso decisorio de gestión. (Si bien los autores son conscientes del hecho de que ade- más de estas cuatro instancias existen otras, las que aparecen a continuación ilus- tran cuándo, en su opinión, resulta esencial la información de evaluación). Divergencia entre desempeño proyectado y real La información de evaluación puede resultar crucial cuando las mediciones pe- riódicas de indicadores clave sugieren una divergencia abrupta entre desempeño proyectado y desempeño real. Véanse los diagramas en el gráfico 7.2. GRÁFICO 7.2 USO DE EVALUACIONES PARA EXPLICAR LAS DIVERGENCIAS DE DESEMPEÑO Es evidente que el desempeño proyectado diverge del desempeño real. Es necesario que los gestores averigüen por qué. ¿Qué está pasando que nos esta- mos quedando tan atrás del desempeño proyectado (diagrama a la izquierda) o lo estamos haciendo tan bien que nos hemos adelantando a nuestra proyección cap7.p65 124 24/07/05, 10:32 a.m. Paso 7: Utilizar información de evaluación 125 (diagrama a la derecha)? A partir de sus propias experiencias, los gestores se van a percatar de que la mayoría de las veces los desempeños proyectados y reales no son idénticos y se debe esperar cierto grado de variación. Pero cuando esa diver- gencia es significativa, sostenida y tiene efectos reales para las políticas, el progra- ma o el proyecto, es hora de dar marcha atrás, de evaluar las razones de la divergencia y de estimar la necesidad de nuevas estrategias (en el caso de mal desempeño), o saber cómo utilizar el desempeño adecuado acelerado y expandir sus aplicaciones. El aporte del diseño y de la ejecución a los efectos La información de evaluación puede ayudar a establecer una diferencia entre los aportes del diseño y de la ejecución a los efectos. En el gráfico 7.3, el cuadrado 1 es el mejor lugar para estar: el diseño es fuerte, como también lo es la ejecución de las acciones para resolver el problema (un modelo causal de cómo lograr el cambio deseado en un problema existente). A todos los gestores, planificadores y ejecutores les gustaría dedicar el tiempo a empeños como este: haciendo que pasen cosas buenas para las cuales exista evi- dencia demostrable de cambios positivos. GRÁFICO 7.3 USO DE EVALUACIÓN PARA DETERMINAR LOS IMPACTOS DEL DISEÑO Y LA EJECUCIÓN SOBRE LOS EFECTOS En términos de indicadores de desempeño o de efecto, el cuadrado 2 genera mucha ambigüedad. En esta situación existe un diseño débil que se ejecuta con gran fuerza pero con pocos resultados evidentes o ninguno. La evidencia indica cap7.p65 125 24/07/05, 10:32 a.m. 126 Manual para gestores del desarrollo una ejecución exitosa, pero escasos resultados. Las preguntas de evaluación van a recurrir a la fortaleza y a la lógica del diseño. Por ejemplo, ¿fue adecuado el modelo causal? ¿Fue lo suficientemente robusto para que, si se ejecutaba bien, provocara el cambio deseado? ¿Se entendió bien el problema y se definió con claridad? ¿La es- trategia de cambio propuesta especificó directamente las causas del problema? En términos del desempeño con respecto a indicadores de efectos, también el cuadrado 3 genera gran ambigüedad. En esta situación existe un diseño bien hecho que está mal ejecutado una vez más, con escasos resultados evidentes, o ninguno. Se trata de una situación contraria al cuadrado 2, pero con el mismo efecto esencial: sin resultados claros. Las preguntas de evaluación se centran en los procesos y procedimientos de ejecución: ¿ocurrió en realidad lo que se suponía que iba a ocurrir? ¿Cuándo, y en qué secuencia? ¿Con qué grado de apoyo? ¿Con cuáles conocimientos especializados entre el personal? El énfasis se hace en tratar de averiguar qué ocurrió durante la ejecución que echó abajo e hizo ineficaz las po- líticas, el programa o el proyecto potencialmente exitosos. El cuadrado 4 no es un buen lugar para estar uno. Lo único que deja un diseño débil mal ejecutado son las ruinas de las buenas intenciones. La información de evaluación puede validar tanto el diseño débil como la mala ejecución. Para el gestor, el desafío estriba en averiguar la manera de finiquitar rápidamente este empeño, de modo de no prolongar para todos los involucrados su ineficacia ni sus efectos negativos. Asignación de recursos La información de evaluación puede ayudar a los gestores a analizar qué funciona y qué no funciona con eficiencia y eficacia cuando se están haciendo asignaciones de recursos entre políticas, programas y proyectos. Son muchas las concesiones en las asignaciones de presupuesto y personal. Las discrepancias políticas entre de- mandas en competencia son reales. La información de evaluación puede ayudar en el proceso, en particular cuando el gobierno está trabajando para establecer un sistema presupuestario basado en desempeño. Pero igualmente es importante y realista aceptar que la información de evaluación no puede ni pasar por encima ni invalidar las agendas políticas, institucionales o personales que juegan, inevi- tablemente, un papel. Evidencia contradictoria de los efectos La información de evaluación puede servir cuando proyectos, programas o polí- ticas similares presentan efectos diferentes. Iniciativas comparables con efectos claramente divergentes plantean la pregunta de qué sucede y dónde. Las siguien- tes son algunas de las preguntas que puede plantear la información de evalua- cap7.p65 126 24/07/05, 10:32 a.m. Paso 7: Utilizar información de evaluación 127 ción: ¿Existen en la ejecución variaciones fuertes que están produciendo la diver- gencia? ¿O personas clave no entienden las intenciones o la razón del ser de la divergencia y, por tanto, están dando orientaciones diferentes que llevan a enfo- ques básicamente distintos? ¿O, como tercera posibilidad, las medidas de presen- tación de informes son tan diferentes que invalidan las comparaciones? Tipos de evaluaciones Para resolver diversos tipos de preguntas son apropiados diferentes tipos de eva- luación. No existe una plantilla de evaluación de talla única para compararla con la variedad de preguntas. Para los gestores es importante comprender lo que quie- ren saber a partir de las evaluaciones. De igual manera, es importante para quie- nes producen la información de evaluación entender qué necesita el gestor. Para ninguno de los involucrados resulta beneficioso encontrarse con un desequili- brio entre la pregunta planteada y la información recibida. En el gráfico 7.4 aparecen siete estrategias amplias de evaluación que se pue- den utilizar para producir información de evaluación. Cada estrategia es apro- piada a clases específicas de preguntas de evaluación, y cada una de ellas será objeto de un breve examen. (Observar que sólo una de estas siete estrategias es la clásica evaluación posterior al hecho: la evaluación de impacto). GRÁFICO 7.4 SIETE TIPOS DE EVALUACIONES Estimación del desempeño de la cadena lógica La estrategia de evaluación de la estimación del desempeño de la cadena lógica se utiliza para averiguar la fortaleza y la lógica del modelo causal que sustenta las cap7.p65 127 24/07/05, 10:32 a.m. 128 Manual para gestores del desarrollo políticas, el programa o el proyecto. El modelo causal aborda el despliegue y la secuenciación de las actividades, recursos o iniciativas de las políticas posibles de utilizar para provocar un cambio deseado en una situación existente. La evalua- ción abordaría la posibilidad de lograr ese cambio deseado, con base en esfuerzos similares anteriores y con base en la literatura existente. La intención es evitar el fracaso debido a un diseño débil que tendría escasas, o ninguna, posibilidades de lograr alcanzar los efectos propuestos. Cuando esté intentando estimar el empeño actual en comparación con empe- ños pasados, el evaluador podría poner el enfoque en el nivel de recursos, oportu- nidad,capacidadesdelaspersonasydelaorganizacióninvolucradas,niveldeefectos esperados, etcétera, para determinar si la experiencia previa puede sustentar la es- trategia actual. De manera similar, al examinar la literatura de investigación, el evaluador puede averiguar si es posible respaldar las premisas fundamentales de la iniciativa propuesta; por ejemplo, que una mayor conciencia de los ciudadanos sobre la corrupción del gobierno a través de una campaña de información públi- ca va a llevar a mayor presión de la sociedad civil para que el gobierno luche contra la corrupción y la controle. Estimación previa a la ejecución La estrategia de evaluación de estimación previa a la ejecución aborda tres estándares que se deben articular con claridad antes de que los gestores avancen a la fase de ejecución. Las siguientes preguntas abarcan los estándares: ¿Están bien definidos los objetivos, de manera que sea posible estipular los efectos en términosmensurables?¿Existeunplancoherenteycreíbledeejecuciónqueofrezca evidencias claras de cómo va a avanzar la ejecución y cuánto se puede lograr dife- renciar la ejecución exitosa de la ejecución inadecuada? ¿Es la justificación para el despliegue de recursos clara y acorde con los requerimientos para alcanzar los efec- tos deseados? El propósito de un enfoque de evaluación como este es garantizar que desde el comienzo de la ejecución no se haya programado el fracaso. Evaluación de la ejecución del proceso En los detalles de la ejecución se centra el enfoque de la evaluación de la ejecu- ción del proceso. ¿Qué se ejecutó y qué no se ejecutó de lo que se planificó? ¿Qué congruencia existió entre lo que se proyectó ejecutar y lo que sucedió en reali- dad? ¿Cuán apropiados y cercanos al plan fueron los costos; los requerimientos de tiempo; la capacidad y las competencias del personal; la disponibilidad de los recursos financieros requeridos, de las instalaciones y del personal; y el apoyo político? ¿Qué productos o efectos no previstos (y, por tanto, no intencionales) surgieron de la fase de ejecución? La fase de ejecución puede ser corta o larga. A cap7.p65 128 24/07/05, 10:32 a.m. Paso 7: Utilizar información de evaluación 129 lo largo de toda la fase el énfasis sería estudiar el proceso de ejecución. Los gesto- res pueden utilizar esta información para averiguar si van a tener que hacer co- rrecciones sobre la marcha para poder avanzar hacia los efectos deseados. La anterior estrategia de evaluación se asimila al seguimiento. El valor agrega- do consiste en que no simplemente se documenta la ejecución (se le hace segui- miento). Se pueden estudiar efectos no previstos cuando se esté evaluando la ejecución. Además, es posible abordar algunos de los aspectos más intangibles de la ejecución, como el apoyo político, la preparación institucional para el cambio y la confianza en que los encargados de la gestión van a liderar con éxito una cam- paña de cambio. Por último, tener algún grado de comprensión de por qué la ejecución está en la senda correcta o no, ofrece cimientos sólidos para emprender medidas contrarias. Evaluación inicial rápida Como al sistema de SyE se le considera una herramienta continua de gestión, las evaluaciones iniciales rápidas merecen una atención especial en el contexto ac- tual. En un sistema de SyE basado en resultados, las evaluaciones iniciales rápidas pueden resultar invaluables para los gestores del desarrollo. Esas evaluaciones iniciales permiten una estimación y una presentación rápida en tiempo real de la información, ofreciendo a los encargados del proceso decisorio retroinformación inmediata sobre los avances de un proyecto determinado, de un programa o de políticas. A la evaluación inicial rápida se la puede caracterizar como un enfoque de mé- todos múltiples de la evaluación que utiliza diversos métodos de recolección de datos. Estos métodos tienden a conglomerarse en la mitad del continuo que apare- ce en el gráfico 4.3. A la metodología de la evaluación inicial rápida se [la puede considerar] en el contexto de la meta de la investigación aplicada; es decir, ofrecer a los encargados del proceso decisorio información oportuna y pertinente sobre problemas urgentes que ellos enfrentan en el contexto del proyecto y del progra- ma. La finalidad de la investigación aplicada es... facilitar un proceso decisorio más racional en circunstancias de la vida real (Kumar 1993, p. 9). Existen cinco métodos principales de evaluación inicial rápida de recolección de datos: a) entrevistas con informantes clave; b) entrevistas con grupos de estu- dio; c) entrevistas con la comunidad; d) observación directa estructurada; y e) encuestas. Estos métodos son especialmente útiles para abordar las situaciones siguientes: Cuando la información descriptiva es suficiente para el proceso decisorio Cuando se necesita comprender las motivaciones y las actitudes que afec- tan el comportamiento de la gente, sobre todo el comportamiento de gru- pos objetivo de una mediación o de partes interesadas en una mediación cap7.p65 129 24/07/05, 10:32 a.m. 130 Manual para gestores del desarrollo Cuando se deben interpretar datos cuantitativos disponibles Cuando el propósito primordial del estudio es generar sugerencias y reco- mendaciones Cuando lo que se necesita es plantear preguntas, hipótesis y proposiciones para estudios formales más elaborados e integrales (Kumar 1993, pp. 21-22). Las evaluaciones iniciales rápidas resultan muy pertinentes a la producción oportuna de información de evaluación con un enfoque en la gestión. Al igual que con cualquier método de evaluación, en las evaluaciones iniciales rápidas existen algunas fortalezas y debilidades que es necesario tener en cuenta. Las evaluaciones iniciales rápidas producen información necesaria de manera rápida y oportuna y su costo es relativamente bajo, sobre todo en comparación con métodos de evaluación más formales y estructurados. Este tipo de evaluacio- nes iniciales rápidas pueden producir un viraje completo para averiguar básica- mente si los proyectos, los programas y las políticas avanzan por la senda correcta. Sin embargo, la confiabilidad, la credibilidad y la validez de las evaluaciones ini- ciales rápidas pueden ser más discutibles debido a factores como sesgos y preconcepciones de las personas, y falta de datos cuantitativos, que fácilmente se pueden reproducir y verificar. De igual manera, resulta difícil totalizar los hallaz- gos de múltiples evaluaciones iniciales rápidas, ya que cada una de ellas es relati- vamente única y la mezcla de métodos varía de una aplicación a otra. Al fin de cuentas, sin embargo, las evaluaciones iniciales rápidas pueden facilitar la pre- sentación rápida de información y ayudar a menguar la necesidad de correccio- nes continuas. Estudio de caso El estudio de caso es la estrategia apropiada de evaluación que se debe utilizar cuando un gestor necesite información detenida para comprender con mayor claridad lo que haya podido suceder con un proyecto, un programa o con unas políticas. Los estudios de caso conllevan una concesión entre envergadura y pro- fundidad a favor de esta última. Son seis las formas en que, para informarse a sí mismos, los gestores pueden aprovechar información de estudios de caso: a) los estudios de caso pueden ilustrar una situación más general; b) pueden hacer una labor de exploración cuando es poco lo que se sabe sobre un área o problema; c) pueden centrarse en situaciones críticas (gran éxito o fracaso terrible de un pro- grama); d) pueden analizar con detenimiento instancias escogidas de ejecución; e) pueden examinar efectos de programa que surgen de una iniciativa; y, por último, f) pueden ofrecer comprensión más amplia de una situación cuando, en el tiempo, los resultados de estudios múltiples de caso se resumen y surge una comprensión acumulativa. cap7.p65 130 24/07/05, 10:32 a.m. Paso 7: Utilizar información de evaluación 131 Evaluaciones de impacto Una evaluación de impacto es la evaluación clásica (si bien no solamente ulterior al hecho) que intenta averiguar los cambios que han ocurrido y a qué se pueden atribuir. La evaluación trata de determinar qué parte de los impactos registrados causó la mediación y que podría haber surgido de otros sucesos o situaciones. La finalidad es la atribución del cambio registrado. Debido a que, específicamente, surge después de terminada la mediación (de modo que si se espera que surjan efectos, habrán tenido tiempo de surgir), este tipo de evaluación resulta difícil. Es obvio que, cuanto más prolongado sea el tiempo entre la mediación y el intento de atribuir el cambio, tanto mayor será la probabilidad de que vayan a interferir otros factores de manera ya sea positiva o negativa para cambiar el efecto desea- do, que sea incorrecto el marco temporal (demasiado pronto o demasiado tarde) en el cual se trataba de medir el cambio, y que el resultado vaya a involucrarse en otras situaciones que surjan y se pierda. Otra forma para abordar el tema de la atribución es plantear la pregunta hipo- tética, es decir, ¿qué habría sucedido si no hubiera ocurrido la mediación? Resulta difícil contestar esta pregunta. Pero existen estrategias para hacerlo, utilizando propuestas tanto experimentales como cuasiexperimetales. El medio básico para resolver esta pregunta es utilizar asignaciones aleatorias y grupos de control o de comparación. En la medida de lo posible, lo mejor es planificar evaluaciones de impacto antes de que siquiera comience la mediación. Apenas dos de las razones para planificar la evaluación del impacto consisten en averiguar cuáles unidades van a recibir la mediación y cuáles no, y establecer información de referencia básica sobre todas las unidades. Meta evaluación Si se han realizado varias evaluaciones de una iniciativa o de iniciativas similares, una meta evaluación establece los criterios y los procedimientos para explorar sistemáticamente a través de las evaluaciones existentes para hacer un resumen de las tendencias y para crear confianza (o precaución) en los hallazgos de estu- dios transversales. La meta evaluación puede representar una vía razonablemen- te rápida para aprender ¿qué se sabe acerca del tema en este momento y cuál es el grado de confianza con que se sabe?. Leeuw y Cooksy (2003), utilizaron un enfoque de meta evaluación para hacer un resumen de los hallazgos de tres eva- luaciones de tres organismos para el desarrollo: el Departamento para el Desa- rrollo Internacional (DDI), el PNUD y el Banco Mundial. cap7.p65 131 24/07/05, 10:32 a.m. 132 Manual para gestores del desarrollo Características de las evaluaciones de calidad Si los gestores van a depender de información proveniente de un sistema de S&E, tienen toda la razón en cuestionar la calidad y la confiabilidad de la información que obtienen. La información inadecuada, inexacta y sesgada no le sirve a nadie. ¿Cómo puede un gestor saber si vale la pena considerar la información? Sin entrar en un debate detallado sobre las muchas facetas de la validez y la confiabilidad de los datos, y sin pretender que el gestor domine la estadística avanzada, son seis las características que se pueden considerar (gráfico 7.5). Una evaluación rápida de las seis características no va a garantizar que la información sea impecable o que no sea a prueba de errores, pero sí va a ofrecer un listado de control para que un gestor lo utilice para formarse una opinión sobre si debe utilizar la información. GRÁFICO 7.5 CARACTERÍSTICAS DE EVALUACIONES DE CALIDAD Imparcialidad: La información de evaluación debe estar libre de sesgos polí- ticos o de otra índole y de distorsiones deliberadas. La información se debe presentar con una descripción de sus fortalezas y debilidades. Se debe pre- sentar toda la información pertinente, no justo la que refuerza las opinio- nes del gestor. Utilidad: La información de evaluación debe ser pertinente, oportuna y es- crita de manera comprensible. También debe abordar las preguntas que se plantean y presentarse en un formato que desee el gestor y que mejor com- prenda. Suficiencia técnica: La información debe satisfacer estándares técnicos perti- nentes: diseño apropiado, procedimientos correctos de muestreo, redac- ción precisa de los textos de cuestionarios y pautas de entrevistas, análisis cap7.p65 132 24/07/05, 10:32 a.m. Paso 7: Utilizar información de evaluación 133 estadístico o de contenido apropiado, y respaldo adecuado para las conclu- siones y las recomendaciones, para nombrar sólo unos cuantos. Participación de partes interesadas: Deben existir garantías suficientes en el sentido que a las partes interesadas pertinentes se las ha consultado e in- volucrado en la evaluación. Si las partes interesadas van a confiar en la información, a apropiarse de los hallazgos y a estar de acuerdo en integrar en políticas, proyectos y programas en curso, y nuevos, lo que han apren- dido, deben quedar incluidas como asociadas activas en el proceso político. Las maneras más seguras para producir hostilidad y resentimiento hacia la evaluación y aun hacia el gestor que en primer lugar solicitó la evalua- ción son crear una fachada de participación o negarla a las partes interesa- das. Retroinformación y divulgación: Compartir información de manera apropiada, dirigida y oportuna constituye una característica distintiva frecuente de la utilización de la evaluación. Habrá interrupciones en la comunicación, pér- dida de confianza y hasta indiferencia o suspicacia acerca de los mismos hallazgos, si: a) la información de evaluación no se comparte de manera apropiada y se suministra a aquellos para quienes esa información resulta pertinente; b) el evaluador no planifica divulgar sistemáticamente la infor- mación y, en su lugar, supone que el trabajo ha quedado terminado cuando se presenta el informe o cuando se proporciona la información; c) no se hace el más mínimo esfuerzo para dirigir la información de manera apro- piada hacia las audiencias para quienes se supone debe dirigirse. Valor por dinero: Se debe gastar lo que sea necesario para adquirir la infor- mación deseada, pero no más. No es apropiado recabar datos costosos que no se van a utilizar como tampoco lo es utilizar estrategias costosas para recabar datos cuando se dispone de medios menos costosos. El costo de la evaluación debe ser proporcional al costo general de la iniciativa. En el presente capítulo se ha hecho hincapié en el papel que puede y debe desempeñar la evaluación en el desarrollo de un sistema de SyE basado en resul- tados. La información de evaluación puede tener pertinencia para todas las fases de un ciclo de las políticas, de un proyecto o de un programa. Si se produce de manera oportuna, se presenta de manera apropiada, es técnicamente adecuada, resuelve directamente las preguntas y es confiable, la información de evaluación puede ser útil a las necesidades del gestor del sector público. La evaluación y el seguimiento son complementarios y se necesitan mutuamente en un sistema de gestión basado en resultados. cap7.p65 133 24/07/05, 10:32 a.m. 134 Manual para gestores del desarrollo Ejemplos de evaluaciones en el ámbito de las políticas, los programas y los proyectos La información de evaluación puede informar a los encargados de formular las políticas y a los gestores de programa y de proyecto si las mediaciones están produciendo los resultados deseados, y puede ofrecer pistas clave al porqué las estrategias de ejecución avanzan o no por la senda correcta. En el gráfico 7.6 se presenta en dos ejemplos la clase de información que puede ofrecer la evaluación para proyectos, programas o políticas: privatización de sistemas hídricos y estra- tegias de reasentamiento. GRÁFICO 7.6 EJEMPLOS DE EVALUACIÓN cap7.p65 134 24/07/05, 10:32 a.m. CAPÍTULO 8 PASO 8: PRESENTAR INFORMES SOBRE HALLAZGOS GRÁFICO 8.1 La información de desempeño se debe utilizar como herramienta de gestión. Por tanto, la información de desempeño se deriva tanto del seguimiento como de la evaluación. Ambos pueden ofrecer retroinformación continua, crítica y en tiem- po real sobre los avances de un determinado proyecto, programa o políticas. Analizar y presentar informes sobre hallazgos constituye un paso crítico ya que decide qué se informa, cuándo y a quién. Así mismo, este paso debe abordar la capacidad técnica actual de la organización porque se enfoca a las dimensiones metodológicas de acumular, estimar y preparar análisis e informes. El presente capítulo centra su atención específicamente en la presentación de informes sobre los hallazgos y en la solución de los siguientes aspectos: a) utiliza- ción de los hallazgos del seguimiento y de la evaluación; b) conocimiento de las audiencias y focalización en esas audiencias de la información apropiada; c) pre- sentación de datos de desempeño de manera clara y comprensible; y d) qué suce- de si las noticias sobre desempeño son malas. cap8.p65 135 24/07/05, 10:32 a.m. 136 Manual para gestores del desarrollo ...La presentación de informes es, con demasiada frecuencia, el paso al cual los evaluadores le asignan la menor importancia. (Worthen, Sandeers y Fitzpatrick 1997, p. 407). Los usos de los hallazgos del seguimiento y la evaluación Los informes sobre seguimiento y evaluación pueden jugar muchos papeles dife- rentes y la información resultante se puede utilizar de maneras muy diversas: Para demostrar responsabilidad: cumpliendo las promesas políticas hechas a los ciudadanos y a las partes interesadas Para convencer: utilizando evidencia proveniente de los hallazgos Para educar: presentando los hallazgos para ayudar al aprendizaje orga- nizativo Para explorar e investigar: averiguando qué funciona, qué no funciona y por qué Para documentar: registrando y creando una memoria institucional Para involucrar: demostrando resultados para ayudar a recabar apoyo en- tre las partes interesadas Para fomentar la comprensión: presentando informes sobre resultados para acrecentar la comprensión de proyectos, programas y políticas. Los informes sobre evaluación son útiles para muchos fines. El propósito cen- tral, sin embargo, es transmitir el mensaje: informar a las audiencias apropia- das sobre los hallazgos y las conclusiones resultantes de la recolección, análisis e interpretación de la información de evaluación. (Adaptado de Worthen, Sanders y Fitzpatrick 1997). A esto algunos lo llaman hablando con la verdad al poder pero, ¿para qué sirve hablar con la verdad si el poder no está escuchando? A menos que encontremos maneras más eficaces para ayudar a que nuestras audiencias escuchen, es probable que todas nuestras buenas obras se malogren. A menudo, la manera como presentamos nuestros resultados, constituye la diferencia entre crear una onda pequeña o todo un chapoteo. (Wholey, Hatry y Newcomer 1994, p. 549). Conocer y seleccionar a los grupos objetivo Es necesario conocer las audiencias y saber cómo quieren que se exprese la infor- mación. Se deben tener en cuenta los intereses de la audiencia, sus expectativas y cap8.p65 136 24/07/05, 10:32 a.m. Paso 8: Presentar informes sobre hallazgos 137 sus medios de comunicación preferidos. Se debe diseñar una estrategia de comu- nicaciones que aborde las preguntas siguientes: ¿Quién va a recibir la información? ¿En qué formato? ¿Cuándo? ¿Quién va a preparar la información? ¿Quién la va a entregar? Durante el proceso en curso de determinar los hallazgos del seguimiento y de la evaluación, es indispensable asegurarse de que a todos se les informe sobre los avances y de que no haya sorpresas. Si el sistema de información va a suministrar retroinformación continua sobre el desempeño como herramienta de gestión, la comunicación continua también es importante para el proceso. Los resultados del seguimiento y de la evaluación se deben divulgar de manera continua con el fin de proporcionar retroinformación a los encargados del proceso decisorio. Par- te de la estrategia general de comunicaciones deben ser las comunicaciones infor- males (teléfono, correo electrónico, fax, conversaciones) y formales (reuniones informativas, presentaciones, informes por escrito). Los datos se deben presentar de manera sucinta y escueta y ser relevantes a la audiencia objetivo. Solamente se deben presentar los datos más importantes. Un... informe [sobre hallazgos] no puede quedar bien dirigido sin una defini- ción clara de su(s) audiencia(s) y de los tipos de preguntas que probablemente la audiencia va a plantear acerca de los hallazgos (Worthen, Sanders y Fitzpatrick 1997, p. 409). Si existen audiencias múltiples los involucrados en el proyecto, en el programa o en las políticas tal vez sea necesario presentar los datos conjuntamente y en un formato diferente, de acuerdo con los principales intereses y preferencias de cada audiencia. La estrategia de comunicaciones debe tener en cuenta los retos que con- lleva comunicar los resultados a diferentes partes interesadas. Es más, todas las partes clave deben dar el visto bueno al informe antes de su presentación formal. Hacerlo ayudará a eliminar errores y también a asegurarse de que muchos pun- tos se aclaren informalmente sin pasar por la situación embarazosa de confronta- ciones [posteriores] ... (Valadez y Bamberger 1994, p. 437). Es posible prever que existen usos múltiples de los hallazgos sobre desempe- ño. Uno puede imaginarlos como círculos concéntricos, es decir, la audiencia ob- jetivo forma el círculo interno, pero puede haber usos para los hallazgos que transciendan el círculo interno, incluyendo aquellos menos directamente involucrados o afectados. Con frecuencia, los evaluadores limitan el uso de da- tos de evaluación a las preguntas... que se están investigando. Es probable, y usual- mente lo es, que la información reunida tenga un significado y un uso para otras personas de la organización para fines que trascienden la intención del estudio cap8.p65 137 24/07/05, 10:32 a.m. 138 Manual para gestores del desarrollo deevaluaciónoriginal(Wholey,HatryyNewcomer1994,p.578).Porconsiguiente, también se puede prever una mayor divulgación a una audiencia más amplia de los hallazgos sobre desempeño. Habitualmente, cuanto más arriba se esté en jerarquía de mando, tanto menor la necesidad de detalles y de explicaciones exhaustivas; lo más apropiado van a ser datos agregados y sucintos pertinentes al tema específico. Por tal razón, las reuniones informativas en particular a altos funcionarios pueden representar otro medio eficaz para comunicar los hallazgos sobre desempeño. Descendiendo por la jerarquía de mando, es más probable que se prefieran datos más operativos. Grandes descargas de información son contraproducentes. Es necesario saber qué quieren los encargados del proceso decisorio y proporcionarles la informa- ción necesaria en el formato con el que se sientan más cómodos. Es probable que lo anterior exija adaptar la información al formato preferido para cada uno de ellos y para los usuarios finales. Es posible que los encargados del proceso decisorio estén buscando indicacio- nes de la acción requerida como respuesta a los hallazgos de los datos. También van a tener interés en opciones disponibles (entre ellas, costos, ventajas y desven- tajas, y similares) con respecto a emprender acciones relacionadas con los hallaz- gos de desempeño a lo largo de todo el proceso de seguimiento y evaluación. Los datos de desempeño se deben presentar haciendo una comparación con datos anteriores y con los datos básicos. Es más, a lo largo de todo el proceso de seguimiento y evaluación, es importante resaltar las implicaciones de acciones recomendadas. Rara vez resulta suficiente limitarse a recomendar que se emprendan ciertas acciones. Habitualmente, los funcionarios van a querer comprender plenamente las implicaciones de su ac- ción. Los evaluadores sagaces prevén esta necesidad y proporcionan las mejores estimaciones, en la medida de las posibilidades (o tal vez una gama de estimacio- nes), tanto de los costos como de los efectos de las recomendaciones (Wholey, Hatry y Newcomer 1994, p. 563). La continua presentación de informes sobre hallazgos puede, y debe, extenderse a orientar a los encargados del proceso deci- sorio a través de la ejecución de las recomendaciones. En términos de seguimiento y de retroinformación, se podría establecer un pro- ceso político con el objeto de reunir a partes interesadas y evaluadores para que analicen los hallazgos, las perspectivas, las acciones alternativas y los pasos siguien- tes. También podría resultar útil ...obtener retroinformación de constantes prin- cipales, como funcionarios elegidos, financistas y el público... respecto de la utilidad y legibilidad de los informes sobre desempeño. Se debe utilizar la retroinformación para ayudar a adaptar informes futuros sobre desempeño a la audiencia particu- lar (Hatry 1999, p. 154). cap8.p65 138 24/07/05, 10:32 a.m. Paso 8: Presentar informes sobre hallazgos 139 Resultan cruciales las comparaciones en el tiempo de los datos sobre desempe- ño. No sirve proporcionar datos para un solo trimestre o para un solo año determi- nado. Se debe comenzar con datos básicos para poder distinguir entre tendencias. Para determinar si los avances han sido constantes, si solamente ocurrió una racha corta de mejoría o si han desaparecido todas las mejoras anteriores, los informes siempre se deben presentar con base en datos básicos y mediciones intermedias. La comparación entre efectos reales y objetivos resulta vital a los resultados del informe. En el cuadro 8.1 se presentan datos básicos de indicadores, medicio- nes actuales y proyectadas, así como diferencias porcentuales relativas a efectos esperados. CUADRO 8.1 FORMATO DE PRESENTACIÓN DE INFORMES SOBRE EFECTOS: EFECTOS ACTUALES VS. OBJETIVOS Datos Diferencia básicos Actual Objetivo (puntos Indicador de efectos (porcentaje) (porcentaje) (porcentaje) porcentuales) Tasas de hepatitis (N = 6.000) 30 25 20 -5 Porcentaje de niños con mejor condición de salud general (N = 9.000) 20 20 24 -4 Porcentaje de niños que muestran cuatro de cinco puntajes positivos en exámenes físicos (N = 3.500) 50 65 65 0 Porcentaje de niños con mejor condición de nutrición (N = 14.000) 80 85 83 +2 Fuente: Datos de muestreo 2004. Presentación de datos de desempeño de manera clara y comprensible Es importante que los datos de resultados se presenten comparándolos con datos anteriores y con datos básicos. Son cruciales las comparaciones en el tiempo. Se pueden presentar informes sobre los datos siguientes: Gasto o ingreso costo y rentabilidad de proyecto, programa o políticas Cifras brutas indicaciones anteriores, proyecciones, estimaciones aproxi- madas, etcétera Porcentajes (por ejemplo, porcentaje de ciudadanos a quienes beneficia un proyecto) cap8.p65 139 24/07/05, 10:32 a.m. 140 Manual para gestores del desarrollo Pruebas estadísticas Unidades organizativas Localización geográfica Demografía Escalas de satisfacción de cliente: alta, media, baja. Los datos se deben presentar de manera clara, simple y fácilmente comprensi- ble. Sólo se deben presentar los datos más importantes. Se debe evitar el uso de siglas y de jerga. Para poder establecer el contexto, se debe proporcionar un míni- mo de información. Los puntos principales deben aparecer al comienzo. Los ha- llazgos y las recomendaciones se deben organizar en torno a efectos clave y sus indicadores. Para transmitir datos detallados, se puede utilizar un anexo o un informe por separado. Son cuatro las dimensiones de la presentación de informes: resúmenes por escrito, resúmenes ejecutivos, presentaciones orales y presentaciones visuales. Resúmenes por escrito Para poder ser una herramienta útil de gestión, el resumen por escrito debe con- tener una introducción (incluyendo justificación del informe, preguntas de eva- luación, antecedentes del programa y metas y objetivos del programa). El resumen debe contener una descripción de la evaluación (incluyendo enfoque de la eva- luación, metodología, limitaciones metodológicas, nombre de quien realiza la evaluación, época en que se realizó la evaluación). El informe debe presentar selectivamente y de manera comprensible los datos sobre hallazgos; organizar los datos en torno a preguntas de estudio, principales componentes de temas o programa; y utilizar diagramas y cuadros. Las conclusiones deben tener una conexión clara con la evidencia del desem- peño. Para apoyar las recomendaciones se debe presentar evidencia. Cuando se planifica el tiempo necesario para preparar el análisis y presentar el formato, se debe asignar tiempo suficiente para fines de revisión. También puede ser de utilidad contar con un lector externo especializado para que examine los hallazgos y el borrador del informe. Resúmenes ejecutivos Los resúmenes ejecutivos deben ser breves (de una a cuatro páginas). Los princi- pales hallazgos y recomendaciones se deben presentar en formato de punto ne- gro. Para mayores detalles, el resumen puede referir a los lectores al informe o a los anexos. El resumen ejecutivo debe contener una breve perspectiva general, incluyendo los antecedentes y los fines del estudio. Así mismo debe incluir una cap8.p65 140 24/07/05, 10:32 a.m. Paso 8: Presentar informes sobre hallazgos 141 descripción breve de las principales preguntas, temas y métodos de investiga- ción. Presentaciones orales También se pueden utilizar las presentaciones orales, por sí solas o acompañadas de un informe por escrito. Además de ensayar y obtener retroinformación, en la preparación de una presentación oral, se deben considerar los siguientes puntos: Quién es la audiencia Qué deben recordar de la presentación Cuáles son los recursos de entrega disponibles Qué tipo de información impresa (folletos, plegables) se deben ofrecer, si es del caso. A semejanza de las presentaciones por escrito, las presentaciones orales deben ser simples, claras y adaptadas a la audiencia. Se debe evitar el uso de lenguaje complejo y de datos detallados. La organización también es importarte: Cuénte- les qué les va a decir; dígaselo; dígales lo que les contó. Si es posible, se debe utilizar un formato interactivo con la audiencia y estar preparado para las pre- guntas. Presentaciones visuales Las presentaciones visuales diagramas, gráficas y mapas también son útiles para resaltar los puntos y los hallazgos clave del desempeño. Pueden ilustrar de un vistazolasdireccionesylastendencias.Existendiversostiposdediagramas(diagra- ma de sectores, diagrama de flujo, de series temporales, de dispersión de movi- mientos,debarras,derecorrido,etcétera)ygráficos(delíneas,debarras,desectores, de superficie, pictográfica, de contorno, histograma, de zona, de círculo, de super- ficie) que se deben considerar para presentar datos a la audiencia objetivo. La finalidad de los diagramas y de los cuadros es describir, explorar, tabular y comparar. Éstos pueden ofrecer impacto e interés visual, alentar la aceptación por parte de la audiencia y la retención en la memoria y mostrar la gran imagen. Los diagramas y los cuadros deben presentar los datos de manera simple y exacta, y hacerlos coherentes. Deben atraer la atención de la audiencia. Los cuadros son muy útiles para presentar datos y para resaltar cambios, com- paraciones y relaciones. Los diagramas son más útiles para transmitir el mensaje. Sirven para describir estructuras organizativas, demostrar flujos, presentar datos como símbolos, transmitir conceptos e ideas, y presentar datos numéricos de manera visual. cap8.p65 141 24/07/05, 10:32 a.m. 142 Manual para gestores del desarrollo Los cuadros bien diseñados tendrán las características siguientes: Simplicidad y exactitud Hileras y columnas claramente rotuladas sin abreviaturas Porcentajes redondeados al siguiente número entero Números totales Fuentes de los datos. En el cuadro 8.2 aparece un ejemplo de un cuadro eficaz, que se podría utilizar para demostrar datos descriptivos y para presentar informes sobre estos datos. CUADRO 8.2 CUADRO DE MUESTRA PARA PRESENTACIÓN DE INFORMES SOBRE DATOS DESCRIPTIVOS: DIFERENCIAS DE GÉNERO EN EL VOTO Votó en las últimas elecciones Sí No Hombres (N = 1.000) (%) 75 25 Mujeres (N = 700) (%) 55 45 Fuente: Datos de muestreo 2004. Principios de razonamiento sobre evidencia cuantitativa deben regir las presentaciones visuales de evidencia. Para representaciones de información, el razonamiento del diseño debe corresponder al racionamiento científico. Una visión clara y precisa se convierte en un solo ser con un pensamiento claro y preciso. (Tufte 2002, p. 53). Las características de diagramas bien diseñados incluyen lo siguiente: Fácil lectura y apropiado para la entrega; utiliza mayúsculas y minúsculas (no todo en mayúscula) y sólo unos pocos tipos de letra No utiliza patrones confusos o recargados Uso eficaz de espacios en blanco Sencillo Escalas reales En el título se transmite el mensaje Con el diagrama se proporcionan datos suficientes, de manera que el men- saje es claro Fuente de los datos Datos de respaldo en un anexo. cap8.p65 142 24/07/05, 10:32 a.m. Paso 8: Presentar informes sobre hallazgos 143 Los diagramas eficaces habilitan a los encargados de la formulación de las po- líticas y del proceso decisorio para ver rápidamente la situación actual de un de- terminado proyecto, programa o políticas incluyendo tendencias, direcciones, demoras, problemas, logros y perspectivas. Los diagramas también se deben uti- lizar para proporcionar ayudas visuales informativas y útiles para una presenta- ción continua de hallazgos. Ya sea en formato de diagrama o de gráfico, la representación gráfica constitu- ye una parte importante de la presentación de informes de la información. En el gráfico 8.2 se incluyen pautas para utilizar diagramas. Existen muchos formatos de presentación de informes, entre ellos informes por escrito y presentaciones visuales. Es importante averiguar con usuarios y par- tes interesadas sobre preferencias de presentaciones de datos. Se debe ejercer pre- caución para no utilizar diagramas inapropiados simplemente porque pueden ser populares. El valor de la información disminuye [a menudo] rápidamente en el tiempo, de manera que los hallazgos esenciales se deben comunicar tan rápidamente como sea posible. (Valadez y Bamberger 199, p. 437). ¿Qué sucede si los resultados del sistema de yE son malas S noticias sobre el desempeño? No se puede hacer gestión recibiendo sólo buenas noticias. La finalidad de un sistema adecuado de medición de desempeño es la de hacer aflorar los problemas no simplemente llevar buenas noticias. Este es otro de los aspectos políticos de los sistemas de SyE basados en resultados. Informar sobre las malas noticias constituye un aspecto crucial de la forma en que se establece una diferencia entre éxito y fraca- so. Y si no se puede determinar esa diferencia, es probable que los gestores estén recompensando tanto el éxito como el fracaso. Un sistema adecuado de desem- peño puede servir como una especie de sistema de alarma temprana. Los informes sobre desempeño deben incluir explicaciones (si es posible) so- bre efectos inadecuados e identificar las medidas tomadas o propuestas para re- solver los problemas (Hatry 1999). A los mensajeros no se les debe castigar por ser portadores de malas noticias. Infundir temor por llevar malas noticias no va a alentar la presentación de informes ni el uso de los hallazgos. cap8.p65 143 24/07/05, 10:32 a.m. 144 Manual para gestores del desarrollo GRÁFICO 8.2 PRINCIPIOS DE EXCELENCIA GRÁFICA cap8.p65 144 24/07/05, 10:32 a.m. CAPÍTULO 9 PASO 9: UTILIZAR LOS HALLAZGOS GRÁFICO 9.1 Una vez analizados en el capítulo anterior los métodos eficaces de presentación de informes, la atención se centra en la utilización de los hallazgos que emanan del sistema de seguimiento y evaluación basado en resultados (gráfico 9.1). Los siguientes aspectos van a ser objeto de análisis: a) los usos de los hallazgos del desempeño; b) los demás beneficios de utilizar los hallazgos: retroinformación, conocimientos y aprendizaje; y c) las estrategias para compartir la información. Uso de hallazgos de desempeño La finalidad principal de construir un sistema de SyE basado en resultados es mejorar el desempeño. El punto principal del sistema de SyE no se limita a gene- rar información continua basada en resultados, sino a hacer llegar esa informa- Utilizar hallazgos basados en resultados ayudará a informar al proceso decisorio. cap9.p65 145 24/07/05, 10:32 a.m. 146 Manual para gestores del desarrollo ción a los usuarios apropiados de manera oportuna, de modo que sea posible utilizar la retroinformación de desempeño en mejor gestión de las organizacio- nes y de los gobiernos. Como se indica en el recuadro 9.1, son diversas las formas en que se pueden utilizar los hallazgos. RECUADRO 9.1 DIEZ USOS DE LOS HALLAZGOS DE LOS RESULTADOS 1. Responder a las demandas de rendición de cuentas que hacen funcionarios elegidos y el público 2. Ayudar a formular y justificar solicitudes presupuestarias 3. Ayudar a tomar decisiones operativas de asignación de recursos 4. Impulsar exámenes a profundidad del tipo de problemas de desempeño que existan y de las correcciones a que haya lugar 5. Ayudar a motivar al personal a continuar haciendo mejoras a programas 6. Formular y hacer seguimiento al desempeño de contratistas y adjudicatarios de subvenciones 7. Proporcionar información para evaluaciones especiales y detenidas de programa 8. Ayudar a prestar servicios con mayor eficiencia 9. Apoyar trabajos de planeación estratégica y otros trabajos de planeación a largo plazo (pro- porcionando información básica y rastreando los avances posteriormente) 10. Mejorar la comunicación con el público para crear confianza de los ciudadanos. Fuente: Hatry 1999. Con respecto a ayudar a formular y a justificar solicitudes presupuestarias, la información de desempeño puede informar decisiones que pueden conducir a incrementos o reducciones presupuestarias. A partir de la retroinformación de desempeño es posible perfeccionar o ampliar proyectos, programas y las políti- cas; de igual manera, se pueden reducir totalmente. Los gestores también tienen la opción de ofrecer incentivos (monetarios y no monetarios) por su buen desem- peño al personal o sanciones (como revisiones negativas del desempeño del per- sonal) por el desempeño que no cumple las expectativas o se queda corto en los efectos esperados. En términos de la motivación del personal, se observa mejor ejecución cuando a los empleados públicos se los convierte en asociados en el negocio de gobierno. Cuando tienen visibilidad directa entre sus propias acciones y las metas, los em- pleados de todo el sistema comienzan a comprender y a mostrarse más entusias- tas acerca de los aportes que pueden hacer al logro de la meta deseada. A los gestores en algunos países de la OCDE (por ejemplo, Australia y Francia), se les otorga mayor flexibilidad operativa a cambio de mejor rendición de cuentas. Australia representa un ejemplo relacionado con el desempeño de contratistas y adjudicatarios de subvenciones. En Australia existen contratos de desempeño cap9.p65 146 24/07/05, 10:32 a.m. Paso 9: Utilizar los hallazgos 147 reales con organismos que especifican que no se asignarán fondos presupuestarios anuales hasta tanto se hayan evaluado los contratos y se haya hecho seguimiento a los resultados. En otros casos, si el organismo contrata u ofrece subvenciones a otras organizaciones para prestar servicios a clientes, puede incluir en los conve- nios objetivos de desempeño basados en efectos y luego comparar los efectos con esos objetivos (Hatry 1999, p. 170). En esta clase de contratos también se pueden estipular las recompensas y los castigos a partir del desempeño. Invitar a las partes interesadas a cooperar con el gobierno genera confianza. Si no se dispone de datos en los cuales basar las decisiones, es posible que esas decisiones sean arbitrarias. Al mismo tiempo, los encargados del proceso deciso- rio siempre tienen la potestad para tomar sus propias decisiones. Sin embargo, de dedicar el tiempo a hacer seguimiento, medir y evaluar y de incorporar los ha- llazgos en el proceso decisorio va a resultar un mejor proceso decisorio. Un coro- lario interesante a lo anterior es que se va a lograr un mejor desempeño si se comienza por pedir información de desempeño. Entre otros usos de los hallazgos de resultados se pueden mencionar: identifi- cación de mejores prácticas, apoyo a economías de escala, impedimento de tras- lapo y duplicación, y coordinación de programas similares de un organismo a otro (Wye 2002, p. 49). Existen muchos ejemplos de la utilización de hallazgos. En los recuadros 9.2 y 9.3 se ilustran algunos de los usos diferentes de los hallazgos del rendimiento. Beneficios adicionales de utilizar los hallazgos: retroinformación, conocimientos y aprendizaje Los sistemas de SyE proporcionan retroinformación importante sobre los avances de proyectos, programas y políticas, así como sobre el éxito y el fracaso, a lo largo de sus ciclos respectivos. Estos sistemas representan una poderosa herramienta de gestión pública continua que pueden utilizar los encargados del proceso decisorio para mejorar el desempeño y demostrar responsabilidad y transparencia con res- pecto a los resultados. La siguiente es una manera para considerar la retroinfor- macióndeSyEdentrodelcontextodeldesarrollo:Laretroinformacióndeevaluación se ha definido en términos amplios como un proceso dinámico que involucra la presentación y divulgación de información de evaluación con el fin de garantizar su aplicación a actividades para el desarrollo de nuevas o existentes... a diferencia de la divulgación de hallazgos de evaluación, la retroinformación es el proceso de garantizar que las lecciones aprendidas se incorporen en nuevas operaciones (OCDE 2001, p. 60). cap9.p65 147 24/07/05, 10:32 a.m. 148 Manual para gestores del desarrollo RECUADRO 9.2 USO DE DATOS DE DESEMPEÑO PARA RASTREAR Y REDUCIR EL DELITO EN LA CIUDAD DE NUEVA YORK El Departamento de Policía de la ciudad de Nueva York utilizó durante las dos décadas pasadas un sistema de SyE basado en resultados para trazar el mapa de la incidencia diaria del delito violento. CompStat constituye un sistema complejo de medición del desempeño que reordena las opera- ciones diarias de una organización, así como su orientación general hacia su misión medular y sus metas. CompStat se basa en la recopilación, distribución y utilización de datos en tiempo real con el fin de permitir a los gestores de campo tomar decisiones más informadas y más eficaces (OConnell 2001, p. 6). Como observaba Rudolph Giuliani, anterior alcalde de Nueva York, tenemos 88 distritos policiales. Todas las noches cada distrito registra todos los delitos indexados que han ocurrido en la zona bajo su control así como muchos otros datos. Registramos el número de quejas de la ciudadanía. Registramos el número de arrestos por delitos graves y por delitos menos graves. Todo esto hace parte de CompStat, un programa mandado por computador que ayuda a garantizar la responsabi- lidad ejecutiva. Y el propósito de este programa es averiguar si ha aumentado o ha disminuido el delito, no solamente en toda la ciudad, sino vecindario por vecindario. Y si el delito va en aumento, le permite a uno hacer algo al respecto ahora no dentro de año y medio, cuando el FBI publica las estadísticas del delito... Ahora tenemos esa información hoy mismo. Y, en efecto, podemos tomar decisiones estratégicas (OConnell 2001, p. 9). En consecuencia y durante un periodo de cinco años, en Nueva York se registró un descenso vertiginoso (53%) de la tasa de robo con allanamiento de morada; la tasa de robos reportados disminuyó en 54%, y se registró un increíble descenso de 67% en la tasa de asesinatos ... En gran medida, estos extraordinarios logros se debieron al modelo innovador de la gestión policíaca, a la cual se la conoce como CompStat (OConnell 2001, p. 8). El resultado global del uso de este sistema en tiempo real basado en resultados ha sido que ahora, la ciudad de Nueva York ostenta el título indiscutible de la metrópolis más segura de la nación... (NYC.gov 2003). Fuente: OConnell, 2001, NYC.gov 2003. La utilización de hallazgos de SyE puede fomentar el conocimiento y el aprendi- zaje de gobiernos y organizaciones. En la comunidad internacional de ayuda ahora el énfasis se pone cada vez más en la adquisición local de conocimientos, no en la transferencia de conocimientos del donante al receptor. ¿A qué se refiere exactamen- te el término aprendizaje en un contexto de seguimiento y evaluación basado en resultados? Se ha descrito al aprendizaje como un proceso continuo dinámico de investigación cuyos componentes clave son la experiencia, los conocimientos, el ac- ceso y la pertinencia. Requiere una cultura de indagación e investigación, antes que una cultura de respuesta y de presentación de informes (PNUD 2002, p. 77). Por derecho propio, un contexto de seguimiento y evaluación que genere conocimientos, fomente el aprendizaje y oriente la acción, representa un medio importante de construcción de capacidad y de sostenibilidad de los resultados nacionales. (PNUD 2002, p. 76). cap9.p65 148 24/07/05, 09:41 p.m. Paso 9: Utilizar los hallazgos 149 RECUADRO 9.3 EL DOL DE ESTADOS UNIDOS. UNA ORGANIZACIÓN CON UN SISTEMA MADURO Y OPERATIVO DE SyE BASADO EN RESULTADOS El Departamento del Trabajo de Estados Unidos (DOL, por sus iniciales en inglés) es ejemplo de una organización con un sistema maduro y operativo de SyE basado en resultados. La Ley de 1993 de Resultados del Desempeño del Gobierno de Estados Unidos fue la fuerza motriz de esta cam- paña. El DOL estableció una misión, una visión, un plan estratégico y tres metas estratégicas principales: fuerza laboral capacitada; fuerza laboral protegida; y lugares de trabajo de calidad. Trabajando a partir de estas tres metas, DOL estableció a continuación tres efectos concomitantes para cada una de estas metas estratégicas de mayor envergadura. Meta estratégica: 1. Fuerza laboral capacitada Efectos: a. aumentar el empleo, los salarios y la asistencia b. aumentar el número de jóvenes que hacen una transición exitosa al trabajo c. mejorar la efectividad y la información y el análisis sobre la economía de Estados Unidos Meta estratégica: 2. Fuerza laboral protegida Efectos: a. aumentar la observancia de las leyes de protección de los trabajadores b. proteger los beneficios de los trabajadores c. aumentar el empleo y los salarios de trabajadores en proceso de capa- citación para readaptación laboral Meta estratégica: 3. lugares de trabajo de calidad Efectos: a. reducir las lesiones, las enfermedades y las muertes en el lugar de trabajo b. fomentar puestos de trabajo con igualdad de oportunidades c. reducir la explotación del trabajo infantil, proteger los derechos funda- mentales de los trabajadores y fortalecer los mercados laborales A cada una de las metas estratégicas se le asigna un presupuesto anual, que posteriormente se mide con los desembolsos presupuestarios. Luego, DOL hace revisiones semestrales de cada una de las metas y incluye la información siguiente: Resultados: Los resultados disponibles más recientes de los efectos del desempeño Indicador: Las medidas que se van a utilizar para estimar los avances hacia el logro de la meta de desempeño Fuente de los datos: Los sistemas de medición que se van a utilizar para recabar los datos de indicadores de desempeño Datos básicos: el año básico y el nivel básico en comparación con los cuales se van a eva- luar los avances Comentario: Aspectos relacionados con cumplimiento de metas, sistemas de medición y estrategias que proporcionen un contexto o una descripción de la meta o el indicador del desempeño. Fuente: Departamento del Trabajo de Estados Unidos 2002. cap9.p65 149 24/07/05, 10:32 a.m. 150 Manual para gestores del desarrollo Los conocimientos y la gestión de los conocimientos son otros dos componen- tes clave de la utilización de hallazgos de desempeño. A través de la utilización de hallazgos es posible generar nuevos conocimientos de manera permanente. La gestión de los conocimientos significa apropiarse de los hallazgos, institucio- nalizar el aprendizaje y organizar el acervo de información producida continua- mente por el sistema de SyE. Los sistemas y las unidades de seguimiento y evaluación basadas en resulta- dos tienen una capacidad particular para ampliar el proceso de aprendizaje y de conocimientos. Cuando se usan de manera eficaz, los sistemas de SyE pueden constituir una forma institucionalizada de aprendizaje y de conocimientos. Por consiguiente, se debe incorporar el aprendizaje en el ciclo general de programa- ción por medio de un sistema eficaz de retroinformción. Para que se pueda con- vertir en conocimientos aplicados, la información se debe divulgar y poner al alcance de usuarios potenciales... El aprendizaje también es una herramienta cla- ve de gestión y, como tal, la estrategia para la aplicación de conocimientos de evaluación constituye un medio importante para avanzar hacia los efectos... Los efectos presentan más variables en torno a las cuales puede y debe ocurrir el apren- dizaje (PNUD 2002, pp. 75-76). El aprendizaje institucional es importante para los gobiernos y las organiza- ciones. Antes que un papel ad hoc, la evaluación de las políticas y programas debe cumplir un papel sistemático en el proceso de aprendizaje organizativo. Es indis- pensable crear un entorno político que estimule la presentación continua de in- formes, así como la utilización de los resultados. Los anterior implica que debe ocurrir algún grado de institucionalización antes de que se puedan utilizar los hallazgos en la gestión de las instituciones del gobierno. Un campo provechoso y prometedor del compromiso con el sector público lo constituye un énfasis en el aprendizaje organizativo como mecanismo para realzar el desempeño organi- zativo. En el recuadro 9.4 aparece un ejemplo de la manera en que los organismos ale- manes de ayuda cada vez más se desplazan en dirección del aprendizaje basado en la evaluación. Es posiblequetodavíamuchosgobiernosyorganizacionessemuestrenrenuentes a aprender, interiorizar y compartir los hallazgos de desempeño dentro de minis- terios, organizaciones, organismos y departamentos, y entre ellos. Son varios los retos organizativos, conductuales y políticos que es necesario aceptar. En el re- cuadro 9.5 se analizan algunos de los obstáculos al aprendizaje. Los sistemas de SyE adecuados pueden ayudar a superar estos obstáculos al aprendizaje. Al producir un flujo continuo de retroinformación y de datos, los sistemas de SyE pueden ayudar a los encargados del proceso decisorio a hacer una gestión más eficaz. A través de la utilización de sistemas de SyE es posible transformar las culturas organizativas. Quizás existan menores presiones que agotar conforme los gobiernos reciben datos que les ayudan a manejar los flujos cap9.p65 150 24/07/05, 10:32 a.m. Paso 9: Utilizar los hallazgos 151 RECUADRO 9.4 SEÑALES PARA MEJORAR LAS CONDICIONES PARA EL APRENDIZAJE BASADO EN LA EVALUACIÓN EN LOS ORGANISMOS ALEMANES DE AYUDA La estructura diversificada de cooperación para el desarrollo que tiene Alemania ha comenza- do a desplazarse gradualmente hacia una mayor concentración en temas puntuales, áreas prioritarias y países. Existe igualmente una tendencia paralela hacia mayor descentralización. Más que nunca, los organismos alemanes de ayuda oficial se consideran a sí mismos como organizaciones de aprendizaje y, en efecto, están comenzando a reestructurar los sistemas de gestión. Se pretende que sistemas de evaluación cumplan una función clave en todo esto y se les está asignando mayor prioridad y mayor independencia institucional. Está mejorando la calidad de la evaluación. Todos ellos: métodos más complejos y más orien- tación de impacto y mayor número de evaluaciones de base amplia (no confinadas a un pro- yecto único) ofrecen la perspectiva de que, en el futuro, se van a generar mayores conocimientos de los necesarios, tanto para mejorar la calidad como para el avance conceptual del trabajo de cooperación para el desarrollo, como para mayor rendición externa de cuentas. Los mismos organismos de ayuda consideran que es importante ampliar el grado al cual sistematizan e institucionalizan sus sistemas de retroinformación para el aprendizaje y la rendi- ción de cuentas basados en la evaluación. Los organismos de ayuda son conscientes de la urgente necesidad de hacer más para promo- ver la interiorización de las lecciones de evaluación, asumiendo un enfoque más sistemático e innovador. Algunos de ellos actualmente están haciendo una evaluación inicial para incluir este proceso en un sistema general de gestión de los conocimientos. En años recientes, entre los organismos alemanes de ayuda [se ha dado]... un impulso signifi- cativo al aprendizaje horizontal. Fuente: OCDE 2001, p. 19 de recursos. Así mismo, los sistemas de SyE ofrecen iniciativas incorporadas para aprender y señalar direcciones, tendencias, logros y problemas. La visión de túnel se podrá superar a medida que los datos sobre resultados arrojen luces sobre campos antes desconocidos o no comprendidos plenamente. También es posible mitigar la pérdida de memoria institucional debida a cambios de personal porque, cuando se mantienen bien, los sistemas de SyE producen un registro de los datos en el tiempo. Por último, disponiendo de retroinformación continua resulta más fácil manejar el cambio. Igualmente, comprendiendo la manera en que gobiernos y organizaciones aprenden e identificando y resolviendo los impedimentos, es posible superar los obstáculos. Existen formas para alentar una mayor utilización de los hallazgos de desempeño por medio del aprendizaje y de la construcción de conocimientos entre gobiernos y organizaciones (recuadro 9.6). cap9.p65 151 24/07/05, 10:32 a.m. 152 Manual para gestores del desarrollo RECUADRO 9.5 OBSTÁCULOS AL APRENDIZAJE La OCDE ha identificado varios obstáculos capaces de impedir el aprendizaje: Cultura organizativa. Algunas organizaciones poseen una cultura en la cual a la rendición de cuen- tas se la puede asociar con la culpa. Lo anterior tiene el efecto de desalentar la apertura y el aprendizaje. En otras [organizaciones], resulta más aceptable confesar francamente los errores y verlos como oportunidades de aprendizaje, aceptando que a veces hay tanto para aprender de proyectos con un mal desempeño como lo hay de historias de éxito. Presión para gastar. Aprender toma tiempo, y la presión para cumplir objetivos de desembolsos puede conducir a que se tomen atajos durante las etapas de planificación y aprobación de proyec- tos, que se haga caso omiso de lecciones de experiencias anteriores o solamente se aplican de manera selectiva en la prisa por que las decisiones se hagan realidad. Falta de incentivos para aprender. A menos que en el ciclo del proyecto se incorpore una rendición apropiada de cuentas..., es posible que existan escasos incentivos para aprender. Se trata del caso en particular cuando el personal o los consultores pasan de una tarea a otra y, por lo general, han continuado adelante antes de que se hagan sentir los efectos del fracaso. Visión de túnel. La tendencia de algunos empleados o de unidades operativas de quedar atrapa- dos en una rutina, continuando con lo que saben, aun cuando se aceptan ampliamente las des- ventajas de los viejos esquemas conocidos. Pérdida de memoria institucional. Causada por la frecuente rotación del personal o la demasiada dependencia de consultores a corto plazo o el debilitamiento o la desbandada de departamentos especializados. Inseguridad y el ritmo de cambio. Si el personal se siente inseguro o no tiene claridad sobre cuáles son sus objetivos, o si las prioridades de los distintos departamentos cambian frecuentemente, esto puede tener un efecto negativo en el aprendizaje. El carácter desigual de la relación de ayuda. El cual tiende a poner a los donantes al volante, inhibiendo por tanto las alianzas reales e impidiendo que se comparta el conocimiento en ambas direcciones. Fuente: OCDE 2001, pp. 20-21. Estrategias para compartir información Como parte de su sistema de SyE, planifique las comunicaciones desde un co- mienzo (IFAD 2002, pp. 6-7). Para divulgar la información y compartirla con partes interesadas clave, resulta esencial una estrategia adecuada de comunicaciones. La información basada en resultados se debe compartir con todas las partes interesa- das internas y externas. Para ejecutar recomendaciones... y para incorporar en fu- turos procesos decisorios las lecciones aprendidas, se requiere de un seguimiento activo [énfasis agregado]... Cuanto mayor sea el número de partes interesadas involucradas en la planificación de los pasos siguientes, tanto más probable que sigan adelante con la ejecución de las recomendaciones de la evaluación (FNUP 2002). También pueden ser muy útiles estrategias para compartir la información diseñadas para grupos particulares de partes interesadas y orientadas hacia esos cap9.p65 152 24/07/05, 10:32 a.m. Paso 9: Utilizar los hallazgos 153 RECUADRO 9.6 INCENTIVOS PARA EL APRENDIZAJE, LA CONSTRUCCIÓN DE CONOCIMIENTOS Y LA MAYOR UTILIZACIÓN DE HALLAZGOS DE DESEMPEÑO Gobiernos y organizaciones pueden estimular de manera proactiva al personal a aprender, cons- truir conocimientos y utilizar los hallazgos de desempeño. He aquí algunos ejemplos: Diseñar materiales de orientación sobre el uso de la información de efectos. Ofrecer capacitación sobre cómo utilizar la información de efectos a gestores y otros emplea- dos, que puedan utilizar esa información. Convocar a sesiones regulares de ¿cómo nos va? con el personal tan pronto como se presen- te el informe de efectos. Identificar y recompensar a oficinas, adjudicatarios e instalaciones con efectos adecuados. Diseñar pautas de asignación de subvenciones que premien el mejor desempeño. Utilizar los datos de efectos para identificar prácticas (mejores) exitosas dentro del organismo... Utilizar datos de efectos para identificar problemas comunes y, de ser posible, soluciones co- munes. Utilizar información de efectos para identificar necesidades de capacitación del personal o de asistencia técnica... Utilizar información de efectos para ayudar a priorizar el uso de los recursos. Fuente: Hatry, Morley, Rossman y Wholey 2003, pp. 16-17. grupos.Enestecontexto,sirvedeayudatratardeadaptaranuevosusosyformatos los requerimientos actuales de presentación de informes y los recursos (Wye 2002, p. 55). Utilizar la información de resultados puede asumir formas pasivas y activas (recuadro 9.7). Resulta clave entender a la audiencia objetivo. Las estrategias de comunica- ciones se deben adaptar para ajustarlas a una audiencia objetivo en particular; Parlamento, ministros, los medios, el sector privado, ONG y organizaciones de la sociedad civil y el público en general. Obviamente, la divulgación de hallazgos negativos o controvertidos de una evaluación puede crear dificultades a los orga- nismos... Pero... los beneficios a largo plazo de la divulgación hacen que valga la pena... Una mayor divulgación puede igualmente acrecentar la presión a favor de unseguimientomássistemáticodelasrecomendaciones,motivandoalmismotiem- po a quienes participan en las evaluaciones para que produzcan un resultado me- jor, ya que ellos saben que los informes que presenten se van a hacer públicos y no van a quedar sepultados en alguna parte (OCDE 2001, p. 26). Gobiernos y organizaciones pueden utilizar una gran variedad de estrategias para compartir información con partes interesadas internas y externas. Estas es- trategias también comprenden diversos medios diferentes que se pueden utilizar para compartir la información de desempeño. cap9.p65 153 24/07/05, 10:32 a.m. 154 Manual para gestores del desarrollo RECUADRO 9.7 ENFOQUES ACTIVOS Y PASIVOS A LA UTILIZACIÓN DE INFORMACIÓN DE RESULTADOS Resulta imprescindible que se utilice la información de resultados. No es suficiente limitarse a proporcionar información a usuarios potenciales dentro del gobierno: gestores y organismos de vigilancia. Como tampoco es siquiera suficiente una mejor transparencia a través de la publicación de información de desempeño. Los países han acudido a distintos enfoques para implantar esa obligación y, por lo general, se congregan en agrupaciones activas o pasivas. Entre las medidas más activas están los estudios más formales (comúnmente reuniones programadas durante las cuales se hace una estimación del desempeño), la atención de altos ejecutivos (o bien presidiendo el examen formal o mediante su participación directa en seguimiento y evaluación de irregularidades de desempeño), recom- pensas no monetarias (por lo general, el reconocimiento público con un premio u honores). Mu- chas de estas medidas se mezclan para lograr mayor impacto. Ejemplos de enfoques activos son la Iniciativa de Organismo de Gran Impacto de Al Gore, antiguo vicepresidente de Estados Uni- dos, y los estudios semestrales de desempeño, del Despacho del Primer Ministro del Reino Unido. Entre los enfoques pasivos están contratos de desempeño (convenios formales sobre objetivos entre gestores y personal), presión de pares (fácilmente se puede comparar una tarjeta de califica- ción del desempeño para cada unidad, distribuida a todas las unidades), aprobación o desaproba- ción pública, o incentivos monetarios (posibilidad de beneficio monetario si mejora el desempeño o si se logran los objetivos, bien sea de manera individual atando la remuneración o los bonos de los altos ejecutivos al desempeño de la organización, o de manera general, atando los salarios o los bonos de toda la organización al desempeño de la organización, o tratando de establecer un nexo entre el presupuesto de la organización y el desempeño). Los anteriores son enfoques pasi- vos en cuanto establecen una estructura pero no garantizan que las medidas de desempeño se utilicen para afectar las decisiones. Fuente: Dorotinsky 2003. Si se comunica de manera efectiva a las partes interesadas, entre ellas los ciudadanos, la información de desempeño puede hacer un aporte impresionante a mejorar el desempeño del gobierno. (Wye 2002, p. 53). Facultar a los medios Los medios pueden ser un aliado importante en la divulgación de los hallazgos producidos por sistemas de SyE basados en resultados. Por ejemplo, con frecuen- cia los medios informan sobre el cumplimiento real de gobiernos u organizacio- nes de los proyectos, los programas, las políticas y los servicios prometidos. Así mismo, los medios han jugado un papel decisivo exponiendo la corrupción y exigiendo gobernabilidad adecuada o mejor en muchos países. cap9.p65 154 24/07/05, 10:32 a.m. Paso 9: Utilizar los hallazgos 155 Promulgar leyes de Libertad de información La libertad de información constituye otra herramienta poderosa para compartir información con partes interesadas. Por ejemplo, recientemente el gobierno de Rumania promulgó leyes de libertad de información que estipulan que, con ex- cepción de información que pudiera perjudicar la estabilidad del país para prote- gerse y defenderse, cualquier persona que solicite información sobre el buen desempeño del gobierno, deberá obtenerla (Banco Mundial 2001d). Instituir el gobierno-e (E-Government) Cada vez más, gobiernos de todo el mundo están utilizando el gobierno-e como herramienta, y se está convirtiendo en una prioridad especial entre los países de la OCDE. El gobierno-e involucra utilizar las tecnologías de la información para ofrecer mejor acceso, alcance, información y servicios. Representa un nuevo entorno elec- trónico en el cual las partes interesadas pueden interactuar directamente con el gobierno, obtener información del gobierno y hasta hacer transacciones comercia- les en línea. También los países en desarrollo están avanzando en esta dirección. Por ejemplo, el gobierno de Jordán está emprendiendo una iniciativa de gobierno-e mediante la introducción de adquisiciones y contabilidad electrónica. Poner la información en sitios internos y externos de internet Otra manera efectiva para compartir información es la utilización de sitios Web internos (organismo o gobierno) y externos que incluyan hallazgos publicados de desempeño. Muchos organismos también están creando bases de datos de búsqueda de hallazgos de SyE. Publicar informes anuales de presupuesto No existe una manera más importante para comunicar cómo se gasta el dinero de los contribuyentes que publicar el presupuesto. Los ciudadanos van a tener la opor- tunidad de comparar la calidad y el nivel de los servicios que presta el gobierno y la prioridad de ese servicio o programa en el plan de gastos. Comprometer a la sociedad civil y a grupos de ciudadanos Comprometer a la sociedad civil y a grupos de ciudadanos también involucra la inclusión de ... rendición de cuentas, defensa y audiencias orientadas a la acción y... ponerse de acuerdo sobre (el contenido y la forma de) la información que ellos necesitan (IFAD 2002, p. 6-6). cap9.p65 155 24/07/05, 10:32 a.m. 156 Manual para gestores del desarrollo Fortalecer la supervisión parlamentaria Otra manera importante de compartir y divulgar la información es fortaleciendo la supervisión parlamentaria. En el Senado o en la Cámara, muchos parlamentos cuentan con comités activos de presupuesto o cuentas públicas. También existen otros organismos que ofrecen supervisión a los parlamentos, por ejemplo, la Ofi- cina General de Contabilidad de Estados Unidos (GAO), la Oficina de Auditoría y Evaluación del Congreso, o la Oficina Nacional de Auditoría para el Parlamento del Reino Unido. GAO y organizaciones gubernamentales similares y organismos también cumplen una función de investigación para los parlamentos para los cuales trabajan. Como parte de su función de supervisión, los parlamentos de varios países tanto industrializados como en desarrollo están comenzando a solicitar información de desempeño (véase recuadro 9.8). Estos parlamentos están atentos a que los presupuestos se utilicen de manera efectiva; por tanto, más go- biernos analizan la posibilidad de avanzar hacia una confección programática de presupuestos. RECUADRO 9.8 INFORMES DEL GOBIERNO CANADIENSE AL PARLAMENTO SOBRE DESEMPEÑO Todos los años, a partir de 1997, el gobierno ha sometido a aprobación del Parlamento dos con- juntos de informes departamentales. Departamentos y organismos producen, hacia el mes de marzo, Informes sobre Planes y Prioridades para el siguiente año fiscal. Hacia el mes de septiem- bre presentan a los parlamentarios los informes de Desempeño Departamental, en el cual se infor- ma sobre los logros obtenidos durante el año fiscal anterior. Para el Parlamento se produce un informe anual titulado Desempeño de Canadá. El informe contiene diecinueve indicadores so- ciales agrupados en cuatro temas principales: oportunidades económicas e innovación en Cana- dá; la salud de los canadienses; el medio ambiente canadiense; y la fortaleza y la seguridad de las comunidades canadienses. Los parlamentarios han hecho hincapié en la necesidad de que estos indicadores de hallazgos de resultados sean pertinentes, temporales, disponibles, comparables y comprensibles. Fuente: Presidente de la Junta del Tesoro de Canadá 2002, pp. 2-3. Fortalecer la Oficina del Auditor (Contralor) General MuchospaísestambiénseestánpercatandodequelaOficinadelAuditor(Contralor) General es un asociado clave para determinar si los gobiernos están funcionando de manera eficaz. Curiosamente, se está comenzando a observar una mejor ejecu- ción conforme los organismos de auditoría demandan más información sobre qué tan bien se desempeña el sector público y sobre cómo se están ejecutando en realidad los proyectos, los programas y las políticas. cap9.p65 156 24/07/05, 10:32 a.m. Paso 9: Utilizar los hallazgos 157 En Canadá, la Junta del Tesoro produjo una Guía para el Desarrollo de un Marco de Gestión basada en resultados y de Rendición de cuentas. La ...finali- dad de esta guía es servir de plan detallado para gestores, con el objeto de ayu- darles a centrar su atención en la medición de efectos y en la presentación de informes sobre efectos durante todo el ciclo de las políticas, de un programa de una iniciativa (Junta del Tesoro, Secretaría de Canadá 2001, p. 1). Compartir y comparar con asociados en el desarrollo los hallazgos de resultados Compartir y comparar con asociados en el desarrollo los hallazgos de resultados también resulta beneficioso en varios planos ... [A]prender del conocimiento de evaluación llega a ser más amplio que el aprendizaje organizativo simplemente y también abarca el aprendizaje para el desarrollo. Ayuda a comprobar sistemáti- camente la validez, la pertinencia y los avances de las hipótesis para el desarro- llo (PNUD 2002, p. 76). A partir de la introducción de las Estrategias Nacionales para la Reducción de la Pobreza y estrategias y políticas similares de base amplia, ha aumentado la necesidad de compartir información entre los asociaciones para el desarrollo en particular los organismos bilaterales y multilaterales de ayuda. Estas y otras iniciativas conjuntas se basan en la premisa del supuesto que la acción coordinada de organismos va a ser más efectiva que los empeños individua- les. Con todo, continúan siendo débiles los mecanismos para intercambiar leccio- nesdeevaluaciónentrelosorganismos[deayuda],yobstáculosprácticoscontinúan atravesándose en el camino de evaluaciones conjuntas más frecuentes las cuales, cuando sí ocurren, por lo general se las considera una manera muy adecuada para compartir lecciones y metodologías (OCDE 2001, p. 31). También se podría hacer más con respecto a compartir hallazgos de desempeño con países receptores de [ayuda] de donantes. Todas las partes interesadas clave en particular países re- ceptores necesitan convertirse en parte del proceso de SyE de principio a fin. Son muchas las maneras en que se pueden utilizar los hallazgos de desempe- ño. Se han analizado dos ejemplos exitosos que comprenden información sobre delitos y una organización gubernamental con un sistema maduro y operativo de SyE. También se han examinado los muchos beneficios que reporta utilizar los hallazgos, entre ellos retroinformación continua y aprendizaje y conocimientos organizativos e institucionales. Se han aceptado y examinado los obstáculos y los incentivos muchos de ellos políticos para utilizar hallazgos y se han estudiado algunas estrategias potenciales para compartir información entre partes interesa- das internas y externas. En el capítulo siguiente la atención se dirige al paso final del modelo, relacio- nado con la sustentación en la organización del sistema de SyE basado en resulta- dos. cap9.p65 157 24/07/05, 10:32 a.m. cap9.p65 158 24/07/05, 10:32 a.m. CAPÍTULO 10 PASO 10: SUSTENTAR EL SISTEMA DE SyE EN LA ORGANIZACIÓN GRÁFICO 10.1 Al llegar al último paso del modelo, la atención se centra en la sustentación de sistemas de SyE basados en resultados. A diferencia de un esfuerzo episódico para un período corto o para la duración de un determinado proyecto, programa o políticas, al sistema de SyE se le debe considerar como un trabajo a largo plazo. El hecho de sustentar en el interior de gobiernos o de organizaciones sistemas de esta índole constituye señal de reconocimiento del proceso a largo plazo que con- lleva garantizar su utilidad (ya que, sin utilidad, no resulta lógico contar con un sistema como este). En términos concretos, en el presente capítulo se examinan: a) seis componentes básicos de la sustentación de sistemas de SyE basados en resultados; b) la importancia de los incentivos y de elementos disuasorios para sustentar sistemas de SyE basados en resultados; c) los posibles obstáculos a la sustentación de un sistema de SyE basado en resultados; d) la validación y la eva- luación de sistemas de SyE y de la información; y e) los sistemas de SyE estimulan un cambio cultural positivo en gobiernos y organizaciones. cap10.p65 159 24/07/05, 10:32 a.m. 160 Manual para gestores del desarrollo Seis componentes clave de sustentar sistemas de yE basados S en resultados Se examinan seis componentes cruciales involucrados en la construcción de la sustentabilidad de sistemas de SyE. Cada una de estas dimensiones demanda aten- ción y cuidado continuos. Demanda Si la demanda es episódica o aleatoria, no se van a utilizar ni a sustentar los siste- mas de SyE basados en resultados. A una demanda sostenida y consistente de tales sistemas le van a ser de gran ayuda requerimientos estructurados de presentación de informes sobre resultados, incluyendo leyes, normatividad y requerimientos internacionales para el desarrollo (por ejemplo, PPME y acceso a la Unión Europea). Cada vez más, los gobiernos, la sociedad civil y los donantes están demandando resultados a los que sistemas de SyE les puedan seguir la pista, hacer seguimiento y medirlos. La demanda también se puede estimular en muchos casos, cuando las metas estratégicas del gobierno se traducen en sistemas de SyE basados en resultados, como por medio de Estrategias Nacionales de Reducción de la Pobreza y otras iniciativas. No se trata simplemente de iniciativas dirigidas a la actividad, más bien tratan de resolver la pregunta ¿y qué? ¿Cuáles son las consecuencias de los esfuerzos de políticas y programas para reducir la pobreza y abordar a los grupos más vulnerables? Funciones y responsabilidades claras Es indispensable establecer funciones y responsabilidades claras así como jerar- quías formales organizativas y políticas. Se debe definir con claridad la organiza- ción y la gente que va a estar encargada de recabar, analizar y presentar informes sobre información de desempeño. La orientación es necesaria. Por ejemplo, un ministro de Hacienda puede ser responsable de administrar las iniciativas o las Estrategias Nacionales de Reducción de la Pobreza, y va a tener que asignar direc- tivas a los ministerios sectoriales u operativos en el sentido de recabar y presentar informes sobre datos pertinentes al seguimiento de los diversos efectos especifi- cados en la estrategia. Es vital la coordinación política interna. Se debe construir un sistema tal que cree un nexo entre la planificación central y los ministerios de hacienda con los ministerios operativos y sectoriales. Estos puentes que vinculan ministerios son importantes, como lo es la necesidad de comunicación horizontal destinada a mantener informadas a todas las partes involucradas. En caso de que se presen- ten problemas organizativos, éstos deben ser resueltos más temprano que tarde. cap10.p65 160 24/07/05, 10:32 a.m. Paso 10: Sustentar el sistema de SyE en la organización 161 Igualmente importante resulta construir un sistema continuo de recolección y análisis de datos que trascienda al gobierno nacional y llegue a otras instancias del gobierno. A través de todos los diversos niveles del gobierno, se debe ajustar la recolección, el análisis y la presentación de informes sobre datos. Por ejemplo, en los sectores de salud o educación va a ser importante poner énfasis en los ámbitos local y regional porque es allí donde se van a presentar los requerimien- tos para cumplir metas nacionales. Posteriormente, los resultados del análisis y la presentación de datos en estos ámbitos se van a ingresar en la base de datos na- cional más grande con el fin de determinar los avances logrados hacia los efectos deseados. Por último, los sistemas de SyE se deben construir de tal manera que se pro- duzca una demanda de información de resultados en todos los ámbitos en los que se recaben y analicen datos. No existe ningún nivel del sistema al que se le puede considerar meramente un recorrido de información. Las partes de reco- rrido en el sistema crean gran vulnerabilidad y pueden conducir a fallas en los sistemas de SyE. Si la gente no se involucra, si no hay apropiación, entonces en los niveles de recorrido la gente va a comenzar a perder el interés y el resultado va a ser una recolección inadecuada de datos y un mal análisis de los mismos. Información confiable y creíble El sistema de SyE debe estar habilitado para producir información de resultados y ser portador tanto de buenas como de malas noticias. La información de desem- peño debe ser transparente y estar al alcance de todas las partes interesadas clave. Si al debate de los problemas no lo respalda una información confiable y creíble, lo único que queda son las opiniones personales y las suposiciones. Así mismo es necesario observar que los productores de información de resul- tados deben estar a salvo de represalias. Si las malas noticias acarrean problemas al mensajero en su trayectoria profesional, el temor va a impregnar el sistema y a quedar comprometida la confiabilidad de la información producida. Castigar a quienes portan malas nuevas equivale a una manera rápida de socavar un siste- ma de SyE. La información que produce el sistema de SyE debe ser transparente y estar sujeta a verificación independiente. Una vez más, el sistema va a ser defectuoso si los datos sobre desempeño del gobierno se quedan en un círculo estrecho o si existen cancerberos que impiden la divulgación de esa información. Como con- trol adicional al sistema, y con el fin de garantizar que los datos que genere el sistema sean precisos y confiables, y para crear confianza entre los gestores que pudieran utilizar los datos, sería aconsejable contar con un examen regular inde- pendiente por parte de la oficina nacional de autoría, del Parlamento o de un grupo de académicos. cap10.p65 161 24/07/05, 10:32 a.m. 162 Manual para gestores del desarrollo Rendición de cuentas Ninguna instancia del gobierno debe quedar exenta de la rendición de cuentas a las partes interesadas. Organizaciones de la sociedad civil y ONG (como Transpa- rencia Internacional) pueden cumplir un papel clave alentando la transparencia y la rendición de cuentas y hasta pueden colaborar en la recolección de los datos. Por ejemplo, debido a que la capacidad del gobierno de Bangladesh para recabar y presentar informes sobre esos datos es muy débil, las ONG ayudan a reunir da- tos educativos locales. Los medios, el sector privado y el parlamento también tie- nen funciones que cumplir con la finalidad de garantizar que la información producida sea oportuna, exacta, esté disponible y aborde el desempeño del go- bierno. No recompensar el fracaso es igualmente importante. La rendición de cuentas significa que se deben reconocer y resolver los problemas. Capacidad La sostenibilidad del sistema requiere de sólidas destrezas técnicas en recolección y análisis de datos. Así mismo se necesitan destrezas en gestión para fijar metas estratégicas y para el desarrollo organizativo. Los sistemas de recolección y recu- peración de datos deben estar a punto y en perfecto funcionamiento y se deben modernizar. Los gobiernos van a tener que comprometer recursos financieros permanentes en el mantenimiento y la gestión de sistemas de SyE basados en resultados. Para la sostenibilidad a largo plazo de estos sistemas también son úti- les la experiencia y la memoria institucionales. Incentivos Es indispensable introducir incentivos para alentar la utilización de información de desempeño. Lo anterior significa la necesidad de reconocer y recompensar el éxito, de resolver los problemas, de no castigar a los mensajeros, de valorar el aprendizaje organizativo y de compartir los ahorros presupuestarios. No se pue- de contar con sistemas corruptos o ineficaces para producir información y análi- sis de calidad. En los recuadros 10.1 y 10.2 aparecen ejemplos de las maneras en que los go- biernos han tratado de introducir y sustentar entornos basados en resultados. La Carta ciudadana del Reino Unido y la Ley de Desempeño y Resultados del Go- bierno de Estados Unidos (GPRA), respectivamente, incorporan los componentes cruciales de la sostenibilidad. La Carta Ciudadana resulta pertinente a la sostenibilidad del sistema de SyE en cuanto establece un contrato en curso entre el gobierno y los ciudadanos estipulando las expectativas del desempeño, y las responsabilidades. Por su parte, la Ley GPRA también institucionaliza legalmente cap10.p65 162 24/07/05, 10:32 a.m. Paso 10: Sustentar el sistema de SyE en la organización 163 al sistema de SyE dentro de los organismos del gobierno, haciendo sostenibles a estos sistemas en el largo plazo. RECUADRO 10.1 CARTA CIUDADANA DEL REINO UNIDO En el Reino Unido existen contratos ejecutados entre el gobierno y grupos de ciudadanos, deno- minados Cartas Ciudadanas, las cuales estipulan que el gobierno será responsable de un deter- minado grado de desempeño ante el público. La Carta Ciudadana, puesta en marcha en 1991, tiene como finalidad mejorar los servicios públi- cos y hacerlos más receptivos a los usuarios. Hoy día existen cuarenta capítulos principales que cobijan servicios públicos clave y estipulan los estándares de servicios que puede esperar la gen- te. También existen más de diez mil capítulos locales que cubren a los proveedores de servicios locales, como escuelas, la policía y los bomberos. Además, se reemprendieron Redes de Calidad de la Carta Ciudadana como una red de gestores de servicios públicos para compartir ideas sobre el programa, sobre servicio al cliente y problemas de calidad y para compartir mejores prácticas. En la actualidad son veintidós las Redes de Calidad distribuidas en el Reino Unido, con participación de más de mil quinientas personas. Como parte de la iniciativa Buen Gobierno, la Unidad de la Carta ha creado un Comité de Perso- nas, compuesto por cerca de cinco mil personas en todo el Reino Unido. El Comité tiene como finalidad consultar con los ciudadanos acerca de sus actitudes hacia los servicios públicos y gene- rar ideas sobre las maneras de mejorar los servicios. Además de la Oficina del Gabinete, otros departamentos, organismos y entes públicos utilizan al comité para fines de investigación y con- sulta. Fuente: Oficina del Gabinete del Reino Unido. Los países en desarrollo también trabajan en la creación de capacidad de eva- luación, en la institucionalización de la evaluación y en la utilización de hallazgos de resultados dentro del gobierno: en sistemas de SyE sostenibles, en resumen. En el cuadro 10.1 se hace una comparación de estos empeños en Colombia, China e Indonesia. cap10.p65 163 24/07/05, 10:32 a.m. 164 Manual para gestores del desarrollo RECUADRO 10.2 LEY DE DESEMPEÑO Y RESULTADOS DEL GOBIERNO DE ESTADOS UNIDOS En la década de los setenta, las primeras mediciones del desempeño en Estados Unidos se inicia- ron con los gobiernos locales, para luego propagarse a los gobiernos estatales y, con el tiempo, al ámbito del gobierno federal con la promulgación en 1993 de la Ley de Desempeño y Resultados (GPRA). El gobierno federal de Estados Unidos adoptó un sistema de medición del desempeño tiempo después de que lo hicieran otras instancias y, en realidad, mucho después de algunos gobiernos extranjeros. Los propósitos de la Ley GPRA son: (1) mejorar la confianza del pueblo estadounidense en la capacidad del Gobierno Federal, haciendo sistemáticamente responsables a los organismos fede- rales del logro de resultados de programa; (2) iniciar la reforma del desempeño de programa mediante una serie de proyectos piloto en la fijación de metas de programa, midiendo el desempe- ño de programa comparándolo con esas metas y presentando públicamente informes sobre los avances de esas metas; (3) mejorar la efectividad del programa federal y la rendición pública de cuentas fomentando un nuevo enfoque en resultados, calidad del servicio y satisfacción del clien- te; (4) ayudar a los gestores federales a mejorar la prestación de servicios, exigiéndoles planificar para cumplir los objetivos de programa y proporcionándoles información sobre resultados de pro- grama y calidad de los servicios; (5) mejorar el proceso decisorio del Congreso ofreciendo infor- mación más objetiva sobre el logro de objetivos estatutarios y sobre la efectividad y la eficacia relativas de los programas y del gasto federal; y (6) mejorar la gestión interna del Gobierno Fede- ral (Oficina de Gestión y Presupuesto de Estados Unidos 1993). Según una encuesta reciente de dieciséis programas de doce oficinas del gobierno de Estados Unidos, muchos programas federales ya han utilizado datos de efectos recolectados con regula- ridad para ayudarles a mejorar sus programas... Los gestores federales han utilizado datos de efectos de diversas maneras [entre ellas], para provocar acciones correctivas; identificar y estimu- lar el uso de mejores prácticas; motivar [y recompensar al personal]; y planificar y confeccionar presupuestos, ... A la vez, la encuesta identificó obstáculos continuos de hecho, obstáculos que pueden afectar a cualquier organización a la utilización de datos de efectos: a) falta de autoridad o de interés para hacer cambios; b) comprensión escasa del uso de datos de efectos; c) proble- mas de datos de efecto (como datos obsoletos, datos no desagregados, falta de especificidad, necesidad de datos intermedios, etcétera); y d) temor de echar a pique el barco (Hatry, Morley, Rossman y Wholey 2003, pp. 11-13). En épocas más recientes, el mandato de la Ley GPRA se ha extendido a la integración de las áreas de desempeño y presupuesto. También se está trabajando en todas las instancias del gobierno para agrupar más estrechamente la planificación estratégica y anual y la presentación de informes. En términos generales, la GPRA es simplemente un buen negocio. Los requerimientos de esta ley han proporcionado a los departamentos del gobierno las herramientas básicas para trabajar de manera sensata: fijar metas de desempeño y medir efectos tanto a largo como a corto plazo. Cualquier organización que busque ofrecer una mejor calidad de vida, mayor cantidad de servi- cios y mejor calidad general de los servicios al cliente debe tener una visión y una misión, fijar metas y objetivos y debe medir resultados (ChannahSorah 2003, pp. 5-6). cap10.p65 164 24/07/05, 10:32 a.m. Paso 10: Sustentar el sistema de SyE en la organización 165 CUADRO 10.1 DESARROLLO DE CAPACIDAD DE EVALUACIÓN E INSTITUCIONALIZACIÓN. PROBLEMAS CLAVE RESUELTOS EN COLOMBIA, CHINA E INDONESIA Problema Colombia China Indonesia Sustentar el La Constitución faculta al El Consejo Estatal La responsabilidad se le régimen de Ejecutivo para asumir redacta convocatorias asigna al Ejecutivo por evaluación esta tarea de resolución a los medio de un decreto Organismos Centrales ministerial. del Ejecutivo para que se encarguen. Posicionar la Centralizada en el Descentralizado en Centralizado en la Oficina función de Departamento Nacional organismos centrales Nacional de Planeación evaluación de Planeación (DNP). clave. para el Desarrollo Organismos sectoriales (Bappenas, por sus siglas clave ofrecen insumos. en indonesio). Los organismos sectoriales ofrecen insumos. Evaluar la cobertura Políticas públicas y Proyectos del sector Políticas, planes, progra- principales programas público. mas y proyectos para el del sector público. desarrollo. Vincular la evalua- El DNP cumple una No se han establecido Bappenas crea un vínculo ción con otras función clave en la vínculos formales. La entre evaluación y el funciones del sector formulación de políticas y Comisión Estatal de proceso anual de asigna- público estrategias y en la Planeación participa en ción presupuestaria. asignación presupuesta- la asignación de ria y en el seguimiento. recursos públicos y en el seguimiento de esos recursos. Utilizar la evaluación Información de segui- Seguimiento y La información de segui- en el proceso miento y evaluación debe evaluación para miento y evaluación fluye a decisorio fluir a los jefes de los informar la gestión del través de los gestores de organismos sectoriales y organismo central. organismos sectoriales al DNP. hacia Bappenas. Asignarle estatus La evaluación es una A la evaluación se la A la evaluación no se la profesional a la disciplina transversal que considera principalmen- considera una profesión función de atraviesa destrezas te como análisis por separado, sino como evaluación profesionales específicas. socioeconómico una disciplina complemen- aplicado. taria. Recursos para La evaluación debe La evaluación queda La evaluación queda evaluación quedar establecida en los establecida en los establecida en los presupuestos de los presupuestos de los presupuestos de los diversos organismos. organismos centrales. organismos. Nota: Bappenas = Badan Perencanaan Pembangunan Nasional; DNP = Departamento Nacional de Planeación. Fuente: Guerrero 1999, p. 180. cap10.p65 165 24/07/05, 10:32 a.m. 166 Manual para gestores del desarrollo La importancia de los incentivos y de los elementos disuasorios para sustentar los sistemas de y S E Sustentar sistemas de SyE también conlleva utilizar incentivos apropiados para mantener a los gestores y a las partes interesadas en la senda correcta y motivarlos. Establecer incentivos para sistemas de SyE significa ofrecer estímulos que alien- ten... a los funcionarios de SyE y a las partes interesadas principales a percibir la utilidad del SyE, no como tarea burocrática sino como una oportunidad para deba- tir abiertamente los problemas, reflexionar con sentido de crítica y criticar de mane- ra constructiva con el fin de aprender qué cambios se necesitan para mejorar el impacto (IFAD 2002, Sección 7, p. 4). Existen diversos incentivos organizativos, fi- nancieros, de recursos, políticos, de asistencia técnica y de capacitación que se pue- denutilizarparasustentarsistemasde SyE.Deigualmanera,parasustentarsistemas de SyE, es necesario que los gestores eliminen los elementos disuasorios. En los recuadros 10.3 y 10.4 aparecen listados de control de los tipos de incentivos y de elementos disuasorios que se deben tener en cuenta. RECUADRO 10.3 LISTADO DE CONTROL PARA INCENTIVOS AL PERSONAL QUE ESTIMULAN UN SISTEMA DE SyE PARTICIPATIVO Y ORIENTADO AL APRENDIZAJE ¿Se dispone de los siguientes incentivos? Claridad sobre la responsabilidad del SyE Recompensas financieras y otras recompensas físicas: salarios apropiados y otras recompen- sas Apoyo a la actividad; apoyo, como apoyo financiero y otros recursos, para realizar actividades de proyecto, programa de las políticas Estrategia de personal y de asociado: contratar empleados con una actitud abierta al aprendi- zaje y llegar a alianzas con asociados dispuestos a ensayar formas de SyE más participativas Cultura de proyecto, programa o políticas: aplauso y estímulo para quienes hacen preguntas e innovan, otorgando al SyE un estatus relativamente alto entre el personal Procesos de evaluación inicial del desempeño: enfoque igual en la capacidad del personal para aprender e innovar, antes que solamente si han alcanzado sus metas cuantitativas Demostrar el uso de datos de SyE: haciendo explícitos e interesantes los datos mediante su demostración Retroinformación: informando a los recolectores de datos, a los proveedores de información y a otros participantes en el proceso sobre la manera en que se utilizaron (analizaron) los datos y qué aporte hicieron al proyecto. Fuente: IFAD 2002. cap10.p65 166 24/07/05, 10:32 a.m. Paso 10: Sustentar el sistema de SyE en la organización 167 RECUADRO 10.4 LISTADO DE CONTROL DE ELEMENTOS DISUASORIOS QUE IMPIDEN UN SISTEMA DE SyE PARTICIPATIVO Y ORIENTADO AL APRENDIZAJE ¿Del proyecto, programa de las políticas se han eliminado los siguientes elementos disuasorios? Utilizar la unidad de SyE para asignar al personal degradado o no calificado No dejar claro la forma en que se van a utilizar los datos o en que fueron utilizados Castigar a quienes innovan dentro de los límites de los proyectos a su cargo o a quienes co- menten errores Poner el enfoque de las evaluaciones iniciales de desempeño solamente en las actividades emprendidas (productos) Rotación frecuente del personal a cargos diferentes El personal se siente aislado o impotente en términos del reconocimiento de sus aportes al logro de la meta del proyecto (el problema de la visibilidad directa) Actitudes poco constructivas hacia lo que constituye participación o hacia las principales partes interesadas. Fuente: IFAD 2002. Posibles problemas de sustentar sistemas de yE e información S Son varios los obstáculos que pueden surgir en la sustentación de sistemas de SyE. Hatry (1999) pone de relieve algunos problemas posibles de la ejecución y la sustentación de sistemas de SyE, a saber: Necesidades de capacitación del personal Costos generales y factibilidad del sistema Cambios en prioridades legislativas y de organismos Mantener la estabilidad de los indicadores en el tiempo Documentar el proceso de medición de efectos (quién hará qué) Temor y resistencia de los gestores de programa Participación de otras instancias del gobierno y del sector privado Totalización de efectos entre proyectos, programas o sitios Efectos de comunidad versus efectos específicos a programa Respaldo legislativo Política. Los retos en el campo de recursos humanos constituyen algunos de los aspec- tos más cruciales de la ejecución y la sustentación de sistemas de SyE. Tal vez estos retos no sean tan diferentes de todos los aspectos de recursos humanos del sector público. En primer lugar, existen problemas en contratar y retener personal califi- cado capaz de construir y administrar un nuevo sistema de información. ¿Es po- cap10.p65 167 24/07/05, 10:32 a.m. 168 Manual para gestores del desarrollo sible encontrar ese personal y, si es así, es posible contratarlo? En segundo lugar, está el problema de qué va a arriesgar el personal aventurándose en una nueva iniciativa del gobierno o, para plantearlo de otra manera, ¿cuál es el calibre de quienes abandonan sus cargos actuales para ocupar cargos en una nueva unidad de SyE? En tercer lugar está el problema de si la primera cohorte de los contratados son agentes de cambio. La construcción de un sistema de SyE es un proceso de cambio con una pesada connotación política. ¿Las personas a las que se está contra- tando son conscientes de este hecho y están dispuestas a administrar un proceso de cambio? En cuarto lugar, ¿es posible ofrecer capacitación continua para todo el personal en todos los grados? Son inevitables nuevas metodologías, tecnologías y procedimientos y se deben compartir con el personal. ¿Se puede ofrecer esa capaci- tación? Es más, considerando la rotación de personal, ¿cuán pronto y cuán ade- cuadamentesepuedecapacitaralnuevopersonalparaquerápidamenteaumenten su productividad y aportes a la unidad? El sistema de SyE tendrá que responder y adaptarse a cambios de prioridades legislativas y organizativas. No obstante estos mayores cambios políticos y de entorno, es importante conservar la estabilidad de los indicadores. La gente quie- re tener la posibilidad de comparar problemas y tendencias similares durante un determinado periodo de tiempo. Validar y evaluar sistemas de yE y la información S Para sustentar sistemas de SyE basados en resultados, es importante mejorarlos y perfeccionarlos continuamente. Los mismos sistemas de SyE se deben evaluar con regularidad, utilizando evaluadores internos o externos. Los evaluadores pueden prestar asistencia en la validación de datos de desempeño y en el mejoramiento de sistemas de medición de desempeño. Las evaluaciones de sistemas de medición de desempeño deben poner el enfoque tanto en el grado al cual se utiliza la informa- ción de desempeño en la gestión para alcanzar metas de desempeño como en proporcionar rendición de cuentas a partes interesadas clave y al público en ge- neral (Wholey 2001, p. 345). Sistemas de yE: estimular cambios culturales positivos S en los gobiernos y en las organizaciones En esencia, los sistemas de SyE representan retos políticos y, en menor grado, retos técnicos. Crear, ejecutar y sustentar sistemas de SyE puede ayudar a produ- cir cambios culturales significativos en la forma en que funcionan los gobiernos y las organizaciones. Los sistemas de SyE pueden traer consigo cambios culturales positivos que conduzcan a un mejor desempeño, mejor rendición de cuentas y transparencia y mayor aprendizaje y conocimientos (véase recuadro 10.5). cap10.p65 168 24/07/05, 10:32 a.m. Paso 10: Sustentar el sistema de SyE en la organización 169 RECUADRO 10.5 UNA CULTURA DE EVALUACIÓN Y ALIANZAS DE COOPERACIÓN AYUDA A CONSTRUIR LA CAPACIDAD DE UN ORGANISMO En un estudio reciente se hizo un análisis del desarrollo de una cultura de evaluación en cinco organismos diferentes del gobierno de Estados Unidos: la Administración para Niños y Familias; la Guardia Costera; el Departamento de Vivienda y Urbanismo; la Administración Nacional de Segu- ridad del Tráfico Vial; y la Fundación Nacional de la Ciencia. Estos cinco organismos utilizaban diversas estrategias para desarrollar y mejorar la evaluación. Se desarrolló la cultura organizativa de la evaluación y un compromiso institucional con el aprendizaje a partir de la evaluación, para apoyar los debates sobre las políticas y las demandas de rendición de cuentas. El estudio encontró que los elementos clave de la capacidad de evaluación eran una cultura de evaluación, datos de calidad, experiencia analítica y alianzas de cooperación. Los organismos demostraron su cultura de evaluación evaluando regularmente el buen funcionamiento de los pro- gramas. Los gestores valoraron y utilizaron esta información para poner a prueba nuevas iniciati- vas o para estimar los avances hacia el cumplimiento de las metas de los organismos. Los organismos hicieron hincapié en el acceso a datos que fueran creíbles, confiables y consistentes entre jurisdicciones con el fin de garantizar que los hallazgos de la evaluación fueran confiables. También los organismos necesitaban tener acceso a experiencia analítica y a conocimientos espe- cializados en investigación. Por último, los organismos conformaron alianzas de cooperación con asociados de programa y otros con el fin de apalancar recursos y conocimientos especializados para obtener información de desempeño. Fuente: GAO de Estados Unidos 2003. Los sistemas adecuados de SyE basados en resultados se deben utilizar para que sean sostenibles. Son seis los componentes que se necesitan para sustentar estos sistemas: demanda, incentivos, funciones y responsabilidades claras, infor- mación confiable y creíble, rendición de cuentas y capacidad. En muchos países de la OCDE sí existen sistemas de SyE sostenibles, y también algunos países en desarro- llo se encuentran en camino hacia la construcción y la sustentación de estos siste- mas. Sobre todo, los sistemas de SyE basados en resultados representan poderosas herramientas de gestión pública que facilitan cambios culturales y políticos positi- vos en los gobiernos y en las organizaciones para demostrar resultados, rendición de cuentas y transparencia. Así mismo, facilitan los conocimientos y el aprendiza- je. ¡Y se pueden hacer realidad! Últimos recordatorios La demanda de construcción de capacidad nunca termina. La única mane- ra en que una organización puede deslizarse es cuesta abajo. A los defensores se les debe mantener del lado de uno y se les debe ayudar. cap10.p65 169 24/07/05, 10:32 a.m. 170 Manual para gestores del desarrollo Se debe llegar a un entendimiento con el Ministerio de Hacienda y con el Parlamento en el sentido que un sistema de SyE requiere de recursos soste- nidos. Se deben buscar todas las oportunidades para crear un vínculo entre infor- mación de resultados y las decisiones de asignación de presupuestos y re- cursos. Se debe comenzar con pilotos para demostrar un seguimiento eficaz basa- do en resultados. También con una estrategia de enclave (es decir, islas de innovación) en comparación con un enfoque de todo el gobierno. Hacer seguimiento tanto a los avances de la ejecución como a los logros de resultados. Complementar el seguimiento del desempeño con evaluaciones con el fin de garantizar una mejor comprensión de los resultados del sector público. cap10.p65 170 24/07/05, 10:32 a.m. CAPÍTULO 11 HACER QUE EL SISTEMA DE SyE BASADO EN RESULTADOS FUNCIONE PARA USTED Y PARA SU ORGANIZACIÓN Por qué sistemas de yE basados en resultados S Conforme partes interesadas de carácter nacional e internacional, preocupadas por el proceso de desarrollo, tratan de comprometer a gobiernos y organizacio- nes en mayor rendición de cuentas, transparencia y resultados, los sistemas de SyE basados en resultados se han convertido en un fenómeno global. Todos ellos: instituciones multilaterales para el desarrollo, gobiernos donantes, Parlamentos, el sector privado, las ONG, grupos de ciudadanos y la sociedad civil expresan de viva voz su interés y su preocupación por obtener resultados tangibles. El apoyo político y financiero de gobiernos y de sus programas tiene una conexión cada vez más cercana con la capacidad del gobierno para ejecutar políticas adecuadas, demostrar su eficacia en el uso de recursos y entregar resultados verdaderos. Los Objetivos de Desarrollo del Milenio, la Iniciativa de Países Pobres Muy Endeudados, la financiación de la Asociación Internacional para el Desarrollo, la membresía a la Organización Mundial del Comercio y el ingreso a la Unión Euro- pea representan ejemplos de apenas algunas de las iniciativas internacionales y de los factores de cambio que apuntan en dirección a los sistemas de SyE basados en resultados. En el plano interno, los gobiernos enfrentan los desafíos de la libe- ralización de normas, la comercialización y la privatización, así como de presu- puestos y recursos fluctuantes. cap11.p65 171 24/07/05, 10:32 a.m. 172 Manual para gestores del desarrollo Por las anteriores razones, gobiernos y organizaciones recurren al sistema de SyE basado en resultados confiando en que esta herramienta de gestión pública pueda ayudarlos a idear políticas apropiadas, a manejar recursos financieros y de otra índole y a cumplir los mandatos y las promesas hechas a partes interesadas internas y externas. El sistema de SyE basado en resultados trasciende al SyE tradicional con énfasis en insumos y productos y, cuando se le utiliza con eficacia, ayuda a los encarga- dos de formular las políticas y del proceso decisorio a centrar su atención en efec- tos e impactos, y a analizarlos. Al fin de cuentas, es poco lo que los insumos y los productos puedan agregar acerca de la eficacia de unas políticas, de un proyecto o de un programa determinado. En tanto el sistema de SyE tradicional continúa siendo parte importante de la cadena de SyE basado en resultados, son los efectos y los impactos los que mayor interés despiertan y más importan a los gobiernos y a las partes interesadas. Hay que reconocer que construir y sustentar sistemas de SyE basados en resul- tados no resulta tarea fácil. Hacerlo exige compromiso continuo, defensores, tiem- po, esfuerzo y recursos. En la construcción de estos sistemas tal vez existan muchos retos organizativos y técnicos que sea necesario vencer. Por lo general, los retos políticos son los más difíciles. Y es posible que sea necesario hacer varios intentos antes de poder ajustar el sistema para adaptarlo a las políticas, al programa o al proyecto determinado de un gobierno o de una organización. Pero se puede lo- grar. Y lo cierto es que vale la pena hacerlo a la luz de las demandas cada vez más generalizadas de demostrar un desempeño adecuado y de las condiciones conco- mitantes a esa demostración. Los sistemas de SyE adecuados también construyen capital de conocimientos habilitando a los gobiernos y a las organizaciones para que desarrollen una base de conocimientos de los tipos de políticas, programas y proyectos que han de- mostrado ser exitosos y en términos más generales, de lo que funciona, de lo que no funciona y el porqué. Los sistemas de SyE basados en resultados también fo- mentan mayor transparencia y rendición de cuentas, y es posible que tengan efec- tos externos beneficiosos en otras partes de un gobierno o de una organización. En resumen, en la medición del desempeño radica un poder enorme. Muchos de los países miembros de la OCDE cuentan con más de veinte años de experiencia en SyE, encontrándose en etapas diversas de avance respecto de los sistemas de SyE basados en resultados. A semejanza de los países en desarrollo, los países de la OCDE han creado culturas de evaluación y sistemas de SyE en res- puesta a grados diversos de presiones internas y externas. Es más, los países industrializados han optado por una variedad de puntos de partida para ejecutar sistemas de SyE basados en resultados, entre los cuales está el enfoque de todo el gobierno, de enclave y el mixto. De acuerdo con los resultados de una encuesta reciente en la OCDE, la mayoría de los países miembro de ésta incluyen actualmente información de desempeño cap11.p65 172 24/07/05, 10:32 a.m. Hacer que el sistema de SyE basado en resultados funcione 173 en sus presupuestos. Con respecto a consideraciones de resultados, cerca de la mitad de los países han tenido en cuenta la distinción entre resultados y efectos. Todavía queda mucho por hacer, sin embargo, como crear un nexo entre objeti- vos de desempeño y gastos, y utilizar la información de desempeño para decidir sobre asignaciones presupuestarias. Por tanto, el sistema de SyE basado en resul- tados aún continúa siendo un trabajo en curso. Las lecciones aprendidas a partir de las experiencias de los países de la OCDE son de utilidad y aplicables para los países en desarrollo conforme hoy en día confron- tan los retos de crear sus propios sistemas y culturas de SyE. Entre los países que han logrado mayores éxitos en la adopción de sistemas de SyE basados en resulta- dos se encuentran los países de la OCDE que gozan de sistemas políticos democráti- cos,fuertestradicionesempíricas,empleadospúblicosformadosencienciassociales y elevados niveles de gasto en educación, salud y bienestar social. De hecho, an- tes que lo contrario, la construcción de estos sistemas es primero que todo, y lo más importante, una actividad política con dimensiones técnicas. La experiencia de la OCDE demuestra que la creación de sistemas de SyE basados en resultados exige dedicación continua para lograr una cobertura integral entre sistemas de gestión gubernamental y sistemas presupuestarios. En la medida en que se esfuerzan por resolver la pregunta ¿y qué?, los paí- ses en desarrollo están abocados a diversos retos únicos: ¿Cuáles son los resulta- dos y los impactos de las acciones y de las mediaciones del gobierno? Es posible que estos países encuentren obstáculos como la falta de demanda y de apropia- ción de sistemas de SyE, una capacidad institucional débil, falta de cooperación y de coordinación burocrática, falta de defensores en altos cargos, marcos legales o de normatividad débiles o inexistentes, una cultura de SyE tradicional, falta de capacidad de fuerza laboral, culturas políticas o administrativas no propicias a la ejecución de SyE, etcétera. No obstante los obstáculos mencionados, muchos paí- ses en desarrollo han logrado avances extraordinarios en el desarrollo de siste- mas de SyE. Aunque los retos sean difíciles de superar, el buen gobierno es básico al logro del desarrollo económico, social y humano. No menos que los demás, los países en desarrollo también merecen un buen gobierno. Por último, ha surgido una nueva necesidad de sistemas de SyE que abarquen los nuevos empeños de alianzas amplias, considerando el número creciente de alianzas internas y externas que actualmente se están conformando para alcanzar las metas del desarrollo. La siguiente etapa en el proceso evolutivo de extender el alcance de los sistemas de SyE es la coordinación internacional de los resultados. Cómo crear sistemas de yE basados en resultados S El modelo de diez pasos que se presenta puede ayudar a gobiernos y organiza- ciones a crear, desarrollar y sustentar sistemas de SyE basados en resultados. Este modelo es adecuado para políticas, programas y proyectos. Si bien, visualmente cap11.p65 173 24/07/05, 10:32 a.m. 174 Manual para gestores del desarrollo tiene la apariencia de un proceso lineal, en realidad no lo es. Resulta inevitable avanzar hacia adelante y hacia atrás conforme se van dando los pasos, o trabajar en varios pasos a la vez. El modelo ofrece algunos rasgos únicos, entre ellos el Paso 1: realizar una esti- mación de la preparación. Esta estimación a menudo pasada por alto u omitida constituye una herramienta de diagnóstico que determina si los gobiernos en reali- dad están preparados y capacitados para avanzar en la construcción, utilización y sustentación de sistemas de SyE. Las tres partes principales de la estimación de la preparación incluyen un examen de incentivos o demandas para diseñar y cons- truir un sistema de SyE basado en resultados, funciones y responsabilidades y es- tructuras existentes para estimar el desempeño del gobierno y los requerimientos de construcción de capacidad. En términos más concretos, la estimación de la pre- paración estudia ocho campos clave, entre ellos los siguientes: qué o quién impulsa la necesidad de sistemas de SyE; motivaciones de los defensores; apropiación y be- neficiarios de los sistemas; manera en que el sistema va a apoyar una mejor asigna- ciónderecursosyellogrodemetas;cómotratarlainformaciónnegativaoperjudicial que genera el SyE; capacidad existente para apoyar sistemas de SyE; y nexos entre el sistema de SyE y metas de proyecto, programa, sector y nacionales. Las estimaciones de la preparación, realizadas en países en desarrollo, ya han producido diversas lecciones aprendidas. Por ejemplo, Bangladesh contaba con apenas algunos de los requisitos necesarios para comenzar a construir sistemas de SyE. Sin embargo, en Egipto y Rumania, las estimaciones produjeron informa- ción vital sobre probables puntos de partida para comenzar a trabajar en SyE. Se determinó que los ingredientes clave de la mezcla de SyE eran defensores políti- cos en altos cargos y un liderazgo político fuerte y sostenido. Entre otros hallaz- gos se incluye que los ministerios se encuentran en etapas diferentes en su capacidad para realizar SyE. Tal vez sea posible avanzar con el sistema de SyE tra- bajando con grupos de innovación dentro del gobierno. Igualmente importantes son las comunicaciones y la coordinación dentro y entre los organismos y depar- tamentos del gobierno y entre donantes. Tal vez los países en desarrollo carezcan actualmente de la capacidad institucional, humana y técnica para diseñar, ejecu- tar y utilizar sistemas de SyE basados en resultados; sin embargo, no se trata de un obstáculo insalvable. Se puede ofrecer capacitación y asistencia técnica para su- perar estas dificultades. Pero ni toda la formación ni toda la asistencia técnica pueden remplazar la voluntad política local. Con frecuencia resulta más difícil superar los retos políticos que los técnicos. El Paso 2 consiste en elegir efectos para hacerles seguimiento y evaluarlos. Independientemente de si cuentan con la capacidad para realizar SyE, todos los gobiernos deben fijar metas. Los efectos van a señalar la ruta que se debe seguir. Construir el sistema de SyE es, básicamente, un proceso deductivo en el cual to- dos ellos: insumos, actividades, productos y efectos se derivan de la fijación de metas estratégicas a más largo plazo. De igual manera, fijar efectos es el primer cap11.p65 174 24/07/05, 10:32 a.m. Hacer que el sistema de SyE basado en resultados funcione 175 componente básico del desarrollo de un marco de desempeño. De los efectos van a fluir los indicadores, los datos básicos y los objetivos. La construcción de sistemas de SyE es un proceso político participativo y du- rante los diversos pasos del modelo incluyendo la estimación de la preparación, la fijación de efectos, el establecimiento de indicadores, etcétera, se debe consul- tar con partes interesadas internas y externas clave. Será indispensable identificar las partes interesadas más importantes y sus principales preocupaciones. Es nece- sario reformular los problemas existentes en un conjunto de efectos positivos. Se deben desagregar las declaraciones de efectos y cada declaración sólo debe conte- ner una meta. (Lo anterior será importante para el desarrollo de indicadores y ob- jetivos). Ponerse de acuerdo sobre prioridades y efectos estratégicos ayudará entonces a dirigir la asignación de recursos. Los indicadores clave del desempeño (Paso 3) sólo se pueden confeccionar una vez acordadas y fijadas las metas comunes. Al igual que con el caso de los efectos, cuando se estén eligiendo los indicadores, se deben tener en cuenta los intereses de muchas partes interesadas. Los indicadores son las variables cuanti- tativas y cualitativas que ofrecen un medio sencillo y confiable para medir el lo- gro de las metas. Como se ha reafirmado a lo largo del modelo, para todos los niveles del sistema de SyE basado en resultado se deben confeccionar indicadores, lo cual significa que éstos se van a necesitar para hacer seguimiento continuo a los avances respecto de insumos, actividades, productos, efectos e impactos. En todos los niveles se debe hacer seguimiento a los avances para ofrecer retroinformación sobre instancias de éxito, así como sobre aquellas que requieran de mejoría. Los indicadores de seguimiento deben ser claros, relevantes, económicos, mensurables y adecuados (CREMA). Así mismo, cada indicador necesita su pro- pio sistema de SyE por separado, de modo que es necesario tener precaución para no confeccionar demasiados indicadores. Se pueden adoptar indicadores sustitu- tos y diseñados de antemano, con plena conciencia de las ventajas y las desventa- jas de utilizarlos. Con frecuencia, se necesita más de un intento para confeccionar indicadores adecuados; se va a necesitar tiempo para llegar al conjunto final de indicadores. Es esencial un estudio piloto de indicadores. En toda su extensión, es necesario analizarlos detenidamente. Y no se deben cambiar muy a menudo: hacerlo pue- de llevar al caos al sistema general de recolección de datos. También es necesario recordar que los indicadores de desempeño se pueden utilizar para ofrecer re- troalimentación continua y pueden ofrecer un acervo de información de desem- peño. Muchos países en desarrollo están logrando avances en el proceso de selección de indicadores de desempeño. Los datos básicos (Paso 4) se derivan de los efectos y de los indicadores. Fun- damentalmente, los datos básicos de desempeño son información cualitativa o cuantitativa que suministra datos al comienzo del período de seguimiento, o cap11.p65 175 24/07/05, 10:32 a.m. 176 Manual para gestores del desarrollo justo antes de este período. Los datos básicos se utilizan como punto de partida para hacer seguimiento al desempeño futuro. O, para expresarlo de una manera algo diferente, los datos básicos son las primeras mediciones de los indicadores. El reto estriba en obtener información adecuada de datos básicos sobre cada uno de los indicadores de desempeño para cada efecto. Se plantearon ocho preguntas con respecto a la construcción de información de datos básicos: fuentes de los datos, métodos de recolección de los datos, quién reúne los datos, con qué frecuencia se recaban, costo y dificultad para recogerlos, quién analiza los datos, quién presenta informes sobre ellos, y quién los utiliza. Las fuentes son quién o qué suministra los datos: no los métodos para recogerlos. Las fuentes de datos pueden ser primarias o secundarias. A lo largo del continuo existen diversos métodos de recolección de datos que van desde métodos informales y menos estructurados hasta métodos más estructurados y formales. Los métodos de recolección de datos incluyen conversa- ción con personas interesadas, entrevistas con la comunidad, exámenes de regis- tros oficiales, entrevistas con informantes clave y observación de participante, entrevistas con grupos de estudio, observaciones directas, cuestionarios, encues- tas únicas, encuestas de grupo, censos y experimentos de campo. Necesariamen- te las estrategias de recolección de datos conllevan algunas concesiones con respecto a costos, precisión, credibilidad y oportunidad. Establecer datos básicos sobre indicadores resulta crucial para determinar la situación actual y para medir el desempeño futuro. Mediciones posteriores a par- tir de los datos básicos van a proporcionar datos importantes sobre direcciones o tendencias y pueden ayudar a los encargados del proceso decisorio a averiguar si marchan por la senda correcta respecto de las metas que se han trazado. El Paso 5 es seleccionar objetivos de resultados. Los objetivos son los pasos provisionales a lo largo del camino hacia un efecto a más largo plazo. Una vez más, está implicado un proceso de razonamiento deductivo, en el cual los objetivos se basan en efectos, indicadores y datos básicos. Elegir los objetivos también debe aca- rrear un proceso consultivo, político y participativo con partes interesadas clave. Los objetivos se pueden identificar incorporando niveles deseados de mejoría en el ámbito de datos básicos de indicadores (suponiendo un nivel finito y esperado de insumos y de actividades). Teniendo en cuenta todos los aspectos de recursos (insumos), los indicadores deben ser factibles. Se espera que cada indicador tenga solamente un objetivo durante un periodo de tiempo especificado. La confección de objetivos es el paso final de la construcción del marco de desempeño. A la vez, el marco de desempeño se convierte en la base de la plani- ficación: con implicaciones concomitantes de confección de presupuestos, asig- nación de recursos, contratación de personal, etcétera. Los marcos de desempeño tienen gran aplicación y se pueden utilizar con eficiencia como formato para Es- trategias Nacionales de Reducción de la Pobreza, planes de proyectos, programas y políticas. cap11.p65 176 24/07/05, 10:32 a.m. Hacer que el sistema de SyE basado en resultados funcione 177 El Paso 6, hacer seguimiento para obtener resultados, conlleva tanto el segui- miento de la ejecución (medios y estrategias) como el seguimiento de los resulta- dos. Los principios clave de la construcción de un sistema de seguimiento incluyen reconocer las necesidades de información de desempeño en el ámbito de las po- líticas, de programa y de proyecto; la necesidad de información de desempeño para desplazarse horizontal y verticalmente en la organización; identificar la de- manda de información de desempeño en todos los ámbitos; e identificar las res- ponsabilidades en todos los niveles. Confiabilidad, validez y oportunidad de los datos constituyen los criterios más importantes para recabar datos calificados de desempeño. Todo sistema de segui- miento requiere de apropiación, gestión, mantenimiento y credibilidad. Hacer seguimiento para obtener resultados también exige la recolección de datos y el análisis de datos de desempeño. La construcción de sistemas de seguimiento im- plicará retos de aseguramiento de la calidad. Es necesario prever estos retos y por tanto es importante realizar pruebas preliminares de instrumentos y procedimien- tos de recolección de datos. Construir el marco del sistema de seguimiento significa que cada efecto va a requerir un indicador, datos básicos, objetivo, estrategia de recolección de datos, análisis de datos, plan de presentación de informes y usuarios identificados. Resulta esencial lograr resultados por medio de alianzas. Múltiples asociados tendránquedeterminarlosmediosylasestrategias.Cuandoseconsidereninsumos disponibles se debe buscar más allá de la unidad organizativa. Dentro de la pro- pia organización se pueden crear alianzas en otros lugares o aun con otras orga- nizaciones dentro o fuera del gobierno. El Paso 7 implica utilizar la información de evaluación para apoyar a un sistema de SyE basado en resultados. El seguimiento y la evaluación son complementarios y se necesitan en estos sistemas. La información de evaluación se puede utilizar para muchosfines:tomardecisionessobreasignaciónderecursos;repensarlacausalidad de los problemas; identificar problemas nacientes; apoyar el proceso decisorio para elegir entre alternativas antagónicas; apoyar la reforma del sector público, etcétera. La información de evaluación también puede ser pertinente en todas las fases de un ciclo determinado de políticas, programa o proyecto. Otra consideración importante es el momento oportuno de las evaluaciones. La información de evaluación es fundamental cuando: a) las mediciones regulares de indicadores clave sugieren una divergencia aguda entre el desempeño proyec- tado y el real; b) los indicadores de desempeño sugieren consistentemente resulta- dos de una iniciativa débiles o inexistentes; c) las asignaciones de recursos se están efectuando a través de políticas, programas o proyectos; y d) proyectos, programas o políticas similares están presentando evidencias divergentes de los efectos. Existen siete tipos de evaluación diferentes: cadena de desempeño lógico, es- timación previa a la ejecución, evaluación inicial rápida, estudio de caso, evalua- ción meta, evaluación de impacto y ejecución de proceso. Cada una de ellos resulta cap11.p65 177 24/07/05, 10:32 a.m. 178 Manual para gestores del desarrollo apropiada para clases específicas de preguntas de evaluación. Las evaluaciones de calidad se pueden caracterizar por su imparcialidad, utilidad, participación de partes interesadas, valor por dinero, retroinformación y divulgación, y suficien- cia técnica. El Paso 8, presentar informes sobre hallazgos constituye un paso crucial del proceso. Para ayudar a mejorar las políticas, programas y proyectos se deben uti- lizar datos y hallazgos continuos de desempeño. Cuando se analizan los datos y se presentan informes sobre los mismos, cuanto mayor sea el número de medi- ciones de los datos tanta mayor será la certeza sobre tendencias, direcciones y resultados. Ocurre una concesión implícita entre frecuencia de la medición y pre- cisión de la medición. También influyen el costo y la capacidad. Los datos de desempeño se deben presentar comparándolos con datos ante- riores y con los datos básicos. Así mismo, para medir y comparar con resultados esperados, se debe contar con la capacidad para comparar entre circunstancias actuales y pasadas. Los datos de seguimiento no son datos de causalidad. No informan el por qué de la ocurrencia de un hecho. Cuando se presentan informes sobre hallazgos también es importante tener en cuenta la audiencia objetivo. El Paso 9, utilizar los hallazgos va a informar mejor el proceso decisorio. Existe una gran diversidad de usos para los hallazgos del desempeño. Por ejemplo, los presupuestos basados en desempeño confeccionan presupuestos para obtener resultados, pero también ayudan a los encargados del proceso decisorio a hacer gestión para obtener efectos. Otro fenómeno que vale la pena destacar es que si se solicita la información de desempeño, el resultado va a ser un mejor desempe- ño. Utilizar hallazgos continuos también puede ayudar a generar conocimientos y aprendizaje dentro de gobiernos y organizaciones. Otro componente clave de la utilización de hallazgos es la construcción de un sistema creíble de gestión de conocimientos. Son varias las estrategias posibles de utilizar para compartir información. Para divulgar y compartir información con partes interesadas clave se requiere de una estrategia adecuada de comunicaciones. Compartir información con partes inte- resadas sirve para involucrarlas en el negocio del gobierno y puede ayudar a generar confianza. Después de todo, se trata de uno de los propósitos de cons- truir un sistema de SyE basado en resultados. Por último, el Paso 10 tiene que ver con la sustentación del sistema de SyE. Se sugiere la existencia de seis componentes cruciales para hacerlo: demanda, fun- ciones y responsabilidades claras, incentivos, información confiable y creíble, ren- dición de cuentas y capacidad. También se examinaron los incentivos y los elementos disuasorios que pueden llegar a influir en la sustentación de sistemas de SyE. Y así mismo se sabe que la ejecución y la sustentación de los sistemas va a dar origen a problemas. cap11.p65 178 24/07/05, 10:32 a.m. Hacer que el sistema de SyE basado en resultados funcione 179 Recapitulación Los sistemas de SyE basados en resultados representan una poderosa herramienta de gestión pública que pueden utilizar gobiernos y organizaciones para demostrar responsabilidad, transparencia y resultados. También pueden servir para construir y fomentar el apoyo y la consonancia política y financiera a políticas, programas y proyectos comunes. Y pueden ayudar al gobierno a construir una base sólida de conocimientos. Lo que es más importante, los sistemas de SyE basados en resultados también pueden provocar cambios políticos y culturales significativos a la manera en que funcionan los gobiernos y las organizaciones: conduciendo a mejor desempeño, mayor rendición de cuentas y transparencia, aprendizaje y conocimientos. A los sistemas de SyE basados en resultados se les debe considerar una obra en curso. Se necesita atención, recursos y compromiso político continuos para ga- rantizar la viabilidad y sostenibilidad de estos sistemas. Crear el cambio cultu- ral necesario para que una organización avance hacia una orientación a resultados toma tiempo, compromiso y voluntad política. Cuando falta el empeño para em- prender tal transformación, ¡la única manera en que una organización puede deslizarse es cuesta abajo! Construir y sustentar un sistema de SyE basado en resultados implica tiempo y esfuerzo. Ningún sistema es perfecto y existen muchos enfoques diferentes, pero el viaje vale la pena y pueden ser muchas las recompensas. cap11.p65 179 24/07/05, 10:32 a.m. cap11.p65 180 24/07/05, 10:32 a.m. ANEXO I ESTIMACIÓN DE LA CAPACIDAD DE SyE BASADA EN EL DESEMPEÑO Encuesta de estimación para países, instituciones de desarrollo y sus asociados Introducción Países del mundo entero enfrentan presiones para reformar las políticas y las prácti- cas del sector público. Resulta vital que un sector público eficaz y eficiente haga un aporte al desarrollo sostenible, al crecimiento económico y al bienestar de los ciuda- danos. Por tanto, hacer énfasis en el desempeño del gobierno se convierte en un fac- tor importante de la capacidad de lograr las metas deseadas de crecimiento y desarrollo social y económico. Conforme los gobiernos comienzan a abordar estos retos, tratarán de validar los resultados que obtengan con el fin de ofrecer información creíble y confiable, tanto para sus ciudadanos como para utilizarla en gestión de sus propios gobiernos. Un sistema de SyE basado en resultados representa una herramienta importante que permitirá a los gobiernos obtener esas evidencias. La encuesta La encuesta de estimación es una herramienta de diagnóstico con un enfoque en la capacidad actual de un gobierno para diseñar y construir un sistema de SyE basado en resultados. La intención es determinar qué grado de capacidad e infraestructura existe en la actualidad y qué capacidad e infraestructura nuevas se deben construir. La encuesta se divide en tres secciones: Incentivos, Funciones y responsabilidades, y Construcción de capacidad. La encuesta se ha creado como herramienta de ayuda para gobiernos individua- les, la comunidad de donantes y sus muchos asociados en el desarrollo también involucrados en la reforma del sector público para abordar de manera sistemática los requisitos previos (presentes o no) de un sistema de SyE de esta índole. Contando con este tipo de información, el gobierno, los donantes y los asociados pueden, entonces, resolver los retos que plantean el grado de capacitación, de construcción de capaci- dad organizativa y de secuenciación de esfuerzos que se va a necesitar para diseñar y construir la infraestructura necesaria para producir, recabar, analizar y presentar in- formación pertinente de desempeño. En resumen, esta encuesta ofrece las bases de un plan de acción para avanzar dentro del país. Es más, esta encuesta puede ayudar a asegurarse de que las metas estratégicas estén bien formuladas, que se comprenda Anexos1.p65 181 24/07/05, 10:32 a.m. 182 Manual para gestores del desarrollo que los objetivos y los datos básicos son cruciales, y que en el contexto de construc- ción del sistema de SyE se deben identificar los indicadores pertinentes. La información se debe recabar de informantes clave en el país (funcionarios del gobierno, miembros de la sociedad civil, ONG, etcétera). Se sugiere que alguien familia- rizado con la construcción de capacidad en SyE administre personalmente la encuesta, ya que hay varias preguntas abiertas donde va a ser muy útil contar con preguntas de seguimiento y aclaración. La encuesta está conformada por cuarenta preguntas y se calcula (de acuerdo con el piloto) que su diligenciamiento requerirá de cerca de se- senta y cinco minutos. Información de antecedentes: Nombre de persona entrevistada _________________________________________ Cargo _________________________________________________________________ Organización __________________________________________________________ Años en cargo actual ____________________________________________________ Años en organización actual _____________________________________________ Fecha de entrevista _____________________________________________________ Nombre de quien realiza la entrevista _____________________________________ PARTE 1: LOS INCENTIVOS PARA DISEÑAR Y CONSTRUIR UN SISTEMA DE SyE BASADO EN DESEMPEÑO 1. ¿Cómo describiría el proceso de fijar metas y objetivos prioritarios en los ministe- rios centrales? ¿En los ministerios sectoriales u operativos? 2. ¿Puede identificar alguna organización que acostumbre solicitar información so- bre cuán bien se desempeña el gobierno? - Ministerio de Hacienda - Ministerio de Planeación - Despacho del Primer Ministro - Despacho del Presidente - Ministerios individuales sectoriales u operativos - Parlamento - Organización Nacional de Auditoría - Donantes - Sector privado - Los medios - Las ONG - Los ciudadanos. 3. ¿El Ministerio de Hacienda o el Ministerio de Planeación requiere que los minis- terios sectoriales y otros organismos suministren algún tipo de información basa- Anexos1.p65 182 24/07/05, 10:32 a.m. Anexo I 183 da en desempeño sobre proyectos, programas y políticas del gobierno, cuando presentan sus propuestas presupuestarias anuales? - Información sobre actividades o productos (esperados de proyectos y progra- mas) - Información sobre efectos o resultados (metas a más largo plazo) - Información a partir de evaluación o de otros exámenes formales - Datos de gastos sobre metas prioritarias para el gobierno. 4. ¿Algún ministerio sectorial u otros organismos tienen requisitos para presentar informes sobre cuán bien los proyectos y programas se desempeñan dentro de su propia organización? Si es así, ¿qué son, y cuáles los requisitos? 5. ¿Existen altos funcionarios que estén a favor de recoger y utilizar información sobre el desempeño del gobierno, por ejemplo, el ministro de Hacienda o el mi- nistro de Planeación, el ministro de Salud o los asesores del presidente? 6. ¿Existen altos funcionarios que se opondrían a solicitudes para producir este tipo de información basada en desempeño? Razones del rechazo. 7. ¿Algún ministerio sectorial u operativo emprende o encarga evaluaciones o exá- menes formales del desempeño de proyectos, programas o políticas en su minis- terio? Si es así, ¿cuáles y qué tipos de exámenes? - Evaluaciones formales - Encuestas de satisfacción del cliente - Auditorías de desempeño - Exámenes de presupuesto basados en desempeño - Otros. 8. ¿Existen solicitudes formales del Parlamento de información sobre el desempeño del gobierno, que deba proporcionar el Ministerio de Hacienda o el Ministerio de Planeación o cualquiera de los ministerios sectoriales? - para audiencias públicas sobre presupuesto - para debates parlamentarios sobre el desempeño de los programas oficiales - para redactar proyectos de ley. 9. ¿Puede citar evidencias del uso de la información de desempeño del gobierno por parte del Parlamento - para audiencias públicas - para supervisión del desempeño del gobierno - para redactar proyectos de ley? 10. ¿El Parlamento cuenta con un Comité de Cuentas Públicas o un Comité de Gasto / Presupuesto Público? Si es así, ¿cuáles son las funciones de estos comi- tés? ¿Utilizan información de desempeño como parte de sus actividades? 11. ¿La sociedad civil (los medios, las ONG, el sector privado, etcétera) ha solicitado al gobierno información sobre el desempeño del gobierno? Si es así, favor explicar. 12. ¿La sociedad civil ha publicado o difundido cualquier información sobre el desem- peño del gobierno? Si es así, favor explicar. Anexos1.p65 183 24/07/05, 10:32 a.m. 184 Manual para gestores del desarrollo 13. ¿Con qué facilidad (o dificultad) los miembros de la sociedad civil han obtenido información sobre el desempeño del gobierno? 14. ¿ONG u otros en la sociedad civil han recolectado datos para su uso privado o como vigilantes externos de cuán bien se desempeña el gobierno? Si es así, favor explicar. 15. ¿Existe en la actualidad algún tipo de legislación sobre libertad de información? Si no es así, ¿se proyecta la promulgación de leyes de esta índole? 16. ¿Qué información solicitan al gobierno los donantes sobre cuán bien se desempe- ñan los proyectos y programas individuales que ellos auspician? 17. ¿Los donantes también solicitan al gobierno cualquier otra información de desem- peño? Si es así, favor explicar. 18. ¿Cómo describiría la función de auditoría para el gobierno nacional? ¿Existe en el gobierno una organización de auditoría independiente y cuál es su función? ¿Cada uno de los ministerios cuenta con una función de auditoría interna y cuál es su función? 19. ¿Existe algún ministerio sectorial que, según su sugerencia, representa un mode- lo para utilización de información basada en desempeño para administrar las actividades y los programas? 20. ¿Existe alguna reforma del sector público (con o sin apoyo de donantes) que se esté llevando a cabo en el gobierno nacional y que incluya una campaña para fortalecer sistemas para recabar y manejar información relacionada con el desem- peño del gobierno? 21. ¿Cómo estimaría los documentos de Iniciativa de Estrategia para la Reducción de la Pobreza y la Estrategia para la Reducción de la Pobreza, que adelanta el gobier- no (así como el Marco Integral para el Desarrollo, si es del caso) en términos de la inclusión de un sistema para hacer seguimiento e informar sobre las metas del DERP? 22. Puede describir la situación actual de los esfuerzos del gobierno para implantar un sistema de SyE dentro de la iniciativa de DERP (y de MID, si es el caso). PARTE II. FUNCIONES Y RESPONSABILIDADES PARA ESTIMAR EL DESEMPEÑO DEL GOBIERNO 23. ¿Están los niveles regionales y locales del gobierno reuniendo información sobre su desempeño para soportar decisiones presupuestarias de gastos o para perfec- cionar la gestión de sus programas? 24. ¿Existen vínculos evidentes entre las asignaciones presupuestarias del año fiscal del Ministerio de Hacienda y del Ministerio de Planeación y el desempeño de ministerios sectoriales u operativos? 25. ¿Existen funciones o responsabilidades formales para la sociedad civil en los pro- cesos de planificación del gobierno nacional? Anexos1.p65 184 24/07/05, 10:32 a.m. Anexo I 185 26. ¿Existen funciones o responsabilidades formales para la sociedad civil en los pro- cedimientos del gobierno para decisiones de asignaciones presupuestarias del año fiscal? 27. ¿Existe en el proceso nacional de planeación y en la fijación de metas estratégicas alguna función evidente para los organismos de ayuda para el desarrollo o para los organismos donantes? ¿Y en las decisiones de asignaciones presupuestarias nacionales para el año fiscal? 28. ¿Cómo describiría el seguimiento del presupuesto para el año fiscal que hace el Ministerio de Hacienda o el Ministerio de Planeación de los ministerios sectoria- les u operativos: ninguno, escaso, mediano, fuerte? ¿Puede dar algunos ejemplos para apoyar la opción escogida por usted? 29. ¿Existe alguna evidencia de que los requerimientos de los donantes para presen- tación de informes o bien se contradicen entre sí o bien imponen la duplicación para el gobierno para satisfacer esos requisitos? 30. ¿Qué tipo de datos de gastos financieros se recaban sobre los costos y productos de las funciones y actividades del gobierno nacional? ¿Y quién los obtiene? 31. ¿Puede describir qué datos de gastos financieros se recaban sobre los costos y los productos de las funciones y actividades de gobiernos regionales o locales? ¿Y quién los obtiene? 32. ¿Qué tan accesibles son los datos de gastos a personas y organizaciones ajenas al gobierno? ¿A la sociedad civil, a los medios, a las ONG, a otros? 33. ¿Quién en el gobierno es responsable de reunir datos socioeconómicos y sobre pobreza para el país? ¿Con quién se comparten estos datos? 34. ¿Cuáles son las funciones y las responsabilidades de la oficina nacional de esta- dística? - ¿En qué zonas se recogen estadísticas? - ¿En qué ámbitos del país (ciudad, regional, nacional)? - ¿A quién se suministran los datos estadísticos? - ¿Qué información se hace o no se hace pública? - ¿Qué organizaciones colaboran en la recolección de información estadística? - ¿Qué encuestas especiales se realizan, por ejemplo, Encuestas de Ingreso y Gastos de Hogares, VIH/SIDA, y otras? 35. ¿Cuáles son las funciones y las responsabilidades de la Oficina Nacional de Auditoría? - ¿Qué autoridad detenta para auditar a los ministerios centrales y sectoriales u operativos? - ¿Detenta alguna autoridad en el ámbito regional y local del gobierno? - ¿A quién se informan los hallazgos? - ¿Se hacen públicos estos hallazgos? - ¿La Oficina Nacional de Auditoría ejerce alguna supervisión sobre la calidad de la información que produce el gobierno? Anexos1.p65 185 24/07/05, 10:32 a.m. 186 Manual para gestores del desarrollo 36. ¿Existe en el gobierno nacional alguna unidad organizativa que tenga experien- cia de evaluación y emprenda evaluaciones? 37. ¿De qué sistemas de datos disponen las unidades de planificación dentro de los ministerios centrales y sectoriales u operativos? - datos sobre presupuesto - datos sobre resultados - datos sobre efectos o impactos - auditorías de desempeño - auditorías financieras - informes de terminación de proyecto y programa - sistemas de datos de donantes - otros. PARTE III: REQUISITOS PARA CONSTRUCCIÓN DE CAPACIDAD PARA UN SISTEMA DE SYE BASADO EN RESULTADOS 38. ¿Cómo estimaría las destrezas de los empleados públicos en el gobierno nacional en cada uno de los seis campos siguientes? - gestión de proyecto y de programa - análisis de datos - análisis de las políticas - fijación de metas de proyecto y de programa - gestión de presupuestos - auditoría de desempeño. 39. ¿Está al tanto de alguna asistencia técnica, construcción de capacidad o capacita- ción en SyE actualmente en curso o que haya ocurrido en los dos años pasados para cualquier nivel del gobierno (nacional, regional o local)? Favor describir quién suministró esta ayuda. ¿Ha estado relacionado con: - el proceso de MID o de DERP - el fortalecimiento de sistemas presupuestarios - la descentralización del gobierno - la reforma de la administración pública - la reforma de ministerios centrales o sectoriales? 40. ¿Conoce alguna institución, centros de investigación, organizaciones privadas o universidades que dispongan de alguna capacidad para ofrecer asistencia técnica y capacitación a empleados públicos y a otros en sistemas de SyEbasados en desem- peño? Anexos1.p65 186 24/07/05, 10:32 a.m. ANEXO II ESTIMACIÓN DE LA PREPARACIÓN: Hacia SyE basado en resultados en Egipto Misión de Diagnóstico del Banco Mundial Junio 1-9, 2001 El Cairo, Egipto Contenido Resumen ejecutivo Antecedentes La experiencia internacional Metodología Resumen de hallazgos Actividades representativas de la asistencia técnica actual Avance hacia el seguimiento y la evaluación basados en resultados: recomendaciones Actividades a corto plazo que van a tener el respaldo del Banco Mundial Anexos Resumen ejecutivo Antecedentes. En septiembre de 2000, la Junta Directiva Ejecutiva del Banco Mun- dial aprobó un programa dirigido a fortalecer el seguimiento y la evaluación basados en resultados en las operaciones del Banco y de sus prestatarios. Para poder asignar recursos con la debida prudencia, diseñar y ejecutar eficazmente proyectos y progra- mas y evaluar los efectos de las actividades que desarrollan en el logro de los objeti- vos del desarrollo, tanto los prestatarios como el Banco Mundial necesitan información adecuada sobre desempeño. Para el Banco Mundial, este programa, denominado el Programa de Mejoramien- to del Seguimiento y la Evaluación, reviste importancia especial en un momento en el cual el Banco está dando un viraje hacia operaciones crediticias más pragmáticas y estimulando mayor transparencia y rendición de cuentas respecto de los resultados por parte de los prestatarios. Dentro del Marco Integral para el Desarrollo y de los Documentos de Estrategia para la Reducción de la Pobreza dirigidos por cada país, las inversiones dependen del seguimiento que se haga a los resultados (o a los efectos del gobierno), antes que de enfoques tradicionales de seguimiento y evaluación, los Anexos2.p65 187 24/07/05, 10:32 a.m. 188 Manual para gestores del desarrollo cuales, usualmente rastrean insumos y procesos. El seguimiento y la evaluación basa- dos en resultados centran la atención de la gestión en el desempeño y en los avances hacia estos efectos deseados de desarrollo. Por tanto, este programa también respal- da la estrategia del Banco de alentar a los países a hacer seguimiento a los avances respecto de metas internacionales de desarrollo. A través del ministro de Hacienda, el gobierno de Egipto ha expresado su deseo de participar en este programa. El ministro se ha mostrado dispuesto a reformar el presupuesto con el fin de lograr un mayor enfoque en el mejoramiento del desempe- ño del gobierno, tanto en términos de medidas de eficiencia como de eficacia. El mi- nistro y otros miembros del gobierno de Egipto son conscientes de la necesidad de un nuevo enfoque en resultados que sea consistente con los muchos esfuerzos que se hacen actualmente en el mundo entero para reformar los sistemas de gestión pública. Metodología. La primera actividad que emprende el Banco Mundial para los países participantes en el Programa de Mejoramiento del Seguimiento y la Evaluación con- siste en realizar un breve estudio de diagnóstico con el fin de evaluar la situación en ese país, del seguimiento y la evaluación basados en resultados e identificar las opor- tunidades para fortalecer los esfuerzos en curso y proyectados basados en el desem- peño. A través de la Organización Operativa de las Políticas y de Servicios de País, el Banco Mundial llevó a cabo una misión de diagnóstico a Egipto del 1º al 9 de junio de 2001 (véase anexo A). El equipo de diagnóstico se reunió con muchos funcionarios clave del gobierno, académicos, donantes y otros ajenos al gobierno, y examinó diversos informes y do- cumentos con el objeto de determinar la manera en que un vuelco al seguimiento y la evaluación basados en resultados podría fortalecer en Egipto una gestión pública efi- caz (véase anexo B). El equipo emprendió la búsqueda de organizaciones y partes de organizaciones que han comenzado a avanzar hacia el seguimiento y la evaluación con el propósito de lograr los objetivos del desarrollo. El equipo trazó un mapa de los esfuerzos de seguimiento y evaluación que se han emprendido en la actualidad y realizó una estimación de la capacidad de investigación y recolección de datos dentro y fuera del gobierno. Con la idea de encontrar oportunidad para fortalecer el segui- miento y la evaluación, el equipo buscó en estas instancias evidencias de la confec- ción de presupuestos basada en el desempeño y en la innovación. Atendiendo la solicitud del ministro de Hacienda, el equipo trató de identificar pasos prácticos para estimular el desarrollo de un entorno de desempeño en el gobierno de Egipto. Las siguientes son algunas de las reflexiones del equipo: ¿Cuál es la motivación de la necesidad de sistemas de seguimiento y evalua- ción basados en resultados en Egipto (incentivos/demandas)? ¿En qué instancia del gobierno radica la responsabilidad de la prestación efec- tiva (y eficiente) de programas? ¿Existe en el gobierno una estrategia o una organización codificada (por medio de estatuto o mandato) para hacer seguimiento a los objetivos de desarrollo? Anexos2.p65 188 24/07/05, 10:32 a.m. Anexo II 189 ¿En dónde, en el país piloto, radica la capacidad con las destrezas requeridas para diseñar y utilizar sistemas de seguimiento y evaluación basados en resul- tados? ¿De qué manera esta capacidad (o la falta de ella) ha hecho un aporte a la utilización del seguimiento y la evaluación en el contexto de país? Campos recomendados para avanzar Primero, establecer un grupo de liderazgo interministerial encargado de fomentar el seguimiento y la evaluación basados en desempeño y en resultados. Un equipo de liderazgo compuesto por ministros comprometidos con el cambio en sus propias organizaciones podría agilizar la adopción del seguimiento y la evaluación basados en resultados y la introducción de un proceso presupuestario más basado en resulta- dos. Un grupo como este, bajo el liderazgo del ministro de Hacienda, podría cumplir varias funciones clave, por ejemplo: desarrollar una estrategia general para orientar la labor; ofrecer orientación y un marco de evaluación para actividades piloto en cada ministerio y en otras organizaciones; y desarrollar un plan para extender la actividad piloto y compartir mejores prácticas y lecciones entre ministerios. Este grupo debe decidir si en el contexto de Egipto se podrían aplicar los mecanismos que han utiliza- do otros países para dar impulso y autoridad a labores de reforma como decretos presidenciales, enmiendas a leyes presupuestarias y promulgación de leyes. Segundo, respaldar la iniciativa del Consejo Nacional para la Mujer, para hacer seguimiento y evaluar la ejecución en el plan 2002-2006 de iniciativas relacionadas con el género. Bajo el patronazgo de la Primera Dama [de Egipto], a medida que ha ido desarrollando sus planes, el Consejo ha trabajado con gran eficacia con el Minis- terio de Planeación y con ministros sectoriales. Los miembros del equipo consideran que el siguiente paso de la ejecución del seguimiento y la evaluación ofrece una opor- tunidad única como catalizador del cambio a través de varios ministerios. Conside- rando que del Consejo hacen parte distintos actores del gobierno y ajenos a éste, entre ellos académicos, el sector privado, organizaciones no gubernamentales, los medios y ministerios involucrados, el Consejo puede fomentar el consenso sobre as- pectos de medición y la transparencia en la presentación de resultados. Tercero, construir capacidad para apoyar la reforma. Ningún país ha tenido éxito con una labor significativa de reforma sin contar con un equipo dedicado y bien orga- nizado para respaldarla. Un equipo básico podría apoyar al grupo ministerial y a los estudios piloto con el fin de disminuir los trámites burocráticos y agilizar la innova- ción y el aprendizaje, identificar las lecciones aprendidas, y determinar los métodos para incorporar en el gobierno estas lecciones. El equipo podría apoyarse en el perso- nal de carrera de varios ministerios y nutrirse de los recursos significativos existentes en la comunidad académica y en las organizaciones no gubernamentales de Egipto. Anexos2.p65 189 24/07/05, 10:32 a.m. 190 Manual para gestores del desarrollo Cuarto, modernizar las políticas estadísticas. No obstante la capacidad manifiesta del sistema estadístico de Egipto, existen evidencias que indican que el sistema está atrasado tanto en términos de la calidad de las estadísticas que produce como de la atención prestada a las necesidades de los clientes del sistema. Con el fin de separar las responsabilidades de la Oficina Central de Movilización Pública y Estadísticas (Capmas, por sus iniciales en inglés) para la movilización militar, de su función como oficina esta- dística independiente, es indispensable que Egipto examine la legislación relativa a es- tadísticas. Muchos países utilizan una comisión nacional de estadística o un ente similar de coordinación para formular políticas y normas para la producción y divulgación de estadísticas oficiales. Egipto debe adoptar una estrategia similar para coordinar las po- líticas y normas que rigen la información. Entre los miembros de una comisión de este tipo deben contarse representantes de las oficinas encargadas de la producción de estadísticas y profesionales en estadística de las universidades y del sector privado. Quinto, acrecentar el enfoque del cliente. El valor de las estadísticas estriba no en su producción sino en el uso que se les dé. Estimular la divulgación generalizada de las estadísticas dentro del gobierno y a usuarios no gubernamentales debe ser la meta de todos aquellos que las producen. Los organismos responsables de la producción de estadísticas podrían crear grupos de asesoría para representar a los usuarios con el fin de lograr una mejor comprensión de las necesidades de los clientes. Otra función útil de estos grupos sería estimular el intercambio de información entre usuarios de los datos, quienes quizás puedan encontrar soluciones a problemas comunes. Estos grupos de asesoría se reunirían con regularidad con los gestores de las unidades esta- dísticas de los organismos. Al más alto nivel, un grupo de asesoría a Capmas o a la comisión estadística que se propone, proporcionaría insumos sobre la necesidad de todos los usuarios de información estadística egipcia. Sexto, participar en el Sistema Especial del FMI de Divulgación de Datos. Conforme Egipto se prepara para ingresar a los mercados internacionales de capital, va a ser más importante para el país producir estadísticas creíbles. Un paso importante en esta dirección sería suscribirse a las Normas Especiales de Divulgación de Datos (SDDS, por sus iniciales en inglés). (Véase la cartelera del FMI de divulgación de normas en la dirección electrónica: http://dsbb.imf.org.) Las SDDS exigen que los países adopten nor- mas internacionales de presentación de informes sobre estadísticas económicas y fi- nancieras principales y que mantengan un listado actualizado de las políticas y las normas de esos países. Trabajar para convertirse en suscriptor de la SDDS ofrecería un dinamizador poderoso para modernizar el sistema estadístico de Egipto. Por último, apoyo de donantes. Los donantes tienen una importante misión que cum- plir con la prestación de asistencia técnica y capacitación para apoyar el vuelco de Egipto hacia el seguimiento y la evaluación basados en resultados. Al hacerlo, los donantes pueden aprovechar tanto los conocimientos especializados existentes en el país, en las universidades y centros de estudio, como la significativa experiencia in- ternacional en enfoques basados en resultados. Anexos2.p65 190 24/07/05, 10:32 a.m. Anexo II 191 Antecedentes En septiembre de 2000, la Junta Directiva Ejecutiva del Banco Mundial aprobó un programa dirigido a fortalecer el seguimiento y la evaluación basados en resultados en las operaciones del Banco y de sus prestatarios. Para poder asignar recursos con la debida prudencia, diseñar y ejecutar eficazmente proyectos y programas, y evaluar los efectos de las actividades que desarrollan en el logro de los objetivos del desarro- llo, tanto los prestatarios como el Banco Mundial necesitan información adecuada sobre desempeño. Para el Banco Mundial, este programa, denominado el Programa de Mejoramiento del Seguimiento y la Evaluación, reviste importancia especial en un momento en el cual el Banco está dando un viraje hacia operaciones crediticias más pragmáticas y estimulando mayor transparencia y rendición de cuentas respecto de los resultados por parte de los prestatarios. Dentro del Marco Integral para el Desarrollo y de los Documentos de Estrategia para la Reducción de la Pobreza dirigidos por cada país, las inversiones dependen del seguimiento que se haga a los resultados (o a los efectos del gobierno), antes que de enfoques tradicionales de seguimiento y evaluación, los cuales usualmente rastrean insumos y procesos. El seguimiento y la evaluación basa- dos en resultados centran la atención de la gestión en el desempeño y en los avances hacia estos efectos deseados de desarrollo. Por tanto, este programa también respal- da la estrategia del Banco de alentar a los países a hacer seguimiento a los avances respecto de metas internacionales de desarrollo. A través del ministro de Hacienda, el gobierno de Egipto ha expresado su deseo de participar en este programa. El ministro se ha mostrado dispuesto a reformar el presupuesto con el fin de lograr un mayor enfoque en el mejoramiento del desempe- ño del gobierno, tanto en términos de medidas de eficiencia como de eficacia. El mi- nistro y otros miembros del gobierno de Egipto son conscientes de la necesidad de un nuevo enfoque en resultados que sea consistente con los muchos esfuerzos que se hacen actualmente en el mundo entero para reformar los sistemas de gestión pública. La experiencia internacional Durante las dos décadas pasadas, los gobiernos de los países industrializados y, más recientemente, de los países en desarrollo, han emprendido la búsqueda de resulta- dos. Según un estudio reciente de la OCDE, el desempeño mejorado del sector públi- co es un factor fundamental para mantener el bienestar de las personas y la competitividad de la economía. La gestión del desempeño es el aspecto clave de las reformas del sector público de muchos de los países miembro de la OCDE. Las estrategias utilizadas para lograr un mayor desempeño varían de un país a otro; sin embargo, parecen existir elementos similares que ayudan a dar un vuelco exitoso hacia una cultura basada en resultados. Algunos de estos elementos son los siguientes: Anexos2.p65 191 24/07/05, 10:32 a.m. 192 Manual para gestores del desarrollo un mandato claro para dar el vuelco; la presencia de un liderazgo fuerte, por lo general por medio de un defensor o defensores fuertes que ocupen altos cargos en el gobierno; la utilización de información confiable para la toma de decisiones de políticas y de gestión; presiones económicas y otros incentivos para el cambio (a menudo, una ciuda- danía preocupada o la necesidad de reducir el costo de onerosas nóminas de la administración pública); nexos claros con las decisiones presupuestarias y otras asignaciones de recursos; la participación de la sociedad civil como asociado importante del gobierno; y áreas de innovación que pueden servir como prácticas iniciales o programas piloto. Noparece existirunamaneracorrectaparaintroducirlagestiónbasadaeneldesem- peño en las muchas instituciones del gobierno y sus actividades de formulación de las políticas. Con frecuencia los gobiernos ensayan una o más de las estrategias si- guientes, dependiendo de la presencia (o ausencia) de los elementos relacionados antes: 1) enfoque integral o de todo el gobierno; 2) enfoque específico a sector; o 3) enfoque en el cliente. En el enfoque integral, varios países han incorporado planes estratégicos, indicadores de desempeño y planes anuales de desempeño durante un periodo de varios años, integrándolos luego en documentos de presupuestos anuales (Australia, Estados Unidos). Entre otros enfoques se incluye incorporar en los informes financie- ros anuales indicadores de desempeño de programa que se puedan auditar (Finlan- dia, Suecia, Estados Unidos) o utilizar acuerdos de desempeño entre ministros y jefes de organismos del gobierno (Nueva Zelanda, Reino Unido). Argentina y Rumania están realizando programas piloto de estrategias de confección de presupuestos ba- sada en desempeño. En este caso, los indicadores de desempeño para programas del gobierno se vinculan con paquetes presupuestarios asignados; se presentan en infor- mes de anexos presupuestarios al comienzo de cada ejercicio presupuestario; y se auditan al final del año. Y algunos países, como Malasia, han acogido el enfoque de gestión de calidad total, con un énfasis en la reingeniería de proceso y en el logro de normas estrictas de calidad. En tanto la mayoría de los países de la OCDE han adoptado un enfoque de todo el gobierno para introducir la gestión basada en el desempeño, muchos países, como Estados Unidos, comenzaron con programas piloto de desempeño. Comenzando en primer lugar con pilotos de unos cuantos programas y sectores, los gobiernos alber- gaban la esperanza de crear condiciones favorables para el aprendizaje del sector público y la experimentación antes de convertir este esfuerzo en una actividad cen- tral. Para otros países avanzar en aquellos sectores donde actualmente se desarrolla una labor de reforma (por ejemplo, el sector de la salud en Bangladesh, Ghana y la República Kirguisa), permite el avance de esfuerzos innovadores, independientemente de si el presidente o el primer ministro han adquirido compromisos para ejecutar una estrategia más integral. Todavía para otros países ha resultado útil un enfoque en los Anexos2.p65 192 24/07/05, 10:32 a.m. Anexo II 193 consumidores o en los beneficiarios de los servicios del gobierno o en un grupo clien- te, como las mujeres, las niñas o los niños. La anterior estrategia implica el desarrollo de indicadores clave de desempeño dentro de ministerios sectoriales con un enfoque particular en el mejoramiento de esos programas del gobierno para apoyar a un gru- po particular de ciudadanos. Esta estrategia también puede ayudar a avanzar una agenda nacional en un campo de programa, en vez de limitarse a esperar que la tota- lidad del gobierno adopte la gestión basada en el desempeño. Entre otras estrategias que utilizan los gobiernos para introducir la gestión basada en resultados están las siguientes: Selección de organismos públicos independientes, otorgándoles mayor flexibi- lidad para utilizar los recursos y haciendo responsables de los resultados a los jefes de esos organismos. Ejemplos: Oficinas Pasos Siguientes, Organizaciones Basadas en Desempeño. Estímulo y reconocimiento de actividades piloto dentro de muchas organiza- ciones que puedan liderar la marcha y duplicarse en otros lugares. Ejemplo: Laboratorios de Reinvención. Introducción de la gestión de la calidad total: este modelo, desarrollado por la industria para mejorar los procesos de fabricación se ha aplicado a la reforma del sector público en algunos países, por lo general, después de que el proceso de reforma ya lleva algún tiempo en curso. El enfoque de gestión de la calidad en los requisitos de los consumidores es pertinente a todas las etapas de la reforma. Ejemplo: Malasia. Ninguna estrategia se puede trazar simplemente de un país o de una situación a otra. Es más, en la práctica, la estrategia que utiliza un país determinado en un mo- mento particular en el tiempo puede ser una combinación de uno o más enfoques como los anteriores. Además, las labores de reforma constituyen ocasiones plurianuales y resulta inevitable que las estrategias evolucionen en el tiempo. Metodología La primera acción emprendida por el Banco Mundial respecto de los países partici- pantes en el Programa de Mejoramiento del Seguimiento y la Evaluación, consiste en realizar un breve estudio de diagnóstico con el fin de evaluar la situación de ese país en seguimiento y evaluación basados en resultados y de identificar las oportunida- des para fortalecer los trabajos en curso y proyectados de seguimiento y evaluación basados en desempeño. El Banco Mundial (a través de su Organización Operativa de Políticas y Servicios de País, OPCS por sus iniciales en inglés), condujo en Egipto una misión de diagnóstico del 1º al 9 de junio de 2001 (véanse en el anexo A los Términos de Referencia para esta misión). El equipo emprendió la búsqueda de organizaciones y partes de organizaciones que han comenzado a avanzar hacia el seguimiento y la evaluación con el propósito Anexos2.p65 193 24/07/05, 10:32 a.m. 194 Manual para gestores del desarrollo de lograr los objetivos del desarrollo. El equipo trazó un mapa de los esfuerzos de seguimiento y evaluación actualmente en curso y realizó una estimación de la capaci- dad de investigación y recolección de datos dentro y fuera del gobierno. Con la idea de encontrar oportunidad para fortalecer el seguimiento y la evaluación, el equipo buscó en estas instancias evidencias de la confección de presupuestos basada en el desempeño y en la innovación. Atendiendo la solicitud del ministro de Hacienda, el equipo trató de identificar pasos prácticos para estimular el desarrollo de un entor- no de desempeño en el gobierno de Egipto. Las siguientes son algunas de las reflexiones del equipo: ¿Cuál es la motivación de la necesidad de sistemas de seguimiento y evalua- ción basados en resultados en Egipto (incentivos / demandas)? ¿En qué instancia del gobierno radica la responsabilidad de la prestación efec- tiva (y eficiente) de programas? ¿Existe en el gobierno una estrategia o una organización codificada (por me- dio de estatuto o mandato) para hacer seguimiento a los objetivos de desa- rrollo? ¿En dónde en el país piloto radica la capacidad con las destrezas requeridas para diseñar y utilizar sistemas de seguimiento y evaluación basados en resultados? ¿De qué manera esta capacidad (o la falta de ella) ha hecho un aporte a la utiliza- ción del seguimiento y la evaluación en el contexto de país? Resumen de los hallazgos El equipo encontró gran interés en avanzar hacia un clima de desempeño, al cual se le describió de diversas formas en las entrevistas; sin embargo, los entrevistados parecen com- partir un deseo de utilizar información adecuada para asignar recursos, estimar los avan- ces y lograr metas de desarrollo de la manera más eficaz y eficiente. A continuación se describen los principales hallazgos del estudio de diagnóstico. En cada sección, el equipo presenta tanto las oportunidades observadas como los obstáculos potenciales al vuelco del enfoque del gobierno de Egipto hacia el logro de resultados. Liderazgo Los esfuerzos exitosos para cambiar el enfoque del gobierno hacia resultados han gozado de un alto grado de liderazgo sostenido. Por lo general, las reformas exitosas han estado bajo el liderazgo de la rama ejecutiva: de la Oficina del Gabinete (Reino Unido), el Tesoro (Nueva Zelanda), la Vicepresidencia (Estados Unidos) y primer mi- nistro (Andhra Pradesh, India). En Egipto, el equipo observó el interés expresado por muchos funcionarios públi- cos de alto nivel en un viraje hacia un clima de desempeño, entre ellos el primer ministro y el Gabinete. El presidente mismo ha hecho un llamado a favor de informa- Anexos2.p65 194 24/07/05, 10:32 a.m. Anexo II 195 ción de mejor calidad para apoyar el proceso decisorio económico. La Primera Dama preside el Consejo Nacional para la Mujer, el cual está diseñando un sistema para hacer seguimiento y evaluar el trabajo de muchos ministerios, tendiente a mejorar la situación y la condición de las mujeres en Egipto. El ministro de Hacienda está cumpliendo una función clave de liderazgo. Se mues- tra profundamente interesado en reformar el presupuesto de Egipto con el fin de ofrecer mejor respaldo al desempeño. En las reuniones con el equipo de diagnóstico, el ministro subrayó la importancia que otorga a prestar mayor atención al mejora- miento de la gestión del gasto público, anotando que quiero poder decirle a los con- tribuyentes egipcios que el gobierno está gastando el dinero de sus impuestos de manera más eficiente y eficaz. Para que un trabajo tenga éxito, también es importante que los ministros sectoria- les participen plenamente quienes son los responsables de los gastos de los recursos y de supervisar la ejecución de programas específicos. El equipo encontró gran inte- rés por parte de varios ministerios sectoriales en el seguimiento y la evaluación para obtener resultados. El ministro de Energía Eléctrica, quien lideró un trabajo de refor- ma en la Agencia Internacional de Energía Atómica antes de asumir su cargo actual, recomendó que un grupo de ministros involucrados en el mejoramiento de la gestión de infraestructura básica y servicios públicos clave asuma una función de liderazgo. Un estudio reciente de la administración pública de Egipto pone de relieve la im- portancia del liderazgo de estos ministerios en algunos países. El punto más impor- tante es el interés y el compromiso que demuestren los jefes de la organización el ministro o el burócrata al nivel más alto de la organización... los ministros de Egipto gozan de altos grados de libertad y de influencia en sus ministerios respectivos para introducir cambios en la organización y en el manejo del personal. En realidad, ejecu- tivos fuertes en el gobierno de Egipto practican el concepto de gestión práctica .1 Finalmente, la rama legislativa del gobierno en muchos países ha jugado un im- portante papel de liderazgo, promulgando un marco de reforma (Nueva Zelanda), legislación clave (como la Ley de Desempeño y Resultados del Gobierno, en Estados Unidos), permitiendo flexibilidades e incentivos, o realizando estudios, auditorías o audiencias públicas sobre desempeño del gobierno. Este último aspecto trascendió el alcance del estudio del equipo en ese momento; puede servir para abordar en un futuro la función del legislativo egipcio, la Asamblea Popular, el Consejo Shura y la Organización Central de Auditoría, las cuales están bajo su supervisión. Incentivos, o dinamizadores clave Generalmente, en la mayoría de los países que han optado por un sistema basado en resultados, existe un dinamizador bien definido de la reforma. Para algunos países, el 1 Valsan, E.H. The Egyptian Civil Service and the Continuing Challenge of Reform. En Research in Public Administration. Tomo 5: 223-226, 1999. Anexos2.p65 195 24/07/05, 10:32 a.m. 196 Manual para gestores del desarrollo ingreso a la Unión Europea ofrece un incentivo para el cambio. En los países que buscan el alivio de la deuda, el dinamizador del cambio ha sido un requisito de crear un Documento de Estrategia de Reducción de la Pobreza, documento que incluye un marco de indicadores y medidas de desempeño bien construido de seguimiento y evaluación basados en desempeño. Para algunos países industrializados y en desa- rrollo, déficit significativos han producido recortes en el gasto del gobierno y obliga- do un mayor enfoque en la eficiencia del gobierno y en la asignación efectiva de recursos. Para otros, se ha convertido en un problema político la insatisfacción públi- ca con el costo y el desempeño del gobierno, resultando en compromisos políticos que han impulsado el cambio. El equipo no encontró en Egipto ningún dinamizador convincente único del cam- bio. El crecimiento económico ha sido sostenido durante la segunda mitad de los años noventa. Si bien en 1998 el déficit llegó a tres por ciento del PIB y en el desempe- ño económico existen otras debilidades cualitativas, los dinamizadores económicos no son suficientes para crear una necesidad convincente de cambio. Antes que un dinamizador único, sin embargo, las personas entrevistadas señalaron diversas razo- nes que están impulsando a actores diferentes del sector público para asignar mayor atención al desempeño: Convenio de Alianza entre Egipto y la Unión Europea. El primer ministro recalcó hace poco la importancia de llevar a su conclusión los planes de moderniza- ción del Estado, conjuntamente con la firma del Convenio. Este acuerdo repre- senta igualmente la razón de la urgencia de un programa de modernización industrial para preparar a las industrias egipcias para competir con productos extranjeros; Decreto presidencial para convertir en sociedades anónimas a las empresas económicas del Estado. Las entidades económicas, como la Empresa de Ferrocarriles, la Empresa de Acueducto de El Cairo y la de Energía Eléctrica actualmente reciben tres mil millones de libras egipcias en subsidios anuales y más de 280 mil millones de libras egipcias en inversiones acumulativas. El gobierno busca mejorar el desem- peño de estas empresas e impulsarlas hacia una estrategia de privatización; y Interés de donante. Varios donantes tienen un interés explícito en un mejor des- empeño del sector público y están ofreciendo capacitación, tecnología y asis- tencia técnica relacionadas (véase a continuación). El Banco Mundial la identificado como una de sus prioridades la creación de un proceso presu- puestario con mayor énfasis en resultados. Mandatos o potestades claras Los países que se han embarcado en un programa significativo para dar un vuelco hacia un enfoque en resultados, no sólo han tenido una razón para cambiar sino que, generalmente, han estipulado un mandato formal para hacerlo. Este mandato ha asu- mido diversas formas, por ejemplo, actos jurídicos, decretos presidenciales o de pri- Anexos2.p65 196 24/07/05, 10:32 a.m. Anexo II 197 mer ministro u órdenes del ejecutivo. En algunos casos, los países han sido conscien- tes de que existe la suficiente autoridad pero que los mandatos existentes no se han ejecutado plenamente. En Egipto existen varias organizaciones o grupos individuales con mandatos es- pecíficos. Por ejemplo, el Decreto Presidencial No. 90 creó en febrero de 2000 el Con- sejo Nacional para la Mujer, ordenando al Consejo hacer seguimiento y evaluar la ejecución de las políticas públicas sobre asuntos de la mujer además de prestar ase- soría sobre las políticas y otras responsabilidades. Presidido por la primera dama, este Consejo lo componen treinta miembros procedentes del gobierno, la academia, los miembros y otras organizaciones. En la actualidad trabaja con el Ministerio de Planeación y los ministros sectoriales en la preparación del siguiente plan quinquenal de Egipto con el fin de asegurarse que en el documento queden plasmados los pro- blemas que más afectan a las mujeres. El Consejo tiene como meta instaurar un siste- ma para hacer seguimiento y evaluar la ejecución del plan con el ánimo de cumplir el mandado especificado en el Decreto Presidencial. Al Centro de Información y Apoyo al Proceso Decisorio adscrito al Gabinete egip- cio le ha sido asignado el mandato de crear y administrar centros de información en todas las gobernaciones de Egipto para apoyar el proceso decisorio. La Organización Central de Auditoría (CAO, por sus iniciales en inglés) representa un ejemplo más con un mandato legal de vieja data para realizar auditorías de desempeño así como auditorías financieras. En este caso, sin embargo, las personas con quienes se entre- vistaron los miembros del equipo informaron que CAO está casi exclusivamente dedi- cada a aspectos financieros. En resumen, el equipo no identificó en Egipto ningún mandato dominante que orientara un vuelco significativo hacia un sistema de seguimiento y evaluación basa- do en resultados. Es más, el equipo no identificó actos jurídicos o decretos que pro- porcionen el marco y la autoridad para un cambio amplio. Una estrategia bien definida Un criterio clave para un viraje exitoso hacia resultados exige el desarrollo de una estrategia bien comunicada y posible de ejecutar. Un liderazgo en las altas esferas del gobierno debe estar a cargo de esta estrategia, el cual debe comprender un mandato claro para un proceso decisorio informado y un enfoque del gobierno en el logro de los resultados deseados. A esta estrategia la debe apoyar un plan de ejecución que contemple metas claras, dirección y plazos. En reconocimiento del hecho que un vuelco a una orientación de desempeño va a requerir de un trabajo de muchos años, el ministro de Hacienda de Egipto ha comen- zado a definir un enfoque con varios aspectos. También quiere nutrirse de ejemplos externos de reforma y hace poco apoyó la visita a Malasia de un equipo de funciona- rios del gobierno para estudiar la experiencia de este país. El ministro ha identificado algunas actividades en curso que podrían convertirse en pruebas piloto para la con- fección de presupuestos basados en desempeño. Es consciente de la importancia de Anexos2.p65 197 24/07/05, 10:32 a.m. 198 Manual para gestores del desarrollo utilizar datos adecuados para hacer seguimiento y evaluar esta labor. Se trata de un punto de partida excelente para desarrollar una estrategia eficaz. El siguiente elemento crucial consiste en diseñar una estrategia más amplia de cambio que sea eficaz y osada, aunque también práctica y factible. Una estrategia así debe proporcionar un contexto para diversos esfuerzos continuos tendientes a dar un vuelco a un sistema basado en resultados para el uso del gasto público, así como servir para estimular y orientar otras iniciativas. No existe una respuesta única a qué constituye la mejor estrategia. En su defecto, el equipo de liderazgo debe diseñar una estrategia que refleje las restricciones y las oportunidades existentes en Egipto en este momento y comenzar el proceso de cambio. Es posible que, para diseñar su propia estrategia, Egipto quiera considerar varias lecciones de la experiencia internacional mientras está construyendo su propia expe- riencia considerable y sus propios conocimientos especializados. Primero que todo, y lo más importante, una estrategia exitosa tendrá que ser clara acerca de sus objetivos. Debe ser simple y fácil de comunicar. Comprometer a los empleados del gobierno y servirles de inspiración para ayudar a provocar el cambio, ya que no va a ser posible acrecentar la eficiencia y la eficacia del gobierno de Egipto mientras se hace caso omiso de los millones de empleados públicos que hacen el trabajo e interactúan con los ciudadanos. Una estrategia exitosa debe ser receptiva a las necesidades reales de los ciudadanos cuando interactúan con su gobierno. Y debe incluir seguimiento y ajuste frecuentes para mantenerla en la senda correcta. Una estrategia exitosa debe respal- dar a los líderes del cambio: ofreciéndoles suficiente capacitación e instrucción, per- mitiéndoles asumir riesgos y reconociéndoles los éxitos. Por último, claro está, una estrategia exitosa es aquella que se convierte en acciones, provoca cambios reales en el desempeño del gobierno y acrecienta el uso eficiente y eficaz de los recursos. Áreas de innovación El equipo encontró en Egipto varias áreas de innovación en medición del desempe- ño, lo que demuestra la factibilidad de dar un vuelco en el contexto egipcio a un enfoque basado en resultados y ofrecer puntos útiles de partida para un esfuerzo de mayor envergadura. Varios ministerios están realizando actividades piloto o cuentan con centros de excelencia que incluyen un mayor énfasis en resultados. El equipo se enteró de iniciativas en el Ministerio de Electricidad y Energía y en la Empresa de Petróleos así como en la Empresa de Radiodifusión. También tuvo prolongadas reu- niones con el ministro de Salud y Población para analizar la estrategia del Ministerio para recabar estadísticas de salud en tiempo real dirigidas a apoyar una mejor formu- lación de las políticas de salud. El mismo Ministerio de Hacienda ha identificado varias actividades piloto que están introduciendo nuevos enfoques a la gestión. Por ejemplo, el Centro Nacional para Investigación y Desarrollo en Educación ha introducido en un programa varias innovaciones para reducir las disparidades educativas y mejorar la calidad de la edu- cación. Con el respaldo de la Unión Europea, del Banco Mundial y del gobierno de Anexos2.p65 198 24/07/05, 10:32 a.m. Anexo II 199 Egipto, el Centro trabaja actualmente con quince gobernaciones en el trazado de mapas de zonas donde existen las mayores necesidades y en consultas con las comunidades locales sobre sus prioridades. El ministro de Hacienda también ha adoptado un enfo- que en resultados en la Unidad de Gestión de la Deuda y en la Unidad del Impuesto a las Ventas, donde intenta introducir un programa de gestión de calidad total. Uno de los enfoques más innovadores que observó el equipo fue el sistema de evaluación del Fondo Social para el Desarrollo, un organismo del gobierno egipcio que administra fondos de cerca de diecisiete donantes para proyectos de desarrollo. Para ayudar a orientar la asignación de recursos, los donantes han diseñado un for- mulario de solicitud de Evaluación de Necesidades de la Comunidad, el cual incluye un conjunto de indicadores compuestos de la situación de la salud, educación, infra- estructura y condiciones de la vivienda, además de otras necesidades básicas. Para asignar los recursos del Fondo Social, los índices resultantes, desagregados en el ám- bito de distrito, se van a combinar con información sobre tamaño de la población y restricciones impuestas por los donantes. En la actualidad, el sistema de asignación es objeto de pruebas de sensibilidad previas a su aplicación. El Centro de Información y Apoyo al Proceso Decisorio del Gabinete ofrece apoyo técnico al proceso decisorio del Gabinete de Egipto y a sus gobernadores y funcionarios de distrito a través de una red nacional de centros de información. El Centro cuenta con bases de datos nacionales integradas y en la actualidad las ha puesto a disposición de funcionarios del gobier- no local por medio de CD-ROM y al alcance del público a través de internet. También produce boletines económicos mensuales y un informe estadístico anual sobre la nación y sobre cada gobernación. Colabora con entidades de gobiernos locales en la producción de informes estadís- ticos anuales y en el desarrollo y mantenimiento de sitios en la internet en el ámbito local. Igualmente ha emprendido uno de los primeros proyectos de gobierno-e de Egipto, que permi- tirá a los ciudadanos realizar transacciones con entidades del gobierno a través de la internet y en quioscos. Simultáneamente, el equipo encontró que las labores para dar un vuelco hacia una gestión basada en resultados continúan fragmentadas y desconectadas (a conti- nuación se hace un análisis más detenido del tema). Más allá de las fronteras de las organizaciones existen escasos incentivos u oportunidades para compartir informa- ción o lecciones. Información dinamizadora del proceso decisorio Durante su visita al Centro Nacional de Investigación y Desarrollo en Educación, los miembros del equipo observaron un ejemplo claro del uso de información en la formulación de las políticas por parte de un encargado del proceso decisorio. Durante la reunión con los miembros del equipo, el ministro de Educación llamó por teléfono para solicitar a la directora del Centro los resultados de un estudio de prácticas internacionales sobre la frecuencia de las pruebas estudiantiles. El Anexos2.p65 199 24/07/05, 10:32 a.m. 200 Manual para gestores del desarrollo ministro había solicitado a la directora realizar el estudio como insumo de las reflexiones del ministro sobre cambios a la práctica de pruebas anuales a estu- diantes en Egipto. El ejemplo en tiempo real de un alto funcionario encargado de formularpolíticasbuscandoinformaciónadecuadapararespaldardecisiones,cons- tituye el sello distintivo de un sistema moderno de seguimiento y evaluación basado en resultados. El equipo se enteró, por medio de entrevistas, acerca de otras aplicaciones inno- vadoras de indicadores de investigación y estadística para mejorar la calidad del pro- ceso decisorio del gobierno egipcio. En los conjuntos de datos utilizados por los organismos egipcios para hacer seguimiento a sus programas se incorporan muchas de los objetivos de desarrollo internacional y de los indicadores para medirlos (véase anexo C). Por ejemplo, el Ministerio de Salud acostumbra rastrear un conjunto de indicadores de desempeño para hacer seguimiento al éxito de su programa general. Sin embargo y según las entrevistas, antes que la regla, estos ejemplos de utilizar información de investigación y estadística como insumos del proceso decisorio conti- núan siendo la excepción. Según anotaba un estudio especialmente pesimista del entorno de investigación de Egipto, por lo general, los encargados de formular las políticas no tienen en cuenta los productos de la investigación, sin importar cuán pertinentes sean los temas de investigación a los problemas que enfrenta el país, o cuán sólidos sean los análisis y las conclusiones a las que se llegue. En Egipto, la formulación de las políticas y la aplicación no están respaldadas ni orientadas por investigación seria.2 Capacidad de investigación. Egipto cuenta con una capacidad significativa en investi- gación y estadística y con investigadores calificados en instituciones tanto públicas como pri- vadas, los cuales constituyen un recurso importante para los encargados del proceso decisorio que buscan dar un vuelco hacia un mayor enfoque en resultados. El Foro de Investigación Económica de Egipto, uno de los centros privados, es el centro regional para la Red Global para el Desarrollo, auspiciada por el Banco Mundial. A la red se la considera candidata a convertirse en un Centro Internacional de Excelencia. Estos Centros harán parte del Programa de Alian- zas de Evaluación para Hacer Seguimiento y Evaluar el Desarrollo de Capacidad, que opera entre el Departamento de Evaluación de Políticas y Operaciones, adscrito al Ministerio de Relaciones Exteriores (Gobierno de los Países Bajos) y el Departamento del Banco Mundial para Evaluación de Operaciones. El Centro de Investigación Social en la Universidad Americana de El Cairo ha diseñado un programa de cursos de capacitación para evaluadores. Con el Consejo Nacional para la Mujer, el director del Centro está al frente de la labor de seguimiento y evaluación. Además, el Centro de Investigación y Consultoría en Administración Pública en la Universidad de El Cairo cuenta con un programa de investigación y 2 Korayerm, Karima. The Research Environment in Egypt, en Research for Development in the Middle East and North Africa, IDRC. Disponible en la dirección electrónica www.idrc.ca/books/focus/930/ 15koraye.html Anexos2.p65 200 24/07/05, 10:32 a.m. Anexo II 201 capacitación en administración pública el cual incluye programas recientes sobre liderazgo para los altos ejecutivos de la Empresa de Energía Eléctrica de Egipto, capa- citación en apoyo al proceso decisorio para la Asamblea Popular de Egipto y el Con- sejo Shura, y un programa para periodistas sobre cubrimiento del presupuesto público. Sistema estadístico. El sistema estadístico de Egipto tiene una larga trayectoria y se ha convertido en un extenso sistema polifacético, capaz de realizar estudios complejos a gran escala. Dentro y fuera del gobierno se reconoce el valor de la información esta- dística de calidad. La capacidad del sistema estadístico se ha visto acrecentada en todo Egipto gracias a la expansión de las tecnologías de la información y las comunicaciones, produciendo esfuerzos innovadores para utilizar las estadísticas en apoyo de la planeación, el seguimiento, la evaluación y el proceso decisorio. Una de las fortalezas del país radica en el sistema estadístico, a medida que Egipto avanza hacia la ejecución de técnicas de gestión basadas en el desempeño. Al mismo tiempo, el sistema presenta algunas debilidades que es necesario resolver si lo que quiere Egipto es avanzar rápida- mente y con confianza en la calidad de las estadísticas oficiales del país. Fuentes de estadísticas oficiales. Las principales fuentes de estadísticas oficiales son la Capmas, el Ministerio de Planeación, los ministerios sectoriales (entre ellos Econo- mía, Hacienda, Salud y Educación) y el Banco Central. Adicionalmente, y con la fre- cuente colaboración de organismos del gobierno, centros académicos de investigación y organizaciones no gubernamentales han realizado numerosos estudios que han producido bases especializadas de datos. Capmas cumple dos funciones en el siste- ma estadístico: recaba y divulga estadísticas y es el organismo que autoriza todas las investigaciones estadísticas que se realizan en Egipto. En este caso, Capmas examina todos los instrumentos de investigación propuestos; puede solicitar cambios de rubros en el instrumento o su eliminación; y recibe una copia de todos los datos recabados por medio de instrumentos autorizados. Además, el papel de Capmas como organismo para la movilización pública lo ha predispuesto a tener una visión muy restrictiva sobre qué cifras estadísticas se pueden publicar, otorgándole a muchas estadísticas oficiales un valor militar. De igual manera, Capmas se ha mostrado muy sensible a los tipos de preguntas que hacen los investigadores privados. En los últimos cinco años, sin em- bargo, como se le informó a los miembros del equipo, Capmas ha asumido normas más liberales sobre el tipo de datos que se pueden divulgar y regularmente autoriza los cuestionarios. Expansión de actividades estadísticas. Si bien todo parece indicar que Egipto cuenta con un sistema estadístico muy centralizado, durante el transcurso de su misión los miembros del equipo se enteraron de que muchos organismos están creando sus pro- pios sistemas de datos los que, en algunos casos, van mucho más allá de la recolec- ción tradicional de estadísticas administrativas. Por ejemplo, como para el Ministerio de Salud y Población el concepto de salud es integral y abarca el bienestar tanto físico como social, el Ministerio está creando un programa para recabar estadísticas de sa- lud y sociales en el ámbito del hogar. Este programa complementa el sistema de ges- Anexos2.p65 201 24/07/05, 10:32 a.m. 202 Manual para gestores del desarrollo tión de información del Ministerio el cual, una vez esté concluido, va a integrar los registros de salud de más de 4.500 centros de atención primaria en una base de datos nacional. Otros órganos del gobierno proyectan crear nuevas medidas estadísticas, las cuales no se encuentran disponibles en Capmas o en otras fuentes. Por ejemplo, el Ministerio de Economía ha comenzado a trabajar en índices de producción y en un conjunto de indicadores anticipados para la economía. La expansión de las activi- dades estadísticas más allá de los sistemas tradicionales de recolección y presentación de informes plantea nuevos retos para mantener los estándares y garantizar la capa- cidad de comparación entre diferentes conjuntos de datos. Calidad de las estadísticas. Durante el transcurso de las entrevistas, los miembros del equipo escucharon sobre las muchas preocupaciones surgidas acerca de la confiabilidad de las estadísticas en Egipto. Algunas de estas inquietudes se basaban en insuficiencias muy bien documentadas: las estadísticas fiscales del Ministerio de Hacienda no estaban completas (debido a numerosos rubros presupuestarios adicio- nales) y el cierre es muy lento; las estadísticas de cuentas nacionales (que ahora las produce el Ministerio de Planeación con insumos de Capmas) no se recaban según estándares actuales, no están completas y se han revisado de manera arbitraria. En ambos casos, con el apoyo de donantes se están llevando a cabo proyectos de asisten- cia técnica, los cuales deben producir mejoras significativas. En otros casos, las in- quietudes se referían a las definiciones y a las metodologías apropiadas para calcular las tasas de pobreza, analfabetismo y desempleo. La falta de fe en la calidad de las estadísticas tiene un efecto corrosivo en el diálogo público: los debates sobre la mane- ra de resolver los problemas graves del desarrollo se convierten en reclamos conflicti- vos sobre la actualidad de las estadísticas. La función de Capmas. También se plantearon inquietudes sobre el papel que cum- ple Capmas. Investigadores académicos y otros ajenos al gobierno consideraban que la función como organismo autorizado para realizar investigación de sondeo ejerce una influencia debilitante en estudios independientes. Son ampliamente reconoci- das las capacidades de Capmas, para realizar encuestas en particular, pero no se le considera innovador ni fuente de liderazgo para fomentar el avance de las estadísti- cas en Egipto. No obstante la liberalización de las normas de divulgación, todo parece indicar que Capmas considera que, antes que crear información, su función principal es reglamentarla. A pesar de su función principal como la oficina nacional de estadís- ticas de Egipto, Capmas no participa en foros internacionales sobre estadística, como la Comisión de las Naciones Unidas sobre Estadística, ni tampoco ha expresado inte- rés en formar parte del Sistema General del FMI sobre Divulgación de Datos, ni de trabajar con miras a las Normas Especiales de Divulgación de Datos. Medición del desempeño organizativo. Lo que los miembros del equipo no encon- traron fue algún sistema de recolección y utilización de datos para medir la satisfac- ción del cliente. En tanto la recolección y la utilización de datos no son resultados del desarrollo, se trata de medidas importantes del desempeño organizativo. La ex- Anexos2.p65 202 24/07/05, 10:32 a.m. Anexo II 203 periencia ha demostrado la importancia de una medición equilibrada de resultados que incluya estos aspectos junto con los principales efectos sociales y financieros es- perados. Nexos con decisiones sobre recursos En cualquier país, el presupuesto representa un instrumento clave para tomar deci- siones sobre prioridades y ejecución de las políticas gubernamentales. Como obser- vaba hace poco un funcionario de la OCDE, ha ocurrido una revolución silenciosa en los métodos y filosofías de la confección de presupuestos, que se inició en los años ochenta en unos cuantos países industrializados, y está comenzando a sentirse en el mundo entero. La mayoría de los países se han embarcado en algún tipo de reforma de la confección de presupuestos dirigida a lograr una mejor estabilidad macroeco- nómica, un mejor orden de prioridades del gasto y una ejecución más eficaz de las políticas. Actualmente, el proceso presupuestario de Egipto no es adecuado para establecer un orden de prioridades del gasto o para garantizar de manera eficaz la ejecución de las políticas. Con un enfoque en las finanzas y en otros insumos, ni el proceso presu- puestario ni su formato facilitan la creación de un nexo entre los fondos y los resulta- dos esperados. Además, el enfoque del proceso de aprobación del presupuesto que utiliza la Asamblea Popular, de los controles que ejerce el Ministerio de Hacienda y de la supervisión de la Organización Central de Auditoría se pone en aspectos financie- ros sin consideración alguna a su relación con los efectos. El presupuesto ha sido identificado por el Banco Mundial como un campo priori- tario de reforma en Egipto, observando que pese a un sólido crecimiento económi- co, los efectos sociales en particular en salud y educación no han mejorado a una tasa equivalente... El primer paso para garantizar que se empleen de mejor manera los recursos de la nación en estas áreas es emprendiendo medidas para mejorar la orientación a resultados del presupuesto, en particular del presupuesto ordinario.3 La estructura y el proceso presupuestario actual no es propicio a una orientación al desempeño. Egypt Social and Structural Review identifica algunos problemas que su- gieren la magnitud del reto que significará el desplazamiento a un proceso presu- puestario con un énfasis en el desempeño: Fijar un orden de prioridades del gasto. El proceso presupuestario actual no inclu- ye enfoques comunes a estimular un orden de prioridades, por ejemplo, pro- porcionar topes presupuestarios o combinaciones para alentar a los ministerios sectoriales a fijar un orden de prioridades de las solicitudes presupuestarias. Además, las negociaciones y las revisiones presupuestarias ad hoc realizadas durante el año socavan aún más la ejecución de las prioridades presupuesta- rias establecidas por el Gabinete y la Asamblea Popular. 3 Egypt Social and Structural Review, borrador, Banco Mundial, 2001. Anexos2.p65 203 24/07/05, 10:32 a.m. 204 Manual para gestores del desarrollo Incentivos para la prestación eficiente de servicios. Ni en las negociaciones del pre- supuesto ni tampoco a través de incentivos, como compartir los ahorros o per- mitir mayor flexibilidad en la forma en que se utilizan los recursos, el proceso presupuestario recompensa la prestación eficiente de servicios. Transparencia. La información sobre el presupuesto egipcio es supremamente res- tringida. No se hace público el presupuesto que aprueba la Asamblea Popular; de acuerdo con la necesidad de saber se publican secciones de los documentos del presupuesto, no se publican estadísticas financieras básicas, o se publican en cifras totalizadas y los informes de auditoría se distribuyen en un círculo muy estrecho sin incluir información sobre la eficacia y la eficiencia del gasto. Alcance. Entre los Ministerios de Hacienda y Planeación se distribuye la res- ponsabilidad de la preparación y la ejecución del presupuesto de Egipto (véase cuadro). Este hecho dificulta la existencia de políticas fiscales responsables y de una planeación realista, debido a que los proyectos de inversión pueden tener gran impacto en niveles del presupuesto general y hacer difícil proyectar los requerimientos de costos periódicos. GOBIERNO DE EGIPTO: CATEGORÍAS PRESUPUESTARIAS Ministerio de Hacienda Ministerio de Planeación Capítulo 1 Capítulo 2 Capítulo 3 Capítulo 4 Sueldos y salarios Materiales y Gasto en Pago del (incluyendo subsidios) suministros inversiones servicio de la deuda Ejecución de una estrategia practicable Por parte de varios ministros existe gran interés en reunirse para darle forma a una labor encaminada a fortalecer la utilización en el gobierno de un sistema de segui- miento y evaluación basado en resultados. Es posible que los ministros consideren conformar un equipo de liderazgo que: Defina objetivos y desarrolle una visión estratégica; Determine un plazo y un marco de evaluación para estudios piloto y otras actividades; Mida los avances; y Reconozca y apoye los avances. Con el fin de asegurarse de que la visión se convierta en acción, será de gran im- portancia apoyar al equipo de liderazgo con un grupo dedicado y bien organizado. Entre las funciones que un grupo como este podría cumplir se encuentra el desarro- llo de un plan de acción, garantizando la disponibilidad de capacitación y apoyo ade- cuados, medir los avances, identificando las labores exitosas y compartiendo las Anexos2.p65 204 24/07/05, 10:32 a.m. Anexo II 205 lecciones aprendidas a través de las fronteras de la organización. Del grupo deben hacer parte personas comprometidas y llenas de energía que no tengan que atender otras tareas. El grupo debe contar con una autoridad clara y bien comunicada de parte del ministro, del primer ministro o del presidente. Para conformar un equipo como este, tal vez sea deseable recurrir a más de un ministerio y asignar a las personas a un equipo interministerial para asignaciones de trabajo de tiempo limitado. El Consejo Nacional para la Mujer conformó un equipo virtual muy interesante, congregando a las personas responsables de la elaboración del plan nacional en todos los ministerios. El pequeño grupo básico realizó talleres para estos grupos interministeriales para orientarlos hacia las inquietudes del Conse- jo y posteriormente ha continuado trabajando con esas personas en la elaboración de los planes individuales de los ministerios. Para apoyar esta iniciativa, el ministro de Hacienda ha expresado gran interés en actividades de capacitación. Existen algunos cursos específicos con un enfoque en confección de presupuestos basada en desempeño y en seguimiento y evaluación basados en resultados. A través de las unidades de OPCS y de OED, el Banco Mundial ha diseñado un curso dirigido a funcionarios del gobierno sobre Desarrollo y Cons- trucción de Sistemas de Seguimiento y Evaluación basados en resultados. También existe el Programa Internacional de Capacitación en Evaluación para el Desarrollo, el cual se realizó en Ottawa, Canadá (el lanzamiento de este programa se efectuó en julio de 2001). Tanto en Egipto como en el ámbito internacional también se dispone de cuantiosos recursos a los cuales se podría acudir para fines de capacitación. A título de ejemplos, el Instituto de Planeación Nacional tiene un curso sobre confec- ción de presupuestos basada en desempeño, diseñado por la Empresa de Acueducto de El Cairo; el Centro de Investigación Social tiene un programa de capacitación en seguimiento y evaluación, el cual se podría aprovechar; y el Centro de Investigación y Consultoría en Administración Pública, de la Universidad de El Cairo, ha diseñado varios programas de capacitación sobre el tema. Actividades auspiciadas por donantes Los miembros del equipo se reunieron con el mayor donante en Egipto: la Agencia de Estados Unidos de Ayuda para el Desarrollo (Usaid, por sus iniciales en inglés) du- rante la misión de diagnóstico. En tanto Usaid no cuenta con planes específicos para prestar asistencia técnica adicional en el campo del seguimiento y la evaluación basa- dos en desempeño, la amplia experiencia de Usaid en este tema constituye un recur- so significativo y ésta expresó interés en trabajar más estrechamente con el Banco Mundial en este campo. Hay varios donantes que están prestando asistencia técnica al gobierno de Egipto, quienes pueden fomentar el viraje de Egipto hacia un enfoque basado en resultados. A continuación se relacionan algunas de las actividades en curso apoyadas por do- nantes: Anexos2.p65 205 24/07/05, 10:32 a.m. 206 Manual para gestores del desarrollo Actividades actuales de asistencia técnica ilustrativas El Proyecto Actividad de Acceso y Transmisión de Datos (DATA, por sus iniciales en inglés) está ayudando al gobierno de Egipto a diseñar y mantener cuentas nacionales conformes con el Sistema de Cuentas Nacionales de 1993. Financiado por Usaid, este proyecto está perfeccionando los sistemas de tecnología de la in- formación del Ministerio de Planeación y prestando asistencia técnica para for- talecerlarecolección,tabulaciónydivulgacióndedatoseconómicosclaveenEgipto. El Programa de Modernización Industrial de Egipto está ayudando al sector industrial de Egipto a prepararse para la liberalización comercial. Financiado por la Unión Europea, el gobierno de Egipto y el sector privado, el proyecto ofrece asistencia técnica a la pequeña y la mediana empresa y al sector en su conjunto. En la actual, un equipo de Dinamarca está haciendo un estudio de calidad al sistema nacional de Egipto. Una actividad financiera por Usaid ha instalado una red computarizada en el Parlamento de Egipto con el fin de facilitar el acceso del proceso legislativo a la información. Según documentos del proyecto, se ha observado mayor deman- da de mejor información por parte de los miembros de la Asamblea Popular, en particular de los organismos del gobierno y de información cuantitativa sobre temas objeto de debates. El FMI ha estado prestando asistencia técnica a corto plazo con el fin de ayudar a las autoridades a resolver las deficiencias de la base nacional de datos, sobre todo en las áreas de cuentas nacionales, balanza de pagos, estadísticas moneta- rias, fiscales y de precios. En las áreas de la balanza de pagos y de la deuda externa, se ha prestado asistencia a largo plazo en el pasado. El PNUD está prestando asistencia técnica y apoyo tanto al Centro de Informa- ción y Apoyo al Proceso Decisorio como al Ministerio de Hacienda. Viraje al y basado en resultados: recomendaciones S E Lograr que una institución del sector público, mucho menos la totalidad de un gobier- no, dé el vuelco a un enfoque en desempeño, exige un esfuerzo mayor y plurianual con un liderazgo fuerte y un compromiso con el cambio. Los gobiernos que hace más de diez años se trazaron este curso, aún continúan evolucionando. La experiencia interna- cional también ha demostrado que, a veces, la mayor recompensa se obtiene de algu- nos de los primeros pasos relativamente simples en un viaje mucho más prolongado hacia una cultura de desempeño que, de manera eficaz, crea un nexo entre recursos y resultados. El gobierno de Egipto apenas acaba de iniciar este viaje. Los miembros del equipo consideran que los pasos siguientes ayudarán a llevarlo a feliz término. Crear un grupo interministerial de liderazgo para fomentar el seguimiento y la evalua- ción basados en resultados. Un equipo de liderazgo conformado por ministros comprometidos con el cambio en su propia organización podría agilizar la adop- Anexos2.p65 206 24/07/05, 10:32 a.m. Anexo II 207 ción del seguimiento y la evaluación basados en resultados y la introducción de un proceso presupuestario más basado en resultados. Bajo la dirección del ministro de Hacienda, este grupo podría cumplir varias funciones clave, por ejemplo: diseñar una estrategia general para orientar el trabajo; dar orienta- ción y proporcionar un marco de evaluación para hacer estudios piloto de las actividades en ministerios individuales y en otras organizaciones; y trazar un plan para expandir la actividad piloto y compartir las mejores prácticas y lec- ciones entre los ministerios. Este grupo debe decidir si en el contexto egipcio se deben proseguir los mecanismos que han utilizado otros países para impulsar y otorgar autoridad al trabajo de reforma como decretos presidenciales, en- miendas a las leyes de presupuestos y legislación. Apoyar la iniciativa del Consejo Nacional para la Mujer. Para evaluar y hacer segui- miento a la ejecución en el Plan 2002-2006 de iniciativas relacionadas con el género. Bajo los auspicios de la primera dama, a medida que han ido desarro- llando sus planes, el Consejo ha trabajado de manera muy eficaz con el Minis- terio de Planeación y otros ministerios sectoriales. Los miembros del equipo consideran que el paso siguiente de la ejecución del seguimiento y la evalua- ción ofrece una oportunidad especial para convertirse en dinamizador del cam- bio a través de varios ministerios. Como el Consejo abarca una gran variedad de actores dentro y fuera del gobierno, entre ellos académicos, el sector priva- do, organizaciones no gubernamentales, los medios y ministerios relaciona- dos, podría promover el consenso sobre aspectos de medición y la transparencia en la presentación de informes sobre los resultados. Construir la capacidad para respaldar la reforma. Ningún país ha tenido éxito con una labor significativa de reforma sin un equipo dedicado y bien organizado para apoyarlo. Un equipo básico podría apoyar al grupo ministerial y a los programas piloto con el fin de reducir al mínimo los trámites burocráticos y agilizar la innovación y el aprendizaje; identificar las lecciones aprendidas y la manera de incorporar estas lecciones en el gobierno. El equipo podría apoyar- se en el personal de carrera de varios ministerios y aprovechar los recursos significativos de la comunidad académica y no gubernamental de Egipto. Modernizar las políticas estadísticas. No obstante la capacidad manifiesta del sis- tema estadístico egipcio, existen evidencias de su atraso en términos de la cali- dad de las estadísticas producidas y de la atención prestada a las necesidades de los clientes. Egipto debe examinar las leyes estadísticas con miras a separar las responsabilidades de Capmas en el tema de la movilización militar, de la fun- ción que cumple como organismo estadístico independiente. Para formular las políticas y los estándares para la producción y divulgación de estadísticas oficia- les, muchos países emplean una comisión nacional estadística o un órgano simi- lar de coordinación. Egipto debe adoptar una estrategia similar para coordinar las políticas y los estándares. Una comisión de esta índole debe incluir entre sus miembros tanto a representantes de los organismos encargados de producir las estadísticas como a profesionales estadísticos de alto rango provenientes de las universidades y el sector privado. Anexos2.p65 207 24/07/05, 10:32 a.m. 208 Manual para gestores del desarrollo Incrementar el enfoque de cliente. El valor de las estadísticas no proviene de la producción sino del uso que se les dé. Con el fin de estimular la divulgación generalizada de las estadísticas, dentro del gobierno y a usuarios no guberna- mentales, el valor debe ser la meta de todos aquellos que las producen. Los organismos responsables de la producción de estadísticas podrían crear gru- pos de asesoría para que representen a los usuarios y así lograr mayor com- prensión de las necesidades de sus clientes. Otra función útil que podrían cumplir estos grupos, sería la de alentar el intercambio de información entre usuarios de datos, quienes pueden encontrar soluciones a problemas comu- nes. Estos grupos de asesoría se reunirían con regularidad con los gestores de unidades estadísticas en los organismos. Al nivel más alto, un grupo de aseso- ría a Capmas o a la comisión estadística que se propone ofrecería insumos so- bre las necesidades de todos los usuarios de la información estadística egipcia. Participar en el Sistema Especial del FMI de Divulgación de Datos. Conforme Egipto se prepara para ingresar a los mercados internacionales del capital, va a adqui- rir mayor importancia que el país produzca estadísticas creíbles. La inscripción en el Sistema Especial de Divulgación de Datos constituiría un paso importan- te en esta dirección (véase la cartelera del FMI de estándares de divulgación en la dirección electrónica: http://dsbb.imf.org). El SDDS exige a los países adoptar estándares internacionales para presentar informes sobre estadísticas econó- micas y financieras importantes y mantener un listado actual de las políticas y estándares vigentes en esos países. Trabajar para ser parte del SDDS ofrecería un dinamizador poderoso para modernizar el sistema estadístico de Egipto. Estimular el apoyo de donantes. Los donantes tienen una función importante que cumplir prestando asistencia técnica y ofreciendo capacitación para apoyar el viraje de Egipto hacia un seguimiento y evaluación basados en resultados. Al hacerlo, los donantes pueden aprovechar los conocimientos especializados exis- tentes en universidades y centros de estudio así como la significativa experien- cia internacional en enfoques basados en resultados. Actividades a corto plazo que debe apoyar el Banco Mundial 1. Ofrecer apoyo técnico al ministro de Hacienda para poner en práctica la visión del ministro en el sentido de dar un vuelco al proceso presupuestario Organizar y coordinar un taller o una sesión de consulta dirigida a apoyar de manera directa un grupo interministerial recién creado. El tema principal de este taller será la confección de presupuesto basada en desempeño, aprovechando la experiencia in- ternacional y teniendo como finalidad la creación de una visión y de un plan de ac- ción para Egipto. Enfoque: interactivo. Duración: dos días. Durante el primer día, expertos del Banco Mundial compartirán sus opiniones prácticas con base en expe- riencias prácticas internacionales. Durante el segundo día, el ministro de Hacienda Anexos2.p65 208 24/07/05, 10:32 a.m. Anexo II 209 introducirá y analizará la visión, la estrategia y el plan de acción. La fecha tentativa para realizar esta actividad es a comienzos de otoño de 2001. Apoyar al Consejo Nacional para la Mujer conforme se prepara para diseñar un marco de seguimiento y evaluación para medir la ejecución de los objetivos relacio- nados con el género establecidos en todos los ministerios pertinentes como parte del plan nacional 200-2006, cuya conclusión estaba prevista para octubre de 2001. El Consejo Nacional para la Mujer ha solicitado específicamente asistencia técnica en el campo del diseño y la construcción de un sistema de seguimiento y evaluación basado en resultados, para rastrear los resultados de programas de género ejecuta- dos en varios ministerios sectoriales. Este apoyo puede ser bajo la forma de asesoría, consultoría y capacitación y debe estar vinculado con la próxima estimación de géne- ro auspiciada por el Banco Mundial. El Banco Mundial debe comenzar a comunicarse de inmediato con el Consejo y con sus asesores técnicos sobre el tema del plazo y las especificidades para organizar, para comienzos de otoño de 2001, una sesión de consultoría en El Cairo con la parti- cipación de miembros clave del Consejo. Conjuntamente con la Universidad Ameri- cana de El Cairo y otros centros de investigación con conocimientos especializados en el tema, se diseñó el plan de estudios para un posible curso de capacitación. La Secretaría General del Consejo Nacional para la Mujer debe formar parte del consejo interministerial mencionado antes. 2. Mejorar la capacidad estadística de Egipto Se debe dar a conocer la meta de suscribirse a los Estándares Especiales del FMI para la Divulgación de Datos (SDDS) y de asignar responsabilidades al organismo indicado. La suscripción al SDDS ayudará a Egipto en sus planes de ofrecer Títulos Soberanos en los mercados internacionales. Si bien es posible que la aceptación final de los datos meta de Egipto tenga que esperar a la culminación del trabajo en curso en sus cuen- tas fiscales y nacionales, se debe diseñar lo más pronto posible el plan de suscripción al sistema, incluyendo la fecha proyectada para hacerlo. Anexos2.p65 209 24/07/05, 10:32 a.m. 210 Manual para gestores del desarrollo ANEXOS Anexo A. Términos de referencia Anexo B. Entrevistas realizadas Anexo C. Egipto y los objetivos de desarrollo internacional Anexo D. Notas finales, bibliografía y recursos Anexo A Términos de referencia Misión de diagnóstico del seguimiento y la evaluación basados en desempeño Egipto, junio 2-6, 2001 Antecedentes Egipto hace parte del grupo de ocho países piloto seleccionados para tomar parte en un programa del Banco Mundial, aprobado en septiembre por la Junta Directiva Ejecu- tiva. La meta principal de este programa, el Programa de Mejoramiento del SyE, es la de ayudar tanto al personal del Banco como a los funcionarios del país prestatario a hacer un mejor seguimiento de los resultados del desarrollo, fortaleciendo la utilización por parte de esos funcionarios de sistemas SyE basados en desempeño. Estos sistemas (bien entendidos hoy día para respaldar la buena administración pública) pueden ayudar a los funcionarios del gobierno a identificar y fijar metas y efectos realistas para progra- mas del sector público. Dos requisitos clave de un sistema practicable de SyE basado en resultados son: 1) la inclusión de indicadores de desempeño a los que con regularidad se les hará seguimiento para estimar los avances en el cumplimiento de los objetivos de desarrollo, y 2) un sistema válido y verificable de recolección y presentación de datos sobre esos indicadores. Durante la próxima misión a Egipto, con la finalidad de determinar la manera en que sistemas de SyE basados en desempeño podrían apoyar una gestión pública efi- caz, el equipo de la misión se reunirá con varios funcionarios del gobierno y con organizaciones de donantes y de otras partes interesadas. El equipo comenzará por trazar un mapa de las labores de SyE actualmente en curso y por hacer una estimación de si dentro y fuera del gobierno existe la capacidad para recolección y presentación de datos. Así mismo, el equipo va a estimar la posibilidad de que existan oportunida- des potenciales para diseñar y construir sistemas de SyE basados en desempeño y barreras potenciales al logro de este propósito. Reuniones que se van a realizar con funcionarios clave Entre los funcionarios cuyos puntos de vista serán importantes, se encuentran repre- sentantes de las siguientes organizaciones: Anexos2.p65 210 24/07/05, 10:32 a.m. Anexo II 211 Ministerio de Hacienda - Ministro de Hacienda - Personas involucradas en confección de presupues- tos (si se ha creado la Unidad de Apoyo a las Deci- siones de Políticas Fiscales, entonces al equipo le gustaría reunirse con el jefe de la unidad) - Personas involucradas en la conversión en socieda- des anónimas de las 62 empresas públicas Ministerio de Planeación - Personas encargadas de la preparación y la super- visión del presupuesto de inversiones - Jefe de la Oficina de Estadísticas Despacho del primer ministro Personas directamente responsables de fijar priorida- des sectoriales y planeación general del desarrollo eco- nómico Oficina Central de Contabilidad Jefe de la oficina o altos funcionarios a cargo del exa- (CAO) men ex post de las cuentas del presupuesto Ministerio de Salud y Población - Jefe de las Unidades de Reforma Administrativa Ministerio de Agricultura y - Jefe de sistemas administrativos de datos y presen- Ministerio de Educación tación de datos Ministerio de Salud y Población Jefe de la unidad responsable de la contratación de servicios no esenciales con proveedores externos Organización de Seguridad de la Director o persona principal Salud Centro de Investigación Agrícola Funcionario Centro Nacional de Investigación Funcionario principal en Educación Oficina Nacional de Estadística Jefe (o la oficina responsable de realizar encuestas de hogares) Donantes Una reunión con donantes clave, como Usaid, PNUD y otros con una presencia importante en el país. A continuación aparece un listado de preguntas que se les podrían plantear a es- tos funcionarios: 1. ¿Qué está motivando en Egipto la necesidad de sistemas de seguimiento y eva- luación basados en resultados? (incentivos / demandas) Anexos2.p65 211 24/07/05, 10:32 a.m. 212 Manual para gestores del desarrollo 2. ¿Dónde radica en el gobierno la responsabilidad de una prestación eficaz (y efi- ciente) de programas? 3. ¿Existe en el gobierno una estrategia u organización codificada (por medio de estatutos o mandatos) para hacer seguimiento a los objetivos de desarrollo? 4. ¿Dónde radica en el país piloto la capacidad con las destrezas requeridas para diseñar y utilizar sistemas de seguimiento y evaluación basados en resultados? ¿De qué manera esta capacidad (o la ausencia de la misma) ha hecho un aporte a la utilización en el país de SyE? Productos esperados de la misión Cuando la misión llegue a su fin, los miembros del equipo esperan haber identificado en el gobierno por lo menos a un defensor, o a varios defensores, interesado en diseñar un sistema de SyE basado en desempeño con el fin de apoyar el seguimiento de los objetivos de sector o de programa. En segundo lugar, los miembros del equipo confían en conformar alianzas con otros donantes clave con intereses similares en ayudar a Egipto a construir capacidad en el campo de la gestión basada en desempeño para programas nacionales y sectoriales. Por último, es la intención de los miembros del equipo diseñar un plan de acción y un conjunto de recomendaciones que se puedan incorporar en un programa dirigido a fortalecer el uso del desempeño y la evaluación basados en desempeño por parte del gobierno o de partes interesadas clave. Anexo B Entrevistas realizadas Foro de investigación económica Capmas Centro de información y apoyo al proceso Instituto de Planeación Nacional decisorio del Gabinete egipcio Consejo Nacional para la Mujer Fondo Monetario Internacional Centro de Investigación en Administración Ministerio de Electricidad y Energía Pública, Universidad de El Cairo Ministerio de Educación Fondo Social para el Desarrollo Ministerio de Hacienda Centro de Investigación Social Ministerio de Salud Programa de las Naciones Unidas para el Ministerio de Industria y Tecnología Desarrollo Ministerio de Cooperación Internacional Agencia de Estados Unidos para el Ministerio de Planeación Desarrollo Internacional Anexo C Egipto y los objetivos de desarrollo internacional A partir de los convenios y resoluciones de las conferencias mundiales organiza- das por las Naciones Unidas en la primera mitad de los años noventa, se han identi- ficado siete metas de desarrollo internacional, a saber: Anexos2.p65 212 24/07/05, 10:32 a.m. Anexo II 213 1. Entre 1990 y 2015, reducir a la mitad la proporción de personas que viven en la pobreza extrema; 2. Para 2015, matricular a todos los niños en la escuela primaria; 3. Para 2005, lograr avances hacia la igualdad de género y el empoderamiento de la mujer eliminando las desigualdades de género en la educación primaria y secun- daria; 4. Entre 1990 y 2005 reducir en dos tercios las tasas de mortalidad de infantes y niños; 5. Entre 1990 y 2005, reducir en tres cuartos las tasas de mortalidad materna; 6. Para 2015, ofrecer acceso a todos aquellos que necesiten de servicios de salud en salud reproductiva; y 7. Para 2005, ejecutar estrategias nacionales para un desarrollo sostenible de mane- ra de dar marcha atrás a la pérdida de recursos ambientales para 2015. Entre los conjuntos de datos que utilizan los organismos egipcios para hacer se- guimiento a sus programas se encuentran incorporadas muchas de estas metas e indicadores para medir las metas. Próximamente se publicará una nueva encuesta de gastos de hogares, a partir de la cual es posible calcular las tasas de pobreza. Existe gran controversia sobre la ma- nera de medir la pobreza y sobre la definición apropiada del umbral nacional de la pobreza. El Informe de Desarrollo Humano de Egipto para el año de 1996 presentaba sobre cinco umbrales de pobreza: umbral de pobreza basado en alimentación; um- brales de pobreza de ingreso más bajo y de ingreso más alto; y umbrales de pobreza de gasto más bajo y de gasto más alto. Las tasas de matrícula en la escuela primaria y en la secundaria se difunden am- pliamente mientras Egipto trabaja hacia la meta de matrícula universal en la educa- ción básica (hasta el grado 8). Sin embargo, en el Anuario Estadístico de Capmas o en el Informe de Desarrollo Humano de Egipto sólo aparecen las tasas brutas (incluyen- do estudiantes por fuera de la edad escolar). Las estadísticas sobre matrícula de niñas gozan de amplia difusión, lo mismo que la proporción de mujeres en la escuela y en facultades universitarias. Las tasas de alfabetismo también se observan con gran aten- ción y se publican. Muchas publicaciones oficiales y semioficiales citan mejoras de la situación de las mujeres como meta primaria social. Entre los indicadores de la salud, se informa sobre la esperanza de vida al nacer, las tasas de mortalidad de infantes y niños y las tasas de mortalidad materna. Hace poco Capmas concluyó un nuevo conjunto de estimaciones de mortalidad materna. El Fondo Social para el Desarrollo utiliza en su índice de situación de la salud la tasa de mortalidad infantil, la tasa de mortalidad de menores de cinco años y la tasa de mortalidad materna como medidas del bienestar. El Ministerio de Salud tiene un pro- grama de gran envergadura en atención en salud reproductiva, a través de las unida- des de atención básica en salud, el cual registra información sobre fertilidad e incidencia de los anticonceptivos en las poblaciones a las que sirve. Esas unidades también reunen información sobre abastecimiento de agua. Anexos2.p65 213 24/07/05, 10:32 a.m. 214 Manual para gestores del desarrollo Todo lo anterior sirve de evidencia en el sentido de que Egipto participa activa- mente en el seguimiento de los avances a lo largo de las mismas dimensiones del bienestar humano como lo hacen los Objetivos del Desarrollo Internacional y requie- re de datos de calidad para hacerlo. Anexo D Bibliografía y recursos Bibliografía Egypt: Human Development Report, Instituto de Planeación Nacional, 1998, 2000. El Saiedi, H.E. Dr. Ali, Restructuring of the Power Sector and Enhancement of Private Opportunities, Presentación ante la Cámara Americana de Comercio de Egipto, octubre 2000. Healthy Egypcians 2010, Ministerio de Salud y Población. Korayerm, Karima, The Research Environment in Egypt, en Research for Development in the Middle East and North Africa, CIID. Disponible en: www.idrc.ca/books/focus/930/15koraye.html Public Debt Management Program, República Árabe de Egipto, Ministerio de Hacienda, presen- tación ante la Conferencia Euromoney, Economías Árabes Nacientes: Incursión en los mercados globales, septiembre 2000. The National Council for Women, folleto, n.d. véase también la dirección electrónica: http://ncw.gov.eg Towards a More Result Oriented Budget Process, en Egypt: Public Expenditure Review of the So- cial Sectors, Banco Mundial, Grupo de Desarrollo Social y Económico, Región de Orien- te Medio y norte de África, enero 1999. Valsan, E.H. The Egyptian Civil Service and the Continuing Challenge of Reform. En Research in Public Adminitration. Tomo 5: 223-226, 1999. www.IDSC.gov.eg (sitio en internet del Centro de Información y Apoyo al Proceso Decisorio del Gabinete egipcio). http://www.oecd.org/puma (sitio en internet del Programa de la OCDE sobre Gestión Pública y Gobernabilidad). Anexos2.p65 214 24/07/05, 10:32 a.m. ANEXO III OBJETIVOS DE DESARROLLO DEL MILENIO (ODM) Listado de metas y objetivos Objetivo 1.Erradicarlapobrezaextremayelham- Indicadores bre Meta 1: Entre 1990 y 2015, reducir a la mi- 1. Proporción de la población con un in- tad la proporción de personas con un in- greso inferior a un dólar al día greso inferior a un dólar al día 2. Relación de brecha de la pobreza [inci- dencia x intensidad de la pobreza] 3. Participación en el consumo nacional del quintil más pobre Meta 2: Entre 1990 y 2015, reducir a la mi- 4. Incidencia de niños de peso inferior al tad la proporción de personas que padecen normal (menores de cinco años de hambre edad) 5. Proporción de la población por debajo del nivel mínimo de consumo de ener- gía dietética Objetivo 2: Lograr la educación primaria uni- Indicadores versal Meta 3: Garantizar que, para 2015, los ni- 6. Relación de matrícula neta en educa- ños de todas partes, niños y niñas por igual, ción primaria tengan la posibilidad de terminar un curso 7. Proporción de estudiantes que comien- completo de escolaridad primaria zan el grado 1 y terminan el grado 5 8. Relación de alfabetismo de personas de edades entre 15 y 24 años Objetivo 3: Fomentar la igualdad de género y Indicadores empoderar a las mujeres Meta 4: Preferiblemente para 2005, elimi- 9. Relación de niñas a niños en educación nar la desigualdad de género en la educa- primaria, secundaria y terciaria ción primaria y secundaria y, a más tardar 10. Relación de mujeres a hombres de eda- en 2015, en todos los ámbitos de la educa- des entre 15 y 24 años que saben leer y ción escribir Anexos3.p65 215 24/07/05, 10:32 a.m. 216 Manual para gestores del desarrollo 11. Participación de mujeres en empleo asa- lariado en el sector no agrícola 12. Proporción de escaños en poder de mu- jeres en el Parlamento nacional Objetivo 4: Reducir la mortalidad infantil Indicadores Meta 5: Entre 1990 y 2015, reducir en dos 13. Tasa de mortalidad de menores de cin- tercios la tasa de mortalidad de menores de co años cinco años 14. Tasa de mortalidad de infantes 15. Proporción de niños de un año vacuna- dos contra el sarampión Objetivo 5: Mejorar la salud materna Indicadores Meta6:Entre1990y2015,reducirentrescuar- 16. Coeficiente de mortalidad materna tos el coeficiente de mortalidad materna 17. Proporción de nacimientos atendidos por personal de salud calificado Objetivo 6: Luchar contra el VIH/SIDA, la mala- Indicadores ria y otras enfermedades Meta 7: Para 2015, haber reducido a la mi- 18. Incidencia del VIH entre mujeres emba- tad y comenzado a dar marcha atrás a la razadas con edades entre los 15 y los 24 propagación del VIH/SIDA años 19. Tasa de incidencia de anticonceptivos 20. Número de niños a quienes el VIH/SIDA ha dejado huérfanos Meta 8: Para 2015, haber reducido a la mi- tad la incidencia del paludismo y de otras 21. Tasas de incidencia y de muerte asocia- enfermedades importantes das con el paludismo 22. Proporción de la población en zonas de riesgo de paludismo que utiliza medi- das eficaces de prevención y tratamien- to del paludismo 23. Tasas de incidencia y de muerte asocia- das con la tuberculosis 24. Proporción de casos de TB detectados y curados según el Curso Corto de Trata- miento Directamente Observado (DOTS, por sus iniciales en inglés) Objetivo 7: Garantizar la sostenibilidad ambiental Indicadores Meta 9: Integrar en las políticas y progra- 25. Proporción de superficie terrestre cu- mas país los principios de desarrollo soste- bierta con bosques nible y dar marcha atrás a la pérdida de recursos naturales Anexos3.p65 216 24/07/05, 10:32 a.m. Anexo III 217 26. Proporción de superficie terrestre pro- tegida para mantener la diversidad bio- lógica 27. PIB por unidad de uso de energía (como sustituto de eficiencia energética) 28. Emisiones(percápita)dedióxidodecar- bono [más dos cifras de contaminación atmosférica glo- bal: agotamiento del ozono y la acumulación de gases de calentamiento global] Meta 10: Para 2015, reducir a la mitad la pro- 29. Proporción de la población con acceso porción de personas sin acceso sostenible a sostenible a una fuente mejorada de agua potable segura agua Meta 11: Para 2020, haber alcanzado una 30. Proporción de personas con acceso a sa- mejoría significativa de las vidas de por lo neamiento básico mejorado menos cien millones de habitantes de ba- 31. Proporción de personas con acceso a te- rrios bajos nencia segura. [La desagregación urbana/rural de varios de los indicadores que aparecen antes puede ser perti- nente para hacer seguimiento al mejoramiento de las vidas de los habitantes de barrios bajos]. Objetivo 8: Crear una alianza global para el de- Indicadores sarrollo Meta 12: Desarrollar aún más un sistema co- Algunos de los indicadores que se relacionan a conti- mercial y financiero abierto, regido por las nuación van a ser objeto de seguimiento por separado normas, predecible y no discriminatorio. para los Países Menos Desarrollados (PMD), África, paí- Incluye un compromiso tanto en el ámbito nacional ses sin salida al mar y pequeños Estados isleños en de- como en el internacional con la gobernabilidad, el sarrollo. desarrollo y la reducción de la pobreza. Ayuda oficial para el desarrollo 32. AOD neta como porcentaje de la Renta Nacional Bruta (RNB) (objetivos de 0,7% en total y de 0,15% para PMD) Meta 13: Resolver las necesidades especia- 33. Proporción de la AOD destinada a servi- les de los países menos desarrollados. cios sociales básicos (educación básica, Incluye acceso libre de aranceles y cuotas para las ex- atención primaria en salud, nutrición portaciones de los Países Menos Desarrollados; progra- agua potable segura y saneamiento bá- mas mejorados de alivio de la deuda para Países Pobres Muy Endeudados y la cancelación de la deuda oficial sico) bilateral; y una Ayuda Oficial para el Desarrollo más ge- 34. Proporción de la AOD no condicionada nerosa para países comprometidos con la reducción de 35. Proporción de la AOD para el medio am- la pobreza. biente en los pequeños Estados isleños en desarrollo Anexos3.p65 217 24/07/05, 10:32 a.m. 218 Manual para gestores del desarrollo 36. Proporción de la AOD para el sector del transporte en países sin salida al mar Meta 14: Resolver las necesidades particu- Acceso al mercado lares de países sin salida al mar y las de los 37. Proporción de exportaciones (por valor pequeños Estados isleños en desarrollo y excluyendo armas) admitidas libres [por medio del Programa Barbados y de las estipula- de aranceles y cuotas ciones de la Vigésima segunda Asamblea General] Meta 15: Tratar de manera integral los pro- 38. Aranceles y cuotas promedio sobre pro- blemas de la deuda de los países en desa- ductos agrícolas, textiles y ropa rrollo a través de medidas nacionales e 39. Subsidios agrícolas internos y a las ex- internacionales con el fin de hacer sosteni- portaciones en países de la OCDE ble la deuda en el largo plazo 40. Proporción de AOD prestada para ayu- dar a construir capacidad de intercam- bio comercial Sostenibilidad de la deuda 41. Proporción de deuda oficial bilateral de PPME cancelada 42. Servicio de la deuda como porcentaje de las exportaciones de bienes y servi- cios 43. Proporción de AOD prestada como ali- vio de la deuda 44. Número de países que han alcanzado puntos de decisión de PPME y de termi- nación Indicadores Meta 16: En colaboración con los países en 45. Tasa de desempleo de personas con desarrollo, desarrollar y ejecutar estrategias edades entre 15 y 24 años para ofrecer a los jóvenes empleos decen- tes y productivos Meta 17: En colaboración con las compañías 46. Proporción de la población con acceso farmacéuticas, ofrecer en los países en de- a medicamentos esenciales asequibles sarrollo acceso a medicamentos asequibles de manera sostenida y esenciales Meta 18: En colaboración con el sector pri- 47. Líneas telefónicas por mil personas vado, poner al alcance de todos los benefi- 48. Computadores personales por mil per- cios de las nuevas tecnologías, en particular sonas las de la información y las comunicaciones Anexos3.p65 218 24/07/05, 10:32 a.m. ANEXO IV POLÍTICAS NACIONALES DE EVALUACIÓN PARA SRI LANKA Asociación de Evaluación de Sri Lanka, SLEva, conjuntamente con el Ministerio de Desarrollo y ejecución de las políticas Diciembre de 2003 Políticas Nacionales de Evaluación del Gobierno de Sri Lanka Introducción El gobierno de Sri Lanka es plenamente consciente del creciente consenso interna- cional en el sentido que la evaluación constituye un aspecto básico de la gober- nabilidad, la cual busca aumentar la efectividad del desarrollo, la transparencia, la rendición de cuentas y un proceso decisorio informado. A lo largo del presente docu- mento, al término evaluación se le entiende en el contexto del desarrollo y se utiliza la definición del Comité de Ayuda para el Desarrollo (DAC)/OCDE como la estimación sistemática y objetiva de un proyecto, de un programa o de las políticas en curso o concluidas, la formulación de éstos, su ejecución y resultados con la finalidad de de- terminar la pertinencia y cumplimiento de los objetivos, la eficiencia del desarrollo, su eficacia, impacto y sostenibilidad. Una evaluación debe ofrecer información creí- ble y útil, que permita la incorporación en el proceso decisorio de lecciones aprendi- das. Para mejorar la rendición de cuentas del desempeño, el aprendizaje de lecciones y el perfeccionamiento de las políticas en el sector privado, resulta vital la evaluación siste- mática de proyectos, programas instituciones y políticas.1 La evaluación también es una herramienta de reformas del sector público. El éxito final de la evaluación depen- de de cuán adecuado sea el uso que los planificadores y los encargados del proceso decisorio den a los hallazgos de la evaluación y a las lecciones aprendidas para mejorar la formulación de las políticas y la planeación. Es, por consiguiente, necesario crear vínculos fuertes entre evaluación, por una parte y formulación de las políticas, reformas, planeación y confección del presupuesto, por la otra. La adopción de políticas nacionales de evaluación 1 La utilidad de las evaluaciones también tiene aplicación para otros sectores. El énfasis del pre- sente documento, sin embargo, se pone en las políticas nacionales para el sector público. Según se desee, se puede aplicar en otros sectores. Anexos4.p65 219 24/07/05, 10:32 a.m. 220 Manual para gestores del desarrollo orientaría y dirigiría la utilización de la evaluación y la función que ésta cumple en el desarrollo nacional. La situación actual y la necesidad de Políticas Nacionales de Evaluación En términos mundiales, el desempeño del sector público ha sido motivo de preocu- pación entre los ciudadanos. Los contribuyentes han conminado a los gobiernos para que demuestren valor por dinero en la prestación del servicio público. En un mundo rápidamente cambiante, se ha puesto en duda la pertinencia de las instituciones y de sus mandatos. De manera similar con respecto a proyectos y programas, la cuota cre- ciente de proyectos problemáticos y el insatisfactorio desempeño de proyectos terminados po- nen de relieve la necesidad de evaluaciones sistemáticas. La evidencia disponible resalta el hecho que proporciones significativas de programas de desarrollo no han logrado cumplir a plenitud los objetivos de desarrollo propuestos. En Sri Lanka, por ejemplo, se informa que apenas cuarenta y cuatro por ciento de los proyectos finan- ciados por el Banco Asiático para el Desarrollo y sometidos a evaluaciones posterio- res a su conclusión han logrado cumplir sus objetivos en términos de aportes al desarrollo social y económico.2 Es generalizado el consenso en el sentido que las eva- luaciones oportunas y la utilización de conocimientos confiables en evaluación ayu- da a los gobiernos a mejorar la formulación de las políticas y el diseño de proyectos, aumentar la rentabilidad de las inversiones y a agilizar la ejecución de proyectos en marcha. El gobierno es consciente y está atento al hecho de que, en la actualidad, una elevada proporción de recursos de seguimiento y evaluación se dedican a hacer segui- miento a los insumos y a la ejecución física y financiera de grandes proyectos, mientras es poca la atención que se dedica a estimar los resultados, la sostenibilidad, la prestación de servicios, la calidad, la distribución de los beneficios de los proyectos entre diversos grupos socioeconómicos o regiones geográficas. En el pasado, el Sistema de Seguimiento y Evaluación mostraba una tendencia a tener un sesgo hacia la ejecución, contaba con un gran acervo de datos, información de mala calidad y se le daba fin con la terminación de los proyectos. En muchos casos, los donantes son los dinamizadores de las evaluaciones. Las percepciones incorrectas de las evaluaciones como ejercicios de vigilancia o de búsqueda de equivocaciones y la ausencia de demanda local constituyen otros pro- blemas que inhiben la práctica de las evaluaciones. Además, se hace necesario fortale- cer el mecanismo para incorporar en nuevos diseños de proyectos los hallazgos de la evaluación. Es indispensable que se resuelvan de inmediato estos problemas. Frente a las restricciones de recursos y a las persistentes desigualdades del desa- rrollo resultante de la ineficacia y de la debilidad inherente de los programas, ha llegado a ser supremamente importante la necesidad de lograr resultados a partir de las mediaciones públicas para el desarrollo. Esta presión para demostrar resultados 2 Informe de síntesis de país del Banco Asiático para el Desarrollo sobre Evaluación, 1999. Se sabe que el desempeño de proyectos financiados por otros organismos donantes no es mejor. Anexos4.p65 220 24/07/05, 10:32 a.m. Anexo IV 221 ha provocado la introducción en el aparato del gobierno del Sistema de Seguimiento y Evaluación Basado en Resultados. Resulta, por consiguiente, oportuna la necesi- dad de una evaluación planificada y sistemática. En la actualidad, en un momento en que existe un enorme potencial para avanzar hacia un periodo de desarrollo acelera- do, lo anterior resulta cada vez más crucial en Sri Lanka incluyendo la reconstruc- ción de las zonas afectadas por la guerra y de las zonas adyacentes después del inicio del proceso de paz, así como el programa de reforma económica bajo la iniciativa de Recuperar a Sri Lanka. Con el objeto de hacer realidad la visión y las aspiraciones del desarrollo económico liderado por el sector privado, la adopción formal de políticas nacionales de evaluación y la ejecución de esas políticas van a crear un entorno habilitador al seguimiento continuo de los avances, al examen continuo del desempeño y al perfeccionamiento de las políticas. Además, la creación de un entorno adecuado de las políticas para las evaluaciones complementa el paquete de herramientas necesario para un seguimiento sistemático del desarrollo, creando un nexo entre el seguimiento y la evaluación del desempeño y las políticas por medio de la revigorizada Unidad Nacional de Opera- ciones (NOR, por sus iniciales en inglés),3 adscrita al Ministerio de Desarrollo y Ejecu- ción de las Políticas (MPDI).Esindispensablequelosencargadosdeformularlaspolíticas y el público en general tengan acceso a la información sobre desarrollo, con el fin de asegurarse de que la Unidad Nacional de Operaciones sea funcional. Políticas Nacionales de Evaluación Objetivos de las Políticas Nacionales de Evaluación La finalidad de las Políticas Nacionales de Evaluación es el logro de los siguientes objetivos: a. Fomentar la comprensión adecuada de la evaluación y crear una cultura de eva- luación entre los gestores del sector público para que puedan utilizar las evalua- ciones y así hacer gestión basada en resultados. b. Fomentar la práctica de la evaluación impulsando la generación de las capacidades humanas e institucionales, las herramientas y las metodologías necesarias. c. Habilitar el aprendizaje de lecciones de experiencias anteriores para identificar las políticas, los programas, los proyectos y los sistemas de entrega con mayores pro- babilidades de éxito y los factores con mayores probabilidades de colaborar al logro de ese éxito. 3 Unidad Nacional de Operaciones (NOR), la cual será el punto central encargado de recabar, ana- lizar y presentar información económica y sobre el desarrollo a los encargados de formular las políticas, y hacer seguimiento y evaluar los trabajos y las inversiones para el desarrollo en el plano subnacional. Anexos4.p65 221 24/07/05, 10:32 a.m. 222 Manual para gestores del desarrollo d. Hacer un aporte al mejoramiento de la formulación de las políticas para el desarrollo y de programas por medio de la integración eficaz de hallazgos de evaluación en la formulación de las políticas, en las reformas, en la planeación y el proceso de confección de presupuestos. e. Perfeccionar o fomentar la rendición de cuentas, la transparencia y la gobernabilidad. Principios fundamentales de las Políticas Nacionales de Evaluación Los siguientes principios fundamentales conforman la base de las políticas nacio- nales de evaluación: Las evaluaciones son estimaciones prácticas que sirven fines prácticos. No son estu- dios de investigación científica emprendidos para el avance de los conocimien- tos, ni tampoco actos de vigilancia A la evaluación se la debe considerar básicamente como instrumento de rendición de cuentas y aprendizaje de lecciones. Para los fines de objetividad y credibilidad de la evaluación, la independencia reviste importancia crucial. Sin embargo, para los propósitos del aprendizaje de lecciones es necesario crear un sentido de partici- pación. Dependiendo de las necesidades y de las circunstancias, los gestores de- ben justificar la selección de evaluaciones externas, internas o conjuntas. A todas las instituciones del sector público se las debe alentar a utilizar las evaluaciones como instrumentos para responder por los resultados, así como por el aprendiza- je de lecciones. Es necesario estimular todos los tipos de evaluaciones: ex post, de impacto y de mitad de periodo, que sirven diferentes propósitos y se realizan en fases distintas del ciclo del proyecto. Se debe dar preferencia a las evaluaciones en curso y de mitad de período. Con el ánimo de contar con una perspectiva del desarrollo más amplia, el gobierno asigna atención particular a la evaluación de sectores, institucio- nes, políticas y áreas temáticas. Es necesario crear un nexo entre los hallazgos y las lecciones de la evaluación con la formulación de las políticas, las reformas, la planificación y el proceso de confección de presupuesto. El gobierno debe aprender de los hallazgos de la evaluación y comu- nicar la información sobre la evaluación, y compartirla con otras partes interesa- das. Los hallazgos de la evaluación de las políticas y de los programas para el desarrollo se debe poner a disposición inmediata del público y de los medios. Se aconseja contar con un sitio en internet para este propósito. En ciertas circunstancias, las evaluaciones deben ser de carácter obligatorio y desde un comienzo se deben hacer las reservas adecuadas de fondos. Los proponentes de las políticas, programa o proyecto deben garantizar la capacidad de evaluación. En el momento de hacer la planificación, de diseñar los programas y de formular las políti- cas se deben incorporar las inquietudes que se van a evaluar. Los temas que se van a eva- luar se deben elegir con base en el contenido de aprendizaje potencial que tengan y en su pertinencia para el desarrollo. (Véanse los criterios de selección a continuación). Anexos4.p65 222 24/07/05, 10:32 a.m. Anexo IV 223 Para todas las iniciativas de formulación de políticas y de preparación de proyectos oprogramas, debeserdecarácterobligatoriolautilizacióndeindicadoresdedesem- peño y de enfoques de marco lógico, permitiendo de este modo realizar una eva- luación significativa subsiguiente de estas políticas, programa o proyecto. Se debe estimular a las organizaciones de la sociedad civil (OSC), al sector privado y a los académicos para que emprendan evaluaciones preferiblemente a través de alian- zas con instituciones públicas pertinentes. Las autoridades operativas en el plano nacional y subnacional son responsables de garantizar que dentro de los principales centros de costos, la disciplina de las evalua- ciones tenga un despliegue suficiente. Se hace hincapié en la necesidad de que todas las instituciones del sector público implanten la evaluación en las prácticas de gestión para el desarrollo. Operatividad Criterios de selección para la evaluación Por razones tanto prácticas como financieras, tal vez no sea conveniente evaluar to- dos los programas para el desarrollo. Es indispensable que las autoridades responsa- bles de la ejecución de un programa o proyecto determinado inicien acciones para realizar la evaluación de proyectos, programas y políticas importantes. A este respec- to, todos los ministerios sectoriales deben diseñar su propio plan de evaluación. Es más, el Comité de Políticas Económicas y/o NOR y/o los Comités de Seguimiento del nivel Nacional, deben identificar las áreas que se deben evaluar, de acuerdo con un plan rotatorio bianual. Cuando seleccionen proyectos y programas para hacerles eva- luaciones independientes, ministerios sectoriales pueden conformar un equipo com- puesto por los siguientes miembros: 1. Un representante de la División de Examen del Seguimiento y el Avance (MPDI, por sus iniciales en inglés) del MPDI y del NOR. 2. Un representante del Departamento de Recursos Externos y del organismo do- nante, cuando se vayan a evaluar proyectos con financiación extranjera. 3. Representantes del Departamento Nacional de Planeación y del Departamento de Presupuesto Nacional. 4. Representantes de la academia y/o de organizaciones de la sociedad civil, como la Asociación de Evaluación de Sri Lanka (SLEva, por sus iniciales en inglés). Este Comité debe examinar y seleccionar proyectos adecuados para evaluarlos, permitiendo al MPRD/MPDI hacer seguimiento a los actuales estudios de evaluación. El comité de selección debe utilizar los siguientes criterios para escoger los proyectos o programas que se van a evaluar. Anexos4.p65 223 24/07/05, 10:32 a.m. 224 Manual para gestores del desarrollo 1. Pertinencia de las políticas, por ejemplo, reducción de la pobreza. 2. Importancia nacional y escala de financiación. 3. El valor innovador y la posibilidad de duplicación de los proyectos o programas. En este contexto se podrían evaluar algunos proyectos pequeños. 4. Interés público y carácter del problema. Las evaluaciones no sólo deben cubrir las áreas problemáticas sino también derivar lecciones de historias de éxito. Con el cambio de la función de facilitador del gobierno y la necesidad de que el sector privado financie y ejecute inversiones públicas, se debe estimular al sector privado para que emprenda evaluaciones independientes de sus propias actividades: en particular de inversio- nes de carácter público. Estas evaluaciones se deben hacer por medio de órganos representativos, como las Cámaras [de Comercio]. Estas evaluaciones se necesitan para demostrar el aporte que hace el sector privado al desarrollo nacional y para acrecentar la responsabilidad y la transparen- cia públicas. Así mismo es necesario que el centro de atención de la evaluación sean las políticas conectadas con el sector privado antes que con proyectos únicamente. Ejecución de las Políticas nacionales de evaluación A los ministerios y a los organismos encargados del trabajo de desarrollo nacional les compete la responsabilidad de la ejecución de las Políticas nacionales de evaluación. Periódicamente, la MPDI deben prestar la asistencia y la orientación necesarias, capaci- tación y cursos de actualización dirigidos a ejecutar con mayor eficiencia las políticas nacionales de evaluación. La Unidad Central de Evaluación de Desempeño (PCEU, por sus iniciales en inglés) de la MPDI se convertirá en punto central de ejecución de las Políticas Nacionales de Evaluación. A las secretarías de los ministerios sectoriales se les debe asignar la responsabilidad de crear un plan de evaluación para sus respec- tivos sectores o áreas. Al inicio de evaluaciones independientes dentro de las áreas de su competencia y en consulta con la MPDI, cada ministerio sectorial debe diseñar planes de evaluación y formular sus propios términos de referencia. Para realizar este tipo de estudios, los Ministerios pueden contratar los servicios del sector público, del sector privado, universidades, OSC y evaluadores profesionales privados. En consulta con PCEU de la MDI y otras partes interesadas pertinentes, el respectivo ministerio sectorial debe ela- borar los términos de referencia (TOR) para tales evaluaciones. Por otra parte, la Uni- dad Central de Evaluación es responsable de una evaluación más integral y más estratégicamente importante de carácter temático. En estrecha colaboración con asociaciones profesionales de evaluadores, la MPDI debe fomentar y promover una cultura de evaluación, estándares, pautas, meto- dologías y mejores prácticas, hacer seguimiento y desarrollar la capacidad de evalua- ción, sensibilizar a los encargados de formular las políticas y facilitar la divulgación de los hallazgos de la evaluación. Las evaluaciones que emprendan los ministerios sectoriales mostrarían una ten- dencia a ser más parecidas a ejercicios de aprendizaje mientras que la tendencia de Anexos4.p65 224 24/07/05, 10:32 a.m. Anexo IV 225 las realizadas por la Unidad Central de Evaluación de la MPDI estaría más orientada a la rendición de cuentas y a la influencia en las políticas. Se debe encontrar algún tipo de compromiso y de equilibrio entre la rendición de cuentas y el aprendizaje de lec- ciones. Divulgación de hallazgos de la evaluación Todos los sectores que emprenden una evaluación también deben diseñar una estra- tegia de divulgación para compartir las lecciones tanto en el ámbito interno como en el externo. Todos los ministerios sectoriales deben enviar los informes de evaluación a la PCEU de la MPDI (sobre todo vía internet), permitiendo de este modo hacer una síntesis de los hallazgos de la evaluación para conectarlos con el Sistema de Informa- ción de Evaluación (EIS) del NOR de la MPDI y del Comité de Políticas Económicas (EPC) para garantizar que los hallazgos de la evaluación queden integrados en las políticas y en los procesos de planificación, confección de presupuestos y de reforma. El Parla- mento, las auditorías nacionales y el público en general deben tener acceso a la infor- mación de evaluación. Con posteridad al taller de divulgación de la evaluación, los ministerios sectoriales deben preparar un plan de acción, el cual debe identificar las acciones de seguimiento específicas con un cronograma y responsabilidades debida- mente definidos. Se deben enviar copias de este plan de acción y de sus avances a la MPDI. La MPDI y los ministerios sectoriales son responsables de garantizar la ejecución del plan de acción y de asegurarse de que en el contexto de planificación y de gestión para el desarrollo quede integrada la financiación de la evaluación, las lecciones y las acciones de seguimiento. Los proponentes del proyecto y las autoridades nacionales de planeación deben garantizar la incorporación de los hallazgos de evaluación en la formulación de nue- vos proyectos y programas. Con este fin, los hallazgos y las lecciones de la evaluación se deben presentar en un resumen breve y de fácil lectura. Es necesario modificar, según se requiera, los formatos de presentación del proyecto y procedimientos rela- cionados con el fin de interiorizar los hallazgos de la evaluación en el examen de planeación, confección de presupuesto y gasto público, y en el proceso de formula- ción de las políticas. Se debe establecer una colaboración estrecha entre las funciones del gobierno de evaluación, planeación, confección de presupuesto, auditoría, finan- zas, gasto público y examen de las políticas. Directrices, metodologías, estándares y ética Las evaluaciones tanto en curso como ex post deben examinar la pertinencia, eficien- cia, efectividad, impacto y sostenibilidad de las iniciativas de políticas y programas. La metodología de evaluación debe analizar los aspectos financieros, económicos, socia- les (incluyendo susceptibilidad de conflicto), ambientales, de género, institucionales y de sostenibilidad. Se debe alentar la utilización de análisis financieros y de costo beneficio económico para calcular el valor por dinero. Más aún, la metodología de evaluación Anexos4.p65 225 24/07/05, 10:32 a.m. 226 Manual para gestores del desarrollo debe integrar inquietudes sociales y ambientales. La estimación de beneficiario debe for- mar parte integral de la evaluación de programas sociales. Se debe prestar la atención debida al entorno político y de las políticas. En el momento de la planeación y de la formulación del proyecto se deben integrar las inquietudes respecto de la evaluación. Para proyectos con un valor superior a los diez millones de dólares y en el momento de la preparación del proyecto, se debe utilizar la teoría de programa, el modelo lógi- co del Análisis de Marco Lógico (AML), con indicadores bien definidos de desempeño. Para proyectos con un valor inferior a los diez millones de dólares se los debe alentar a hacer uso de estos enfoques con indicadores de datos básicos y de puntos de refe- rencia cuando sea posible. Se alienta a la PCEU con SLEva y a otras organizaciones de la sociedad civil a tener una participación proactiva en la preparación de proyectos im- portantes, examinando y confirmando los indicadores de desempeño, tanto datos básicos como objetivos. Comoquiera que las evaluaciones son investigaciones prácti- cas y no estudios de investigación científica, tal vez sea preferible utilizar metodologías de evaluación inicial rápida participativa sencillas, con eficiencia de costos y menos dispendiosas. Es, así mismo, necesario diseñar metodologías, directrices, estándares, éticas y prácticas locales que estén a la par de estándares internacionales aceptados. Es indispensable crear metodología, conocimientos y desarrollar idoneidad para tener en cuenta las necesidades particulares de los sectores. Esta labor la debe emprender la Asociación de Evaluación de Sri Lanka en colaboración con la MPDI y otras organizaciones de la sociedad civil. Construcción de capacidad y creación de alianzas Es esencial contar con recursos humanos capacitados en evaluación y competentes. El gobierno es consciente de la necesidad de formar un cuadro profesional de evaluadores y de asignar un alto grado de prioridad a la labor de construcción de capacidad. Es necesario alentar a las universidades y a las instituciones de capacitación del sector público para que en sus planes de estudio regulares incluyan módulos de evaluación. El gobierno también estimularía evaluaciones conjuntas y redes regionales para com- partir los conocimientos sobre técnicas y metodologías de evaluación. Las evaluacio- nes conjuntas garantizando al mismo tiempo la independencia también servirían para crear un sentido de apropiación local y para construir capacidad interna en eva- luación. Se proyecta que para finales de 2005, todas las evaluaciones principales de- berán contar con un alto grado de apropiación nacional. Con el fin de reforzar un sentido de apropiación local, es necesario garantizar la participación local en la planeación, el diseño, la ejecución y la divulgación de la evaluación. Los ministerios sectoriales deben fortalecer en su ámbito de responsabilidad la capacidad de evaluación de desempeño, de evaluación ex post y de las evaluaciones de impacto. La MPDI debe brindar orientación central para la evaluación y debe: a) reforzar a la PCEU como un centro de excelencia encargado de ofrecer liderazgo, orien- tación y apoyo a la práctica de la evaluación; b) utilizar los hallazgos de la evaluación Anexos4.p65 226 24/07/05, 10:32 a.m. Anexo IV 227 donde sea apropiado en el proceso decisorio; c) fijar estándares, ética y mejores prác- ticas; y d) hacer seguimiento a la capacidad de evaluación en el sector público. Conjuntamente con organizaciones de la sociedad civil profesionales en evalua- ción, la PCEU de la MPDI asistirán a los ministerios sectoriales en la construcción de capacidad de evaluación, en el desarrollo de estándares, metodologías y capacidad mejorada de los funcionarios. Como parte de las labores para construir una industria local de consultoría de evaluación, los ministerios sectoriales pueden contratar el trabajo de evaluación con proveedores externos del sector privado y de organizaciones de la socie- dad civil. Con el fin de introducir las evaluaciones participativas en el sector público, el gobierno alentará este tipo de colaboración y de alianzas con ONG y OSC. Los donantes han realizado muchas evaluaciones ex post financiadas por los mis- mos donantes, con escasa participación de funcionarios del país respectivo. Si bien un enfoque unilateral como este ayuda a garantizar la objetividad de la evaluación, no ayuda al desarrollo de las capacidades de país ni tampoco ayuda a crear un nexo entre la evaluación y el proceso de planeación general. El gobierno debe animar a los donantes a fortalecer la capacidad de evaluación de país. Más aún, con la finalidad de garantizar una coordinación central de la evaluación, todas las misiones de evalua- ción de proyectos con financiación extranjera y las evaluaciones independientes de- ben tener nexos con la PCEU. En la PCEU debe existir un centro de documentación para poder tener acceso a todos los informes de evaluación. Consultores y contratación En la medida de lo posible, los ministerios sectoriales deben seleccionar empresas locales o personas profesionales calificadas, competentes y experimentadas. El go- bierno se ha comprometido con el empeño de promover la capacidad interna en evalua- ción. Así mismo, con el ánimo de transferir conocimientos y destrezas en metodologías, técnicas y prácticas de la evaluación, se debe estimular la conformación de empresas en participación entre profesionales locales y consultores extranjeros. Financiación de la evaluación Para realizar evaluaciones de calidad aceptable, es necesario contar con recursos finan- cieros suficientes. Los ministerios y los Consejos Provinciales deben hacer las reservas necesarias para realizar las evaluaciones en las estimaciones presupuestarias anuales. Además del respaldo financiero en las reservas de fondos consolidados del gobierno, también se hace necesario, para realizar las evaluaciones, contar con fondos incorpora- dos en proyectos con ayuda extranjera. El gobierno debe ofrecer financiación regular para evaluaciones posteriores, ya que, por lo general, éstas no se pueden incluir en proyectos financiados desde el extranjero. Para evaluaciones institucionales, de las políticas y temáticas se deben hacer arreglos financieros similares. Para estos propósi- tos, debe existir un voto por separado en la MPDI y en otros ministerios sectoriales. Anexos4.p65 227 24/07/05, 10:32 a.m. 228 Manual para gestores del desarrollo Supervisión La MPDI hará seguimiento a la ejecución de las anteriores políticas con el fin de garanti- zar el éxito de las mismas en el cumplimiento de los objetivos propuestos. Previa consulta con las organizaciones de la sociedad civil, como SLEva, Cámara de Comer- cio y Organización de Asociaciones Profesionales, la Secretaría de la MPDI hará segui- miento anual a la ejecución de las políticas. Previa consulta con las partes interesadas, la MPDI, desarrollará una modalidad consultiva y de supervisión la cual reflejaría inter alia, la creación de la cultura de evaluación en el sector privado. Anexos4.p65 228 24/07/05, 10:32 a.m. ANEXO V LEY DE 2003 DE RENDICIÓN DE CUENTAS DE ANDHRA PRADESH, INDIA (Proyecto de ley) (Ley APPAC de 2003) Prólogo Ley para reforzar la rendición de cuentas, manejar Sistemas de Información, evaluar el desempeño de las personas, Departamentos e Instituciones del Estado de Andhra Pradesh y para todas las cuestiones vinculadas con estos aspectos y accesorias a ellos. El estado de Andhra Pradesh está preparado para la gobernabilidad con una ges- tióneficientedetodoslosrecursosyavanzahaciaconvertirseenunSwarnandhrapradesh. El desarrollo posible científico y sistemático del Estado se puede dar de la mejor manera posible a través de la gestión eficiente de Sistemas de Información que sur- gen a nivel de las bases. Un desarrollo tal va en la búsqueda de una evaluación basa- da en necesidades del desempeño de personas, departamentos e instituciones. Las personas, los departamentos y las instituciones deberán responder por su de- sempeño con incentivos y elementos disuasorios. Tal sistema de rendición de cuentas y de evaluación deberá crear una gober- nabilidad SMART (Simple, Moral, Responsable (por accountable), Receptiva y Transpa- rente). Contenido Capítulo 1 Título abreviado Capítulo 2 Hallazgos y propósito Capítulo 3 Historia de las reformas administrativas en Andhra Pradesh Capítulo 4 Sistema de Rendición de Cuentas del Desempeño Capítulo 5 Planeación estratégica Capítulo 6 Flujo de información Capítulo 7 Medición del desempeño y documentación Capítulo 8 Seguimiento y evaluación Capítulo 9 Incentivos y elementos disuasorios Capítulo 10 Comités cumbre Capítulo 11 Informes anuales de desempeño Anexos5.p65 229 24/07/05, 10:32 a.m. 230 Manual para gestores del desarrollo Capítulo 12 Desarrollo de recursos humanos Capítulo 13 Gobernabilidad acertada Capítulo 14 Varios Apéndice A Apéndice B Capítulo 1 1. Ley que estipula el establecimiento de la planeación estratégica y de la medición del desempeño en el gobierno del Estado y sirve a otros fines. Promúlguese por la Asamblea Estatal Legislativa del Gobierno de Andhra Pradesh (GDAP). 2. Título corto La presente ley puede ser citada como Ley de 2003 de Rendición de Cuentas de Andhra Pradesh. Su observancia deberá cubrir la totalidad del Estado de Andhra Pradesh, inclu- yendo: a. Todos los departamentos bajo el gobierno del Estado; b. Todos los órganos semigubernamentales, órganos locales, instituciones coopera- tivas, etc., bajo el control del gobierno; c. Todas las instituciones del sector público bajo el control del gobierno; d. Todas las organizaciones o instituciones o personas que reciban cualquier forma de subvención o asistencia o ayuda, ya sea monetaria o de cualquier otra forma, del gobierno o del erario público. (1) La vigencia de la presente Ley comenzará en la fecha que el gobierno estime conveniente, mediante notificación en la Gaceta Oficial de Andhra Pradesh. Capítulo 2 Hallazgos y propósito 1. Hallazgos El gobierno ha determinado que: a. la falta de eficiencia de los programas que opera el gobierno socava la confianza de la gente y restringe la capacidad del gobierno para resolver problemas de inte- rés público de manera adecuada; b. debido a un flujo inadecuado de información, los funcionarios del gobierno se encuentran en situación de desventaja en sus intentos por mejorar la eficiencia y la eficacia de los programas; y c. la articulación insuficiente con las metas y objetivos de los programas, el desem- peño y los resultados perjudica gravemente la formulación de políticas y las deci- siones financieras. Anexos5.p65 230 24/07/05, 10:32 a.m. Anexo V 231 2. Propósitos Los propósitos de la presente ley son: a. Mejorar la confianza de la gente en la capacidad del gobierno estatal haciendo sistemáticamente responsables a los departamentos, instituciones y personas del gobierno del logro de los resultados de los programas; b. Iniciar una serie de reformas de desempeño fijando metas de programa, midien- do el desempeño frente a estas metas y presentando informes públicos sobre los avances de esas metas; c. Mejorar la efectividad del gobierno y la rendición pública de cuentas poniendo el énfasis en resultados, calidad del servicio y satisfacción del cliente; d. Motivar a los funcionarios del gobierno para mejorar el servicio orientándolos hacia la planeación para lograr los objetivos, suministrándoles información sobre calidad del servicio y resultados; e. Mejorar el proceso decisorio a distintas instancias ofreciendo información más objetiva sobre cómo alcanzar metas, mejorar la efectividad y la eficiencia de los programas y el gasto del gobierno; y f. Mejorar la gestión interna del gobierno estatal. Capítulo 3 Historia de las reformas administrativas en Andhra Pradesh El Estado de Andhra Pradesh ha sido pionero en la iniciación de Reformas Adminis- trativas para mejorar el desempeño de los programas que opera el gobierno: 1. Comité K.B. Lal Ananthraman & Sriramulu de Reformas Administrativas (1976) 2. M: K: Rustomji & Asociados de Reformas Administrativas (febrero 1986) 3. Plan de Acción de Reformas Administrativas (junio 1986) 4. Comité sobre Reorganización Administrativa S.R. Ramamurthy, G. R. Nair y K. V. Natarajan (abril 1990) 5. Comité de Examen del Personal B. C. Gangopadhyaya & J. M. Girglani (abril 1994) 6. Subcomité del Gabinete sobre Reformas Administrativas presidido por Sri Devender Goud (enero 1997); 7. Comité de tres funcionarios sobre: a) Reorganización de departamentos secretarías (M. V. P. C. Sastry); b) Reorganización de Intendencias y Jefaturas de Departamento (N. S. Hariharan); c) Delegación de poderes a recolectores de distrito, etcétera (B. Danam) 8. Comité especial de cinco miembros en cada departamento, dirigido por el/la secretario(a) correspondiente (diciembre 1997); 9. GrupodeTrabajosobreGobernabilidadpresididoporSriMadhavGodbole(enero 2000) Anexos5.p65 231 24/07/05, 10:32 a.m. 232 Manual para gestores del desarrollo 10. Subcomité del Gabinete sobre Reformas Administrativas presidido por Sri Vidyadher Rao (2000) 11. Documento de estrategia sobre Gobernabilidad y Gestión Pública (enero 2002) Capítulo 4 Sistema de Rendición de Cuentas del Desempeño (SRCD) En cada departamento o institución se creará un sistema de rendición de cuentas del desempeño, compuesto por un marco integral de Actividades de Gestión del Desem- peño, entre ellas las siguientes: 1. Planeación estratégica 2. Flujo de información 3. Medición del desempeño 4. Seguimiento y evaluación del desempeño 5. Confección de presupuestos basada en desempeño. Capítulo 5 Planeación estratégica 1. Planeación estratégica Todos los departamentos e instituciones del gobierno formularán un plan estratégi- co, el cual deberá ser congruente con la visión del gobierno del Estado. (1) El enfoque del plan será en: a) datos básicos, b) Identificación de puntos de referencia, c) explicación detallada de objetivos y estrategias; (2) El plan estratégico deberá cubrir un periodo de un año a partir del año fiscal de su presentación, y deberá ser actualizado y revisado; (3) Se consultará al gobierno durante el proceso de formulación del plan estraté- gico, y también se tendrán en cuenta las opiniones y las sugerencias de todas las personas posiblemente afectadas por el plan o con un interés en el mismo. (4) Al comienzo de cada año financiero, y previa consulta con la Secretaría y con el ministro interesado, los jefes de departamento prepararán un plan para el año siguiente. Este plan deberá ser presentado al ministro quien, a su vez, lo presentará ante la Asamblea. (5) Las funciones y actividades del plan estratégico deberán ser funciones inherentemente gubernamentales y únicamente las podrán cumplir funcio- narios del gobierno. 2. Contenido de un plan El plan estratégico deberá incluir: (1) Una declaración integral de misión que cobije a todas las funciones y opera- ciones principales del departamento con el fin de reforzar la capacidad del gobierno en formulación de políticas y de mejorar el desempeño de las partes Anexos5.p65 232 24/07/05, 10:32 a.m. Anexo V 233 clave del servicio público, que hagan un aporte significativo al desarrollo so- cial y económico del Estado; (2) Una declaración de visión que indique la dirección en la cual pretende avanzar el departamento y cuáles son los principales logros que proyecta alcanzar; (3) Metas y objetivos generales, incluyendo metas y objetivos relacionados con los efectos respecto de las principales funciones del departamento; (4) La descripción de la manera en que se van a alcanzar las metas y los objetivos (Plan de Acción), incluyendo la descripción de los procesos operativos, des- trezas y tecnologías, y los recursos humanos, de capital, de información y otros necesarios para cumplir esas metas y esos objetivos. (5) La descripción de la manera en que las metas de desempeño incluidas en el Plan se relacionarán con las metas departamentales. (6) La descripcióndelosgradosderesponsabilidad;esdecir,lasmetasmensurables; (7) La identificación de aquellos factores clave externos al organismos que tras- ciendan las instancias de control y que podrían afectar de manera significati- va al logro de las metas y de los objetivos generales, y (8) La descripción integral de las herramientas de evaluación utilizadas para es- timar o revisar los objetivos y la formulación de metas compatibles. Capítulo 6 Flujo de información 1. Clasificación de la información (1) Toda la información solicitada, de cualquier fuente, deberá ser o bien codifica- da, o verbal, o textual, o numérica, o audiovisual, o alfanumérica, o calificada o porcentual o de cualquier otra clase, según se requiera y deberá presentarse en los formatos prescritos específicos a cada instancia, en cada departamento o en cada institución. (2) La información se clasificará como Ordinaria, Urgente y Prioridad Máxima y en los formatos se designará como X, XX, XXX y la información confidencial se designará como Confidencial. 2. Centros de información (1) Para cada departamento o institución habrá tres instancias de centros de infor- mación, es decir: a) instancia del Estado, b) instancia de Distrito / instancia de Unidad, y c) Instancia Mandal / instancia de Subunidad. (2) Según se especifica en la subsección (1), cada departamento o institución iden- tificará y designará a los tres instancias para comunicar la información desde las instancias inferiores hacia los superiores y en la Gaceta Oficial se hará la notificación correspondiente. (1) En cada nivel habrá un funcionario de nodo (por nombramiento), quien esta- rá a cargo de la oficina de esa unidad y será personalmente responsable de la recolección, recopilación, análisis, documentación, recuperación, conserva- Anexos5.p65 233 24/07/05, 10:32 a.m. 234 Manual para gestores del desarrollo ción y comunicación de la información, con la ayuda de funcionarios y de personal subordinado. 3. Explicación (1) En el caso de que cualquier departamento o institución carezca de una oficina de distrito dentro de la jurisdicción plena del Distrito o forme parte del Distri- to o se expanda a dos Distritos o más, se conocerá como la oficina de la uni- dad. Por ejemplo: para los fines de la presente cláusula, la oficina de círculo de un departamento de ingeniería será la oficina de unidad. (2) En el caso de que cualquier departamento o institución carezca de una oficina Mandal dentro de la jurisdicción plena del Mandal o forme parte del Mandal o se expanda a dos Maldal o más, se conocerá como la oficina de la subunidad. Por ejemplo: para los fines de la presente cláusula, la oficina de división de un departamento de ingeniería será la oficina de subunidad. (3) Todas las personas que trabajen en el área de operaciones de cada centro de información serán personalmente responsables de prestar ayuda al funcio- nario de nodo en esa instancia específica para la presentación de información sistemática y periódica a la siguiente instancia superior. 4. Método de comunicación (1) El método de comunicación de la información de una instancia a la siguiente se determinará de antemano mediante un proceso aprobado ya sea verbal, personal, telefónico, telegráfico, inalámbrico, postal, electrónico o cualesquie- ra otros medios prescritos de sistemas de comunicación de datos. (2) Puede ser por medio de un método o de varios métodos, según se estipula en la subcláusula (1) y se especificará en los formatos prescritos. 5. Formatos (1) La recolección, recopilación, análisis, documentación, recuperación, conser- vación y comunicación de cualquier tipo de información se hará en los formatos prescritos, específicos a cada departamento o institución y será apro- bada por el Comité Cumbre, según se estipula en la Sección .... (2) Cada formato se codificará con un código de nueve dígitos que contemple el código de departamento (tres dígitos) el código de clasificación de Informa- ción (tres dígitos) y el número de formato individual (tres dígitos). Explicación: a. Para los fines de los Sistemas de Gestión de la Información, a cada depar- tamento o institución se le asignará un número específico de código de tres dígitos (por ejemplo: 0.36). b. El código de clasificación de la información será específico a cada depar- tamento o institución y tendrá tres dígitos (ejemplo: 027). c. El número de formato será el número de serie de tres dígitos del formato según cada código de clasificación de la información (ejemplo: 054) Anexos5.p65 234 24/07/05, 10:32 a.m. Anexo V 235 (3) Los formatos se diseñarán de tal manera de extraer la información correcta, adecuada para análisis y adaptable a la sistematización. (4) El formato deberá especificar la periodicidad, el nombramiento del funciona- rio (para corroborar la información), el método de comunicación, etc., junto con las instrucciones necesarias para la recolección, recopilación, análisis, do- cumentación, y comunicación de la información. (5) Los formatos que se especifican en la presente sección serán sometidos a exa- men periódico y se actualizarán con regularidad y los formatos de la actuali- zación deberán tener los códigos con sufijos alfabéticos en serie para cada actualización (ejemplo: 036 027 054 A). 6. Periodicidad del flujo de información (1) La periodicidad del flujo de información de una instancia a otra puede ser en línea, cada hora, diaria, semanal, quincenal, mensual, trimestral, semestral o anual, según se indique en los formatos individuales. (2) Toda la demás correspondencia en la cual se solicite información por parte de las oficinas subalternas, diferente a la información solicitada por medio de los formatos aprobados según se especifica en la subsección (1), deberá contener invariablemente la fecha y la hora de recibo de la información y el método de comunicación a través del cual se enviará la información a la oficina de nivel superior y viceversa. 7. Autorización para obtener información (1) Según se especifica en la Sección ... de cada departamento, con miras a lograr los objetivos de la ley, el Comité Cumbre puede solicitar cualquier informa- ción, en el formato prescrito, de personas y de todas las oficinas de unidad y subunidad en su jurisdicción. (2) Los Comités Cumbre tendrán igualmente la autoridad para solicitar de otros departamentos o instituciones cualquier información relacionada de cada de- partamento y puede ser a nivel del Comité Cumbre. (3) El gobierno tendrá la autoridad para solicitar cualquier información de cual- quier departamento o institución, así como también de cualesquiera de los ciudadanos del Estado en relación con los servicios prestados a través de los diferentes departamentos y órganos del gobierno. Capítulo 5 Medición del desempeño y documentación 1. Medición del desempeño La medición del desempeño deberá conectar los planes estratégicos con los resulta- dos y deberá ser un proceso continuo de: Anexos5.p65 235 24/07/05, 10:32 a.m. 236 Manual para gestores del desarrollo (1) Logro del desempeño a través de un conjunto de indicadores, es decir, logro de objetivos mensuales y acumulativos físicos y financieros: indicadores, fun- cionarios, instituciones y jurisdicción territorial; (2) Avance de proyectos importantes (físico y financiero) (3) Logro de objetivos de proceso en relación con referencias y mejores prácticas en todas las instancias del gobierno (4) Recopilación de la información, es decir, se hará un resumen de la informa- ción recibida en cada centro de información y esta información resumida de- berá fluir desde el centro inferior de información hacia el siguiente centro superior de información en los formatos prescritos y dentro de los horarios determinados. (5) Introducción de un Sistema en Línea de Seguimiento del Desempeño (6) Medición de los resultados (6) Identificación de éxitos/fracasos. Explicación: La Subunidad/Mandal hará un resumen de la información y lo enviará al centro de información del Distrito/de la Unidad según un modo o más, como se especifica en los formatos, y así sucesivamente. El análisis de la información se hará o bien de manera manual o por medio de computador o de cualquiera otra forma según se especifique en los formatos. En cada centro de información, el funcionario de información será personalmente responsable del análisis y deberá corroborar los resúmenes antes de enviarlos al si- guiente centro superior de información. 2. Documentación (1) Antes de que se reciba la siguiente información dentro de la periodicidad debi- da en el centro de información, toda la información recabada y analizada se validará a través de un medio escrito o electrónico o de cualquier otro medio. (2) Habrá un funcionario encargado de la documentación y nombrado para ese propósito bajo el control de cada uno de los funcionarios de nodo, quien será personalmente responsable de la documentación, conservación y recupera- ción de la información y deberá tomar todas las medidas necesarias respecto del cuidado y la seguridad de todos los registros y de la recuperación de la información en cualquier momento y cuandoquiera se la solicite. (3) El procedimiento de documentación será el prescrito. 3. Sección de investigación y análisis (1) En el centro de información de cada departamento o institución del orden estatal habrá una Sección de Investigación y Análisis encargada de analizar datos históricos y actuales recibidos de varios centros de información y de otras fuentes. Anexos5.p65 236 24/07/05, 10:32 a.m. Anexo V 237 (2) Uno de los altos funcionarios del departamento o institución dirigirá la sec- ción, con la ayuda de personal adicional, y estará sujeto al control de la Secre- taría del departamento interesado. (3) La sección analizará periódicamente la información con el fin de extraer las tendencias para formulación de las políticas por parte del gobierno en cada departamento sobre sus objetivos, según lo indicado. (4) Especialistas en el tema pueden asociarse con los funcionarios y el personal del departamento en la Sección de Investigación y Análisis. (5) Los procedimientos y las funciones de la Sección de Investigación y Análisis serán las prescritas. Capítulo 8 Seguimiento y evaluación 1. Evaluación (1) La evaluación del desempeño se hará a todas las personas que trabajan en la jurisdicción de los tres centros, es decir: a) centro de la instancia Estatal b) Centro de Distrito/de Unidad, c) instancia de Mandal/Subunidad y en cada departamento o institución del Estado. (2) Se confeccionarán indicadores de desempeño para cada instancia, según se especifica en la Sección (1) relativos a su jurisdicción en los formatos prescri- tos aprobados por el Comité Cumbre de cada departamento o institución y podrán ser revisados periódicamente por el gobierno, según se requiera. 2. Parámetros de evaluación (1) Los parámetros de evaluación de personas, departamentos o instituciones serán los adecuados según sea el caso y estarán sujetos a la aprobación de los Comités Cumbre interesados, o del gobierno. (2) Los parámetros deberán incluir una indicación del desempeño de las perso- nas, departamentos o instituciones para fines de recuperación de rentas, eco- nomía del gasto, utilidad del gasto, capacidades en planeación, manejo del tiempo, logro de metas, rapidez para ponerse a disposición de algo, compe- tencias administrativas, seguimiento e inspección o cualesquiera otros paráme- tros, según se especifique. (3) Todos los parámetros deberán ser graduables o cuantificables con tiempo, di- nero, trabajo, etcétera, y deberán ser específicos de manera científica para las personas, departamentos o instituciones. (4) Según lo apruebe el gobierno, habrá cuatro grados para la evaluación del desempeño de cada departamento o institución individual (ejemplo: A, B, C y D). Anexos5.p65 237 24/07/05, 10:32 a.m. 238 Manual para gestores del desarrollo 3. Autoridad de evaluación (1) Los siguientes funcionarios examinarán el desempeño de las personas que trabajan en su jurisdicción, valiéndose de los indicadores prescritos: instancia de Mandal / Subunidad: funcionario a cargo de Mandal/Subunidad. Instan- cia de Distrito / Unidad; Recolector de Distrito/Funcionario de la Unidad. Ins- tancia del Estado: Secretaría o Jefatura de Departamento. (2) Con la ayuda de uno o más secretarios nombrados para este fin, el ministro en jefe o el secretario en jefe del Estado deberá examinar el desempeño de todos los departamentos o instituciones del Gobierno. (3) El organismo encargado de examinar el desempeño de todas las demás orga- nizaciones o instituciones o personas que reciben cualquier tipo de subsidio o asistencia o ayuda, ya sea sobresaliente o de otra forma, del gobierno o del erario público, será según lo indicado. 4. Reuniones de examen (1) El funcionario a cargo de Mandal / la Subunidad examinará el desempeño en su jurisdicción en los formatos prescritos una vez al mes (es decir) el primer día de cada mes. (2) El recolector de distrito o el funcionario de la unidad del departamento o la institución interesada examinará el desempeño en su jurisdicción en los formatos prescritos una vez al mes (es decir) el quinto día de cada mes. (3) El secretario o el jefe del departamento, según sea el caso, examinará el desem- peño del departamento o departamentos o instituciones, según sea el caso, en los formatos prescritos una vez al mes (es decir) el décimo día de cada mes. (4) El ministro en jefe o el secretario en jefe examinará el desempeño de todos los departamentos en la segunda semana de cada trimestre (es decir) durante el mes de enero, abril, julio y octubre de cada año. (5) De vez en cuando, en cualquiera de las instancias mencionadas en la presen- te sección, se realizarán reuniones especiales de examen para cualquier pro- pósito, además de las reuniones regulares de examen, según orden del gobierno. Capítulo 9 Incentivos y elementos disuasorios 1. Incentivos (1) Se pueden crear incentivos para personas, departamentos o instituciones por su elevado desempeño. como reconocimiento especial y deberá ser según lo especificado. (2) El Comité Cumbre deberá ser el organismo encargado de otorgar estos incen- tivos a las personas en su jurisdicción, según las normas del gobierno. (3) El gobierno será el organismo encargado de otorgar estos incentivos a los departamentos o instituciones. Anexos5.p65 238 24/07/05, 10:32 a.m. Anexo V 239 2. Elementos disuasorios (1) Al tenor de la presente ley, en caso de falta de ejecución o de incumplimiento, las autoridades competentes deberán iniciar acción disciplinaria por medio de sanciones, según lo prescrito bajo las Normas CCA para los siguientes: a. No entrega de información b. Demora consistente en entregas de información c. Entrega de información falsa d. Análisis inexacto e. Incumplimiento de las funciones oficiales en conexión con la responsabi- lidad fijada al tenor de la presente ley y de las normas. f. Fallas de desempeño, según lo prescrito g. Irregularidades financieras h. Uso indebido de almacenes, herramientas y planta i. Inobservancia de la convocatoria a reuniones de examen, acciones de se- guimiento, seguimiento de las inspecciones, etcétera. j. Incumplimiento en la documentación y conservación de registros. 3. Organismo con competencia de apelación El organismo con competencia de apelación a las órdenes del Comité Cumbre o del gobierno, según sea el caso, al tenor de la presente ley, será el Tribunal Superior de Andhra Pradesh. Capítulo 10 Comités cumbre 1. Conformación del Comité Cumbre (1) Para cada departamento o institución habrá un Comité Cumbre presidido por el ministro a cargo del departamento o institución como presidente, y el secretario o jefe del departamento interesado, como vicepresidente (2) El Comité Cumbre será un Comité de nuevos miembros, incluyendo el presi- dente y el vicepresidente, junto con otros siete miembros (por nombramien- to),procedentesdeactividadesdiferentes,comoAdministración, Contabilidad, Técnico, etc., de ese departamento o institución. (3) El Comité Cumbre puede cooptar expertos, hasta un máximo de seis miem- bros o convocar a cualesquiera miembros invitados con el fin de escuchar sus sugerencias. (4) La membresía al Comité Cumbre tendrá una duración de tres años y cual- quier vacante casual será ocupada mediante convocatoria del Comité Cum- bre para cooptar nuevos miembros. (5) La función del Comité Cumbre será la prescrita y será el organismo encarga- do de la ejecución de la ley en la jurisdicción del departamento o de la institu- ción. Anexos5.p65 239 24/07/05, 10:32 a.m. 240 Manual para gestores del desarrollo 2. Reuniones (1) El Comité Cumbre de cada departamento o institución deberá reunirse obli- gatoriamente el décimo día de cada trimestre, es decir durante los meses de enero, abril, julio y octubre de cada año. (2) El presidente, en ausencia del presidente, el vicepresidente deberá presidir la reunión. (3) Según su criterio, el presidente puede convocar especialmente a una reunión del Comité Cumbre en cualquier momento, según se requiera. (4) Uno de los miembros del Comité Cumbre actuará como secretario de la reu- nión para organizar las reuniones, y será nombrado por el presidente. (5) El secretario será personalmente responsable de convocar a las reuniones tri- mestrales y a las reuniones especiales en las fechas especificadas y documen- tará todas las actas de la reunión y los informes de acciones emprendidas. (6) Todas las veces que sea necesario, el secretario emprenderá todas las acciones requeridas para ejecutar lo dispuesto en las actas de la reunión e igualmente pondrá en conocimiento del Comité Cumbre todos los asuntos respecto de las acciones emprendidas y que se deben realizar respecto de las actas del Comité para acción futura. Capítulo 11 Informes anuales de desempeño 1. Libros de registro del desempeño (1) En todas las tres instancias, para cada persona habrá un libro de registro del desempeño, el cual estará al cuidado del funcionario a cargo, quien lo entre- gará a su sucesor en el momento en que deje de cumplir esas funciones. (2) El libro contendrá las autoevaluaciones del funcionario contralor así como las estimaciones de los subalternos sobre metas fijadas y los logros alcanzados cada mes. (3) El libro será objeto de examen por parte de los comités departamentales de ascensos o de los funcionarios en el momento del ascenso al siguiente pelda- ño del escalafón. El libro no tendrá carácter de confidencial y será un libro abierto. 2. Manuales de departamento y manuales de funciones (1) Para cada departamento o institución habrá un manual de departamento con el fin de orientar un trabajo uniforme hacia el logro de los objetivos. (2) También habrá en cada departamento o institución un manual de funciones para todos los tipos de trabajo, con procedimientos detallados y la asignación de las responsabilidades de las diferentes instancias. (3) Todas las personas que trabajen en el departamento o en la institución se deberán regir por el Manual de departamento y por el Manual de funciones. Anexos5.p65 240 24/07/05, 10:32 a.m. Anexo V 241 3. Descripción del cargo (1) Para cada cargo habrá una descripción del puesto de trabajo, específico al cargo en cada departamento o institución y las personas que ocupen ese car- go serán responsables de su desempeño de acuerdo con la descripción del cargo. (2) Para el mismo cargo en diferentes entornos específicos a su situación, se de- berán elaborar descripciones del cargo por separado. Explicación: Aunque una persona pueda ocupar el mismo cargo, puede trabajar en dife- rentes entornos que requieren que se realicen ciertas labores específicas. Ejem- plo: un ingeniero que trabaja en la unidad de construcción, en la unidad de estudios topográficos, en la unidad de manejo de aguas, en la unidad de dise- ño, tendrá trabajos diferentes que debe realizar y, por tanto, tendrá diferentes descripciones de cargo específicas a su situación. (3) La preparación de la descripción de cargos, el alcance y la asignación de res- ponsabilidades se harán según lo prescrito. 4. Listados de control (1) Para cada transacción que requiera de sanciones o de aprobaciones, bien sea técnica, admonitoria o administrativa, en cada departamento o institución habrá listados de control según lo prescrito. (2) Los listados de control serán un listado de control combinado para instancias de entrega, procesamiento y sanción / aprobación y deberán ser corrobora- dos debidamente por las personas en las diferentes instancias y éstas deberán ser responsables en consecuencia. 5. Anuario (1) Para los fines de la eficiente prestación de las funciones al tenor de la presente ley, y para dar las pautas que deben seguirse durante el año siguiente, todos los centros de información deberán documentar lo siguiente por escrito o por medio de cualquier otro medio prescrito: a. Detalles presupuestarios; b. Todas las sanciones y aprobaciones; c. Detalles completos de ingresos y gastos; d. Incumbencia de funcionarios y del personal; e. Detalles de todas las actividades en la jurisdicción; y f. Otra información según lo prescrito de vez en cuando. (2) Los funcionarios encargados de la documentación serán personalmente res- ponsables de la elaboración de este anuario, a más tardar el 1º de mayo de cada año. (3) Las modalidades de preparación del anuario, de su distribución, conserva- ción, etc., serán según lo prescrito. Anexos5.p65 241 24/07/05, 10:32 a.m. 242 Manual para gestores del desarrollo Capítulo 12 Desarrollo de recursos humanos 1. Institutos de capacitación (1) En el ámbito del Estado habrá un instituto nodal de formación para el desa- rrollo de recursos humanos, dirigido a funcionarios y al personal y se crearán centros distritales de formación bajo el control del instituto. (2) El instituto nodal de formación hará seguimiento y coordinará las activida- des de todos los demás institutos de formación en varios departamentos, se- gún lo prescrito. (3) Habrá un presupuesto central de capacitación el cual manejará el instituto nodal de capacitación para su distribución entre los distintos departamentos, como porcentaje de estimaciones presupuestarias, según lo prescrito de vez en cuando. (4) El instituto nodal de capacitación diseñará un plan estratégico para todos los institutos de capacitación con base en la estimación de las necesidades de capacitación para los funcionarios y para el personal de los distintos departa- mentos e instituciones. 2. Capacitación (1) Para los funcionarios y el personal se impartirá capacitación en competencias administrativas, competencias técnicas, competencias de gestión y otras des- trezas según lo prescrito, con la finalidad de mejorar la eficiencia y la eficacia para el logro de los objetivos del programa del Estado. (2) Las actividades de capacitación pueden ser de las categorías siguientes y se pueden realizar durante el periodo de tenencia del cargo. a) Capacitación en orientación; b) Capacitación en servicio; c) Capacitación especial; y d) Otras actividades de capacitación, según lo prescrito. (3) Los componentes de la capacitación, su duración, el número de sesiones, la selección de los participantes y otras modalidades requeridas para organizar los programas de capacitación serán según lo prescrito. 3. Análisis de retroinformación Con base en el análisis de retroinformación de los aprendices, se hará seguimiento a la efectividad de la capacitación y se asignará la responsabilidad en los aprendices durante el periodo de capacitación y después de éste. Anexos5.p65 242 24/07/05, 10:32 a.m. Anexo V 243 Capítulo 13 Gobernabilidad acertada El gobierno de Andhra Pradesh trabaja con miras a un gobierno SMART: S: Simplificación del gobierno: para habilitar al gobierno para mejorar la calidad del servicio al cliente y aumentar el valor del cliente en términos monetarios por medio de la simplificación de procedimientos. M: Gobierno moral: desarrollar un plan HRM eficaz implantando nuevas estructu- ras y enfoques al HRM A: Gobierno responsable: mejorar la calidad y la oportunidad de la prestación de servicios y crear una cultura flexible de desempeño con un enfoque en resul- tados en todo el servicio público, por medio de sistemas que hagan segui- miento y midan eficazmente el desempeño. R. Gobierno receptivo con un enfoque en los ciudadanos: asegurarse de que la gente tenga gran participación en la gobernabilidad del Estado, por medio de me- canismos participativos en la planeación y el seguimiento de la prestación de servicios, reforzando la descentralización y garantizando la inclusión de los pobres y los desfavorecidos. T. Transparencia del gobierno: mejorar los sistemas de planeación, de asignación de recursos, de seguimiento, de gestión y contables, y el acceso a la informa- ción de tal manera que sea clara la responsabilidad, y el gasto público sea transparente y se controle con mayor efectividad. Capítulo 14 Varios 1. Autoridad para eliminar las dificultades (1) Si surgiere alguna dificultad para dar efecto a las disposiciones de la presente ley, según lo demande la ocasión, según providencia publicada en la Gaceta de Andhra Pradesh, el gobierno hará todo lo que parezca necesario para eli- minar la dificultad. (2) Tan pronto como sea posible, una vez dictadas, todas las providencias dicta- das al tenor de la presente sección se deberán poner sobre la mesa de la Asam- blea Legislativa del Estado y deberán ser sometidas a tales modificaciones por medio de enmiendas o revocación, según lo determine la Asamblea Le- gislativa en la misma sesión o en la siguiente. 2. Facultad normativa (1) Mediante notificación en la Gaceta oficial, el gobierno del Estado puede dic- tar normas para llevar a cabo los propósitos de la presente ley. (2) Inmediatamente después de que se dicten, todas las normas al tenor de la presente ley deberán ser sometidas ante la Asamblea Legislativa del Estado, si se encuentra en sesión, y si no se encuentra en sesión, entonces en la sesión Anexos5.p65 243 24/07/05, 10:32 a.m. 244 Manual para gestores del desarrollo inmediatamente posterior, durante un periodo total de catorce días, el cual puede quedar comprendido en una sesión o en dos sesiones sucesivas y si, antes de la conclusión de la sesión en la cual se ha sometido, o la sesión inme- diatamente posterior, la Asamblea Legislativa acuerda hacer cualquier modi- ficación a la norma, o determina la anulación de la norma, a partir de la fecha en la cual se notifique la modificación o la anulación, la Norma tendrá efecto únicamente en la forma modificada o deberá permanecer anulada, según sea el caso, de modo que, no obstante cualquier modificación o anulación tal, sea sin detrimento de la validez de cualquier cosa hecha previamente al tenor de esa norma. 3. Protección de actos realizados de buena fe Ninguna penalización será impuesta contra una persona, departamento o institu- ción por la prestación de cualquier función al tenor de la presente ley, por cualquier pérdida o daño causado o que probablemente sea causada por cualquier acto que sea realizado de buena fe o se intente realizar de buena fe de conformidad con la presen- te ley o según las normas estipuladas bajo esa ley. Algunas definiciones: A menos que el contexto lo exija de otra manera, en la presente ley, 1. Por gobierno se entiende el gobierno del Estado. 2. Por departamento se entiende cualquier departamento del gobierno de Estado bajo el control del gobierno de Andhra Pradesh. 3. Por institución se entiende una institución establecida por el Estado conforme a la ley o cualquier institución que reciba del gobierno cualquier forma de subven- ción o asistencia o ayuda, ya sea monetaria o de otro modo. 4. Por persona se entiende una persona que trabaja en el departamento o en la institución pública y percibe del gobierno o del erario público un salario o cual- quier forma de remuneración o de ayuda. 5. Por incentivo se entienden todas las clases de incentivos, bien sean monetarios, de encomio, ascensos, premios, etcétera, otorgados por el desempeño calificado de las personas, departamentos o instituciones, con base en los informes aproba- dos presentados por los Comités Estatutarios conformados para este propósito. 6. Por elemento disuasorio se entienden todas las clases de elementos disuasorios, ya sea admonitorio, de encomio, de no ascenso, de penalización, etcétera, dados por el desempeño calificado de las personas, departamentos o instituciones, con base en los informes aprobados presentados por los Comités Estatutarios confor- mados para este propósito. 7. Por información se entiende la información ya sea codificada, verbal, textual, numérica, alfanumérica, audiovisual, calificada, porcentual, etcétera, producida o que va a ser producida por personas, departamentos o instituciones (tanto da- tos básicos como datos analizados) en el desempeño de las funciones. Anexos5.p65 244 24/07/05, 10:32 a.m. Anexo V 245 8. Por sistemas de información se entienden los sistemas aprobados de recolec- ción, recopilación, análisis, documentación, recuperación, conservación y comu- nicación de la información, desde el nivel de las bases hasta el nivel de Comité Cumbre, según lo prescrito. 9. Por desempeño´ se entienden todas las clases de desempeño graduable con res- pecto al logro de los objetivos de las metas fijadas, bien sea monetarias, de servi- cio, o de otra forma según lo prescrito. 10. Por notificación se entiende la notificación publicada en la Gaceta de Andhra Pradesh y el texto notificado se interpretará en consecuencia. Anexos5.p65 245 24/07/05, 10:32 a.m. Anexos5.p65 246 24/07/05, 10:32 a.m. ANEXO VI GLOSARIO Términos clave de la OCDE de evaluación y gestión basada en resultados (2002) Actividad: Acciones emprendidas o trabajo realizado por medio del cual insumos, como fondos, asistencia técnica y otros tipos de recursos, se movilizan para producir pro- ductos específicos. Término relacionado: mediación para el desarrollo. Análisis de riesgo: Análisis o estimación de factores (llamados suposiciones en el marco lógico) que afectan o probablemente puedan afectar el logro exitoso de los objetivos de una mediación. Examen detallado de los efectos potenciales no deseados y negati- vos para la vida humana, la salud, la propiedad o el medio ambiente representados por mediaciones para el desarrollo; proceso sistemático para proporcionar informa- ción respecto de tales efectos indeseados; el proceso de cuantificación de las probabi- lidades e impactos esperados para riesgos identificados. Aseguramiento de la calidad: El aseguramiento de la calidad abarca cualquier actividad que tenga que ver con estimar y mejorar el mérito o la valía de una mediación para el desarrollo o su cumplimiento con estándares dados. Nota: Entre los ejemplos de aseguramiento de la calidad se incluyen evaluaciones iniciales, gestión basada en resultados (GBR), revisiones durante la ejecución, evalua- ciones, etc. Así mismo, el aseguramiento de la calidad se puede referir a la estimación de la calidad de una cartera de inversiones y a su efectividad para el desarrollo. Asociados: Las personas u organizaciones que colaboran para lograr objetivos acordados mutuamente. Nota: El concepto de asociado connota metas compartidas, responsabilidad común de los efectos, rendición de cuentas por separado y obligaciones recíprocas. Entre los asociados se puede incluir a gobiernos, sociedad civil, organizaciones no guberna- mentales, universidades, gremios profesionales e industriales, organizaciones multilaterales, empresas privadas, etcétera. Atribución: La imputación de un nexo casual entre cambios observados (o que se espera observar) y una mediación específica. Nota: Atribución se refiere a aquello a lo que se le van a atribuir los cambios observa- dos o los resultados logrados. El término representa el grado al cual los efectos del desarrollo observados se pueden atribuir a una mediación específica o al desempeño de uno o más asociados teniendo en cuenta otras mediaciones, factores desconcertan- tes (previstos o no previstos), o conmociones externas. Anexos6.p65 247 24/07/05, 10:32 a.m. 248 Manual para gestores del desarrollo Auditoría: Una actividad independiente y objetiva de garantía, cuya finalidad es la de agregar valor a las operaciones de una organización y mejorarlas. Ayuda a una orga- nización a lograr sus objetivos introduciendo un enfoque sistemático y disciplinado para estimar y mejorar la efectividad de la gestión del riesgo, y procesos de control y gobernabilidad. Nota: Se establece una distinción entre auditoría de regularidad (financiera), la cual hace énfasis en el cumplimiento de estatutos y normatividad aplicables, y auditoría de desempeño, la cual se relaciona con la pertinencia, economía, eficiencia y eficacia. La auditoría interna ofrece una estimación de controles internos emprendidos por una unidad dependiente de la gerencia, mientras que una organización independien- te realiza una auditoría externa. Autoevaluación: Evaluación realizada por las personas a quienes se les ha encargado el diseño y la prestación de una mediación para el desarrollo. Beneficiarios: Los individuos, grupos u organizaciones, considerados o no como objetivo, que directa o indirectamente se benefician de la mediación para el desarrollo. Término relacionado: grupos de alcance, grupos objetivo. Capacidad de evaluación: El grado al cual se puede evaluar una actividad o programa de manera confiable y creíble. Nota: Las estimaciones de capacidad de evaluación exigen el examen temprano de una actividad propuesta con el fin de asegurarse de si sus objetivos se han definido de manera adecuada y sus resultados son verificables. Conclusiones: Las conclusiones resaltan los factores de éxito y fracaso de la mediación objeto de evaluación, prestando atención particular a los resultados e impactos busca- dos o no buscados y, en términos más generales, a cualquier otra fortaleza o debilidad. Una conclusión se nutre de datos recolectados o de análisis emprendidos, por medio de una cadena transparente de argumentos. Consecuencia: Los efectos probables o alcanzados a corto y mediano plazo de los produc- tos de una mediación. Términos relacionados: resultado, producto, impacto. Desempeño: Al grado al cual una mediación para el desarrollo o un asociado para el desa- rrollofuncionasegúncriterios/estándares/pautasespecíficasolograresultadosdeacuer- do con metas o planes estipulados. Economía: Ausencia de despilfarro para un producto dado. Nota: Una actividad es económica cuando los costos de los recursos escasos utilizados se aproximan al mínimo requerido para lograr los objetivos propuestos. Efectividad: El grado al cual se lograron los objetivos de la mediación para el desarrollo, o se espera lograrlos, teniendo en cuenta su importancia relativa. Nota: También se utiliza como una medida total del mérito o valía de una actividad (o del concepto acerca de ella), es decir, el grado al cual una mediación ha logrado, o se espera que alcance, sus principales objetivos pertinentes, de manera eficiente y soste- nible con un impacto positivo para el desarrollo institucional. Término relacionado: eficacia. Efecto: Cambio buscado o no buscado debido directa o indirectamente a una mediación. Término relacionado: resultados, efecto. Anexos6.p65 248 24/07/05, 10:32 a.m. Glosario 249 Eficiencia: Una medida de cuán económicamente los recursos/insumos (fondos, conoci- mientos técnicos especializados, tiempo, etc.) se convierten en resultados. Estudio básico: Un análisis descriptivo de la situación previo a una mediación para el desarrollo, en relación con si hacer una estimación de los avances o hacer comparacio- nes. Evaluación: La estimación sistemática y objetiva de un proyecto, programa o políticas en curso o concluidos, de su diseño, ejecución y resultados. La finalidad es determinar la pertinencia y el logro de objetivos, eficiencia del desarrollo, efectividad, impacto y sostenibilidad. Una evaluación debe ofrecer información creíble y útil, que permita la incorporación de lecciones aprendidas en el proceso decisorio, tanto de receptores como de donantes. La evaluación también se refiere al proceso de determinar la valía o significación de una actividad, políticas o programa. Una estimación, tan sistemática y objetiva como sea posible, de una mediación para el desarrollo planificada, en curso o concluida. Nota: En algunos casos, el término evaluación implica la definición de estándares apro- piados, el examen del desempeño comparado con esos estándares, una estimación de resultados reales y esperados y la identificación de lecciones pertinentes. Término relacionado: examen. Evaluación a mitad de camino: Evaluación realizada hacia la mitad del periodo de ejecu- ción de la mediación. Término relacionado: evaluación formativa. Evaluación conjunta: Evaluación en la cual participan organismos y/o socios donantes diferentes. Nota: Dependiendo del grado al cual los asociados individuales cooperen en el proce- so de evaluación, fusionen sus recursos de evaluación y combinen la presentación de informes sobre la evaluación, existen varios grados de conjunción. Las evaluaciones conjuntas pueden servir para superar problemas de atribución en la estimación de la efectividad de programas y estrategias, la complementariedad de los esfuerzos apo- yados por diferentes asociados, la calidad de la coordinación de la ayuda, etcétera. Evaluación de conglomerado: Una evaluación de un conjunto de actividades, proyectos y/o programas relacionados. Evaluación de proceso: Evaluación de la dinámica interna de las organizaciones ejecutoras, sus instrumentos de las políticas, sus mecanismos de prestación de servicios, sus prác- ticas de gestión y los nexos entre todos ellos. Término relacionado: evaluación formativa. Evaluación de programa de país/Evaluación de ayuda a país: Evaluación en un país socio de la cartera de mediaciones para el desarrollo de uno o más donantes u organismos, y la estrategia de ayuda que los respalda. Evaluación de programa: Evaluación de un conjunto de mediaciones, reunidas para lo- grar objetivos de desarrollo globales, regionales, de país o sectoriales específicos. Nota: Un programa de desarrollo es una mediación limitada en el tiempo, que involucra actividades que pueden trascender sectores, temas y/o zonas geográficas. Término relacionado: evaluación de programa/estrategia de país. Anexos6.p65 249 24/07/05, 10:32 a.m. 250 Manual para gestores del desarrollo Evaluación de proyecto: Evaluación de una mediación individual para el desarrollo dise- ñada para lograr objetivos específicos dentro de programaciones de recursos y de ejecu- ción especificados, con frecuencia dentro del contexto de un programa más amplio. Nota: El análisis de costos y beneficios es un instrumento principal de la evaluación de proyecto para proyectos con beneficios mensurables. Cuando no se pueden cuantifi- car los beneficios, la relación eficiencia/costo representa un enfoque apropiado. Evaluación de recapitulación: Estudio realizado al final de una mediación (o de una fase de esa mediación) con el objeto de determinar la medida en la cual se produjeron los efectos previstos. La finalidad de la evaluación de recapitulación es la de proporcio- nar información sobre la valía del programa. Término relacionado: evaluación de impacto. Evaluación ex ante: Una evaluación que se realiza antes de la ejecución de una mediación para el desarrollo. Término relacionado: evaluación inicial, calidad a la entrada. Evaluación ex post: Evaluación de una mediación para el desarrollo una vez ha concluido. Nota: Esta evaluación se puede realizar directamente después o mucho después de la conclusión. El propósito es identificar los factores de éxito o fracaso, con el fin de estimar la sostenibilidad de los resultados e impactos y de sacar conclusiones que puedan informar otras mediaciones. Evaluación externa: La evaluación de una mediación para el desarrollo realizada por en- tidades y/o personas ajenas a los donantes y a las organizaciones ejecutoras. Evaluación formativa: Una evaluación que busca mejorar el desempeño, la cual casi siem- pre se realiza durante la fase de ejecución de proyectos o programas. Nota: Las evaluaciones formativas también se pueden realizar por otras razones, como cumplimiento, requisitos legales o como parte de una iniciativa de evaluación de ma- yor envergadura. Término relacionado: evaluación de proceso. Evaluación independiente: Una evaluación que realizan entidades y personas no someti- das al control de las personas responsables del diseño y la ejecución de la mediación para el desarrollo. Nota: En parte, la credibilidad de una evaluación depende del grado de independen- cia con que se haya realizado. Independencia implica libertad de influencia política y de presión de una organización. Se caracteriza por el acceso pleno a la información y por la autonomía plena para llevar a cabo investigaciones y para presentar los hallazgos. Evaluación inicial: Una estimación global de la pertinencia, factibilidad y sostenibilidad potencial de una mediación para el desarrollo, anterior a una decisión de financiación. Nota: En los bancos, organismos para el desarrollo, etc., el propósito de una evalua- ción inicial es el de permitir a los encargados del proceso decisorio tomar una decisión sobre si la actividad representa un uso apropiado de recursos corporativos. Término relacionado: evaluación ex ante. Evaluación interna: Evaluación de una mediación del desarrollo realizada por una uni- dad y/o individuos adscritos a la organización donante, asociada o ejecutora. Término relacionado: autoevaluación. Evaluación participativa: Método de evaluación en el cual representantes de organismos y partes interesadas (incluyendo los beneficiarios) trabajan juntos en el diseño, ejecu- ción e interpretación de una evaluación). Anexos6.p65 250 24/07/05, 10:32 a.m. Glosario 251 Evaluación sectorial de programa: Evaluación de un conglomerado de mediaciones para el desarrollo en un sector dentro de un país o entre países, todos los cuales colaboran en el logro de una meta específica del desarrollo. Nota: Un sector incluye actividades de desarrollo comúnmente agrupadas para fines de publicación, como salud, educación, agricultura, transporte, etcétera. Evaluación temática: Evaluación de una selección de mediaciones para el desarrollo, to- das las cuales abordan una prioridad específica de desarrollo que trasciende países, regiones y sectores. Examen: Estimación del desempeño de una mediación, periódicamente o ad hoc. Nota: Con frecuencia, el término evaluación se utiliza para una estimación más inte- gral y/o más detenida que un examen. Los exámenes tienden a poner el énfasis en aspectos operativos. En ocasiones los términos examen y evaluación se utilizan como sinónimos. Término relacionado: evaluación. Gestión basada en resultados (GBR): Estrategia de gestión con un enfoque en el desempe- ño y en el logro de efectos, productos e impactos. Término relacionado: marco lógico. Grupo objetivo: Las personas u organizaciones específicas para cuyo beneficio se ha em- prendido la mediación para el desarrollo. Hacer seguimiento: Función continua que utiliza la recolección sistemática de datos sobre indicadores especificados para proporcionar a la dirección y a las principales partes interesadas de una mediación en curso para el desarrollo, indicaciones sobre el grado de avances y logro de objetivos y de avances logrados en el uso de fondos asignados. Término relacionado: seguimiento, indicador del desempeño. Hallazgo: Un hallazgo utiliza evidencia de una o más evaluaciones para permitir una declaración basada en hechos. Herramientas analíticas: Métodos utilizados durante una evaluación para procesar e in- terpretar la información. Herramientas de recolección de datos: Metodologías utilizadas para identificar fuentes de información y recabar información durante una evaluación. Nota: Ejemplos de esta definición son encuestas formales e informales, observación directa y participativa, entrevistas con la comunidad, grupos de estudio, opinión de expertos, estudios de caso, búsqueda de bibliografía. Hipotético: La situación o condiciones que, hipotéticamente, puede prevalecer para per- sonas, organizaciones o grupos cuando no existe una mediación para el desarrollo. Impactos: Efectos a largo plazo positivos y negativos, primarios y secundarios que produ- ce una mediación para el desarrollo, intencionada o no intencionada, directa o indi- rectamente. Impacto en el desarrollo institucional: El grado al cual una mediación mejora o debilita la habilidad de un país o región para hacer un uso más eficiente, equitativo y sostenible de sus recursos humanos, financieros y naturales, por ejemplo a través de: a) mejor definición, estabilidad, transparencia, fuerza ejecutora y capacidad de predicción de ordenamientos institucionales y/o b) mejor coordinación de la misión y de la capaci- dad de una organización con su mandato, el cual se deriva de estos ordenamientos institucionales. Impactos de esta índole pueden incluir efectos de una acción busca- dos o no buscados. Anexos6.p65 251 24/07/05, 10:32 a.m. 252 Manual para gestores del desarrollo Indicador: Factor o variable cualitativa o cuantitativa que brinda un medio sencillo y confiable para medir los logros, para reflejar los cambios vinculados con una media- ción o para ayudar a estimar el desempeño de un agente del desarrollo. Indicador de desempeño: Variable que permite la verificación de cambios en la mediación para el desarrollo o muestra resultados relativos a lo que se planificó. Términos relacionados: seguimiento del desempeño, medición del desempeño. Insumos: Los recursos financieros, humanos y materiales utilizados para la mediación para el desarrollo. Lecciones aprendidas: Generalizaciones a partir de experiencias de evaluación con pro- yectos, programas o políticas, que hacen abstracción partiendo de circunstancias es- pecíficas para llegar a situaciones más generales. Con frecuencia, las lecciones ponen de relieve las fortalezas o las debilidades que afectan el desempeño, el efecto y el impacto. Marco lógico (contexto log): Herramienta de gestión utilizada para mejorar el diseño de mediaciones, con mayor frecuencia en el plano de proyecto. Implica la identificación de elementos estratégicos (insumos, productos, efectos, impacto) y sus relaciones causales, indicadores y las suposiciones o los riesgos que pueden influenciar el éxito y el fracaso. Por tanto, facilita la planeación, ejecución y evaluación de las mediaciones para el desarrollo. Término relacionado: gestión basada en resultados. Mediación para el desarrollo: Instrumento para apoyo de asociados (donante y no do- nante) cuyo objetivo es la promoción del desarrollo. Nota: Ejemplos son asesoría, proyectos y programas de las políticas. Medición del desempeño: Un sistema para estimar el desempeño de mediaciones para el desarrollo comparándolo con metas estipuladas. Términos relacionados: seguimiento del desempeño, indicador del desempeño. Meta: El objeto primordial a cuyo logro se pretende que una mediación para el desarrollo haga un aporte. Término relacionado: objetivo de desarrollo. Meta evaluación: El término se utiliza para evaluaciones diseñadas para la totalidad de hallazgos de varias evaluaciones. También se puede utilizar para denotar la evalua- ción de una evaluación con el objeto de juzgar su calidad y/o estimar el desempeño de los evaluadores. Objetivo de proyecto o de programa: Los resultados del desarrollo físicos, financieros, institucionales, sociales, ambientales y de otro tipo buscados a los cuales se espera que haga un aporte un proyecto o un programa. Objetivo del desarrollo: Impacto esperado que hace un aporte a beneficios físicos, finan- cieros, institucionales, sociales, ambientales o de otro tipo a una sociedad, comunidad o grupo de personas a través de una o más mediaciones para el desarrollo. Partes interesadas: Organismos, organizaciones, grupos o personas con un interés directo o indirecto en la mediación para el desarrollo o en su evaluación. Productos: La producción, bienes de capital y servicios que resultan de una mediación para el desarrollo; también pueden incluir los cambios resultantes de la mediación que sean pertinentes al logro de los efectos. Propósito: Los objetivos públicamente declarados del programa o proyecto de desarrollo. Anexos6.p65 252 24/07/05, 10:32 a.m. Glosario 253 Referencia o estándar: Punto o estándar de referencia en relación con el cual es posible hacer una estimación de desempeño o logros. Nota: Una referencia o un estándar se refiere al desempeño que organizaciones com- parables han logrado en el pasado reciente o que razonablemente es posible inferir que ha sido logrado en las circunstancias. Rendición de cuentas: La obligación de demostrar que el trabajo ha sido realizado confor- me a normas y estándares acordados o de informar con imparcialidad y exactitud sobre los resultados del desempeño en relación con las funciones encargadas y/o los planes. Esta obligación puede llegar a requerir de una demostración cuidadosa y hasta defendi- ble legalmente, de que el trabajo es consistente con los términos contractuales. Nota: En el contexto de desarrollo, es posible que el término se refiera a las obligacio- nes de los asociados de actuar de conformidad con responsabilidades, funciones y expectativas de desempeño claramente definidos, con frecuencia con respecto al uso prudente de recursos. Para los evaluadores, el término connota la responsabilidad de proporcionar informes exactos, justos y creíbles de evaluaciones de seguimiento y desempeño. Para los gestores del sector público y para los encargados de formular las políticas, la responsabilidad es ante los contribuyentes y los ciudadanos. Retroinformación: La transmisión a las partes de los hallazgos hechos a través del proceso de evaluación, para quienes esos hallazgos son útiles y pertinentes con el fin de facili- tar el aprendizaje. Lo anterior implica la recolección y divulgación de los hallazgos, conclusiones, recomendaciones y lecciones de la experiencia. Seguimiento del desempeño: Proceso continuo para recabar y analizar datos para com- parar la eficiencia con que se está realizado un proyecto, programa o políticas, en comparación con resultados esperados. Sostenibilidad: La continuación de los beneficios derivados de una mediación para el desarrollo una vez haya concluido la ayuda principal para el desarrollo. La probabilidad de beneficios continuados a largo plazo. La tolerancia al riesgo del flujo neto de beneficios en el tiempo. Suposiciones: Hipótesis acerca de factores o riesgos que podrían afectar los avances o el éxito de una mediación para el desarrollo. Nota: Por suposiciones también se pueden entender condiciones planteadas como hi- pótesis que influyen en la validez de la evaluación misma, por ejemplo, acerca de las características de la población cuando se diseña un procedimiento de muestreo para una encuesta. En las evaluaciones basadas en la teoría, las suposiciones se hacen explícitas cuando la evaluación rastrea sistemáticamente la cadena esperada de resul- tados. Términos de referencia: Documento escrito que presenta el propósito y el alcance de la evaluación, los métodos que se van a utilizar, los estándares según los cuales se va a estimar el desempeño o se van a realizar los análisis, los recursos y el tiempo asignado, y los requisitos de presentación de informes. Otras dos expresiones con el mismo significado que en ocasiones se utilizan son alcance del trabajo y mandato de la evaluación. Triangulación: Utilización de tres o más teorías, fuentes o tipos de información, o tipos de análisis para verificar y corroborar una estimación. Anexos6.p65 253 24/07/05, 10:32 a.m. 254 Manual para gestores del desarrollo Nota: Combinando muchísimas fuentes de datos, métodos, análisis o teorías, los evaluadores tratan de vencer el sesgo que surge de informantes únicos, de métodos únicos, de observadores únicos o de estudios teóricos únicos. Validez: La medida en la cual las estrategias y los instrumentos de recolección de datos miden lo que pretenden medir. Fuente: OCDE 2002a. Anexos6.p65 254 24/07/05, 10:32 a.m. REFERENCIAS BIBLIOGRÁFICAS Banco Mundial. Core Welfare Indicators Questionnaire. Washington, D.C. Dispo- nible en la dirección electrónica http://www4.worldbank.org/afr/stats/pdf/cwiq.pdf . Ghana Core Welfare Indicators. Washington, D.C. Disponible en la direc- ción electrónica http://www.worldbank.org/afr/stats/pdf/ghcoreinds.pdf . Introducing the Core Welfare Indicators Questionnaire (CWIQ). Washing- ton, D.C. Disponible en la dirección electrónica http://www4.worldbank.org/afr/ stats/pdf/cwiqloop.pdf . 1997. World Development Report 1997: The State in a Changing World. Nueva York: Oxford University Press. . 2000. Rural Development Indicators Handbook. Segunda edición. Washing- ton, D.C. Disponible en la dirección electrónica http://www-wds.worldbank.org/ servlet/ WDS_IBank_Servlet?pcont=details&eid=000094946_01061604041624 . 2001a. International Program for Development Evaluation Training (Ipdet) [Programa Internacional de Evaluación y Formación para el Desarrollo] . http:/ /www.worldbank.org/oed/ipdet/ . 2001b. Outcomes-Based Budgeting Systems: Experience from Developed and Developing Countries. Washington, D.C. .2001c.ReadinessAssessmentTowardResults-BasedMonitoringandEvaluation in Egypt. Washington, D.C. . 2001d. Readiness AssessmentToward Results-Based Monitoring and Evaluation in Romania. Washington, D.C. . 2001e. Readiness AssessmentToward Results-Based Monitoring and Evaluation in the Philippines. Washington, D.C. . 2002a. Documentos e informes de país Albania. Washington, D.C. Disponi- ble en la dirección electrónica http://lnweb18.worldbank.org/eca/albania.nsf . 2002b. Heavily Indebted Poor Country Initiative (HIPC). Washington, D.C. Disponible en la dirección electrónica http://www.worldbank.org/ug/hipc.htm . 2002c. Readiness AssessmentToward Results-Based Monitoring and Evaluation in Bangladesh. Washington, D.C. bibliografia.p65 255 24/07/05, 10:32 a.m. 256 Manual para gestores del desarrollo . 2002d. Republic of Albania: Establishment of a Permanent System of Household Surveys for Poverty Monitoring and Policy Evaluation. Documento conceptual. Washington, D.C. . 2003a. Sitio en la internet del Departamento de Evaluación de: http:// www.worldbank.org/oed/ecd/. . 2003b. Overview of Poverty Reduction Strategies. http://www.worldbank.org/ poverty/strategies/overview.htm . 2003c. Toward Country-Led Development: A Multi-Partner Evaluation of the CDF. OED Precis, Número 233. Washington, D.C. Binnendijk, Annette. 2000. Results Based Management in the Development Cooperation Agencies: A review of Experience. Documento preparado para el Grupo de Trabajo de la OCDE/DAC sobre Evaluación de la Ayuda. París. Febre- ro 10-11. (Revisado octubre 2000.) Carroll, Lewis. 1865. Alices Adventures in Wonderland. Edición de reimpresión 2002. Nueva York: Sea Star Books. ChannahSorah, Vijaya Vinita. 2003. Moving from Measuring Processes to Outcomes: Lessons Learned from GPRA in the United States. Presentado ante la conferen- cia conjunta del Banco Mundial y del Instituto Coreano para el Desarrollo so- bre Sistemas de Evaluación del Desempeño y Pautas Aplicables a Construcción a Gran Escala, I&D e Inversiones en Capacitación Laboral. Seúl, República de Corea. Julio 24-25. Crawford, David. 2003. With Help from Corporations, German Group Fights Corruption. Wall Street Journal, noviembre 26. Departamento del Trabajo de Estados Unidos. 2002. Annual Performance Plan: Fiscal Year 2003. Washington, D.C. Dorotinsky,William.2003a.ActiveandPassiveApproachestoUseofResultsFindings. Banco Mundial. Comunicación personal con los autores, diciembre 5, 2003. . 2003b. Information on Monitoring for Results in Brazil. Banco Mundial. Co- municación personal con los autores, diciembre 5, 2003. Fukuda-Parr, Sakiko, Carlos Lopes y Khalid Malik, eds. 2002. Capacity for Development: New Solutions to Old Problems. Londres: Earthscan Publications, Ltd. Furubo, Jan-Eric, Ray C. Rist y Rolf Sandahl, eds. 2002. International Atlas of Evaluation. New Brunswick, N.J.: Transaction Publishers. Guerrero, R. Pablo. 1999. Evaluation Capacity Development: Comparative Insights from Colombia, China, and Indonesia, en Richard Boyle y Donald Lemaire, eds., Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, N.J.: Transaction Publishers. Hatry, Harry P. 1999. Performance Measurement: Getting Results. Washington, D.C.: The Urban Institute Press. , Elaine Morley, Shelli B. Rossman, Joseph P. Wholey. 2003. How Federal Programs Use Outcome Information: Opportunities for Federal Managers. Washington, D.C.: IBM Endowment for The Business of Government. Hauge,Arild.2001.StrengtheningCapacityforMonitoringandEvaluationinUganda: A Results Based Perspective. Departamento de Evaluación de Operaciones, bibliografia.p65 256 24/07/05, 10:32 a.m. Bibliografía 257 ECD, Banco Mundial. Series de documento de trabajo, Número 8. Washington, D.C. IDA (International Development Association). 2002. Measuring Outputs and Outcomes in IDA Countries. IDA 13. Banco Mundial. Washington, D.C. IFAD (International Fund for Agricultural Development) [Fondo Internacional para el Desarrollo Agrícola]. 2002. A Guide for Project M&E: Managing for Impact in Rural Development. Roma: IFAD. Disponible en la dirección electrónica http:// www.ifad.org/evaluation/guide/ FMI (Fondo Monetario Internacional). 2002. What is the General Data Dissemination System (GDDS)? Washington, D.C.: FMI. . 2003. Financial Soundness Indicators. Washington, D.C.: FMI. Disponible en la dirección electrónica http://FMI.org/external/np/sta/fsi/eng/fsi.htm FPNU (Fondo de Población de las Naciones Unidas). 2002. Monitoring and Evaluation Toolkit for Programme Managers. Oficina de Vigilancia y Evaluación. Dispo- nible en la dirección electrónica http://www.unfpa.org/monitoring/toolkit.htm Khan, M. Adil. 2001. AGuidebookonResultsBasedMonitoringandEvaluation:KeyConcepts, Issues and Applications. División de Examen de Seguimiento y Avances, Minis- terio de Ejecución del Plan, Gobierno de Sri Lanka. Colombo, Sri Lanka. Kumar, Krishna, ed. 1993. Rapid Appraisal Methods. Banco Mundial. Washington, D.C. Kusek, J. Z. y R. C. Rist. 2001. Building a Performance-Based Monitoring and Evaluation System: The Challenges Facing Developing Countries. Evaluation Journal of Australasia. 1(2): 14-23. .2003.Readiness Assessment: TowardPerformance Monitoring and Evaluation in the Kyrgyz Republic. Japanese Journal of Evaluation Studies. 3(1): 17-31. Lee, Yoon-Shik. 1999. En Richard Boyle y Donald Lemaire, eds. Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, N.J.: Transaction Publishers. . 2002. In Jan-Eric Furubo, Ray C. Rist y Rolf Sandahl, eds. International Atlas of Evaluation. New Brunswick, N.J.: Transaction Publishers. Leeuw, Frans L. 2003. Evaluation of Development Agencies Performance: The Role of Meta-Evaluations. Documento preparado para la Quinta Conferencia Bianual del Banco Mundial sobre Evaluación y Desarrollo. Washington, D.C. Julio 15-16. Mackay, Keith. 1999. Evaluation Capacity Development: A Diagnostic Guide and Action Framework. Departamento de Evaluación de Operaciones, EOD, Ban- co Mundial. Serie documentos de trabajo, Número 6. Washington, D.C. . 2002. The Australian Government: Success with a Central, Directive Approach, en Furubo, Rist y Sandahl, eds., International Atlas of Evaluation. New Brunswick, N.J.: Transaction Publishers. Marchant, Tim. 2000. Informe sobre la región de África. Banco Mundial. Washington D.C. Naciones Unidas. n.d. Disponible en la dirección electrónica http://www.un.org/ millenniumgoals/ bibliografia.p65 257 24/07/05, 10:32 a.m. 258 Manual para gestores del desarrollo . 2003. Indicators for Monitoring the Millennium Development Goals. Nue- va York, N.Y. NacionesUnidas.Disponibleenladirecciónelectrónica http://www.developmentgoals.org/ mdgun/MDG_metadata_08-01-03_UN.htm NYC.gov. 2003. Nueva York City Continues to be the Nations Safest Large City. http://www.nyc.gov/ html/om/html/2003a/crime_falls.html OConnell, Paul E. 2001. Using Performance Data for Accountability: The Nueva York City Police Departments CompStat Model of Police Management. PricewaterhouseCoopers Endowment for The Business of Government: Arlington, Va. OCDE (Organización para la Cooperación y el Desarrollo Económicos). 2001. Evaluation Feedback for Effective Learning and Accountability. París: OCDE/ DAC. . 2002a. Glossary of Key Terms in Evaluation and Results-Based Management. París: OCDE/DAC. . 2002b. Public Management and Governance (PUMA). Overview of Results- Focused Management and Budgeting in OECD Member Countries. Vigésima tercera reunión anual de funcionarios fiscales senior de la OCDE. Washington, D.C. Junio 3-4. Oficina General de Contabilidad de Estados Unidos (GAO). 2002. Highlights of a GAO Forum, Mergers and Transformation: Lessons Learned for a Department of Homeland Security and Other Federal Agencies. Washington, D.C. . 2003. Program Evaluation: An Evaluation Culture and Collaborative Partnerships Help Build Agency Capacity. Washington, D.C. Oficina de Gestión y Presupuesto de Estados Unidos. 1993. Government Performance Results Act of 1993. Washington, D.C. Osborne, David y Ted Gaebler. 1992. Reinventing Government. Boston, Mass.: Addison- Wesley Publishing. Picciotto, Robert. 2002. Development Cooperation and Performance Evaluation: The Monterrey Challenge. Banco Mundial. Documento de trabajo preparado para la mesa redonda sobre Mejor medición, seguimiento y gestión de resultados para el desarrollo, auspiciada por los bancos multilaterales para el desarrollo en colaboración con el Comité de Asistencia para el Desarrollo, de la Organización para la Cooperación Económica y el Desarrollo. Washington, D.C., junio 5-6. PNUD (Programa de las Naciones Unidas para el Desarrollo). 2001. Human Development Report. Nueva York: Oxford University Press. También dispo- nible en la dirección electrónica http://www.undp.org/hdr2001/faqs.html##1 . 2002. Handbook on Monitoring and Evaluating for Results. Nueva York: Oficina de Evaluación de PNUD. Presidente de la Junta del Tesoro de Canadá. 2002. Canadas Performance 2002: Annual Report to Parliament. Ottawa, Canadá. Reino Unido. Oficina del Gabinete. n.d. Disponible en la dirección electrónica http:// www.cabinet-office.gov.uk bibliografia.p65 258 24/07/05, 10:32 a.m. Bibliografía 259 Republique Française. 2001. Ministerio de Economía, de Hacienda y de la Industria. Towards New Public Management. Newsletter on the Public Finance Reform. No. 1. Septiembre. Schacter, Mark. 2000. Sub-Saharan Africa: Lessons from Experience in Supporting Sound Governance. Departamento de Evaluación de Operaciones, ECD, Ban- co Mundial. ECD Serie documento de trabajo, No. 7. Washington, D.C. Schiavo-Campo, Salvatore. 1999. Performance in the Public Sector. Asian Journal of Political Science 7(2): 75-87. Asociación de Evaluación de Sri Lanka y Ministerio de Desarrollo y Ejecución de las Políticas. 2003. National Evaluation Policy for Sri Lanka. Colombo, Sri Lanka. Stiglitz, Joseph y Roumeen Islam. 2003. Information is Capital. Le Monde. Enero 3. TI (Transparencia Internacional). 1997. Disponible en la dirección electrónica http:// www.transparency.org/ . 2002. Disponible en la dirección electrónica http://www.transparency.org/ SecretaríadelaJuntadelTesorodeCanadá.2001.GuidefortheDevelopmentofResults- Based Management and Accountability Frameworks. Ottawa, Canadá. The Daily Star. 2003. Saidi Predicts Gains from Joining FMI Data System: Part of Good Governance. Enero 28. Tufte, Edward R. 2001. The Visual Display of Quantitative Information. Cheshire, Conn.: Graphics Press. .2002. Visual Explanations: Images and Quantities, Evidence and Narrative. Cheshire, Conn.: Graphics Press. United Way of America. 1996. Outcome Measurement Resource Network. Disponi- ble en la dirección electrónica http://national.unitedway.org/outcomes/resources/mpo/ contents.cfm Valadez, Joseph y Michael Bamberger. 1994. Monitoring and Evaluating Social Programs in Developing Countries: A Handbook for Policymakers, Managers, and Researchers. Washington, D.C.: Banco Mundial. Webb, E. J., D. T. Campbell, R. D. Schwartz, L. Sechrest, 1966. Unobtrusive Measures: Nonreactive Research in the Social Sciences. Chicago: Rand McNally. Wholey, Joseph S. 2001. Managing for Results: Roles for Evaluators in a New Management Era. The American Journal of Evaluation. 22(3): 343-347. , Harry Hatry y Kathryn Newcomer. 1994. Handbook of Practical Program Evaluation. San Francisco: Jossey-Bass Publishers. Worthen, Blaine, James Sanders y Jody Fitzpatrick. 1997. Program Evaluation: Alternative Approaches and Practical Guidelines. Nueva York: Longman Publishers. Wye, Chris. 2002. Performance Management: A Start Where You Are, Use What You Have Guide. Arlington, Va.: IBM Endowment for Business in Government. Serie Gestión para Resultados. bibliografia.p65 259 24/07/05, 10:32 a.m. 260 Manual para gestores del desarrollo ENLACES ÚTILES EN INTERNET Gobierno-e en Nueva Zelanda: http://www.e-government.govt.nz/ Museo Egiptio, El Cairo: http://www.touregypt.net/egyptmuseum/egyptian_museum.htm Desarrollo de Capacidad en Seguimiento y Evaluación: http://www.worldbank.org/oed/ ecd/ Noticias sobre Seguimiento y Evaluación: http://www.mande.co.uk/ OCED Development Assistance Committee Working Party on Aid Evaluation: http:// www.OCED.org/home/ OCED Gobierno-e: http://www.OCED.org/department/0,2688,en_2649_34131_1_1_1_1_1,00.html OED Programa de Gestión Pública: http://www1.OCED.org/puma/ Transparencia Internacional: http://www.transparency.org/ Red en línea de las Naciones Unidas en Administración y Finanzas Públicas http:// www.unpan.org/ Usaid Center for Development Information and Evaluation: http://www.usaid.gov/pubs/ usaid_eval/ Banco Mundial, Departamento de Evaluación de Operaciones: http://www.worldbank.org/oed/ www.worldbank.org/oed/ecd (M&E capacitybuilding) http://www.worldbank.org/oed/ipdet/ WWW Virtual Library: Evaluation, http://www.policy-evaluation.org/ OTRAS LECTURAS Introducción Banco Mundial. 1994. Report of the Evaluation Capacity Task Force. Washington, D.C. Kettl, Donald F. 2002. The Global Public Management revolution: A Report on the Transformation of Governance. Washington, D.C.: Brookings Institution. Kusek, J. Z. y R. C. Rist. 2000. Making M&E MatterGet the Foundation Right. Evaluation Insights. 2(2):7-10. . 2002. Building Results-Based Monitoring and Evaluation Systems: Assessing Developing Countries Readiness. Zeitschrift für Evaluation. (1): 151-158. .2003.Readiness Assessment: TowardPerformance Monitoring and Evaluation in the Kyrgyz Republic. Japanese Journal of Evaluation Studies. 3(1): 17-31. Mayne, John and Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public Sector: Future Directions from International Experience. New Brunswick, N.J.: Transaction Publishers. Picciotto, Robert y Eduardo D. Wiesner, eds. 1998. Evaluation and Development. New Brunswick, N.J.: Transaction Publishers. bibliografia.p65 260 24/07/05, 10:32 a.m. Bibliografía 261 Capítulo 1 Boyle, Richard y Donald Lemaire, eds. 1999. Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, N.J.: Transaction Publishers. Kusek, Jody Zall y Ray C. Rist. 2000. Making M&E MatterGet the Foundation Right. Evaluation Insights. 2(2):7-10 . 2001. Building a Performance-Based M&E System: The Challenges Facing Developing Countries. Evaluation Journal of Australasia. 1(2):14-23. . 2002. Building Results-Based Monitoring and Evaluation Systems: Assessing Developing Countries Readiness. Zeitschrift für Evaluation, (1): 151-158. .2003.Readiness Assessment: TowardPerformance Monitoring and Evaluation in the Kyrgyz Republic. Japanese Journal of Evaluation Studies. 3(1):17-31. Capítulo 2 International Fund for Agricultural Development (IFAD). 2002. Managing for Impact in Rural Development: A Guide for Project M&E. Roma: IFAD. Disponible en la dirección electrónica http://www.ifad.org/evaluation/guide/ Khan, M. Adil. 2001. A Guidebook on Results Based Monitoring and Evaluation: Key Concepts, Issues and Applications. Monitoring and Progress Review Division, Ministry of Plan Implementation, Government of Sri Lanka. Colombo, Sri Lanka. International Development Association (IDA). 2002. Measuring Outputs and Outcomes in IDA Countries. IDA 13. Banco Mundial, Washington, D.C. Capítulo 3 Departamento de Justicia de Estados Unidos. National Institute of Justice. Mapping and Analysis for Public Safety. Washington, D.C.: Departamento de Justicia deEstadosUnidos.Disponibleenladirecciónelectrónica http://www.ojp.usdoj.gov/ nij/maps/ Departamento del Tesoro de Estados Unidos, Servicio de Gestión Financiera. 1993. Performance Measurement Guide. Washington, D.C.: Departamento del Te- soro de Estados Unidos. Hatry, Harry P. 2001. What Types of Performance Information Should be Tracked, en Dall W. Forsythe, ed., Quicker, Better, Cheaper? Managing Performance in American Government. Albany, N.Y.: Rockefeller Institute Press. Kusek, J. Z. y Ray C. Rist. 2000. Making M&E MatterGet the Foundation Right. Evaluation Insights 2(2):7-10. Mayne, John y Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public Sector: Future Directions from International Experience. New Brunswick, N.J.: Transaction Publishers. bibliografia.p65 261 24/07/05, 10:32 a.m. 262 Manual para gestores del desarrollo Shand, David. 1998. The Role of Performance Indicators in Public Expenditure Management. FMI Documento de trabajo. Washington, D.C.: Fondo Moneta- rio Internacional. Wye, Chris. 2002. Performance Management: A Start Where You Are, Use What You Have Guide. Arlington, Va.: IBM Endowment for Business in Government. Serie Gestión por Resultados. Capítulo 5 Wye, Chris. 2002. Performance Management: A Start Where You Are, Use What You Have Guide. Arlington, Va.: IBM Endowment for Business in Government. Serie Gestión por Resultados. Capítulo 6 Mayne, John y Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public Sector: Future Directions from International Experience. New Brunswick, N.J.: Transaction Publishers. Programa de las Naciones Unidas para el Desarrollo (PNUD). 2002. Handbook on Monitoring and Evaluating for Results. Nueva York: Oficina de Evaluación del PNUD. Capítulo 7 Creswell, John W. 1994. Research Design: Qualitative and Quantitative Approaches. Thousand Oaks, Calif.: Sage Publications. Furubo, J. E., R. C. Rist y R. Sandahl, eds. 2002. International Atlas of Evaluation. New Brunswick, N.J.: Transaction Press. Consejo Francés de Evaluación. 1999. A Practical Guide to Program and Policy Evaluation. París, Francia: Consejos Científicos y Nacionales de Evaluación. Patton, Michael Q. 2002. Qualitative Research and Evaluation Methods, 3rd ed. Thousand Oaks, Calif.: Sage Publications. Rist, Ray C., ed. 1999. Program Evaluation and the Management of Government. New Brunswick, N.J.: Transaction Publishers. Vedung, Evert. 1997. Public Policy and Program Evaluation. New Brunswick, N.J.: Transaction Publishers. Wholey, J. S., H. P. Hatry y K. E. Newcomer, eds. 1994. Handbook of Practical Program Evaluation. San Francisco, Calif.: Jossey-Bass Publishers. Worthen, B. R., J. R. Sanders y J. L. Fitzpatrick. 1997. Program Evaluation: Alternative Approaches and Practical Guidelines, segunda edición. New York, N.Y.: Addison, Wesley, and Longman. bibliografia.p65 262 24/07/05, 10:32 a.m. Bibliografía 263 Capítulo 8 Creswell, John W. 1994. Research Design: Qualitative and Quantitative Approaches. Thousand Oaks, Calif.: Sage Publications. Kumar, Krishna, ed. 1993. Rapid Appraisal Methods. Banco Mundial. Washington, D.C. Rist, Ray C. 1994. Influencing the Policy Process with Qualitative Research, en Norman K. Denzin y Yvonna S. Lincoln, eds. Handbook of Qualitative Research. Thousand Oaks, Calif.: Sage Publications. Banco Mundial. 2003. International Program for Development Evaluation Training. Disponible en la dirección electrónica http://www.worldbank.org/oed/ipdet/ and http://www.carleton.ca/ipdet/ Capítulo 9 Leeuw, Frans L., Ray C. Rist y Richard C. Sonnichsen. 1994. Can Governments Learn? Comparative Perspectives on Evaluation and Organizational Learning. New Brunswick, N.J.: Transaction Publishers. Rist, Ray C. 1997. Evaluation and organizational learning. Evaluation Journal of Australasia. 9(1&2). Capítulo 10 Boyle, Richard y Donald Lemaire, eds. 1999. Building Effective Evaluation Capacity: Lessons from Practice. New Brunswick, N.J.: Transaction Publishers. Georghiou, Luke. 1995. Assessing the Framework Programmes. Evaluation. 1(2): 171- 188. Ittner, Christopher D. y David F. Larcker. 2003. Coming Up Short on Nonfinancial Performance Measurement. Harvard Business Review. 81(11): 88-95. Mayne, John y Eduardo Zapico-Goni, eds. 1999. Monitoring Performance in the Public Sector: Future Directions from International Experience. New Brunswick, N.J.: Transaction Publishers. Pollitt, Christopher. 1995. Justification by Works or by Faith? Evaluation. I(2): 133- 154. . 1997. Evaluation and the New Public Management: An International Perspective. Evaluation Journal of Australasia. 9(1&2): 7-15. bibliografia.p65 263 24/07/05, 10:32 a.m. bibliografia.p65 264 24/07/05, 09:59 p.m. Esta edición se terminó de imprimir en julio de 2005. Publicado por MAYOL EDICIONES S.A. Calle 131A No. 56-62, Bogotá, Colombia E-mail: mayolediciones@etb.net.co La impresión y encuadernación se realizaron en Gente Nueva Editorial (Cra. 17 No. 30-12, Bogotá) bibliografia.p65 265 24/07/05, 09:59 p.m. bibliografia.p65 266 24/07/05, 09:59 p.m. Diez pasos hacia un sistema de seguimiento y evaluación basado en resultados Seleccionar Planificar para Determinar el Hacer una indicadores clave mejorar. Seleccionar Utilizar los papel de las estimación de para monitorear objetivos hallazgos evaluaciones la preparación los efectos de resultados 1 2 3 4 5 6 7 8 9 10 Elegir los efectos Establecer datos Hacer seguimiento Presentar Sustentar SyE en para monitorearlos básicos sobre para obtener informes la organización y evaluarlos indicadores. resultados sobre Situación actual hallazgos Para lograr un desarrollo socioeconómico sostenible resulta esencial contar con un Estado eficaz. El advenimiento de la globalización ha traído consi- go presiones crecientes que buscan que gobiernos y organizaciones del mundo entero se muestren más receptivos a las demandas de partes intere- sadas internas y externas que exigen gobernabilidad, rendición de cuentas y transparencia, mayor eficacia del desarrollo y entrega de resultados tan- gibles. Gobiernos, parlamentos, ciudadanos, el sector privado, ONG, la sociedad civil, organismos internacionales y los donantes se encuentran entre las partes interesadas que pretenden un mejor desempeño. Conforme aumentan las demandas de mayor rendición de cuentas y de resultados rea- les, se vislumbra una necesidad concomitante de un sistema mejorado de seguimiento y evaluación de las políticas, programas y proyectos basado en resultados. El enfoque del Manual está dirigido a un modelo integral de diez pasos que le servirá de guía al lector a lo largo del proceso de diseño y construcción de un sistema de SyE basado en resultados. Una "estimación de la prepara- ción" será el primer paso que llevará al lector a través del diseño, la gestión y, lo más importante, la sostenibilidad del sistema de SyE propio. El Manual hace una descripción detallada de estos diez pasos, de las tareas que va a ser necesario emprender para cumplirlos y de las herramientas disponibles que le serán de ayuda al lector a lo largo del camino. 958-97647-4-6