DOCUMENT TECHNIQUE DE LA BANQUE MONDIALE NUMERO 54F WTP-54 Guide des directeurs de programmes Le suivi et l'évaluation des programmes de développement urbain Michael Bamberger et Eleanor Hewitt wo,v  ＀〕＀〕！!!! 乍『，r Banque international pour la reconstruction et le développement/BANQuE MONDIALE 1818 H Street, N.W. Washington, D.C. 20433 Etats-Unis d'Amérique Tous droits réservés Imprimé aux Etats-Unis d'Amérique Première impression (édition anglaise) février 1987 Première impression (édition française) novembre 1987 Les Rapports techniques ne sont pas des publications officielles de la Banque mondiale. Ils sont distribués pour susciter le débat et pour diffuser rapidement les résultats des recherches de la Banque parmi les milieux du développement. Il convient de tenir compte de leur caractère provisoire lorsqu'on les utilise ou lorsqu'on les cite. Les observations, interprétations et conclusions exprimées n'engagent que leur(s) auteur(s) et ne sauraient être attribuées à la Banque mondiale, à ses institutions affiliées, à des membres du Conseil des Administrateurs ni aux pays qu'ils représentent. Les cartes qui accompagnent le texte sont uniquement destinées à faciliter la lecture; les dénominations et les signes qu'elles contiennent n'impliquent de la part de la Banque mondiale, de ses institutions affiliées, du Conseil des Administrateurs ni de ses pays membres aucun jugement quant au statut juridique d'un pays, &un territoire, d'une ville, d'une région ou de ses autorités, ni quant à ses frontières ou à son appartenance territoriale. Le caractère officieux de ces rapports et le souci de présenter les résultats des recherches dans les meilleurs délais possibles font que le texte dactylographié n'a pas été établi selon les mêmes méthodes que les textes imprimés officiels. La Banque mondiale ne s'estime pas responsable des erreurs qui pourraient s'y trouver. Les dernières publications de la Banque mondiale sont décrites dans le catalogue New Publications, dont une nouvelle édition parait deux fois par an, au printemps et en automne. La liste complète de toutes les publications figure dans Index of Publications, qui parait tous les ans et contient la liste des titres par ordre alphabétique et des index par sujet, par auteur et par pays et région; rIndex est surtout utile aux bibliothèques et aux acheteurs institutionnels. La dernière édition de chacune de ces brochures peut être obtenue gratuitement auprès du Publications Sales Unit, Department F, The World Bank, 1818 H Street, N.W, Washington, D.C. 20433, U.S.A., ou de Publications, Banque mondiale, 66, avenue d'Iéna, 75 116 Paris, France. Michael Bamberger et Eleanor Hewitt travaillent tous deux à la Banque mondiale, où le premier est coordinateur régional pour l'Institut de développement économique et la seconde, assistante de recherche au Département de Yalimentation en eau et du développement urbain. ISBN 0-8213-0987-0 La Bibliothèque du Congrès des Etats-Unis a catalogué comme suit l'édition anglaise: Bamberger, Michael. A manager's guide to Monitoring and evaluating urban development programs. (World Bank technical paper, ISSN 0253-7494 ; no. 54) 1. City planning--Developing countries--Evaluation-- Handbooks, manuals, etc. 2. City planning--Evaluation-- Handbooks, manuals, etc. I. Hewitt, Eleanor, 1950- . II. Bamberger, Michael. Monitoring and evaluating urban development programs. 111. Title. IV. Series. HT169.5.B35 1987 351.8'lV091724 87-2188 ISBN 0-8213-0883-1 - iii - CONDENSE Le présent Guide des directeurs de programmes donne une vue d'ensemble de l'ouvrage intitulé Le suivi et l'évaluation des programmes de développement urbain : Manuel à l'intention des directeurs de programmes et des chercheurs 1/. Le Manuel est un ouvrage détaillé mais facile à comprendre, qui s'adresse, dans tous les pays en développement, aux responsables de la politique urbaine tout comme à ceux qui l'exécutent et qui l'évaluent. Il contient des éléments d'orientation concernant toutes les étapes de la conception et de l'exécution d'un système de suivi et d'évaluation et formule les principales options qui sont offertes sur le plan de l'ampleur d'un projet, des principales questions à évoquer et de l'organisation du travail. Il décrit des systèmes de suivi et d'évaluation qu'on peut employer à propos de projets particuliers ou de programmes intégrés de développement urbain à composantes multiples. Le guide met en relief les aspects qui intéressent le plus les directeurs de programmes et les responsables du développement. Il contient des renvois qui facilitent l'emploi du manuel. Les projets de développement urbain varient beaucoup sur le plan des dimensions et de la complexité, ainsi que des ressources dont ils disposent pour le suivi et l'évaluation. Le Manuel a pour objet d'aider les gestionnaires et les responsables à prendre des décisions au sujet du genre et de la complexité des études qui correspondent le mieux à leur projet et à opérer un choix parmi toute la gamme de méthodes de recherches et d'analyses existantes. Il opère constamment une distinction entre les techniques fondamentales de suivi et d'évaluation qui sont simples et économiques et peuvent s'appliquer à n'importe quel projet, et les techniques plus complexes qui ne peuvent être employées que dans certaines circonstances. Toutes les méthodes que décrit le Manuel ont fait l'objet d'essais sur le terrain, souvent dans le cadre de projets de la Banque mondiale. Le Manuel diffère d'autres ouvrages du même genre du fait qu'il montre comment on peut mettre sur pied une stratégie de suivi et d'évaluation qui utilise des méthodes empruntées à la sociologie, à l'économie, à l'anthropologie et à la comptabilité. 1/ Michael Bamberger et Eleanor Hewitt. 1986. Le suivi et l'évaluation des programmes de développement urbain : manuel à l'intention des directeurs de programmes et des chercheurs. Rapport technique N° 53 de la Banque mondiale. Washington, D.C. Une version française de cet ouvrage paraîtra prochainement. - 卜、 扮 - v - TABLE DES MATIERES CONDENSE ......................................................... iii 1. L'IMPORTANCE DU SUIVI ET DE L'EVALUATION EN TANT QU'OUTILS DE GESTION ........................................ 1 2. L'EXPERIENCE SUR LAQUELLE SE FONDENT LES SYSTEMES PROPOSES 3 3. UN MODELE DES PRINCIPALES ETAPES DE LA CONCEPTION ET DE L'EXECUTION D'UN PROJET DE DEVELOPPEMENT URBAIN .......... 4 4. LES FONCTIONS DU SUIVI ...................................... 6 4.1 Suivi des réalisations ................................. 6 4.2 Suivi du déroulement ................................... 8 5. LES FONCTIONS DE L'EVALUATION ............................... 9 5.1 Evaluation de l'impact ................................. 9 5.2 Analyse coÛt-efficacité et coÛts-avantages ............. il 6. INTEGRATION DU SUIVI ET DE L'EVALUATION A UN SYSTEME D'INFORMATION DE LA GESTION ................................. 13 7. PLANIFICATION DU SYSTEME DE SUIVI ET D'EVALUATION ........... 14 7.1 Définition des questions à étudier ..................... 14 7.2 Organisation du suivi et de l'évaluation ............... 14 7.3 Ampleur et intensité des études ........................ 14 7.4 Mesures prises pour s'assurer que l'évaluation est fiaxée sur la technique" ................................ 16 7.5 Définition des moyens nécessaires ...................... 16 8. GESTION DU SUIVI ET DE L'EVALUATION ......................... 17 8.1 Le râle du directeur du projet dans le suivi et l'évaluation ........................................... 17 8.2 Définition des principaux utilisateurs du suivi et de l'évaluation ........................................ 17 8.3 Les résultats du suivi et de l'évaluation et leur utilité pratique ....................................... 18 8.4 Importance d'examens réguliers des produits du suivi et de l'évaluation ..................................... 19 9. RESUME DU MANUEL ............................................ 20 卜 計、 . 1. L'IMPORTANCE DU SUIVI ET DE L'EVALUATION EN TANT QU'OUTILS DE GESTION (Introduction et Chapitre 1) 1/ Le suivi et l'évaluation sont des outils pratiques qui doivent constituer un élément essentiel d'une bonne gestion. Le suivi est une activité interne qui, dans le cadre d'un projet, cherche à savoir a) si les ressources du projet (argent, matériaux, personnel, etc.) sont fournies et utilisées conformément au budget et au calendrier qui ont été approuvés, b) si les produits escomptés (nombre de maisons construites, de stages de formation organisés, de malades soignés, etc.) sont obtenus dans les délais voulus et de façon efficace par rapport aux coiâts, et c) si l'exécution du projet a lieu dans des conditions d'efficacité. Les projets qui n'ont pas un système efficace de suivi risquent davantage de présenter quelques-uns des problèmes suivants retards et dépassements de coÛts exclusion ou sous-représentation de certains secteurs de la population cible contrôle de la qualité longs retards avant de déceler des problèmes ou conflits entre les organismes d'exécution ou entre ces organismes et les bénéficiaires visés. L'évaluation a pour objectif essentiel de savoir dans quelle mesure les impacts recherchés (relèvement des revenus, réduction de l'incidence de certaines infections, amélioration de la qualité du logement, etc.) ont été obtenus et de comparer le coÛt-efficacité d'un projet ou d'autres formules possibles. Quand un projet n'a pas de bon système d'évaluation, il risque davantage de se heurter aux problèmes suivants : poursuivre un projet qui n'apporte pas les avantages escomptés gaspiller de l'argent parce qu'on ne choisit pas l'option la plus efficace par rapport aux coÛts avoir plus de difficultés pour déceler certains éléments qui réduisent l'impact du projet et pour prendre des mesures de redressement. 11 Tous les renvois concernent les sections appropriées de Suivi et évaluation des programmes de développement urbains : Manuel à l'intention des directeurs de programmes et des chercheurs (Rapport technique N* 53). - 2 - Un programme bien conçu et bien exécuté de suivi et d'évaluation peut être un moyen efficace par rapport aux coûts : . de fournir constamment des informations sur la mesure dans laquelle les projets réalisent leurs objectifs; . d'identifier rapidement les problèmes susceptibles de se poser et de proposer des solutions possibles; . de suivre l'accessibilité du projet pour tous les secteurs de la population cible; . de suivre l'efficacité des diverses composantes du projet et de suggérer des améliorations à y apporter; . d'évaluer dans quelle mesure le projet peut atteindre ses objectifs généraux; . de fournir des directives servant à la planification de futurs projets. Beaucoup de directeurs de projet ont hésité à entreprendre des études de suivi et d'évaluation, pensant qu'il s'agissait de domaines extrêmement techniques qu'il fallait laisser aux spécialistes de la recherche ou qui étaient trop coûteux et trop complexes pour présenter une utilité pratique. Or, le suivi et l'évaluation ne sont pas nécessairement compliqués ou coûteux et la dimension et la complexité des études peuvent être adaptées aux besoins et aux ressources de chaque projet. Par exemples, les études de suivi que décrit la Section 4 sont toutes simples, brèves et économiques. Le directeur a pour rôle de définir les questions à étudier, de s'assurer que les chercheurs emploient les méthodes les plus efficaces par rapport aux coûts et de veiller à ce que les rapports soient examinés, discutés et suivis d'effet. - 3 - 2. L'EXPERIENCE SUR LAQUELLE SE FONDENT LES SYSTEMES PROPOSES (Introduction) Les méthodes que décrit le Manuel se fondent sur une expérience de dix ans de la Banque mondiale et sur un examen de l'abondante documentation d'évaluation qui a vu le jour depuis le début des années 70. La Banque mondiale a commencé à évaluer des projets urbains en 1975, date à laquelle elle a entrepris, en collaboration avec le Centre de recherche pour le développement international (Ottawa), une évaluation qui a duré cinq ans des premiers projets de développement urbain que la Banque mondiale avait financés en El Salvador, en Zambie, au Sénégal et aux Philippines. Depuis lors, la Banque a aidé des gouvernements d'Asie, d'Afrique et d'Amérique latine à mettre au point leur propre système de suivi et d'évaluation; et elle a mis à l'essai de nouvelles techniques d'évaluation conçues pour faire rapidement connaître ou mieux comprendre le point de vue des bénéficiaires. Toutes les méthodes que décrit le Manuel ont subi l'épreuve du terrain, la plupart du temps, mais pas toujours, dans le cadre de projets de la Banque mondiale. -4 - 3. UN MODELE DES PRINCIPALES ETAPES DE LA CONCEPTION ET DE L'EXECUTION D'UN PROJET DE DEVELOPPEMENT URBAIN (Chapitre 1 - Section B et Annexe A) Pour pouvoir être en mesure de mettre sur pied et d'interpréter un programme de suivi et d'évaluation, il est essentiel d'avoir un modèle montrant comment se déroule l'exécution du projet étudié. Ce modèle aide les responsables et. les évaluateurs à définir les principales questions à étudier, tout en fournissant le cadre d'interprétation des résultats des diverses études. La Figure 1 décrit un modèle dont on peut se servir pour identifier et décrire les principales étapes de n'importe quel projet de développement urbain. Elle montre comment le modèle peut servir à décrire les principales étapes d'un projet de rénovation de logements dans une grande ville. Le projet peut se subdiviser en six étapes successives : Etape 1 : Planification et conception du projet. Durant l'étape de planification, on formule des hypothèses au sujet des besoins de certains secteurs de la population et de l'efficacité relative de divers systèmes de réseaux. Etape 2 : Ressources affectées au projet. Il s'agit de l'argent, des terrains, des techniciens, des machines et du matériel. Etape 3 : Les systèmes de réseaux transforment les ressources en résultats. Etape 4 : Définition des résultats que cherche à obtenir le projet. Etape 5 : Définition des impacts qu'on attend du projet. (Voir Chapitre 4 - Section 5 et Annexe A). Etape 6 : Utilisation des résultats du premier projet pour aider au choix et à la conception des futurs projets. Beaucoup de projets s'inscrivent dans le cadre d'un programme continu de développment urbain et il arrive souvent que les résultats du premier projet doivent servir à définir et à concevoir des projets ultérieurs. Le modèle se réfère également au contexte politique et économique dans lequel s'inscrit le projet, ainsi qu'aux caractéristiques de la population cible. Les projets ne se réalisent pas dans le vide, et leur réussite se ressent de façon sensible des caractéristiques de la population cible, et du contexte politique et économique dans lequel ils s'inscrivent. Figure 1-1 CADRE DE SUIVI ET D'EVALUATION DE L'EXECUTION D'UN PROJET ANALYSE TECHNIQUE, RAPPORT EVALUATION FINANCIERE ET SUIVI D'ACHEVEMENT RETROSPECTIVE ECONOMIQUE DU PROJET DU PROJET APPROBATION DU PRET PREPARATION METHODES PLANIFICATION ET DU PROJET INTRANTS D'EXECUTION PRODUITS IMPACTS CONCEPTION DE NOUVEAUX PROJETS Exécution Exploitation Planification Obtention et Autoconstruction Augmentation !Analyse coût- et conception administration ou recours à des Nombre de Maintenance des revenus efficacité, redé- des fonds, des entrepreneurs, logements .finition de la Définition des matériaux, du différentes construits, Création de Amélioration population cible composantes matériel, et méthodes d'admi- de malades groupements de la santé 1 et des réseaux et de la idu personnel nistration des traités, de communau- A de services population matériaux de terrains taires Accroissement cible construction, du industriels de l'emploi crédit, etc. vendus. Recouvrement des coûts ELEMENTS DU CONTEXTE ET CARACTERISTIQUES DE LA POPULATION CIBLE Environnement macroéconomique et politique, catastrophes naturelles et caractéristiques des participants prévus et effectifs au projet - 6 - 4. LES FONCTIONS DE SUIVI Le suivi est une activité interne qui, dans le cadre d'un projet, cherche à savoir si les ressources du projet sont administrées et employées comme prévu et si elles donnent les résultats escomptés. On peut subdiviser le suivi en suivi des réalisations et suivi du déroulement. 4.1 Suivi des réalisations (Chapitre 2) Le suivi des réalisations a pour objet de voir dans quelle mesure les ressources du projet sont employées conformément au budget et au calendrier prévus; il cherche également à savoir si les résultats sont obtenus en temps opportun et de façon efficace par rapport aux coûts. Le suivi des réalisations peut également voir si le projet profite effectivement aux groupes de population visés. L'Encadré 1 donne un exemple d'une étude de suivi portant sur un projet d'assainissement des taudis; cette étude a montré qu'un grand nombre de locataires ne profitaient pas de tous les avantages du projet du fait que les propriétaires n'étaient pas toujours disposés à leur donner accès à l'eau potable et à des toilettes. A la suite de l'étude, le projet a mis en place des contrôles plus rigides pour veiller à ce que les propriétaires assurent les raccordements d'eau pour leurs locataires. ENCADRE 1 UTILISATION D'UNE ETUDE DE SUIVI POUR IDENTIFIER LES SECTEURS DE LA POPULATION QUI NE PROFITAIENT PAS D'UN PROJET D'ASSAINISSEMENT D'UNE ZONE D'HABITAT SPONTANE EN BOLIVIE Une étude d'observation des participants réalisée à La Paz, en Bolivie, a constaté que l'animation communautaire d'un projet d'assainissement était presque entièrement assurée par des propriétaires à revenu moyen. Elle a découvert qu'on n'avait pas suffisamment tenu compte des intérêts des locataires plus pauvres ou des ménages à faible revenu qui vivaient à la périphérie de cette communauté. A la suite de l'étude, les responsables ont eu des entretiens avec des représentants de certains quartiers périphériques et ont dressé des plans pour étendre l'infrastructure à ces quartiers. L'étude a fait appel à un observateur qualifié qui a vécu dans la communauté pendant trois mois (la méthode d'observation des participants est expliquée à l'Annexe 1). Source : Lawrence Salmen. 1983. "Participant Observer Evaluation of Urban Projects in La Paz, Bolivia, and Guayaquil, Ecuador." Département de l'alimentation en eau et du développement urbain. Document de travail N° 36. Banque mondiale, Washington, D.C. - 7 - Le suivi des réalisations vise à améliorer la supervision des projets; il est essentiel que la direction sache de façon constante ce que sont les indicateurs des résultats du projet, de façon à pouvoir dépister les problèmes et y apporter des solutions. L'Encadré 2 montre comment une étude de suivi réalisée au Sénégal a pu identifier les raisons de la lenteur de la construction et de l'occupation des logements et a pu aider à mettre sur pied un plan d'action visant à réduire les coûts et à accélérer la construction. (L'Annexe G décrit un système fondamental de suivi des réalisations qui peut être appliqué de façon simple et économique à n'importe quel projet urbain. Les Annexes H et I décrivent un système plus complexe de "suivi à base de réseaux" qui convient à beaucoup de projets plus complexes). ENCADRE 2 COMMENT UNE ETUDE RAPIDE DE SUIVI A AIDE A METTRE SUR PIED UN PLAN D'ACTION VISANT A ACCELERER LA CONSTRUCTION ET L'OCCUPATION DE LOGEMENTS DANS LE CADRE D'UN PROJET DE PARCELLES ASSAINIES A DAKAR, SENEGAL Une étude de suivi a été réalisée à Dakar, au Sénégal, à la demande de la direction d'un projet, pour trouver les raisons de la lenteur de l'occupation des parcelles d'un projet de trames d'accueil. L'étude a révélé que la plupart des maisons étaient beaucoup trop grandes et beaucoup plus chères que prévu, ce qui ralentissait l'occupation des locaux tout en excluant les familles pauvres. Plusieurs raisons expliquaient en particulier cet état de choses : a) l'obtention de l'approbation des plans des petites maisons se heurtait à des difficultés administratives; b) les familles n'avaient pas conscience des répercussions que la conception d'une maison plus grande avait sur les coûts; c) les familles ne connaissaient pas le principe de l'habitat évolutif, selon lequel on commence par construire un logement de base dans lequel on emménage et que l'on agrandit plus tard; et d) un grand nombre de familles relativement aisées ont été en mesure d'obtenir une parcelle en profitant du manque de rigueur des méthodes de sélection. L'étude a conduit à un "plan d'action" qui a réussi à encourager la population à construire des maisons plus petites et à imposer aux candidats des critères de sélection plus rigoureux. Une assistance technique a permis de recruter et d'encadrer des sous-traitants; par ailleurs,- on a simplifié les méthodes d'approbation des plans des petites maisons. L'étude, qui comportait des interviews d'un échantillon de participants et des entretiens avec le personnel du projet, a été terminée en moins de trois mois par une équipe de quatre enquêteurs travaillant avec un agent d'encadrement et un directeur de recherche. Source Bureau d'évaluation, 1979. "Etude des acheteurs de parcelles aménagées qui n'ont pas encore commencé la construction." Office d'habitation de loyer modéré, 1979. Dakar, Sénégal. - 8 - 4.2 Suivi du déroulement (Chapitre 3) Le suivi du déroulement vise à évaluer l'efficacité de l'exécution du projet. On mesure la rapidité et les coûts du réseau de services, ainsi que la qualité des produits; si possible, on compare plusieurs formules. On peut également évaluer les effets du réseau de services sur le niveau et la répartition des avantages du projet. L'Encadré 3 décrit plusieurs études de suivi qui ont révélé comment de mauvaises communications entre la direction et les bénéficiaires pouvaient se répercuter sur l'efficacité du projet et sur la répartition de ses avantages. ENCADRE 3 QUELQUES REPERCUSSIONS DE COMMUNICATIONS INSUFFISANTES SUR L'EXECUTION D'UN PROJET Les exemples suivants montrent comment de mauvaises communications peuvent se répercuter sur l'exécution d'un projet : ** A Guayaquil, en Equateur, il a fallu plusieurs années à l'organisme d'exécution pour comprendre que les animateurs communautaires, qui appartenaient à l'un des partis d'opposition, donnaient délibérément à la communauté des renseignements erronés au sujet des services offerts. C'est la raison pour laquelle la communauté ne manifestait aucun intérêt au projet; celui-ci ne fut jamais entrepris. ** A l'occasion d'un projet de réinstallations de squatters à Recife, au Brésil, l'organisme d'exécution croyait que la communauté avait été informée par ses animateurs de la nature et des coûts du projet et que la plupart des familles étaient d'accord. Or, une étude rapide a révélé que la plupart des familles n'avaient pas été informées et, pour cette raison, étaient hostiles au projet. ** A Usulutan, en El Salvador, on s'est aperçu que beaucoup de ménages illettrés à faible revenu ne se portaient pas candidats pour occuper des maisons parce que les techniques de communication par les médias, qui avaient utilisé la publicité au cinéma et à la radio ou une documentation écrite, ne les avaient pas atteints. - 9 - 5. LES FONCTIONS DE L'EVALUATION (Chapitre 4) Alors que le suivi est une activité interne qui cherche à améliorer les résultats d'un projet en cours, l'évaluation a pour objet d'aider à choisir et à concevoir de futurs projets. On peut subdiviser l'évaluation en évaluation de l'impact et en analyse coût-efficacité. 5.1 Evaluation de l'impact L'évaluation de l'impact a pour objet d'estimer les impacts nets d'un projet sur la population cible en comparant la situation des groupes intéressés une fois le projet réalisé et la situation qui aurait été la leur s'il n'y avait pas eu de projet. Selon les catégories d'information dont on a besoin pour mettre sur pied les futurs projets, les études peuvent être conçues soit pour fournir des informations descriptives ou générales au sujet des impacts, soit pour établir des estimations quantitatives de l'ampleur de ces impacts. Par exemple, on peut étudier l'impact d'un projet sur les ménages grâce à des entretiens et des observations d'ordre qualitatif portant sur un petit nombre de familles, ou par une étude longitudinale de l'impact qui fait intervenir un gros échantillon de participants au projet et un groupe témoin auxquels on pose des questions au moins à deux reprises. La première option coûte bien meilleur marché; elle est plus rapide, mais elle est beaucoup moins précise. C'est le directeur du projet, et non pas le chercheur, qui doit décider quelle méthode est la mieux à même de fournir les informations nécessaires pour prendre plus tard des décisions de principe. (Le Chapitre 4, Section 4, examine les options offertes pour remplacer une évaluation qualitative sur grande échelle. L'Annexe B décrit les techniques de collecte de donnés qu'on peut employer avec ces méthodes). Les évaluations quantitatives de l'impact estiment dans quelle mesure les changements observés peuvent être imputés aux effets du projet (ont été "causés" par le projet) et examinent les facteurs qui interviennent dans l'intensité et la direction des impacts. L'Encadré 4 donne un exemple de l'emploi d'une évaluation "quasi expérimentale" pour estimer l'impact que l'augmentation des dépenses de logement des participants au projet exerce sur les dépenses d'alimentation. On a choisi un "groupe témoin" présentant les mêmes caractéristiques socio-économiques et on a effectué une enquête auprès des participants et du groupe témoin avant que le projet ne commence pour voir combien d'argent chaque groupe consacrait à l'alimentation. L'enquête a été répétée une fois le projet terminé : on a constaté que, durant une période de forte inflation, les dépenses alimentaires des participants avaient beaucoup moins augmenté que celles du groupe témoin, ce qui semble indiquer que le projet a exercé un effet négatif sur les dépenses alimentaires. Cependant, il faut interpréter ces résultats avec prudence car il n'est pas possible d'affecter les sujets de façon aléatoire au groupe expérimental et au groupe témoin, comme le fait la psychologie expérimentale. En d'autres termes, il peut y avoir des différences entre les deux groupes dès la première enquête. Par exemple, les familles participantes et les familles témoins peuvent être différentes sur le plan - 10 - des effectifs, des revenus, de l'emploi ou de la durée du séjour en ville. Certains de ces facteurs peuvent se répercuter sur les dépenses alimentaires, si bien que les différences observées entre les deux groupes après le projet peuvent avoir pour origine certaines de ces différences initiales au lieu d'être la conséquence du projet lui-même. On a mis au point un certain nombre de techniques statistiques pour l'analyse et l'interprétation de ces "modèles quasi expérimentaux". (Le Chapitre 4, Section 5, décrit les éléments fondamentaux de l'évaluation quantitative. Les Annexes D, E et F décrivent avec plus de détails les méthodes d'échantillonnage, de conception et d'analyse). ENCADRE 4. EXEMPLE DE MODELE QUASI EXPERIMENTAL D'EVALUATION DE L'IMPACT POUR EVALUER LES EFFETS DES INVESTISSEMENTS DANS LE LOGEMENT SUR LES DEPENSES ALIMENTAIRES EN EL SALVADOR Les planificateurs du logement se préoccupent du fait que la nécessité de mobiliser des ressources pour acheter ou améliorer leur logement peut conduire des familles pauvres à réduire leurs dépenses alimentaires et autres dépenses de première nécessité. On a mis cette hypothèse à l'épreuve dans un projet de trames d'accueil réalisé en El Salvador en comparant les dépenses alimentaires des participants et d'un groupe témoin en 1977, avant que le projet ne commence, et puis à nouveau en 1979, soit environ 18 mois après le démarrage du projet. Les résultats obtenus ont été les suivants : Dépenses mensuelles moyennes d'alimentation (pesos) 1977 1979 % de changement Participants 177,4 240,6 + 35,6 Groupe témoin 155,2 241,5 + 64,2 Le test T donnait un résultat de 4,63 (avec 356 degrés de latitude) qui était statistiquement significatif au niveau de 0,0005, ce qui appuie l'hypothèse selon laquelle la participation au projet exercerait un effet négatif sur les dépenses alimentaires. Le groupe témoin jouait ici un Éôle essentiel car il fournissait des informations au sujet des tendances générales des dépenses alimentaires et permettait de tenir compte des effets de l'inflation. Le modèle avait pour point faible de ne pas pouvoir déterminer dans quelle mesure le taux plus lent d'augmentation des dépenses alimentaires était dû aux différences initiales entre les deux groupes plutôt qu'aux effets de la participation au projet. Source : Michael Bamberger. 1982. "Statistical Procedures for the Evaluation of Project Impacts." Département de l'alimentation en eau et du développement urbain. Banque mondiale, Washington, D.C. - il - 5.2 Analyse coût-efficacité et coûts-avantages (Chapitre 4 - Section 6) L'analyse coût-efficacité a pour objet de comparer divers projets sur le plan du coût de l'obtention d'un produit donné. L'Encadré 5 décrit une évaluation sur grande échelle du coût-efficacité du Programme expérimental d'allocations logement, aux Etats-Unis, qui fournissait à des familles des dons leur permettant d'améliorer leur logement. On a constaté que cette méthode, selon laquelle les familles prenaient la responsabilité d'effectuer les améliorations ou d'engager un ENCADRE 5 ANALYSE COUT-EFFICACITE D'UN PROGRAMME A GRANDE ECHELLE D'ALLOCATIONS LOGEMENT CONCU POUR ENCOURAGER LES AMELIORATIONS DU LOGEMENT Le Programme expérimental d'allocations logement a cherché à voir s'il était efficace de donner à des ménages pauvres des allocations leur permettant d'améliorer leur logement actuel ou de trouver un meilleur logement locatif. On pensait en effet qu'il serait plus efficace de stimuler le marché privé du logement que de fournir directement des logements. Un échantillon d'environ 1.800 ménages à faible revenu a été réparti de façon aléatoire entre un groupe expérimental, qui recevait des allocations logement, et un groupe témoin qui n'en recevait pas. Une expérience a comporté une étude de la demande, échelonnée sur trois ans, pour observer les effets d'une augmentation des revenus (allocations logement) et d'une réduction des prix (paiement d'une certaine partie du foyer) sur la consommation de logements. Les ménages participants étaient tenus de fournir des informations mensuelles et de se prêter à des interviews périodiques. Le groupe témoin n'a reçu aucune aide, mais devait fournir des informations analogues pour lesquelles il recevait une somme modique. On a constaté qu'une proportion relativement faible des familles éligibles décidaient de participer au projet et de demander à en recevoir les avantages. En effet, 27 % seulement des ménages éligibles ont demandé à recevoir des allocations logement, et seulement entre 10 % et 15 % d'entre eux ont utilisé ce revenu supplémentaire pour augmenter leur consommation de logement. Bien que les taux de participation aient été relativement modestes, le programme d'allocations semble avoir été une façon efficace par rapport aux coûts d'améliorer la qualité du logement de groupes cibles précis. Les améliorations observées ont été obtenues nettement meilleur marché que par les programmes classiques et on a estimé que l'exécution des recommandations de l'évaluation pourrait permettre aux organismes fédéraux de logement d'économiser jusqu'à 7-8 milliards de dollars par an. Source : Raymond Struyk et Marc Bendick. 1981. Housing for the Poor. Urban Institute, Washington, D.C. - 12 - entrepreneur, était beaucoup plus efficace par rapport aux coûts que les méthodes classiques qui rendaient des organismes fédéraux ou des organismes des Etats directement responsables de la construction ou de la rénovation des logements. On a estimé que cette évaluation a coûté environ 50 millions de dollars, étalés sur 10 ans, mais pourrait économiser au gouvernement fédéral jusqu'à 7 à 8 milliards de dollars par an. L'Encadré 6 montre comment l'analyse coûts-avantages permet de comparer les avantages et les taux de rentabilité économique de huit options de logement à bon marché en El Salvador. On a calculé les coûts et les avantages annuels des 20 années qui correspondaient à ce qu'on estime être la vie utile de chaque projet; on a également calculé pour chaque année les avantages nets (c'est-à-dire la différence entre les avantages et les coûts). On a ensuite actualisé les avantages nets afin d'obtenir le taux de rentabilité économique et la valeur actualisée nette. En divisant cette dernière par les coûts, on s'est aperçu que le rapport coût-efficacité des projets de trames d'accueil était au moins le double de celui des programmes classiques de logement de l'Etat. Cette analyse a permis de conclure qu'on peut fournir des logements aux pauvres dans des conditions beaucoup plus économiques grâce aux trames d'accueil que dans le cadre des programmes de logement classiques. ENCADRE 6 COMPARAISON DES RAPPORTS AVANTAGES/COUTS DE FORMULES DIVERSES DE PROJETS URBAINS On a comparé en El Salvador huit options de logements à bon marché sur le plan de leurs coûts et de leurs avantages, dans la double optique du pays et des ménages participants. On a pu montrer que les méthodes de développement progressif (trames d'accueil et assainissement des quartiers spontanés) avaient des taux de rentabilité économique compris entre 18 et 33 %, alors que ce taux était compris entre 9 et 13 % dans le cas des programmes classiques 4 de logement réalisés par l'Etat (habitations terminées abritant une ou plusieurs familles). Le rapport entre la valeur actualisée nette et les coûts était au moins cinq fois plus élevé pour les projets de trames d'accueil que pour les projets de logements classiques. Ces conclusions ont conduit à penser que la réalisation sur grande échelle d'un développement progressif serait très efficace par rapport aux coûts et rendrait les projets mieux accessibles aux ménages à faible revenu. Source : Marisa Fernandez-Palacios et Michael Bamberger. 1984. "An Economic Evaluation of Low-Cost Housing Options in El Salvador". Département de l'alimentation en eau et du développement urbain. Document de travail N° 55. Banque mondiale, Washington, D.C. - 13 - 6. INTEGRATION DU SUIVI ET DE L'EVALUATION A UN SYSTEME D'INFORMATION DE LA GESTION Bien que les quatre sortes d'études que décrivent les Sections 4 et 5 du présent document aient chacune des objectifs différents, elles se complètent les unes les autres et doivent être utilisées conjointement dans le cadre d'un programme intégré de suivi et d'évaluation. Supposons, par exemple, que l'évaluation d'un projet d'alimentation en eau et d'assainissement constate que les améliorations escomptées de la taille et du poids des jeunes enfants n'ont pas eu lieu. A elle seule, l'évaluation de l'impact ne peut pas expliquer si cela signifie que les hypothèses sur lesquelles se fondait le projet ne sont pas valables, ou si le problème a à voir avec la manière dont le projet a été réalisé. Dans ce cas, le suivi du déroulement peut identifier les problèmes qui se sont posés durant l'exécution du projet et peut dire dans quelle mesure ces problèmes ont contribué à l'absence des impacts escomptés. S'il se pose de graves problèmes durant l'exécution, il est sans aucun doute difficile de dire que cette absence d'impact prouve que l'amélioration de l'eau et de l'hygiène ne peut pas être susceptible de se répercuter sur la santé de l'enfant. En pareil cas, les études de suivi peuvent faire considérablement augmenter l'utilité opérationnelle de l'étude de l'impact. Dans d'autres cas, on peut se servir de l'étude de l'impact pour compléter les résultats des études de suivi en voyant si un projet qui est exécuté dans des conditions de grande efficacité donne les impacts escomptés. Par exemple, si un programme bien organisé de formation pour l'emploi n'a aucun impact sur les revenus ou sur l'emploi, il peut n'y avoir aucune justification de le poursuivre. - 14 - 7. PLANIFICATION DU SYSTEME DE SUIVI ET D'EVALUATION (L'Annexe C donne la liste des décisions successives qu'il faut prendre au sujet de la conception et de la mise en oeuvre d'un système de suivi et d'évaluation.) Cette section décrit les principales décisions et mesures qu'un responsable doit prendre pour choisir et planifier les catégories appropriées d'études de suivi et d'évaluation concernant un projet particulier. Le Tableau 1 résume les principales étapes de la planification et de la mise en oeuvre des systèmes. 7.1 Définition des questions à étudier Toute étude entraîne des coûts en argent et en personnel; il est donc essentiel que la direction choisisse avec soin les questions sur lesquelles doivent porter le suivi et l'évaluation. On peut d'ordinaire recourir à un certain nombre de méthodes différentes pour étudier une question quelconque; comme les façons d'envisager les choses varient beaucoup sur le plan des détails, de la complexité, du temps et du coût, il est important que le directeur veille à bien définir le genre d'information dont il a besoin. Il y a quatre grandes catégories de questions qu'on peut étudier; les directeurs doivent décider de l'importance relative de chacune d'entre elles et préciser les ressources qui leur seront consacrées. 7.2 Organisation du suivi et de l'évaluation (Chapitre 5) Il faut décider si le suivi et l'évaluation seront réalisés au sein des organismes d'exécution ou si certaines études, sinon toutes, seront sous-traitées à d'autres organisations. Lorsque le suivi et l'évaluation sont réalisés sur le plan interne, il faut prendre des décisions au sujet de la place des services de suivi et/ou d'évaluation dans l'organigramme. Il faut également décider comment et quand employer des consultants. 7.3 Ampleur et intensité des études (Annexe C - Section 1.3) Dans le cas des grands projets qui comportent beaucoup de composantes, et qui intéressent éventuellement un grand nombre de zones géographiques différentes, il est indispensable d'établir des priorités de recherche. Il serait trop onéreux et trop long d'étudier de façon intensive toutes les composantes de tous les domaines; c'est pourquoi la direction doit décider quelle composante et quel domaine sont les plus importants afin de les étudier. Comme on l'a déjà dit, il est également important de définir si l'on a besoin d'estimations quantitatives précises de l'impact ou s'il suffira d'exécuter des études descriptives. - 15 - TABLEAU 1 QUELQUES QUESTIONS FONDAMENTALES DE LA CONCEPTION ET DE LA GESTION DU SUIVI ET DE L'EVALUATION PLANIFICATION DU SUIVI ET DE L'EVALUATION 1. Définition des questions fondamentales à étudier et de leur importance relative * Suivi des réalisations * Suivi du déroulement * Evaluation de l'impact * Evaluation du coût-efficacité 2. Définition de l'organisation du suivi et de l'évaluation * Effectués par l'organisme d'exécution ou sous-traités * Où doivent être placés dans l'organisation les services de suivi et d'évaluation * Quelles devraient (éventuellement) être les fonctions des consultants 3. Définition de l'ampleur et de l'intensité des études * Couverture géographique * Niveau de détail et de précision demandé 4. S'assurer que les études sont "axées sur l'utilisateur" 5. Définition des besoins en ressources * Personnel * Finances * Matériel, bureaux, etc. GESTION DU SUIVI ET DE L'EVALUATION 1. Définition du rôle de la direction du projet 2. Définition des principaux utilisateurs du suivi et de l'évaluation et de leurs besoins d'information * Directeurs de projet * Urbanistes * Ministères nationaux des finances et du Plan * Organismes donateurs internationaux 3. Définition des résultats et mesures prises pour s'assurer qu'ils sont opérationnellement utiles : * Organisation d'études concernant le choix et la conception des nouveaux projets * Rapports de suivi mensuels ou trimestriels * Etudes continues d'un groupe * Etudes spéciales pour fournir des informations sur des problèmes ou questions identifiés par la direction * Evaluation à mi-course * Etudes d'impact et de coût-efficacité * Rapport d'achèvement du projet - 16 - 4. Elaboration de modalités permettant un examen régulier des rapports de suivi et d'évaluation 7.4 Mesures prises pour s'assurer que l'évaluation est "axée sur l'utilisateur" et non pas "axée sur la technique" (Annexe B - Section 1) Beaucoup de chercheurs qui s'occupent de suivi et d'évaluation sont devenus spécialistes de telle ou telle technique de recherches; certains se préoccupent de choisir et de perfectionner des techniques plutôt que de veiller à ce que les études répondent aux besoins d'information du directeur du projet. Toutes les méthodes de recherche ont leurs points forts et leurs points faibles; une bonne méthode d'évaluation doit toujours faire appel à un certain nombre de techniques différentes de façon à mieux comprendre le problème et à éviter les genres de distorsions qui se produisent inévitablement quand on emploie une seule méthode. S'il s'entretient avec des évaluateurs, le directeur du projet découvrira qu'il existe une controverse entre les partisans des méthodes quantitatives ("objectives"), qui cherchent à fournir des estimations statistiques rigoureuses des impacts du projet; et les partisans des méthodes qualitatives ("subjectives"), qui cherchent à comprendre les systèmes de valeur des populations intéressées et le sens que ces dernières attachent au projet. Les méthodes quantitatives et qualitatives ont toutes deux leurs points forts et leurs points faibles et le modèle d'évaluation devra faire appel aux deux catégories de méthode. 7.5 Définition des moyens nécessaires (Chapitre 5 - Section F) Les techniques de suivi et d'évaluation varient beaucoup sur le plan de l'ampleur, de la complexité et du coût. L'une des fonctions du directeur consiste à choisir les catégories d'études et la structure d'organisation qui correspondent le mieux aux besoins et aux ressources du projet. Il convient d'affecter les ressources aux questions qui revêtent une priorité élevée et de prendre soin d'éviter d'investir dans des études dont l'utilité opérationnelle est limitée. Lorsqu'on examine la question de l'accessibilité financière d'une évaluation, il est important de ne pas oublier le principe du coût-efficacité. Quand il s'agit d'un projet complexe, il peut être justifié d'investir de grosses sommes pour effectuer une évaluation rigoureuse de diverses stratégies d'investissement : en effet, on peut ainsi éventuellement économiser beaucoup d'argent à l'occasion de projets futurs. - 17 - 8. GESTION DU SUIVI ET DE L'EVALUATION 8.1 Le rôle du directeur du projet dans le suivi et l'évaluation (Chapitre 1 - Section A) Le suivi et l'évaluation sont des outils de gestion et, pour qu'ils soient utiles sur le plan opérationnel, le directeur du projet doit participer activement à toutes les étapes de la conception et de l'examen des études et à l'exécution des recommandations. Bien que les aspects techniques des études relèvent de l'équipe de recherche ou de consultants, c'est le directeur du projet qui doit déterminer le choix des études et veiller à ce qu'elles portent sur des questions opérationnelles importantes. Quand on laisse à des chercheurs la responsabilité de concevoir et d'exécuter le suivi et l'évaluation, les études risquent de devenir trop théoriques et leur utilité opérationnelle peut s'en trouver réduite. 8.2 Définition des principaux utilisateurs du suivi et de l'évaluation (Chapitre 5 - Section A) Afin de s'assurer que les rapports de suivi et d'évaluation sont utiles sur le plan opérationnel, il est nécessaire de commencer par définir quels sont les utilisateurs éventuels de ces études et quels sont leurs besoins en matière d'information. Ces utilisateurs se rangent d'ordinaire en quatre groupes principaux : a) Directeurs de projet : qui utilisent l'information pour surveiller l'exécution des projets dont ils sont responsables; pour s'assurer que les objectifs sont atteints et que les avantages profitent à la population cible; et pour aider à la conception de projets futurs ou au prolongement du projet à de nouveaux domaines. b) Urbanistes : qui utilisent l'information pour évaluer les impacts du projet sur le développement général de la ville; pour comparer les coûts et les résultats de diverses formules d'investissement et pour organiser de nouveaux projets. c) Ministères nationaux des finances et du Plan : qui se servent de l'information pour accélérer l'encaissement des sommes que vont fournir des organismes internationaux de prêt; pour surveiller le flux de trésorerie interne et pour évaluer l'impact que les projets exercent sur les recettes. d) Organismes internationaux de prêt : dans le cas des projets que finance en partie un emprunt international, l'organisme donateur exigera qu'on lui fournisse des informations de suivi et d'évaluation pour s'en servir dans le cadre de ses activités ordinaires de supervision et de planification et pour établir les futurs calendriers de décaissement. Outre ces groupes d'utilisateurs principaux, toute une série de chercheurs et d'établissements universitaires se servent des informations. - 18 - 8.3 Les résultats du suivi et de l'évaluation et leur utilité pratique Il est important de veiller à ce que les études de suivi et d'évaluation soient publiées en temps opportun, soient faciles à lire et portent sur les principales questions opérationnelles. Les rubriques suivantes indiquent quelques-unes des catégories d'études et de rapports qui peuvent apporter une aide sur le plan opérationnel : a) Les études d'évaluation peuvent être extrêmement utiles pour la planification d'un nouveau projet. Par exemple, des études d'observation des participants ou d'autres études détaillées peuvent estimer les réactions probables d'une communauté à l'égard d'un projet envisagé et identifier les problèmes éventuels qui pourraient se poser dans certaines collectivités. (Voir Chapitre 3 - Sections 2, 3 et 5.) b) Les rapports de suivi ont d'ordinaire une périodicité mensuelle ou trimestrielle; ils résument les principaux indicateurs des progrès de chaque élément du projet, et donnent une indication des problèmes et questions principaux dont il faut s'occuper. Le rapport doit permettre de savoir quelles sont les attitudes de la communauté et les interactions avec d'autres organisations, tout en résumant les informations recueillies au sein de l'organisme lui-même. (Voir Annexe G.) c) Les études continues d'un groupe peuvent être réalisées à propos de certains projets afin de donner des renseignements continus au sujet de l'exécution et d'identifier des problèmes éventuels. Par exemple, on peut rendre visite chaque mois à un échantillon de ménages en train de rénover leur maison afin d'observer les progrès des travaux et d'identifier les genres de problèmes auxquels ils se heurtent. (Voir Chapitre 3 - Section 5.) d) Des études spéciales sont effectuées chaque fois que la direction a besoin qu'on l'aide à prendre une décision importante. Souvent, ces études font appel à plusieurs méthodes différentes et, selon la question examinée, peuvent être terminées en quelques semaines ou exiger un temps beaucoup plus long. (Les encadrés du Chapitre 3 en donnent plusieurs exemples.) e) Un examen d'évaluation à mi-parcours est souvent exigé par le gouvernement central ou l'organisme de prêt. Le rapport examine les progrès réalisés, identifie les questions principales et formule des recommandations au sujet des modifications éventuelles de conception à considérer. Ce rapport est important car il est établi lorsque le projet - 19 - dure depuis assez longtemps pour qu'on dispose d'une base solide permettant de l'évaluer, alors qu'il reste encore suffisamment de temps et de moyens pour qu'il soit possible d'y apporter, s'il le faut, des corrections importantes. f) Evaluation de l'impact et analyse coût-efficacité des éléments du projet. (Voir Chapitre 4 - Section 6.) g) Un rapport d'achèvement du projet est normalement exigé au moment de l'achèvement du projet. Ce rapport examine dans le détail dans quelle mesure les objectifs du projet ont été atteints, et avec quelle efficacité le projet a été organisé; il contient des recommandations concernant la conception de projets futurs. 8.4 Importance d'examens réguliers des produits du suivi et de l'évaluation La conception d'un système de suivi et d'évaluation se fait par approximations successives, durant lesquelles la qualité des études et des rapports s'améliore progressivement sur la base de l'expérience. Souvent, les premières études et les premiers rapports ont une qualité quelque peu limitée du fait que les chercheurs et les directeurs n'ont pas l'expérience du domaine dont ils ont à s'occuper. Afin de s'assurer que la qualité des études s'améliore, il convient de mettre en place des modalités d'examen régulier qui prévoient la discussion et l'évaluation de tous les rapports et définissent les questions principale relatives aux futures études. D'ordinaire, l'examen fait appel à l'équipe d'évaluation, qui est invitée à faire une présentation de son rapport à l'occasion d'une des réunions de direction où l'on peut en discuter et prendre une décision au sujet des mesures à prendre. Les rapports doivent être diffusés avant les réunions et les chefs de division doivent être chargés de recueillir les observations de leurs collaborateurs. - 20 - 9. RESUME DU MANUEL Chapitre 1 : Le cadre du suivi et de l'évaluation Ce chapitre présente le contexte dans lequel se définissent les objectifs, les paramètres et l'organisation d'un système de suivi et d'évaluation. Le suivi et l'évaluation sont des outils de gestion et il est important que le directeur du projet participe activement à la conception, à l'examen et à l'utilisation des études. Le système doit comporter un suivi des réalisations (pour vérifier l'emploi des intrants et l'obtention des produits), un suivi du déroulement (pour évaluer l'efficacité de l'exécution du projet), une évaluation de l'impact (pour estimer les effets quantitatifs du projet sur les conditions sociales et économiques de la population cible); et une analyse coût-efficacité (pour comparer diverses formules de projet sur le plan des produits obtenus pour un coût donné). Le chapitre expose les décisions déterminantes que la direction doit prendre au sujet de l'organisation et de la gestion des études et indique pour terminer un certain nombre de problèmes communs de conception et d'exécution, de suivi et d'évaluation, en proposant quelques solutions possibles. Chapitre 2 : Suivi des réalisations Ce chapitre décrit la conception et l'exécution d'un système qui fournit périodiquement des renseignements sur le déroulement d'un projet, la façon dont les intrants sont employés conformément au budget et au calendrier approuvés et indique si les produits escomptés sont obtenus dans les délais voulus et d'une manière efficace par rapport aux coûts. Il décrit deux systèmes : un système de base, qui peut être appliqué simplement et dans des conditions économiques à n'importe quel projet; et un système plus complexe, fondé sur une analyse de réseaux, qui convient mieux aux projets plus importants et plus complexes. Chapitre 3 : Suivi du déroulement : Suivi du système de réseaux de services du projet Ce chapitre examine les principales questions et les principaux modèles qui permettent de suivre l'efficacité des modalités d'exécution du projet. Parmi les questions discutées figurent les avantages relatifs de divers indicateurs d'efficacité et certains éléments d'organisation qui ont empêché beaucoup de projets de bien suivre les étapes de leur exécution. Le suivi du déroulement peut servir soit à obtenir régulièrement des informations sur l'exécution d'un projet, soit à révéler rapidement les réactions quand des problèmes se posent. Le chapitre présente les principales méthodes de collecte de données et recommande de toujours employer un ensemble de méthodes qui aient recours à des analyses quantitatives et qualitatives. Il décrit trois modèles d'études : observation continue pendant toute la durée d'un projet, études périodiques et études exécutées uniquement à un moment donné. Il décrit les techniques permettant de suivre le degré d'efficacité de l'exécution. Enfin, il présente des recommandations sur la façon de définir la stratégie appropriée du suivi du déroulement. - 21 - Chapitre 4 : Evaluation de l'impact Ce chapitre présente divers schémas de recherche permettant d'évaluer les impacts de projet. Il brosse l'historique de l'évaluation de l'impact et retrace le débat qui oppose les partisans des méthodes qualitatives et quantitatives. Il examine les questions essentielles, par exemple la question de savoir s'il faut effectuer des évaluations de l'impact et à quel moment il faut le faire; il présente aussi des exemples de divers modèles de recherche. Un certain nombre de schémas d'évaluation simples sont offerts à titre d'options pouvant remplacer les évaluations quantitatives sur grande échelle dans les cas où il n'est pas nécessaire d'obtenir des estimations quantitatives précises des impacts d'un projet. A propos de l'évaluation quantitative, le chapitre opère un distinction entre les méthodes qui estiment les impacts nets du projet (modèle quasi expérimental) et celles qui estiment le coût-efficacité (analyse coûts-avantages, analyse coût-efficacité et analyse coût-utilité). Enfin, le chapitre présente des directives sur la façon de choisir la stratégie appropriée d'évaluation de l'impact. Le chapitre comporte des renvois aux éléments techniques qu'élaborent les annexes au sujet de l'échantillonnage, des schémas de recherches et de l'analyse statistique. Chapitre 5 : Gestion de l'évaluation Ce chapitre examine les principales questions que pose la définition de la structure d'organisation qui permet d'effectuer le suivi et l'évaluation au niveau des organes d'exécution, du service local de coordination, des organismes sectoriels spécialisés et des organismes nationaux de développement et de financement. Plusieurs questions sont évoquées en particulier, qui doit effectuer une évaluation, quel est le rôle des consultants, où doivent se trouver dans l'organigramme les services de suivi et d'évaluation, quel est le rôle d'un comité de direction et quelle doit être la répartition des responsabilités d'évaluation entre les organismes nationaux, sectoriels et locaux. Il n'y a pas de structure d'organisation qui soit meilleure que les autres; la place des services de suivi et/ou d'évaluation est fonction dans chaque cas de l'ampleur et de la complexité du projet, ainsi que de ses dimensions relatives et de l'expérience des recherches que possèdent les divers organismes qui interviennent. Ce chapitre donne des directives permettant d'estimer les besoins financiers et les besoins en ressources humaines qui correspondent à divers types de programmes de suivi et d'évaluation. La dernière section examine les problèmes que pose souvent l'organisation d'un programme d'évaluation et offre certaines solutions possibles. Chapitre 6 : Questions et méthodes d'évaluation de projets de développement urbain d'un caractère nouveau Ce chapitre examine certaines directions nouvelles que le développement urbain prend depuis quelques années et cherche à voir dans quelle mesure le cadre de suivi et d'évaluation qu'ont présenté les chapitres précédents peut leur être applicable. Les projets examinés se rangent en quatre catégories : formation de revenu et création d'emplois, -22- santé, transports et développement urbain et municipal. Le chapitre conclut que les techniques de suivi des réalisations peuvent être facilement appliquées à toutes ces nouvelles catégories de projets et que le suivi du déroulement peut être facilement appliqué aux trois premières et, avec quelque difficulté, au développement municipal et institutionnel. Les principales difficultés se présentent quant il s'agit d'évaluer les impacts des projets. Des problèmes se posent parce que, en raison de l'ampleur et de la portée de beaucoup de projets, il est difficile d'identifier un groupe témoin faute de pouvoir préciser et mesurer les impacts tandis que, par ailleurs, le projet n'a pas un ensemble unique de produits et d'impacts susceptibles d'être définis et mesurés avec clarté. Le chapitre recommande des stratégies pour l'emploi de chaque type d'étude de suivi et d'évaluation correspondant aux quatre catégories de projet. Le Manuel comprend dix annexes, qui examinent plus en détail et sur un plan technique les questions dont traite le texte : A. Définition et utilisation d'un modèle des modalités d'exécution d'un projet B. Méthodes de collecte des données pour le suivi et l'évaluation C. Guides des directeurs de projet au sujet de la conception et de l'exécution d'un système de suivi et d'évaluation D. Les principes fondamentaux de la conception de l'échantillon E. Modèles expérimentaux et quasi expérimentaux d'évaluation de l'impact urbain F. Méthodes d'analyse des données G. Exemple de canevas d'un rapport d'activité trimestriel H. Conception d'un système à base de réseau pour suivre l'exécution d'un projet I. Conception d'un système de suivi financier à base de réseau J. Bibliothèque fondamentale d'évaluation K. Glossaire des termes employés par le Manuel Une bibliographie plus complète guidera les lecteurs qui souhaitent étudier de plus près telle ou telle question. DISTRIBUTORS OF WORLD BANK PUBLICATIONS ARGENTINA FRANCE KENYA For subscription orders Carlos Hirsch, SRL World Bank Publications Africa Book Service IE A.) Lid. Intertioal Subscription Service Galena Guemes 66. avenue dIena P. 0. Box 45245 P.O. Box 41095 Florida 165. 4th Floor-Ofc. 453/465 75116 Pans Nairobi Craighali 1333 Buenos Aires GERMANY, FEDERAL REPUBLIC OF KOREA. REPUBLIC OF Johannesburg 2024 AUSTRALIA, PAPUA NEW GUINEA, FIJI, UNO-Verlag Pan Korea Book Corporiun SPAIN SOLOMON ISLANDS, AND VANUATU Poppelsdorfer Alle 55 P. 0. Box 101. Kwargsvhamun Mundi-Prensa Libros, S.A. Info-Line D-5300 Bonn I Seoul Castelo 37 Overseas Document Delivery 28001 Madrid Box 506, GPOGREEKW I Sydney, 6 G KEME MEMRB SRI LANKA AND THE MALDIVES Sydey NS JGi24. lppodamou Street P.O. Box 5465 Lake House Bookshop AUSTRIA Aihens- 1635 P.O. Box 244 Gerold and Co. G ALi t mn M A-1011 Wien University of Malaya Cooperatise oosop C imhi Graben 31 Librenas Piedra Sania Limited Centro Culiaral Piedra Sania F. 0. Box 1127. llan Pantai Bau SWEDEN a BAHRAIN II calle 6-50 zona I Koala Lumpur For single tiles: MEMRB Information Services Guatemala City ABCE Fritzes Kungl. Hovbokhandcl P.O. Box 2750 Manama Town 317 HONG KONG MACA INFOTEC Rgig3 2 2 ox6 Asia 2000 Lid. ~Aparnado Postal 22-860 S132 lchl P BANGLADESH 6 Fl.. 146 Prince Edward Road. W. Col. PE/A Pobrd Micro Industries Development Assistance Society Kowvlwn 14060 Tlalpan. Mexico D.F. ForgriiirmsA (MIDAS) Hong Kong MORnCCOnBoxl30004 G.P.O. Box 800 Dhaka HUNGARY Societe dEtudes Marketing Marocate S-104 25 Stockholm Kultura 2 Rue Moliere. Bd. d*Anfa SWITZERLAND BELGIUM P.O. Box 139 Casablanca Publications des Nations Unies 1389 Budapest 62 THE N H D 6 Av. du Roi 202 1060 Brussels INDIA Medical Books Europe. BV (MBEI Case Postal 381 For single titles Noorderwal 38 CH 1211 Geneva I I BRAZIL UBS Publishers' Distributors Ltd. 7241 BL Lochem TANZANIA Publicacoes Tecnicas Intemacionais Lida. Post Box 7015 Rua Peixoto Gomide, 209 New Delhi 110002 NEW ZEALAND Oxford University Press 01409 Sao Paulo, SP Hills Library and Information Service P. 0. Box 5299 CAAA10 First Main Road Prisaie BagDaesSlm CANADA Gandhi Nagar New Market Le Diffuseur Bnaoe500 ukadTALN C.P. 85, 1501 Ampere Street Central Department Store Bouchervilic. Quebec NIGERIA 306 Shor Road 34B 5E6 Apeejay Chambers. P.O. Box 736 Unisersity Press Limited Bangkok 5Wallace Street Three Crowns Building JerichoTRNDD& OBG.A IUA CHILEBoby4D0TRNDD&TBG,AT U. CHIE omay 0091Private Mail Bag 509 BARDUDA. BARBADOS, DOMINICA. Editorial Renacimiento 8/i-B. Chowringhee Lane Ibadan GRENADA, GUYANA, MONTSERRAT. ST. Miraflores 354 Calcutta 700016 Santiago NORWAY KIS AND NEVIS, ST. LUCIA, ST. 71188, 1(A), Swamp Nagar Tanum Earl Johan, A.S. VINCENT & GRENADINES COLOMBIA Kanpur 208001 P. 0. Box 1177 Sentrum Syslematics Studies Unit Enlace Lida. Oslo I 5 Eastern Main Road Carrera 6 No. 51-21 Sivaganga Road PAKISTAN Curepe Bogota D.E. Nungambakkam Trinidad. West Indies Apartado Aereo 4430 6003 65. A eniT Cali, Valle Ps. Box No.I729 P.O. ox No 729Societe Tunisienne de Diffusion COSTA RICA 5-A, Rajendra Nagar Lahore 3 5 Avenue de Carthage Libreria Trejos Puta 800016 Tunis Calle 11-13 PERU Av. Fernandez Ouel For subscription orders Editorial Desarrollo SA TURKEY San Jose Unversal Subscription Agency Pvt. Ltd. Apartado 304 Haset Kitapevi A.S. 18-19 Community Centre Saket Lima 469. Istiklal Caddesi COTE D'IVOIRE New Delhi 110017 Beyoglu-Istanbul Centre d Edition et de Diffusion Afncaines (CEDA) INDONESIA National Book Store UGANDA 04 B.P. 541 Pt. Indira Limited 701 Rizal Avenue Uganda Bookshop Abidjan 04 Plateau J1. Sam Ratulangi 37 Metro Manila P.O. Box 7)45 CYPRUS Jakaria Pusat POLAND Kampala MEMRB Information Services P.O. Box 181 ORPAN UNITED ARAB EMIRATES P.O. Box 2098 IRELAND Distribution Center for Scientific Publications of MEMRB Gulf Co. Nicosia TDC Publishers the Polish Academy of Sciences P. 0. Box 6097 -12 North Frederick Street Palac Kultuty i Nauki Sharjaht DENMARK Dublin 1 00-901 WARSZAWA SamfundsLitteratur Rosenoerns Alle i, ISRAEL PORTUGAL Micminfo Ltd. DK-1970 Frederiksberg C. The Jerusalem Post Livrariu Portugal T'he Jerusalem Post Boilding Rua Do Carmo, 70-74 Alton. Hampshire GU 34 2PG DOMINICAN REPUBLIC P.O. Box 81 1200 Lisbon England Editora Taller, C. per A. Ronna Jerusalem 91000 Restauracion SAUDI ARABIA, QATAR VENEZUELA Apdo. postal 2190 ITALY Juir Book Store Libreria del Este Santo Domingo Licosa Commissionaria Sanson SPA P. 0. Box 3196 AP(do- 60.337 Via Lamuarmora 45 Riyadh 11471 Caracas 1060-A EGYPT, ARAB REPUBLIC OF Casella Pustule 552 SINGAPORE, TAIWAN, BURMA, BRUNEI WESTERN SAMOA Al Ahram 50121 Florence Information Publications Wesley Bookshop Al Galan Street Cairo JAPAN Private, Ltd. P.O. Box 207 Eastern Book Service 02-06 Ist FL,. Pei-Fu Industrial Apia FINLAND 37-3. Hongo 3-Chom. Bunkyo-ku 113 Bldg., 24 New Industrial Road Akateeminen Kirjakauppa Tokyo Singapore YUGOSLV IA P.O. Box 128 SF-00101 JORDAN SOUTH AFRICA YU- 1000 Belgrade Trg Republike Helsinki 10 Jordan Center foe Marketing Research For single titles BMBAaWE P.O. Box 3143 Oxford University Press Southern Africa Textbok Sales Pt. Ltd. Jabal P.O. Box 1141 B 3799 Ammam Cape Town 8000Ha 縴 戶 織 》 &  Banque mondiale Siège Bureau européen Bureau de Tokyo 1818 H Street, N.W 66, avenue d'Iéna Kokusai Building oq Washington, D.C. 20433, U.S.A. 75116 Paris, France 1-1 Marunouchi 3-chome Téléphone: (202) 477-1234 Téléphone: (1) 47.23.54.21 Chiyoda-ku, Tokyo 100, Japon Télex: WUI 64145 WORLDBANK Télex : 842-620628 Téléphone : (03) 214-5001 RCA 248423 WORLDBK Télex: 781-26838 Addresse télégraphique: INTBAFRAD WASHINGTONDC Î2 ISSN 0253-7494 9 Couverture conçue par Bill Fraser ISBN 0-8213-0987-0 F