Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR00004358        IMPLEMENTATION COMPLETION AND RESULTS REPORT  IBRD - 79660 LE   ON A  LOAN    IN THE AMOUNT OF US$40 MILLION  TO THE    LEBANESE REPUBLIC     FOR THE  SECOND EDUCATION DEVELOPMENT PROJECT (EDP II)      March 31, 2019    Education Global Practice  Middle East And North Africa Region            CURRENCY EQUIVALENTS     (Exchange Rate Effective {Nov 01, 2018})    Currency Unit =    Lebanese Pound  US$ =  1,507.5 LBP      FISCAL YEAR  July 1 ‐ June 30                                  Regional Vice President: Ferid Belhaj  Country Director: Saroj Kumar Jha  Senior Global Practice Director: Jaime Saavedra Chanduvi  Practice Manager: Safaa El Tayeb El‐Kogali  Task Team Leader(s): Manal Bakur N Quota  ICR Main Contributor: Harriet Nannyonjo      ABBREVIATIONS AND ACRONYMS    CERD  Center for Educational Research and Development  CPF  Country Partnership Framework  DOPS  Direction d’Orientation Pédagogique et Scolaire  ECE  Early Childhood Education  EDP  Education Development Project  EDP II  Second Education Development Project  EESSP  Emergency Education System Stabilization Project   EMIS  Education Management Information System  ESDP  Education Sector Development Programs   ESDS  Educational Sector Development Secretariat    EU  European Union  ICT  Information Communication Technology   IE  Impact Evaluation  JICA  Japan International Cooperation Agency  KG  Kindergarten  LU  Lebanese University  M&E  Monitoring and Evaluation  MEHE  Ministry of Education and Higher Education  NQF  National Qualifications Framework  NVS  New Vision for the School   PDO  Project Development Objective  PISA  Program for International Student Assessment  RACE   Reaching All Children with Education     RF  Results Framework   SIMS  School Information Management System  SIP  School Improvement Plan  TA  Technical Assistance  TIMSS  Trends in International Math and Science Studies   TPD  Teacher Profession Development  TVET/VET  Technical and Vocational Education and Training  UNDP  United Nations Development Program  UNICEF  United Nations Children’s Fund  UNHCR  United Nations High Commissioner for Refugees  USAID  United States Agency for International Development                     TABLE OF CONTENTS    DATA SHEET ............................................................................................................................ 1  I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 6  A. CONTEXT AT APPRAISAL ........................................................................................................... 6  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE) ...................................... 11  II.  OUTCOME ...................................................................................................................... 15  A. RELEVANCE OF PDOs .............................................................................................................. 15  B. ACHIEVEMENT OF PDOs (EFFICACY) ........................................................................................ 16  36.  Indicator 4 “Increase in percentage of 3–5‐year‐olds enrolled in kindergartens in the 230  Project schools (Target 20 percent)” was exceeded. The percentage of 3–5‐year‐olds enrolled in  kindergarten in the 230 project schools covering all regions in Lebanon, increased by 53 percent  (giving access to 6,466 additional children) exceeding the project target of 20 percent. This  enrollment increase in project schools was significantly higher compared to nonproject schools,  which saw a 37 percent increase driven by high demand from Syrian refugees and Lebanese  children. ................................................................................................................................... 18  37.  Progress in the intermediate indicators (5,6, and 7) related to teaching quality and learning  environment in preschools were also exceeded. This was achieved through rehabilitating,  furnishing and equipping preschools, training preschool teacher trainers and teachers on using  new teaching and learning materials. In addition, the project trained DOPS kindergarten  counselors on the use of the equipment and new learning materials. DOPS staff in turn trained  teachers on the use of equipment and new learning resources and continue to provide  professional support to preschools. The intermediate indicators relating to improvement of the  quality of teaching and learning environment in preschool exceeded their targets as follows: .. 18    Trained 790 kindergarten teachers in classrooms with project supported learning materials on  ....... 18  the pedagogical use of new materials, exceeding the target of 590 kindergarten teachers.    Rehabilitated 162 kindergarten schools, exceeding the target of 153 kindergarten schools. 18    Equipped and furnished 306 kindergarten schools with teaching and learning materials,  exceeding the target of 273 kindergarten schools. .................................................................... 18  40.  It is also important to note that the diligent implementation of ECERS reflected MEHE’s  commitment to implementing assessment practices for quality monitoring and utilizing evidence  for decision making It was a major achievement to adapt ECERS and train DOPS staff on the use  and analysis of new instruments, especially considering that previous practices did take such  measures into account. More specifically, the introduction of ECERS allowed the Ministry to assess  the quality of learning and school environment in preschools, as well as to take necessary  measures to work with schools to enhance the delivery of education services.  ......................... 18  C. EFFICIENCY ............................................................................................................................. 24  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 26  E. OTHER OUTCOMES AND IMPACTS (IF ANY) ............................................................................. 27  73.  The project included a focus on kindergartens in schools located in socially and economically  disadvantaged areas, which led to increased enrollment in the preschools in those areas. In  addition, the project supported public schools, which are enrolling many Syrian refugees and  serving the most vulnerable segment of the Lebanese population. ........................................... 28  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 28  A. KEY FACTORS DURING PREPARATION..................................................................................... 28  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 29  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 30  A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 30  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 32  C. BANK PERFORMANCE ............................................................................................................. 33  Quality at entry .......................................................................................................................... 34  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 35  V.  LESSONS AND RECOMMENDATIONS .............................................................................. 36  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 38  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 48  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 50  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 51  ANNEX 5. BORROWER COMMENTS ....................................................................................... 55  1.  STRATEGIC CONTEXT AND RATIONALE ........................................................................... 55       The World Bank Second Education Development Project (P118187)          DATA SHEET      BASIC INFORMATION   Product Information  Project ID  Project Name  P118187  Second Education Development Project  Country  Financing Instrument  Lebanon  Investment Project Financing  Original EA Category  Revised EA Category  Partial Assessment (B)  Partial Assessment (B)  Organizations  Borrower  Implementing Agency  Lebanese Republic  Ministry of Education and Higher Education  Project Development Objective (PDO)    Original PDO  The development objectives of EDP II are to: (i) improve teaching quality and the learning environment in general  education and in preschool; and (ii) increase governance and managerial capacity of the Ministry of Education and  Higher Education (MEHE) and schools.    PDO as stated in the legal agreement  The development objectives of EDP II are to: (i) improve teaching quality and the learning environment in general  education and in preschool in the Lebanese Republic; and (ii) increase governance and managerial capacity of the  Ministry of Education and Higher Education (MEHE) and schools.    Page 1 of 70 The World Bank Second Education Development Project (P118187) FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          40,000,000  39,951,597  39,951,597  IBRD‐79660  Total    40,000,000  39,951,597  39,951,597  Non‐World Bank Financing          0  0  0  Borrower/Recipient  2,600,000     0     0  Total  2,600,000     0     0  Total Project Cost  42,600,000  39,951,597  39,951,597        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  30‐Nov‐2010  29‐Nov‐2012  02‐Feb‐2016  31‐Dec‐2016  30‐Jun‐2018       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  21‐Sep‐2015  4.98  Change in Results Framework  Change in Components and Cost  Change in Loan Closing Date(s)  Change in Implementation Schedule  08‐Nov‐2016  13.66  Change in Results Framework  Change in Loan Closing Date(s)  10‐May‐2017  24.20  Reallocation between Disbursement Categories  08‐Dec‐2017  33.70  Change in Loan Closing Date(s)  Reallocation between Disbursement Categories  Change in Implementation Schedule      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Moderately Satisfactory  Moderately Satisfactory  Modest    Page 2 of 70 The World Bank Second Education Development Project (P118187) RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  13‐Jun‐2011  Satisfactory  Satisfactory  0  02  10‐Dec‐2011  Moderately Satisfactory  Moderately Satisfactory  0  Moderately  03  29‐Jun‐2012  Moderately Unsatisfactory  0  Unsatisfactory  Moderately  04  17‐Oct‐2012  Moderately Unsatisfactory  0  Unsatisfactory  05  02‐Apr‐2013  Moderately Satisfactory  Moderately Satisfactory  0  06  28‐Aug‐2013  Moderately Satisfactory  Moderately Satisfactory  .73  Moderately  07  16‐Feb‐2014  Moderately Unsatisfactory  1.46  Unsatisfactory  Moderately  08  26‐Aug‐2014  Moderately Satisfactory  1.61  Unsatisfactory  Moderately  09  24‐Feb‐2015  Moderately Unsatisfactory  2.24  Unsatisfactory  Moderately  10  27‐Aug‐2015  Moderately Unsatisfactory  4.98  Unsatisfactory  11  25‐Aug‐2016  Moderately Satisfactory  Moderately Satisfactory  8.47  12  24‐Feb‐2017  Moderately Satisfactory  Moderately Satisfactory  19.86  13  19‐Sep‐2017  Moderately Satisfactory  Moderately Satisfactory  29.29  14  26‐Feb‐2018  Moderately Satisfactory  Satisfactory  36.82  15  29‐Jun‐2018  Moderately Satisfactory  Moderately Satisfactory  39.18    Page 3 of 70 The World Bank Second Education Development Project (P118187) SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Education   100  Early Childhood Education  30  Primary Education  20  Secondary Education  30  Other Education  20      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Human Development and Gender  0    Education  102    Access to Education  38    Education Financing  25    Science and Technology  13    Teachers  13    Standards, Curriculum and Textbooks  13            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Shamshad Akhtar  Ferid Belhaj  Country Director:  Hedi Larbi  Saroj Kumar Jha  Senior Global Practice Director:  Elizabeth M. King  Jaime Saavedra Chanduvi  Practice Manager:  Mourad Ezzine  Safaa El Tayeb El‐Kogali  Task Team Leader(s):  Juan Manuel Moreno Olmedilla  Manal Bakur N Quota  ICR Contributing Author:    Harriet Nannyonjo             Page 4 of 70 The World Bank Second Education Development Project (P118187)     Page 5 of 70 The World Bank Second Education Development Project (P118187)   I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES      A. CONTEXT AT APPRAISAL    Context  1. At the time of approval, Lebanon was on track  with respect to the Millennium Development Goal (MDG) for  achieving universal primary education, the female literacy rate was 86 percent compared to a regional average  of 61 percent in 2007.  However, the education system faced several challenges.    2. The  education  system  had  comparatively  low  enrollment  rates  of  preschool  education  in  socially  and  economically disadvantaged regions and communities. Many public kindergartens, especially those located in  disadvantaged areas, lacked a suitable teaching and learning environment in terms of infrastructure, equipment,  and teacher quality. The weaknesses in public early childhood education (ECE) and the low enrollment rate for  3–5‐year‐olds in public schools were considered as key factors accounting for the growing gap in school readiness  and achievement between public and private schools and between low‐income and high‐income households.        3. There was significant private provision of education, which was largely unregulated and placed a high burden  on households. At the time of appraisal in 2010, education provision and financing in Lebanon was predominantly  private.  Nonsubsidized  private  schools  enrolled  53  percent  of  the  total  number  of  primary  and  secondary  students, and subsidized private schools enrolled 14 percent. The remaining 33 percent of the students enrolled  in public schools. There were 85 public vocational and technical education schools and 360 private providers.  Higher education was offered at the Lebanese University, the only public university in the country, and 37 private  universities.      4. There was an oversupply and misallocation of teaching staff, especially in public schools. The pupil/teacher  ratio in public schools was 7:1 and 11:1 in private schools. This gap was explained by the growing enrollment in  private schools and teacher deployment and utilization policies in the public schools.     5. The teaching staff was underqualified and there was a shortage of teachers in certain subjects and regions. The  share of uncertified contract teachers in primary and secondary education was 22 percent. Only 4 percent of  public education teachers held a specialized degree, and more than 50 percent had less than a university‐level  qualification. There was little or no in‐service training for new teachers, and the quality standards for hiring new  teachers  were  very  weak.  The  public  education  system  lacked  a  performance‐based  incentive  system  and  effective mechanisms for evaluating and upgrading the performance of teaching staff.     6. Internal efficiency and quality of learning outcomes were low, with significant gaps between public and private  schools.  Repetition and dropout rates in public schools were over 10 percent, particularly in the transitional years  of 7th and 9th grade. The percentage of over‐age students at secondary level was 60 percent in public schools  compared to 23 percent in the private sector. The gap in performance between public and private students was  Page 6 of 70 The World Bank Second Education Development Project (P118187) also reflected in the success rates at the national Brevet exams (for 9th graders), with a 74 percent success rate  for private school students and 55 percent for public school students (in academic year 2007/08).       7. Nonsalary  recurrent  spending  in  public  schools  was  unpredictable  and  contributed  to  disparities  among  schools.  Recurrent spending was financed by parental and community contributions, and this depended upon  the income level of the community. This type of funding regime could be highly inequitable in the absence of  mechanisms and policies to directly subsidize poor households or schools in poor communities.     8. There was a paucity of laws and regulations that were necessary for improvement within the education system.  This  particularly  related  to  equity  of  funding  of  public  schools,  recruitment  and  deployment  of  teachers,  qualifications  and  deployment  of  principals,  and  other  areas  that  could  enable  positive  change  in  the  public  education system.      9. With support from the Education Development Program (EDP 1), the Government of Lebanon had completed  a first phase of reform and was about to embark on implementation of the next phase, based on the 2007  National Education Sector Strategy, with a focus on the quality of learning for growth at preschool, general and  higher  education  levels.  The  national  education  sector  strategy  included  the  following  five  priority  programs:   equality of education opportunity, quality of education, education for social integration, education for economic  development, and governance of education.           Theory of Change (Results Chain)    10. The  theory  of  change  was  organized  around  project  components.  Investments  under  component  1  would  contribute  to  increasing  the  percentage  of  children  enrolled  in  public  preschools  between  3  and  5  years‐old  through enhancing preschool physical infrastructure, learning resources, and training preschool teachers. These  investments would result in improved teaching quality and the learning environment in preschools (as reflected in  Early Childhood Environmental Rating Scale – ECERS scores) and increased preschool enrollment in project schools.   Investments  under  component  2  would  improve  the  quality  of  teaching  and  learning  environment  in  general  education  and  improve  governance  and  management  of  schools  through  a  two‐fold  approach  that  focuses  on  school‐level factors and teacher related characteristics. First, the approach would focus the implementation of a  school‐based  planning,  development  and  improvement  model.  Second,  it  would  establish  a  comprehensive  framework for improving teacher quality aimed at reducing the number of contract teachers, and increasing the  number of schools where classes at every grade level are being taught by using active, learner‐centered teaching  methods, and reducing repetition rates of students. Investments under component 3 would increase governance  and managerial capacity of the Ministry of Education and Higher Education (MEHE) through revising the regulatory  framework  under  which  MEHE  operates,  streamlining  administrative  processes,  consolidation  of  the  education  Page 7 of 70 The World Bank Second Education Development Project (P118187) management information system to facilitate access to data for decision making, and capacity building for MEHE  staff.     11. Theory of change for EDP II is illustrated in Figure 1.      Figure 1: Theory of Change for EDP II  Project Development Objectives (PDOs)  12. The Project Development Objectives were to (a) improve teaching quality and the learning environment in general  education and in preschools in the Lebanese Republic; and (b) increase governance and managerial capacity of the  Ministry of Education and Higher Education (MEHE) and schools.  Page 8 of 70 The World Bank Second Education Development Project (P118187) Key Expected Outcomes and Outcome Indicators  13. Progress toward achievement of the PDOs was to be measured through the following key indicators:   Original Project Outcome Indicators a. Improved scores of participating schools in ECERS (Early Childhood Environment Rating Scale)1  b. Improved teaching quality in public school classrooms as measured by selected instruments and  criteria related to teacher behavior and by reduction in student repetition rates.  c. Reduction in the number of contract teachers in general education (core curriculum teachers).  d. Increase in the number of MEHE and Educational Center for Research and Development (CERD) units  and agencies actively involved in the planning, implementation, monitoring and evaluation of the  different Education Sector Development Programs (ESDP) programs.    Components     14. The project had three components: (a) early childhood education; (b) supporting improvement in quality of  education; and (c) education sector policy development and management.     15. Component  1:  Early  Childhood  Education.  This  component  supported  the  Government  goal  of  increasing  the  percentage of children enrolled in public preschools particularly in disadvantaged areas.  It included the following:  (a)  outlining  and  implementing  a  physical  development  plan  aimed  at  increasing  capacity  for  early  childhood  education service delivery in identified disadvantaged areas; (b) rehabilitating 1442 existing preschool facilities; (c)  furnishing  and  equipping  selected  preschool  facilities;  (d)  enhancing  learning  resource  materials  for  preschool  education  based  on  the  new  kindergarten  curriculum  by  designing  new  teaching  and  learning  materials  and  evaluating  their  use;  and  (e)  assisting  MEHE  to  utilize,  monitor  and  analyze  tools  for  assessing  school  readiness,  including the adaptation of the early childhood environment rating scale (ECERS) to measure the preschool learning  environment and student readiness for first grade.  16. Component 2: Supporting Improvements in Quality of Education. This component focused on school‐level factors  and teacher‐related characteristics, which led to better learning outcomes.   a. Subcomponent  2.1:  School‐based  Development  through  Enhanced  Education  Leadership.  This  subcomponent aimed at enhancing the quality of teaching and learning at the school level through: (1)  scaling‐up  ongoing  leadership  program  with  new  modules,  including  school‐based  development  and  improvement models; (2) establishing and activating school councils in public schools, including training  and  technical  assistance  for  school  principals,  school  council  members  and  other  educational  and  administrative staff in enhancing schools’ capacities to design viable and realistic school improvement and  development plans; (3) training and performance self‐assessment and assessment of school principals for  improvement of school management and improvement capacities; (4) piloting a system of school self‐ evaluation  or  school‐based  review;  (5)  designing,  piloting  and  evaluating  a  program  of  school‐based  planning,  development  and  improvement,  and  supporting  the  implementation  of  school  development  1 ECERS is an observation tool covers the following areas: (a) space and furnishing; (b) personal care routines; (c) language  reasoning; (d) activities; (e) interaction; (f) program structure; and (g) parents and staff.  2 Increased from 110 to 144 during November 2016 restructuring.  Page 9 of 70 The World Bank Second Education Development Project (P118187) and improvement plans for approximately 4403 schools; and (6) establishing regulations and procedures  for the accreditation and licensing and monitoring of private schools.    b. Subcomponent  2.2:  Teacher  Professional  Development.    The  objective  of  this  subcomponent  was  to  improve  and  upgrade  the  quality  of  teaching  and  learning  through  (1)  developing  and  establishing  a  national  system  of  professional  standards  for  teachers  and  other  staff  in  the  education  sector;  (2)  developing  a  unified  mechanism  for  assessment  of  performance  of  teachers,  trainers  and  pedagogical  advisors; (3) developing unified frameworks determining the relationship between units which initiated  preservice  teacher  education  and  induction  programs,  continuous  professional  development  and  monitoring of teaching staff and other personnel in the education sector; and (4) training of trainers and  other  key  staff  related  to  teacher  professional  development  on  new  standards  and  monitoring  mechanisms.       17. Component 3: Education Sector Policy Development and Management (original: US$16.70 million; actual:  US$ 11.89 million).     a. Subcomponent  3.1:  Institutional  Capacity  Development  and  Efficiency.  The  objective  of  this  subcomponent was to streamline MEHE processes for improved service delivery, and technical assistance  and capacity building for MEHE to assess student learning and improve articulation across the three levels  of  the  education  system.    This  would  be  achieved  by  (1)  supporting  simplification  of  administrative  procedures  through  enabling  technologies,  software  development,  automation  and  provision  of  equipment; (2) identifying and mobilizing research capabilities in the education sector that can yield high‐ quality  analytical  studies  on  student  performance  and  learning  outcomes  and  enable  and  strengthen  evidence‐based policy making by MEHE; and (3) supporting the Borrower’s participation in international  student  learning  assessments,  including,  but  not  limited  to,  Trends  in  International  Mathematics  and  Science Studies (TIMSS) and Program for International Student Assessment (PISA).     b. Subcomponent 3.2: Information for Planning and Management. The objective of this subcomponent was  to provide access to data for stakeholders of the education sector to enable effective analysis of policy  options,  increased  internal  efficiency  and  targeting  of  resources  designed  to  improve  the  quality  of  learning outcomes. Activities included: (1) acquisition of equipment for the MEHE data center and backup  facilities; (2) acquisition of software and systems to ensure operation of data and applications in a secure  software environment; (3) enhancement and consolidation of the Education Management Information  System  (EMIS)  and  related  systems,  including,  but  not  limited  to,  the  Geographic  Information  System  (GIS),  the  academic  portal,  and  the  examination  systems;  (d)  capacity  building  and  training  for  MEHE  information technology staff and end‐users of software, systems and equipment.     c. Subcomponent 3.3: Sector Development Management, Monitoring and Evaluation. The objective of this  subcomponent  was  to  support  the  management,  coordination,  monitoring  and  evaluation  of  the  Education Sector Development Plan. Activities included: (1) support of the Education Sector Development  Programs (ESDS) through funding of key staff and operating costs; (2) capacity building and training of  MEHE staff; and (3) develop the project’s monitoring and evaluation framework and carry out relevant  studies on monitoring and evaluation.    3 Increased from 300 to 440 during May 2017 restructuring.   Page 10 of 70 The World Bank Second Education Development Project (P118187)   B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE)    18. Changes to the activities, indicators, timeline and allocation of funds were made during implementation.  However, the project  development objective (PDO)  and  components remained unchanged. The Data Sheet  makes refernce to a PDO change, however, this was only to adjust phrsing regarding “the Lebanese Republic.”  The two key contributing factors to project changes were the collapse of the government in early 2011 and the  war in Syria, which led to a massive influx of refugees into Lebanon.    19.  The collapse of the government led to a two‐year time lapse between Board approval and effectiveness  because Parliament could not convene during this period to ratify the loan agreement. Therefore, the project  experienced a delay in implementation and effectiveness because the government was not functioning under  normal conditions. Moreover, the internal governmental challenges meant that any proposed changes to the  design of the project, to align it with the new changing context, were delayed given the slowdown in decision  making during this period.     20. With an estimated 1.5 million Syrian refugees, Lebanon had the highest number of refugees‐per‐capita in  the world, at an estimated 33 percent of the country’s total population of 5,850,000. This large number of  refugees created a humanitarian crisis that had, and continues to have, a direct impact on the quality of and  accessibility to public services in Lebanon. Education, one of the largest services provided by government, was  heavily impacted by increases in enrollment in Lebanese public schools. Consequently, priorities shifted from  ongoing sector reform projects, such as EDP II. MEHE had to respond to the immediate crisis of having over  500,000  Syrian  students  entering  their  education  system  in  a  short  span  of  time.  Thus,  operating  under  emergency mode, MEHE prioritized activities that responded to that immediate need. During this time, the  World  Bank  supported  MEHE  in  responding  to  the  Syrian  refugee  crisis  through  the  preparation  and  implementation of the Emergency Education System Stabilization Project (EESSP) and the Support to Reaching  All Children with Education 2 (S2R2).    21. Given the changing sociopolitical context, the project needed to be restructured. It was restructured three  times to sharpen the focus and clarify activities, revise the results framework (RF), and extend the project  closing date. Activities were adapted to the changing context. The RF was revised to facilitate monitoring, and  the closing date was extended to allow time for completion of implementation.     22. There was a first attempt to restructure the project in September 21, 2015. The proposed project changes  were largely in response to political challenges in Lebanon, namely the governmental shutdown and Syrian  crisis.  While  this  restructuring  was  approved  by  the  World  Bank,  it  was  not  possible  for  the  Lebanese  government to ratify an amendment to the loan agreement, given the lengthy legislative procedures needed.  As a result the World Bank team and the MEHE adapted the restructuring package to essential project changes  that did not require amendments to the legal agreement. This restructuring was approved on November 8,  2016.   23. The first Level 2 restructuring occurred on November 8, 2016.  This restructuring included the following: (a)  changes to the results framework to make it more relevant to the changed context and simplify monitoring;  (b) extension of the project closing date from December 31, 2016 to December 31, 2017; (c) changes in project  components;  and  (d)  reallocation  of  funds  to  component  1  to  increase  the  number  of  preschools  to  be  Page 11 of 70 The World Bank Second Education Development Project (P118187) rehabilitated  from  110  to  144.  Given  the  reduction  in  component  activities,  resources  were  redirected  towards rehabilitation as this activity was moving ahead.       24. The second Level 2 restructuring occurred on May 10, 2017. This restructuring included the reallocation of  US$1 million from category 1 to category 2 and an increase in the number of project schools to receive grants  under subcomponent 2.1 from 300 to 440.     25. The third Level 2 restructuring occurred on December 8, 2017.  This restructuring included the extension of  the project closing date from December 31, 2017 to June 30, 2018.  The extension was to facilitate completion  of  project  activities,  including  the  detection  of  defects  related  to  the  rehabilitation  of  preschools;  the  reevaluation of the kindergarten teaching quality and learning environment using a comparable of the ECERS  tool; and the time for the 130 schools to implement their school improvement plans.         Revised PDOs and Outcome Targets   26. The  project  development  objectives  (PDOs)  were  not  revised  during  project  implementation.  There  were foundational reforms that were relevant and achieveable within the existing sociopolitical context. Moreover, the PDOs helped improve MEHE’s ability to conduct basic functions (for example, data management and quality monitoring) that would strengthen MEHE’s institutional resilience and responsiveness.    27. During the first restructuring, PDO indicators were revised to strengthen the project’s ability to measure progress towards PDO achievement and reflect changes to project activities.  Given the changing sociopolitical context, some PDO indicators were no longer relevant. More specifically, of the 5 PDO indicators, four were dropped, 1 was slightly changed, and 2 new ones were added. However, the theory of change remained valid. The changes to PDO indicators are reflected in table 1.      Table 1 Changes in PDO Indicators and Rationale for Change  Original PDO indicators  Revised PDO indicators    Rationale for change  Improved scores of participating  Improved kindegarten (KG)  Slightly rephrased to clarify scope of  schools in Early Childhood  learning environment in  measurement and to better measure the  Environment Rating Scale  beneficiary schools (as  PDO related to preschools.    (ECERS).  measured by an improvement in  ECERS scores of 50 sample  schools). Target 60 percent.  Number of schools where at least  Dropped.  The relevant activities were taken over by  60 percent of the classes in every  other donors given the delayed  grade level are being taught  effectiveness.    using active, learner‐centered  teaching methods.  Page 12 of 70 The World Bank Second Education Development Project (P118187) Percentage reduction of  Dropped.  No longer possible within the lifetime of  repetition rates in cycle 2 and 3  the project given the immediate need to  of basic education in project  enroll large numbers of Syrian refugees  schools. Target 25 percent.  with different levels of academic  preparedness and additional set of  academic and socioemotional challenges.  Percentage reduction in the  Dropped.    Some activities taken over by other donors;  number of contract teachers in  and a number of contract teachers had to  general education (core  be increased due to the influx of Syrian  curriculum teachers). Target 100  refugee children.  percent.  Increase in the number of MEHE  Dropped.  No longer relevant to project activities.  and CERD units and agencies  actively involved in the planning,  implementation, monitoring and  evaluation of the different ESDP  programs.    New PDO indicator. Increase in  To better measure improved management  percentage of 300 project  and governance capacity of schools.   schools with improvement plans  approved under  implementation.4 Target 40  percent.    New. Ability of the MEHE ICT  To better measure MEHE improvement of  system to host data for all  management and governance.  schools and regional education  offices.          4 The Results Framework was not adjusted to show the addition of 140 schools and the target for this PDO indicator.     Page 13 of 70 The World Bank Second Education Development Project (P118187) Revised Components  28. The scope of project activities within components were revised to align them with the changing  context but the  premise of the theory of change remained the same. Changes to project component activites are reflected in table  2.   Table 2 Changes to Components and Rationale for Change  Description of changes  Rationale for changes   Component 1 (Early Childhood Education) activities dropped during restructuring   Initiating a program of professional development for  Taken over by other donors.   preschool  teachers  aimed  at  increasing  the  percentage of qualified and adequately trained staff  by training preschool teacher trainers and teachers  for  early  childhood  education  in  accordance  with  agreed national standards.  Evaluating  the  implementation  of  a  child‐at‐risk  Taken over by other donors during the two‐year time lapse  detection program and parent involvement program  between Board approval and effectiveness.  in early childhood education.  Provision  of  equipment  for  selected  teacher  Taken over by other donors during the two‐year time lapse  preservice  and  in‐service  public  teacher  training  between Board approval and effectiveness.  institutions.   Component 2 (Supporting Improvements in Quality of Education) activities dropped during restructuring  Technical  assistance  to  analyze  current  teacher  Some activities were taken over by other donors during the  professional  development  models,  to  review  the  two‐year  time  lapse  between  Board  approval  and  existing teacher career development and incentives  effectiveness,  while  other  activities,  such  as  career  model,  and  the  cost  and  implementation  development  and  incentive  models,  required  legal  mechanisms  designed  to  better  utilize  current  and  endorsement  by  Parliament,  which  was  not  likely  in  future  teaching  workforce,  and  to  develop  a  prevailing political context. Also, the focus shifted away from  comprehensive  policy  and  strategic  framework  for  activities due to the influx of Syrian refugees, which led to an  teacher  professional  development,  utilization  and  increase in student enrollment and consequently, a demand  career development.  for more teachers.   Component 3 (Education Sector Policy Development and Management) activities dropped during restructuring  Development  of  a  results‐oriented  medium‐term  Activities  were  covered  by  a  public  expenditure  review  expenditure  framework  linked  to  the  (PER), which were financed separately by the World Bank.   implementation  of  the  Education  Sector  Development Plan.  Review  the  regulatory  framework  under  which  Changes  in  laws  and  regulations  required  endorsement  by  MEHE  operates,  including  working  toward  Parliament,  which  was  not  likely  in  the  prevailing  political  establishment  of  a  National  Qualifications  context.   Framework (NQF).    Page 14 of 70 The World Bank Second Education Development Project (P118187) Technical assistance for MEHE for the establishment  of regulations and procedures for the accreditation  and licensing and monitoring of private schools.  Undertaking  a  communications,  outreach,  and  Given the sociopolitical context in the country, there was a  awareness  campaign  to  improve  understanding  of  shift  away  from  major  reforms  requiring  significant  stakeholders of sector development plans.  stakeholder  support.  As  a  result,  activities  related  to  communication/awareness raising were dropped.       Other Changes    29. Changes to intermedicate indicators.  Intermediate indicators in the results framework were changed to align with  the November 2016 restructured activities.  Eleven indicators were dropped , 8 indicators were modified, and 4 new  ones added. Annex 7 provides detailled changes to the RF. The 2016 restructuring also included rephrasing some  activities for clarity.     30. Extension of the Closing Date. See paragraph 23 and 25.   II. OUTCOME    A. RELEVANCE OF PDOs    Assessment of Relevance of PDOs and Rating    31. The relevance of the PDOs is rated  High. The PDOs were relevant at the time of approval and remain fully  consistent with Lebanon’s current development priorities and the World Bank’s Country Partnership Strategy  and  Government  strategy.  The  PDOs  focused  on  improving  MEHE’s  ability  to  conduct  basic  functions  (for  example,  data  management  and  quality  monitoring)  that  would  strengthen  MEHE’s  institutional  resilience  and responsiveness. They were integrated into Lebanon’s comprehensive strategy — Reaching All Children  with Education (RACE and RACE 2) was developed in 2016 in the context of the protracted Syrian refuge crisis.  This strategy, which is fully supported by donors, including the World Bank, continues to provide the basis for  the Government’s investments and reform efforts in education. RACE 2 focuses on expanding equitable access  to schooling, improving conditions for learning, and strengthening management of the education system.      32. The current  Country  Partnership Framework (CPF)  FY2017/22 for  Lebanon identified its  priorities.  These  priorities  included  expanding  economic  opportunities  and  increasing  human  capital  as  some  of  the  foundational priorities for faster job creation and growth and aligns with RACE 2 to respond to the challenges  exacerbated by the Syria refugee crisis. Under Focus Area 2, the CPF promotes improved delivery of education  services and skills development (Objective 2c), supports improved teaching quality and learning environment  in general education and preschool, as well as governance and managerial capacity in the sector. Therefore,  EDP II objectives of improved teaching quality and learning environment in general education and preschool,  as well as improved governance and managerial capacity within the sector, are fully in support of this pillar of  the CPF and serve as the foundation for many of the activities being undertaken within the RACE 2 strategy.  Page 15 of 70 The World Bank Second Education Development Project (P118187) These  elements  are  even  more  important  in  the  context  of  the  influx  of  Syrian  refugees  in  Lebanon.  For  example, the management information system enables MEHE to understand, monitor and respond better and  more systematically to the impact of the refugee crisis on the provision of education.      B. ACHIEVEMENT OF PDOs (EFFICACY)    Assessment of Achievement of Each Objective/Outcome    33. To clarify the assessment of achievement, the PDOs were categorized into the following six sub‐objectives.     PDO (i): Improve teaching quality and the learning environment in general education and preschool:    a. PDO 1: Improve teaching quality in preschool  b. PDO 2: Improve the learning environment in preschool  c. PDO 3: Improve teaching quality in general education5  d. PDO 4: Improve the learning environment in general education    PDO (ii): Increase governance and managerial capacity of the Ministry of Education and Higher Education and schools:  a. PDO 5: Increase governance and managerial capacity of schools  b. PDO  6:  Increase  governance  and  managerial  capacity  of  the  Ministry  of  Education  and  Higher  Education  (MEHE)    34. A summary of the efficacy outcomes is presented in table 3, using six categories of PDO indicators.    Table 3 Summary of Project Efficacy  PDOs   Outcome Indicator and status  Explanation  PDO 1: Improve  Project exceeded the target increase  Achieved through enhancement of  teaching quality in  in enrollment in preschools.   infrastructure, furnishing and equipping  preschool    preschools and training preschool teachers    Percentage of preschools rated  on use of equipment, and materials provided  PDO 2: Improve  “Good or Excellent” on ECERS scores.  by the project. All intermediate indicators  learning environment  Expectations to be achieved.   were exceeded.  in preschool       5 PDO Indicators relating to PDOs 3 and 4 were removed during the November 2016 restructuring and were not replaced.     Page 16 of 70 The World Bank Second Education Development Project (P118187) PDO 3: Improve  Percentage of the 300 project schools  Implementation of school improvement plans  teaching quality in  with  school  improvement  plans  that were based on school needs and  general education  approved and under implementation.   enhanced the teaching and learning practices    Expectations exceeded.    and environment.   PDO 4: Improve the      learning environment  Established a comprehensive policy  Development and adoption of a  in general education  and strategic framework for teacher  comprehensive policy, framework, and tools    development and management.  for development and management of    Expectations achieved.  teachers and educational staff.   PDO  5:  Increase  the  Established school councils; trained school  Percentage of the 300 project schools  governance  and  with  school  improvement  plans leaders on school self‐evaluation and  managerial  capacity  of  improvement planning, supported schools to  approved and under implementation.   schools    Expectations exceeded.    develop realistic improvement plans; and    provided grants to implement the plans. The  related intermediate indicators were  exceeded.  PDO  6:  Increased  MEHE  ICT  system  hosts  data  for  all  Enhanced EMIS equipment, software,  governance  and  schools  and  regional  education  systems, connections to education  managerial  capacity  of  offices. Expectations achieved.  institutions, automation and trained staff.  MEHE      35. The ratings of each of these objectives and their justifications are discussed below and were assessed using indicators  from the Results Framework (PDO level and intermediate indicators), and qualitative information collected during the  ICR review process.     PDO 1 and 2: Improve teaching quality and learning environment in preschool.    Indicator 1 in the Results  Framework  (PDO indicator): Improved  scores of participating schools on  Early Childhood  Environment Rating Scale (ECERS6) – (Target 60 percent7 rated “Good to Excellent”).  Indicator  4  in  the  Results  Framework  (intermediate  indicator):  Increase  in  percentage  of  3–5‐year‐olds  enrolled  in  kindergartens in the 230 Project schools (Target 20 percent).  Indicator 5 in the Results Framework (intermediate indicator): Number of KG schools furnished and equipped (Target  273 schools).  Indicator  6  in  the  Results  Framework  (intermediate  indicator):  Number  of  KG  schools  rehabilitated  (Target  153  schools).  Indicator  7  in  Results  Framework  (intermediate  indicator):  Number  of  KG  teachers  in  classrooms  with  project‐ supported learning materials who are trained on pedagogic use of new materials (target 590).  6 Scores range from 1 to 7.  1 = inadequate; 3= Minimal; 5= good; and 7 = Excellent. Areas evaluated are: space and furnishings;  personal care routines; language reasoning; activities; interactions; program structure; and parents and staff.  7 This target was established based on the 2015 ECERS results (36 percent of schools were rated “Good or Excellent”) requiring  a 24 percent increase in scores to get to the target of 60 percent.  Page 17 of 70 The World Bank Second Education Development Project (P118187) 36. Indicator 4 “Increase in percentage of 3–5‐year‐olds enrolled in kindergartens in the 230 Project schools (Target 20  percent)” was exceeded. The percentage of 3–5‐year‐olds enrolled in kindergarten in the 230 project schools covering  all  regions  in  Lebanon,  increased  by  53  percent  (giving  access  to  6,466  additional  children)  exceeding  the  project  target of 20  percent. This enrollment  increase in project schools was significantly higher compared to  nonproject  schools, which saw a 37 percent increase driven by high demand from Syrian refugees and Lebanese children.    37. Progress  in  the  intermediate  indicators  (5,6,  and  7)  related  to  teaching  quality  and  learning  environment  in  preschools  were  also  exceeded.  This  was  achieved  through  rehabilitating,  furnishing  and  equipping  preschools,  training preschool teacher trainers and teachers on using new teaching and learning materials. In addition, the project  trained DOPS kindergarten counselors on the use of the equipment and new learning materials. DOPS staff in turn  trained teachers on the use of equipment and new learning resources and continue to provide professional support  to  preschools.  The  intermediate  indicators  relating  to  improvement  of  the  quality  of  teaching  and  learning  environment in preschool exceeded their targets as follows:   Trained 790 kindergarten teachers in classrooms with project supported learning materials on the pedagogical  use of new materials, exceeding the target of 590 kindergarten teachers.   Rehabilitated 162 kindergarten schools, exceeding the target of 153 kindergarten schools.   Equipped and furnished 306 kindergarten schools with teaching and learning materials, exceeding the target of  273 kindergarten schools.    38. Indicator 1 is likely to be achieved. The percentage of preschools rated “Good to Excellent” on ECERS increased from  3 percent in 20178  to 44 percent in 2018. While the 2018 end‐line was below the project target of 60 percent, this  target was based on the 2015 baseline,9 which expected the project to achieve a 24 percentage points increase, when  the project in fact achieved a 41 percentage point increase using the more rigorous baseline of 2017. In addition, the  percentage of preschools rated inadequate declined by 64 percent (from 86 percent in 2017 to 22 percent in 2018).  There  was  also  a  significant  improvement  in  the  various  ECERS  sub‐indicators  between  2017  and  2018  (table  4  presents a comparative analysis of ECERS).      39. This  improvement  took  place  following  completion  of  rehabilitation  of  preschools,  implementation  of  the  recommendations  from  the  2017  ECERS,  including  training  of  teachers  on  the  use  of  equipment  provided  by  the  project.10  This substantial decline in the proportion of preschools rated inadequate in a short period, and continued  support to preschools by trained DOPS staff points to the project’s significant impact on teaching quality and learning  environment,  and  the  progression  of  preschools  to  “Good  and  Excellent”  on  the  ECERS  scores.  School  visits  and  interviews  with  school  principals  during  the  completion  mission  exemplified  achievement  of  this  indicator.  For  example, the principal of Omar Onsi school indicated: “Renovation of the kindergarten classrooms and provision of  educational games contributed to raising quality in all aspects, psychological, socioemotional, physical, safety and the  overall learning experience.”      40. It  is  also  important  to  note  that  the  diligent  implementation  of  ECERS  reflected  MEHE’s  commitment  to  implementing assessment practices for quality monitoring and utilizing evidence for decision making It was a major  achievement to adapt ECERS and train DOPS staff on the use and analysis of new instruments, especially considering  that previous practices did take such measures into account. More specifically, the introduction of ECERS allowed the  Ministry to assess the quality of learning and school environment in preschools, as well as to take necessary measures  to work with schools to enhance the delivery of education services.     Table 4 ECERS Results for the Years 2017 and 2018  Page 18 of 70 The World Bank Second Education Development Project (P118187)     ECERS 2017  ECERS 2018  ECERS Indicator  Percentage  Percentage  Percentage  Percentage of  Percentage points  of schools  of schools  of schools  schools rated  decline in  rated  rated “Good  rated  “Good to  preschools rated  “Inadequate to Excellent”  “Inadequate”   Excellent”  “Inadequate”  ”  1. Indoor space and  88  0  18   38  70  furnishings  2. Personal care routines  93  1  17   50  76  3. Language and  80  7  15   52  65  reasoning  4. Activities  94  2  37   18  57  5. Interaction  72  7  8   70  64  6. Program structure  96  4  38   40  58  7. Parents and staff  77  4  21   39  56  Average score  86  3  22   44  64      PDO 3: Improve teaching quality in general education.  PDO 4: Improve the learning environment in general education    Indicator 2 in the Results Framework (PDO indicator): Increase in percentage of schools with school improvement plans  approved and under implementation (Target 75 percent).    Indicator  8  in  the  Results  Framework  (intermediate  indicator):  Increase  in  percentage  of  the  300  Project  schools  implementing self‐evaluation (Target 100 percent).    Indicator 9 in the Results Framework (PDO indicator): Number of Trainers trained on the Teacher Training, Pedagogical  Counselors training and Psychosocial Counselors training (Target 260 professionals trained).    41. Indicator  2,  a  PDO  indicator,  was  exceeded.  Indicator  2  was  exceeded  as  the  percentage  of  project  schools  with  school improvement plans approved and under implementation was 95 percent, exceeding the project target of 75  percent.11 The school improvement plans were executed by a block grant of US$7,000. Schools receiving the grants  8 The baseline was revised from 36 percent in 2015 to 3 percent following the 2017 ECERS results which were based on an  adapted ECERS tool, but the target was not revised.  9 During implementation, the baseline was first measured in 2015 using an adapted version of the ECERS tool. However, in 2017,  prior to data collection, MEHE revised the ECERS tool to improve its validity and reliability. This change in instrument design and  measurement methodology made it difficult to compare the 2015 baseline with the 2017 data collection. As result, the 2018 end‐ line can only be compared to the 2017 values and not the 2015 baseline.      10 ECERS 2017 survey was undertaken immediately after delivery of equipment and learning resources but before training  teachers and the completion of rehabilitation.    11 The number of schools that participated in the project was increased from 300 to 441.  Of these 441 schools, 419 developed  Page 19 of 70 The World Bank Second Education Development Project (P118187) were required to utilize evidence from the school self‐evaluation process (Indicator 8) and ensure that activities would  directly impact the quality of teaching and learning in the classroom. These included procurement of teaching and  learning materials, small rehabilitation of schools, extracurricular activities, and teacher training, among others. Thus,  implementation of these plans supported improved teaching quality and learning environment in general education.  It  is  important  to  note,  that  the  school  improvement  plant  intervention  within  this  project  supported  both  the  teaching and learning environment in general education, and improved the managerial capacity at the school level.  Hence, the use of the indicator numbers 2 and 8 to demonstrate achievements of PDOs 3 and 4.     42. The project exceeded indicator 9. The intermediate indicator for this PDO had a total of 291 trainers were trained on  teacher  training,  pedagogical  counselor  training,  and  psychosocial  counselor  training  based  on  the  professional  standards. This exceeded the end of project target of 260 trainers.     43. Moreover,  the  project  successfully  supported  the  establishment  and  adoption  of  a  comprehensive  National  Competency Framework, which is a comprehensive policy and strategic framework for improving the quality of the  teaching force. The framework included professional standards for teachers, teacher trainers, pedagogical counselors,  and psychosocial counselors. This achievement does not have an indicator in the Results Framework; however, it is  an important achievements towards improving teaching quality in general education.     44. Adjustments  to  professional  development  approaches  were  made  following  the  adoption  of  the  National  Competency Framework. MEHE, along with other development partners, provided teacher professional development  trainings  and  opportunities  in  alignment  with  the  framework.  This  was  one  important  step  toward  ensuring  the  utilization and integration of competencies into current teaching practices. Moreover, MEHE developed an online  platform that allows anyone to access content such as tutorial videos, scenarios, and information on the professional  standards. The online platform includes virtual trainings to allow school professionals to undergo training at their own  time and pace and provides rich information that will help make them familiar with the standards and so that they  may implement them directly. This also enhanced transparency and the ability of MEHE to implement the standards  at scale.     45. Importantly, these outputs helped to lay a foundation for the future development of a comprehensive professional  development framework for teachers and other educational staff, and development of incentives‐based systems and  effective  deployment  and  utilization  policies.  For  example,  MEHE  is  working  towards  developing  performance  assessment  tools  for  school  staff,  which  includes,  developing  competency  indicators  for  assessing  performance  against standards. MEHE is also developing a unified frame of reference for teacher professional development which  defines  relationships  between  entities  delivering  preservice  training;  induction;  in‐service  training  at  Lebanese  University/Faculty of Education, DOPS, and CERD; and those involved in observation and follow‐up, for example, by  the Education Inspectorate.     46. Significant  alignment  and  coordination  with  development  partners  ensured  the  incorporation  of  the  National  Competency Framework in the following outputs:    Developed teacher development curriculum based on the competency framework and approved professional  standards.   Developed teacher professional development modules based on the approved standards.   Developed  standardized  preservice  training  model  and  integrated  standards  into  preservice  training  school improvement plans, received funding, and implemented their plans. This represents 95 percent of the 441 schools that  were registered in the program or 140 percent of the target of 300 schools originally planned.  Page 20 of 70 The World Bank Second Education Development Project (P118187) programs.     Conducted a review of existing teacher utilization, career development and incentives.    PDO 5: Increase the governance and managerial capacity of schools.       Indicator 2 from the Results Framework (PDO indicator): Increase in percentage of schools with school improvement  plans approved and under implementation (Target 75 percent).    Indicator  8  in  the  Results  Framework  (intermediate  indicator):  Increase  in  percentage  of  the  300  Project  schools  implementing self‐evaluation (Target 100 percent).    47. This  indicator  was  exceeded.  As  mentioned  in  paragraph  42,  the  percentage  of  project  schools  with  school  improvement plans approved and under implementation was 95 percent, exceeding the project target of 75 percent.  This achievement was facilitated by project activities that contributed to the intermediate indicators being achieved:  the percentage of project schools implementing self‐evaluation was 99 percent compared to the end of project target  of 100 schools.12 The self‐evaluation enabled all these schools to prepare school improvement plans (SIPs) that were  then  assessed  by  the  MOE  for  approval.  Schools  with  successful  SIPs  were  each  awarded  a  grant  of  US$7,000  to  implement their plans.      48. An assessment showed improvements. More specifically, an assessment of the school‐self‐evaluation, school‐based  planning, development and improvement model, and the professional development program for school principals  and administrators found improvement in following areas:    Developed a culture of data‐driven decision making for school improvement, and self‐assessment for continuous  improvement.   Developed collaborative leadership teams to drive school improvement and reform.   Increased self‐confidence in managing a school.   Demonstrated competence relating to indicators of distributing leadership roles among other staff.   Fostered partnerships between the school and community in developing a school vision.   Developed leadership skills to apply “Lebanese Effective School Standards” and education vision, including  developing annual plans with realistic targets based on performance and focus on improving learning outcomes  of students.     49. These findings were also confirmed during focus group discussions held with school principals and administrators  during the completion mission. School principals and administrators also indicated that they use data for developing  and  monitoring  school  plans,  share  data  with  other  parents  and  community,  work  closely  with  families  and  the  community, and promote peer‐to‐peer collaboration among teachers. For example, the school principal of Shokeayn  Middle  School  said,  “We  are  organizing  new  activities  at  our  school  [following  the  trainings]:  science  fairs,  Arabic  Language day and Foreign Language Day, and we organize workshops at the school and in teachers’ homes.”     50. The  capacity  for  school  self‐evaluation,  preparation  and  implementation  of  improvement  plans.  Overall  improvement of governance of schools was enabled through the following outputs: (a) establishment and activation  12 Two hundred and ninety‐five schools from the original 300 schools (98 percent) and an additional 140 schools completed the  self‐assessment (that is 99 percent of the 441 project schools).    Page 21 of 70 The World Bank Second Education Development Project (P118187) of school councils (including planning committees) in all project schools; (b) revision of training modules for school‐ based development and improvement; (c) training a total of 1,181 school level staff (318 school principals and 863  administrators)  on  various  areas  including  the  introduction  of  the  school‐based  development,  improvement,  and  managerial  practices;  (d)  piloting  a  system  of  school‐self  review;  (e)  training  school  principals  and  piloting  and  facilitating  performance  self‐assessment  and  performance  evaluation  of  school  principals  based  on  the  principal  standards framework in order to improve their school management and improvement capacities; and (f) training 30  school improvement facilitators who in turn supported school leaders on improving their capacity.      PDO 6: Increase the governance and managerial capacity of MEHE.            Indicator 3 in the Results Framework (PDO indicator): Ability of the MEHE ICT system to host data for all schools and  regional education offices (Target Yes).    Indicator  10  in  the  Results  Framework  (intermediate  indicator):  Increase  in  cumulative  number  of  regulations  or  modifications  to  regulations  proposed  and  approved  in  order  to  enable  efficient  implementation  of  the  ESDP‐related  reforms (Target 43).    Indicator 11 in the Results Framework (intermediate indicator): Institutional Development Plan for MEHE capacity building  developed and approved (Target Yes)    51. Indicator  3  was  achieved.  The  project  automated  MEHE’s  data  collection  and  analysis  process  by  enabling  data  collection to happen in a more timely, reliable, and efficient manner. The School Information Management System  (SIMS)  allows  schools  to  input  student  and  school  level  information  so  that  it  is  directly  reported  to  the  central  Ministry. Thus, SIMS enables faster and more reliable data transfers from the field to regional offices and the central  Ministry. It also enables easier access to data for all stakeholders in a timely manner that can support decision making.  MEHE took additional steps to strengthen its systems by conducting a review of the overall information management  system and its institutional practices for management and analysis of data to improve decision making.      52. MEHE is leveraging this new platform to reform administrative processes through improved information flow and  processes. For example, SIMS system helped MEHE produce disaggregated student enrollment data in February 2018,  nearly ten months earlier than in previous years. Moreover, during the 2017–2018 academic year the SIMS data on  student  academic  performance  and  dropout  and  transition  rates  was  used  for  student  transfers,  allocation  of  resources  to  schools,  and  the  annual  RACE  2  workplan  exercise.  As  a  result,  SIMS  provides  support  for  improved  decision making at the school, regional and central levels.      Page 22 of 70 The World Bank Second Education Development Project (P118187) 53. The  outcomes  were  achieved  through  the  following  outputs:  (a)  consolidating  MEHE  systems  and  enhancing  its  running  applications  by  connecting  the  school  management  information  system  to  all  public  schools  and  regional  education offices to its network; (b) migrating data from Excel to a database system; (c) automating information flow  and processes; and (d) digitizing the national examinations scoring and reporting processes; (d) providing equipment  and software for the MEHE data center and disaster recovery system; (e) upgrading the examinations center with  new  hardware,  software  and  infrastructure;  (f)  testing  system  connections  for  security  and  effectiveness;  (g)  developing  a  manual  for  streamlining  administrative  procedures,  including  for  examinations;  (h)  training  MEHE  information technology staff, staff in regional directorates, schools, and other education data end‐users on use of the  enhanced EMIS; and (i) increasing the number of regulations or modification to regulations proposed and approved  to enable efficient implementation of the ESDP‐related reforms by 55 compared to the end‐of‐project target of 43.   54. The project contributed to strengthening the use of data in decision making as highlighted by the use of SIMS data  for  planning.  An  institutional  development  plan  (Indicator  11)  was  also  developed  and  recommendations  were  discussed  with  MEHE  and  development  partners  so  that  actions  may  be  taken  to  move  ahead  with  the  implementation of the plan’s recommendations.   55. The  project  also  introduced  regulations  that  strengthened  procurement  and  financial  management  processes  (Indicator  10)  through  streamlining  the  role  of  committees  responsible  for  the  tendering  process,  as  well  as  introducing an internal audit function to the Ministry.   56. Other planned activities were completed. MEHE was supported to undertake TIMSS 2011 analysis, prepare a national  report  on  TIMSS  2011,  discuss  it  with  stakeholders  and  publish  it  on  the  CERD  website.  This  report  provided  a  comprehensive analysis of factors affecting learning outcomes in science and mathematics in Lebanese schools, and  informed  actions  in  areas  related  to  quality  of  education  in  Lebanon,  for  example,  identifying  training  needs.    In  addition, Lebanon participated in TIMSS and PISA 2015 assessments.    57. The examinations department facilities were upgraded.  Additionally, new hardware was purchased to streamline  the national examinations scoring process, introducing both time and cost savings to the process. This was achieved  through the procurement and integration of new equipment that digitized the scoring and reporting of the national  examinations for grades 9 and 12. In addition to increased efficiency, digitization increased reliability of the scoring  process.     58. Significant alignment and coordination with development partners supported the following activities:    Software development for SIMS (European Union).   Key consultancy positions at the MEHE IT department (United Nations Development Program, UNDP),    IT staff at the regional level (United Nations High Commissioner for Refugees, UNHCR).   Computers and IT staff at the school level (United Nations Children’s Fund, UNICEF).      Justification of Overall Efficacy Rating   Page 23 of 70 The World Bank Second Education Development Project (P118187) 59. Overall efficacy is rated Substantial. The project is likely to achieve the two objectives of improving teaching quality  and  the  learning  environment  in  preschool,  has  exceeded  the  objective  of  increased  governance  and  managerial  capacity of schools, and achieved the outcome indicator designed to measure progress toward increased governance  and  managerial  capacity  of  MEHE.  Moreover,  the  indicators  associated  with  improving  teaching  quality  and  the  learning environment in general education were exceeded; and even though there were no outcome‐level indicators  for  these  PDOs,  the  project  interventions,  as  measured  by  the  intermediate  indicators,  have  established  a  solid  foundation for improving teacher quality in the future.    C. EFFICIENCY    Assessment of Efficiency and Rating    Efficiency is rated Substantial.    60. The project exceeded its original economic justification based on achievement of expected outcomes. There  were  reasonable  unit  costs  of  project  inputs  and  outputs  for  interventions  with  proven  high‐economic  efficiency.  Even  though  project  effectiveness  was  delayed  by  24  months,  the  project  was  able  to  improve  implementation speed and expand the scope of some difficult activities with only an 18‐month extension.  With this in mind, the project efficiency is rated Substantial.       61. Neither a cost‐benefit nor a cost‐effectiveness analysis was prepared during appraisal. Rather, the project’s  economic justification was presented in terms of the rationale and effectiveness of proposed activities, upon  future  learning  and  access  to  early  childhood  education.  The  project  supported  interventions  such  as  preschool education, which have been shown to be cost‐effective, since early development of cognitive and  noncognitive  skills  leads  to  better  future  learning  and  labor  market  outcomes.  In  addition,  investments  in  school‐based development were justified because evidence shows that strong leadership at the school level  is related, albeit indirectly, to student performance through its role in promoting a conducive learning climate  as well as organizational learning.  Moreover, research indicates that good teachers can overcome deficits  associated  with  poor  preparation  for  school,  indicating  that  improving  teacher  quality  can  contribute  to  closing the student achievement gap.    62. The project achieved its most meaningful impact through the expansion of preschool coverage for 6,466  additional  children.  Given  the  well‐documented  benefits  of  quality  early  childhood  education,  this  intervention is likely to have a lasting impact on the beneficiaries, translating into higher future academic and  labor market outcomes. Furthermore, while the impact of this intervention will be felt among the general  population, it is likely to have even more effect on the 2,000–3,000 Syrian refugee children estimated to be  enrolled in these project schools, given their vulnerable status.    Page 24 of 70 The World Bank Second Education Development Project (P118187) 63. The  unit  costs  of  rehabilitation  of  public  preschool  services  compare  favorably  with  those  estimated  at  appraisal,  while  the  costs  for  furniture  and  equipment  were  slightly  above  the  historical  average.  The  expansion of preschool enrollment was achieved at a lower average cost per child than was anticipated at  appraisal (Table 5). The unit cost to the project of enrolling an additional child in kindergarten is estimated at  US$3,335, which is 37 percent lower than the US$5,333 anticipated at appraisal and generally within the range  of estimated costs of similar interventions in Lebanon and neighboring countries (see annex 4 for details).  Moreover, more than twice as many additional children were able to benefit from preschool enrollment than  the initial target of 2,944.   Table 5. Unit Cost Analysis of Selected Interventions    Plan  Actual  % change    Component 1: Early Childhood Education  Cost (US$)  15,700,000  21,576,858  +37.4%  Increase in number of 3–5‐year‐olds enrolled in KG in  project schools (children)  2,944  6,466  +119.6%  Cost per additional child enrolled in kindergarten in  project schools (US$)13  5,333  3,335  ‐37.5%  Number of additional KG schools furnished and equipped  (schools)1  273  306  +12.1%  Cost per additional KG school furnished and equipped  (US$)  57,509  70,471  +22.5%  Component 2: Supporting Improvement in Quality of Education  Subcomponent 2.1: School‐based Development through Enhanced Education Leadership  Cost (US$)  5,200,000  6,178,408  +18.8%  Number of project schools implementing a school  improvement plan (schools)  300  419  +39.7%  Cost per project school implementing a school  improvement plan (US$)  17,333  14,746  ‐14.9%  Note: 162 of the 306 KG schools were also rehabilitated.    64. The  unit  cost  of  expanding  access  to  preschool  services  also  compares  favorably  to  similar  projects  in  neighboring countries. With an average cost per additional child enrolled of US$3,335, the project’s expansion  of  access  to  kindergarten  in  Lebanon  was  within  the  range  of  unit  costs  calculated  in  similar  World  Bank‐ financed interventions in Jordan and West Bank and Gaza. In the case of Jordan, the expansion of access to  primary schooling came at a cost of US$ 579 to 615 per square meter—approximately US$4,053 to US$4,305  per child, assuming an average space of 7 square meters per child.14 In the West Bank and Gaza, the Ministry  of  Education  and  Higher  Education  has  forecast  the  costs  of  adding  one  kindergarten  classroom  under  a  forthcoming  World  Bank‐financed  project  to  range  from  US$40,000  to  US$150,000  (depending  on  the  intensity of the intervention). Assuming a maximum class size of 25 students, the minimum cost per additional  13 Only including first shift students, several project schools have also enrolled Syrian refugee students in preschools in second  shifts who have also benefitted from the rehabilitated classrooms and from the new learning materials and furniture.  14 World Bank (2017). Hashemite Kingdom of Jordan: Second Education Reform for the Knowledge Economy Project.  Implementation Completion and Results Report, p. 21.  Page 25 of 70 The World Bank Second Education Development Project (P118187) child enrolled would therefore range from US$1,600 to US$6,000 (see table 6).15    Table 6. Estimated Unit Cost per Additional Child Enrolled   in Lebanon, Jordan, and West Bank and Gaza (US$)      West Bank and Gaza  Lebanon  Jordan  (kindergarten)  (kindergarten)  (primary school)  [forecast]        3,335  4,053 – 4,305  1,600 – 6,000      65. The  average  unit  cost  of  investments  was  lower  than  expected.  For  school  governance  and  managerial  capacity,  the  average  unit  cost  of  investments  was  US$14,746,  which  was  15  percent  lower  than  the  US$17,333  estimated  at  appraisal.    At  the  same  time,  419  schools  have  been  able  to  implement  a  school  improvement  plan  with  support  from  the  project,  substantially  more  than  the  300  schools  planned  at  appraisal. This leads to the conclusion that improving governance and managerial capacity was efficient in  achieving higher levels of coverage at a lower unit cost than was initially planned.    66. The Ministry was able to overcome challenges. Although the two‐year time between project approval and  effectiveness was substantially longer than anticipated at appraisal, the Ministry was able to restructure the  project, mobilize support from other development partners, and facilitate improved performance. The project  closed with only an 18‐month extension and was able to complete activities and expand upon them, thus,  achieving  and  surpassing  intermediate  project  indicator  targets.  Therefore,  the  temporal  inefficiency  in  project implementation caused by the delays during its first four years did not have a lasting impact on the  project’s ability to achieve results.    67. More details on the efficiency analysis are provided in Annex 4.       D. JUSTIFICATION OF OVERALL OUTCOME RATING    68. The overall outcome rating is moderately satisfactory based on high relevance of objectives, substantial  efficacy  and  substantial  efficiency.  There  were  moderate  shortcomings  in  efficacy,  especially  in  measurement of achievements, arising from the PDOs related to improving teaching quality and the learning  environment in preschool and general education, and efficiency due to delayed effectiveness and extension  of  closing  dates.  Split  ratings  are  not  necessary  since  changes  made  during  restructuring  did  not  have  a  material impact on the PDO or lower the scope of the project but rather clarified activities, expanded the  project scope in several areas. For example, there was an increase in the number of preschools supported  through rehabilitation, equipment and furnishing, as well as the number of schools supported with grants.        15 Costs estimated by the Ministry of Education and Higher Education in 2018 for West Bank only.  Page 26 of 70 The World Bank Second Education Development Project (P118187) E. OTHER OUTCOMES AND IMPACTS (IF ANY)          Institutional Strengthening    69. Enhanced capacity to monitor the preschool school environment. Through the adoption of ECERS and trainings of  DOPS staff on the instrument, MEHE is now able to administer the instrument at key intervals to assess changes in  the quality of early teaching and learning environment.  Through use of a standardized tool, and the internal capacity  to  apply  it  and  assess  its  results,  MEHE  is  better  placed  to  use  a  reliable  evidence‐based  approach  to  quality  improvement of preschools. The use of ECERS is also setting precedence for the use of reliable assessment strategies  to measure various aspects of service provision.  The capacity to use the ECERS tool was institutionalized because  DOPS staff participated in the administration of ECERS.     70. Strengthened  capacity  to  support  school  improvement.  MEHE  piloted  the  school  improvement  program  and  institutionalized the processes and procedures used in this pilot. MEHE is working on institutionalizing  the school  grants procedures and processes in one manual, so that it is used as the standard for all school grant programs in  Lebanon (e.g. EESSP, S2R2, JICA Program, etc.) through necessary adaptations to ensure consistency across all grant  programs.  The  institutionalization  plan  for  school  improvement  will  harmonize  the  ministry’s  vision  to  have  one  approach for school grants. This process also supports efforts to develop a legal framework to institutionalize the  school grants approach and financing.     71. Strengthened teacher management practices. The adoption of the Teacher Competency Framework for teachers,  teacher trainers, pedagogical counselors, and psychosocial counselors on November 2017 was a major achievement.  The Competency Framework was printed and published in Arabic (1000 copies were printed, with 280 USB), it was  also translated and published in French and English, making it accessible to all teachers in Lebanon, in both the public  and  private  sectors.  It  is  also  accessible  through  an  online  platform  that  was  developed  through  the  project.  The  framework supports institutional strengthening as it provides the standards by which teachers are expected to abide  by  and  for  which  their  performance  will  be  measured.  This  will  allow  MEHE  to  have  systematic  mechanisms  for  evaluating and supporting teachers, through professional development and career progression pathways. MEHE will  pilot  the  evaluation  tools  developed  for  teachers,  teacher  trainers,  pedagogical  counselors,  and  psychosocial  counselors, this activity has been integrated into the other ongoing World Bank projects with and MEHE and CERD.    72. Enhanced institutional capacity and efficiency through digitization and automation in the collection of data and the  examination  services.    The  development  of  an  education  management  information  system  has  enabled  MEHE  to  generate reports and information on students, teachers, and school information across several domains, most visibly  as it relates to student examination results (starting 2016/17 exam results have become digitized). An example of  how capacity improved is that MEHE produced disaggregated enrollment data in February 2018, nearly ten months  earlier than in previous years. Moreover, the examinations department facilities were upgraded, and new hardware  was purchased to streamline the national examinations scoring process; thus, introducing both time and cost savings  to the process.   Page 27 of 70 The World Bank Second Education Development Project (P118187)         Poverty Reduction and Shared Prosperity  73. The project included a focus on kindergartens in schools located in socially and economically disadvantaged areas,  which led to increased enrollment in the preschools in those areas. In addition, the project supported public schools,  which are enrolling many Syrian refugees and serving the most vulnerable segment of the Lebanese population.16    Other Unintended Outcomes and Impacts   Enrollment of Syrian refugee children in schools supported by the project.   Establishment of standards for ECE teaching and learning materials. These standards have been adopted for use  across all preschools in Lebanon.    Capacity building of MEHE/DOPS on quality monitoring for ECE using the ECERS.  Adoption of the competency framework for teachers, teacher trainers, pedagogical counselors, and  psychosocial counselors. This framework has been used to develop a teacher training curriculum model with  support from UNICEF and is currently being used to design a master’s degree program for counselors under the  World Bank‐financed Support to RACE 2 (S2R2) program.    III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME    A. KEY FACTORS DURING PREPARATION    74. The project preparation drew strongly on lessons from EDP 1. In particular the focus of education models  and policies had included (a) expansion of participation in early childhood education; (b) emphasis on the  school as a key unit of change while continuing to support the enhancement of institutional framework and  capacity building at central level; and (c) importance of teachers as key actors in improving the quality of  teaching and learning. These lessons shaped the project objectives and components.     16 Enrollment in public schools among Lebanese students is approximately at 30 percent, mostly composed of children from  low‐income households.  Page 28 of 70 The World Bank Second Education Development Project (P118187) 75. Adequacy  of  government  commitment.  The  Government  was  strongly  committed  to  implementing  the  second phase of reforms based on the recently approved education sector development plan that focused  on  quality  learning  at  the  preschool,  primary  and  secondary  levels.  In  addition,  MEHE  had  conducted  preparatory work in several areas. For example, the MEHE systematically (a) identified disadvantaged areas  and  preschool  facilities  to  be  upgraded;  (b)  assessed  the  costs  of  specific  needs  for  preschools;  and  (c)  prepared preliminary documentation for “New Vision of the School”.       76. Assessment of risks. The overall project risk was assessed as Moderate at entry. In general, the project’s risks  and measures to mitigate them were identified and incorporated in the project design. Three of the 7 risks  were rated High and the others Substantial, and mitigation measures were incorporated into the design to  reduce the risks to Substantial and Moderate, respectively, at entry.     77. The high risk of coordination among different implementing agencies was mitigated by strengthening the  staffing profile of the Education Secretariat and implementation of a continuous professional development  program. The risk of the project’s complexity led to implementation delays, which were mitigated through  continuous focus on capacity building of implementing agencies, and by eliminating some requested project  components, such as higher education, to reduce project complexity.     78. At the school level, the plan was to implement the school development and improvement program in a  phased manner, allowing for learning from experience. This facilitated development of institutional capacity  of project schools as a proactive community sharing best practice on school improvement.    79. All  key  implementing  agencies  and  their  roles  in  project  implementation  were  identified  during  preparation.  However,  the  design  proved  to  be  ambitious  in  two  respects.  First,  there  were  numerous  activities  that  required  a  high  level  of  coordination  from  the  MEHE.  Second,  some  of  the  institutional  strengthening  activities  involving  legislation  were  beyond  the  capacity  of  the  MEHE  and  were  difficult  to  implement without the approval by Parliament.        B. KEY FACTORS DURING IMPLEMENTATION    80. The  fall  of  the  Lebanese  government.  In  2011,  the  Lebanese  unity  government  was  dismantled.  This  impacted  project  implementation  because  Parliament  was  not  able  to  convene  to  approve  some  project  activities,  such  as  the  laws  and  regulations  needed  to  support  the  implementation  of  the  proposed  new  teacher career pathway. This led to a delay of almost two years before the project could be put into effect.      81. Syrian refugee crisis. Another contributing factor to project changes was the March 2011 war in Syria, which  led to a massive influx of refugees into Lebanon. With an estimated 1.5 million Syrian refugees, Lebanon had  the  highest  number  of  refugees‐per‐capita  in  the  world,  at  an  estimated  33  percent  of  the  country’s  total  population  of  5,850,0003.  The  Syrian  war  strained  government  resources  and  capacity  to  deliver  serivces,  shifting priorities from ongoing projects such as EDP II.   Page 29 of 70 The World Bank Second Education Development Project (P118187) 82. Slow decision making in the early years of implementation. Vacancies in leadership positions within the  Project Management Team (PMT), such as the Project Director position, took a long time to be filled. With  the departure of the PMT’s Project Director, decision making was stalled. This led to delays which ultimately  had an impact on activities such as the delivery of furniture and materials to schools.  As a result, most schools  had a short window of time between delivery of materials and the administration of ECERS in 2017, leaving  little time for schools and teachers to utilize the new equipment. By 2017, with the change in leadership at  MEHE  and  the  appointment  of  the  Director  General  for  Education  as  the  Acting  Project  Director,  implementation picked up.        83. The overlap and misalignment of mandates. Although outside the direct influence of the Project, there were  misalignments  between  different  institutions  working  on  data  collection,  validation,  analysis,  and  interpretation. This led to delays in the development and adoption of an institutional development plan for  MEHE.  84. Collaboration  with  other  development  partners.  To  enhance  the  project  impact,  the  World  Bank  team  collaborated  with  other  development  partners  such  as  the  United  Nations  Children’s  Fund  (UNICEF)  to  evaluate  the  Child‐at‐Risk  Detection  Program,  and  a  Parent  Involvement  Program  to  facilitate  its  institutionalization. These programs increased enrollment for at‐risk children by ensuring that children were  screened  for  simple  health‐related  problems  like  hearing,  poor  eye  sight,  speech  and  malnutrition,  and  referred  them  for  appropriate  support.  Other  collaborations  included  the  use  of  (a)  the  competency  frameworks  developed  under  EDP  2  to  provide  a  teacher  training  curriculum  model  (UNICEF);  (b)  the  measurements of teacher proficiencies, teacher training and development of the School Improvement Plan  (SIP)  program17  provided  by  United  States  Agency  for  International  Development  (USAID);  and  (c)  the  expansion of the number of schools implementing SIPs beyond the project schools of Japan International  Cooperation Agency (JICA). In addition, the work on SIMS was done jointly with the European Union (EU),  which financed software development; United Nations Development Program (UNDP), which financed key  consultancy  positions  at  the  MEHE  IT  department;  the  United  Nations  High  Commissioner  for  Refugees  (UNHCR), which financed IT staff at the regional level; and UNICEF, which financed the provision of computers  and IT staff at the school level.          IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME    A. QUALITY OF MONITORING AND EVALUATION (M&E)    17 Both USAID and JICA provided financing to expand the SIP program to additional schools.  Page 30 of 70 The World Bank Second Education Development Project (P118187) M&E Design  85. Overall, the project objective was clearly specified. The project design included several activities to ensure effective  monitoring and evaluation (M&E) of project outputs and outcomes including: (a) clarification and institutionalization  of M&E functions, structures, operational processes, and links to central and field directorates; (b) conduct of M&E  activities/studies to inform project implementation and provide evidence of impact on learning; (c) development of  an internal M&E framework, guidelines, manuals and related capacity building and training of MEHE staff; and (d)  development and implementation of a monitoring, evaluation, and reporting system of student performance against  desired  learning  goals.  To  ensure  demonstration  of  results,  the  project  included  a  presurvey  and  postsurvey  of  preschools  to  establish  the  link  to  project  activities  to  observed  improvements  in  teaching  quality  and  learning  environment,  and  an  evaluation  of  school‐based  planning,  development  and  improvement  model.  The  theory  of  change was sound in documenting how activities and intermediate outcomes led to outcomes for improving teaching  and  the  learning  environment  in  preschool  and  increasing  governance  and  management  capacity  of  schools.  The  theory of change remained valid as originally planned but there were some shortcomings with the PDO indicators:     a. There were no outcome indicators to measure improved learning environment in general education,  and improved governance and managerial capacity in schools.   b. Some indicators did not reflect the intended outcomes. For example, the percentage reduction in the  number of contract teachers did not measure the quality of teaching but instead was intended to  measure the quality of teachers.   c. Some indicators did not directly link to project activities. For example, the indicator for the reduction in  repetition rates was not linked to a specific project activity.   d. Some indicators were subjective. For example, there was no objective indicator for increasing the  number of MEHE and CERD units and agencies actively involved in the planning, implementation,  monitoring and evaluation of the different ESDP program.   e. Some intermediate results indicators were not adequate to capture the contribution of the operation’s  activities and outputs toward PDO‐level outcomes. This was the case for the activities related to teacher  professional development (subcomponent 2.2) and those for institutional capacity development and  efficiency (subcomponent 3.1).  f. Some indicators were difficult to monitor because MEHE did not have the capacity to collect the data.  An example of this can be found in the number of schools where at least 60 percent of classes in every  grade level are being taught using active, learner‐centered teaching methods.       M&E Implementation    86. Monitoring and Evaluation (M&E) implementation and utilization. There was a significant delay in implementing  M&E due to the position of M&E officer being vacant until 2016. However, once the M&E specialist was hired and  trained by the World Bank team, M&E implementation was satisfactory with monthly reporting on indicators included  in the results framework. M&E arrangements were clarified, and M&E functions and structures were institutionalized  and well incorporated into actual implementation. Moreover, the project restructurings supported improved M&E as  the indicators were adjusted for clarity and improved alignment with project aims.     Page 31 of 70 The World Bank Second Education Development Project (P118187) 87. Surveys  were  undertaken  by  independent  consultants  and  indicators  were  reported  in  Implementation  Status  Reports (ISRs) on a regular basis. Data were collected and analyzed in a methodologically sound manner for the most  part, except for the first attempt to the ECERS baseline data collected in 2015. An internal M&E framework, guidelines,  manuals and related capacity building and training of MEHE staff were undertaken. Many of the weaknesses in the  results  framework,  including  outcome  and  intermediate  indicators  and  targets,  were  significantly  revised  during  implementation to better link to expected outcomes, and respond to the changed context resulting from the Syrian  refugee crisis, which also contributed to an increase in enrollment and delayed project effectiveness. However, the  PDOs relating to improved teaching  quality and  the learning  environment in general education remained  with no  indicators.    M&E Utilization  88. The M&E reports provided the basis for monitoring progress on agreed indicators, updating the cashflow and decision  making. The recommendations from M&E were used to improve implementation and results. For example, the 2015  ECERS report made recommendations to adjust the tools to respond to the Lebanon language and cultural context,  and they were adjusted for subsequent rounds. Although this made the results of the baseline not comparable to  subsequent rounds, the tools were made more relevant to the context, which facilitated their institutionalization. The  ECERS 2017 report found that the teachers were not using the materials received because they did not know how to  use them. This prompted tailored training for preschool teachers, which resulted in significant improvement in the  2018 ECERS scores. Moreover, M&E reports were used as the basis of reallocation of funds. For example, the reports  helped determine funding for component 1 and an increase in the number of schools to receive grants. In other words,  the  M&E  reports  on  school‐based  planning,  development  and  improvement  provided  recommendations  for  the  institutionalizing the “Lebanon School Improvement Network” and funding for quality improvement at the school  level.        Justification of Overall Rating of Quality of M&E    89. The overall quality of M&E is considered Modest. Activities were incorporated into M&E implementation, supporting  MEHE capacity to develop M&E framework tools, structures and processes; monitor project indicators; and use the  information for decision making. The project design was implemented in a satisfactory manner and findings were  used for improvement of implementation or strengthening the quality of outcomes. However, there was a delay in  the recruitment of an M&E officer and there were weaknesses in M&E design. Together, these factors made it difficult  to assess the achievement of the PDOs related to improve teaching quality and the learning environment in general  education. Moreover, although some shortcomings in the initial design of the M&E framework were rectified during  implementation, some areas were not addressed.      B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE    Page 32 of 70 The World Bank Second Education Development Project (P118187) 90. Environmental  safeguards.    The  project  was  classified  as  category  B  and  triggered  the  World  Bank’s  safeguard  policy,  Operational  Policy/Bank  Procedures  (OP/BP)  4.01  on  environmental  assessment.  To  mitigate  the  anticipated  environmental  impacts  related  to  rehabilitation  and  refurbishment  of  existing  schools, an environmental assessment framework was prepared to ensure environmental soundness of the  project. Any small works carried out under the school innovation fund would also need to comply with the  environmental  management  plan.  The  Education  Sector  Development  Secretariat  was  responsible  for  coordinating,  monitoring  and  supervising  the  implementation  of  the  Environmental  Management  Plan  (EMP).  Kindergartens  to  be  rehabilitated  and  refurbished  were  all  screened  to  ensure  that  OP  4.12  was  carried out. The World Bank team monitored the implementation of the EMP.    Involuntary Resettlement is not applicable.     91. Financial Management. Financial management (FM) was satisfactory. The World Bank team undertook an  assessment  of  the  financial  management  system  within  MEHE,  as  well  as  EDP  financial  management  performance. The assessment concluded that with the implementation of agreed‐upon actions, the proposed  financial management arrangements would satisfy the requirements of the World Bank’s OP/BP 10.02. FM  supervision was carried out on a regular basis by a field‐based and HQ staff. Supervision missions confirmed  that all financial covenants were complied with in a timely manner, an adequate FM system and internal  controls  were  in  place,  and  the  action  plan  was  being  implemented.  Audit  reports  and  Interim  Financial  Reports  (IFRs)  were  submitted  in  a  timely  manner  for  all  the  years  and  were  of  acceptable  quality.    The  quarterly IFRs were received in a timely manner and found to be acceptable.     92. Procurement. A procurement capacity assessment was conducted to confirm the capacity of MEHE to handle  procurement  processing.  The  review  recommended  hiring  an  additional  staff  for  contract  management.   Post‐review recommendations for EDP II were discussed with ESDS and areas of improvement were identified  with  respect  to  filing,  contract  management,  publication  of  contracts,  inventory  of  project  assets  and  complaint  mechanisms.  Procurement  guidelines  were  generally  followed  and  completed  in  a  satisfactory  manner although in some cases with delay. Procurement performance was weak initially due to departure of  the procurement specialist, but it significantly improved once the staffing issue was resolved.  Procurement  was rated either satisfactory or moderately satisfactory throughout the project period. Post‐procurement  reviews undertaken found procurement processing and contract management to be of a moderate risk and  were supervised in a manner acceptable to the World Bank.  Procurement decisions were transparent, but  at times slow. A shortcoming identified by the post‐procurement review was the nonpublication of contract  awards. There were no complaints from bidders.            C. BANK PERFORMANCE    Page 33 of 70 The World Bank Second Education Development Project (P118187)   93. Bank performance is rated as Moderately Satisfactory.      Quality at entry  94. The objectives were highly relevant to the country context and the World Bank and country development strategies  at the time of approval. The project emphasized the improvement of teaching quality and the learning environment  in preschool. The increase in governance and managerial capacity of MEHE stressed the improvement and support to  the  quality  of  education  through  school‐based  leadership  development,  school‐based  improvement  and  teacher  professional development, which were key priority areas under the National Education Strategy 2007.  Moreover, the  main objective of the national early childhood education program was to increase the percentage of children enrolled  in  public  preschools  between  the  ages  of  3  and  5  and  to  provide  greater  opportunities  for  preschool  services  to  children in disadvantaged areas of the country. The focus was on schools in economically and socially disadvantaged  regions and communities with comparatively low enrollment rates, and preschools education of substandard quality.  These objectives remain relevant today.     95. The project built on the lessons of the previous project (EDP I), as well as the work of other donors like UNICEF,  USAID and the EU. The project developed ongoing support by incorporating lessons from EDP I, such as the need to  undertake broader and deeper capacity building across MEHE and directorates, and to focus on the school as the unit  of  change.  It  also  established  a  high‐level  committee  to  facilitate  decision  making  at  the  top  level  and  maintain  implementation  momentum  through  ministerial  transitions.  The  risk  assessment  identified  areas  of  high  risk  and  included  risk  mitigation  measures  to  reduce  those  risks.  Safeguards  and  fiduciary  issues  were  well  assessed,  and  mitigation measures put in place to address any identified risks.     96. The theory of change was clear. However, the PDOs were rather general. For example, it was not clear what the  improved learning environment would look like. Some PDO and intermediate indicators were either missing or not  clearly  linked  to  the  outcome.  Moreover,  the  results  framework  included  some  indicators  the  project  could  not  reasonably be expected to impact during the project period and had to be revised early during implementation. Most  of the indicators did not have baselines, and many had to be changed to facilitate monitoring.      97. The preparation overestimated implementation capacity at the national level. The design proved ambitious with  too many activities, given MEHE capacity constraints and the political economy issues. Some of the areas had to be  rephrased for clarity during the stakeholder consultation for restructuring (See annex 6 for examples).  In addition,  there were several differences in the description of activities in the project appraisal document (PAD) and the Loan  Agreement.     Quality of Supervision  Page 34 of 70 The World Bank Second Education Development Project (P118187) 98. The  World  Bank  team  provided  intensive  implementation  support  through  regular  interaction  with  the  MEHE  team. This was facilitated by the placement of two World Bank team members in Beirut who followed up with MEHE  to ensure that any emerging issues were resolved in a timely manner.     99. The  World  Bank  was  flexible  and  proactive  during  implementation  and  restructured  the  project  three  times,  including extending the closing date twice to address the effects of the refugee crisis, allowing time for completion  of  project  activities  given  delayed  effectiveness,  and  enabling  MEHE  to  conduct  a  follow‐up  ECERS,  which  would  facilitate a comparison of results between two data points (2017 and 2018). The first restructuring also included  changes to the PDO and intermediate outcome indicators to make them more relevant, as well as activities to better  align with the theory of change but also take on board the changed country context arising from the Syrian refuge  crisis. Although the World Bank team responded to the Syrian refugee crisis, this was done with delay. While the  Syria crisis happened in 2012, the World Bank only restructured the project in 2015.    100. The  World  Bank  trained  the  M&E  staff  on  indicators,  how  they  are  defined,  how  they  align  with  the  PDOs  and  activities, and how the data should be collected and used for decision making. In addition, the World Bank team  connected  MEHE  counterparts  to  other  countries  through  case  studies,  which  brought  significant  value  to  the  program on new areas for example focusing on school level change.     101. The World Bank worked closely with the counterparts to ensure institutionalization of some key interventions. For  example, the World Bank provided support for school grants, school improvement plan model, preschool teaching  and learning materials, DOPS staff support to preschools to improve teaching quality and learning environment and  the adoption of the ECERS tool for monitoring school environment and quality of teaching in kindergarten. The World  Bank is also working with MEHE through the RACE 2 program.      102. The challenging political economy resulted in delayed implementation and late restructuring.    Justification of Overall Rating of Bank Performance    103. Overall, World Bank performance is rated Moderately Satisfactory, based on moderate shortcomings on  quality at entry and minor shortcomings on quality of supervision.      D. RISK TO DEVELOPMENT OUTCOME    104. The  risk  to  development  outcomes  is  deemed  to  be  Moderate  as  most  of  the  transition  to  the  RACE  program provides reasonable assurance about the continuity of successful interventions under the project.  Most of the activities initiated under EDP II have been carried forward, expanded or mainstreamed under  the  broader  Government  program  —  RACE  2,  which  is  supported  by  several  development  partners,  including  the  World  Bank.    However,  connectivity  issues,  access  to  computers,  absence  of  a  clear  information and communication technology strategy and vision in the education sector, and the uncertain  political situation remain key risks to the development outcomes.        Page 35 of 70 The World Bank Second Education Development Project (P118187)   V. LESSONS AND RECOMMENDATIONS  .    105. Simple and flexible project designs are better placed in fragile country contexts, particularly those with  weak implementation capacity. The original design of 2010 (prior to the Syrian crisis) was no longer viable  given  the  changes  in  the  sociopolitical  context  in  Lebanon.  The  flexibility  through  restructuring  allowed  MEHE  to  simplify  the  results  framework,  focus  on  key  priority  activities  to  achieve  outcomes,  expand  activities  that  were  working  well  (despite  contextual  challenges),  and  provide  additional  time  for  implementation,  which  was  critical  because  activities  are  more  difficult  to  implement  during  times  of  fragility.    106. Even if a project has protracted delays, maintaining engagement and continued support is important  for effective project recovery.  The experience of EDP II showed that despite delays both at start up and  during  implementation,  a  project  can  recover  and  ultimately  meet  its  objectives.  Staying  engaged  even  during the period of delays allowed the Bank to quickly resume activities, adjust interventions to meet the  new demands of the government and country and successfully deliver results    107. A strong World Bank presence on the ground, particularly in a fragile context such as Lebanon, improves  project implementation. With the advent of the Syrian crisis, MEHE’s personnel and capacity to support the  education system became strained. Thus, additional staff members in the field enabled faster and easier  communication  with  the  client  team  and  the  World  Bank  Washington‐based  task  team.  This  facilitated  swifter action from the World Bank and provided the client with timely support.    108. Planning and embedding institutionalization of activities in implementation is key to ensuring future  sustainability.  Institutionalizing  activities  to  ensure  sustainability  was  continuously  highlighted  as  a  key  feature of future success. Emphasis was placed on identifying avenues and resources to ensure that policies  and  practices  were  updated  based  on  the  achievements  and  outputs  produced  from  the  project.  For  example,  the  successful  implementation  of  a  school  improvement  program  logically  serves  as  the  foundation  for  future  policies  toward  school  improvements  and  grants,  and  thus  forms  the  basis  for  upcoming plans to expand the program.      109. Sharing results and recommendations from schools / institutional surveys, and collaborative work can  help to improve practices.  The 2017 ECERS results and recommendations were shared with schools and  DOPS staff worked with schools to incorporate recommendations in their activities, leading to significant  improvement in scores for the 2018 ECERS.  110. It  is  important  to  combine  school  principal  and  administrator  training  with  a  school  self‐evaluation,  priority  needs  assessment,  and  school  grants.  This  can  be  a  powerful  mechanism  to  instituting  major  attitude improvements in managing schools. The impact of this modest allocation of resources introduced  the  right  combination  of  school  responsibilities—cooperation  of  school  management,  self‐evaluation,  involvement of stakeholders, identification of a project, and funding for that project.    111. Combining procurements into sets of related activities can save time in the procurement process and  Page 36 of 70 The World Bank Second Education Development Project (P118187) improve  results  by  ensuring  consistency  of  approach.  For  example,  putting  activities  in  component  1  related to school rehabilitation, which included strategy needs assessment and actual works, saved time in  approving  multiple  procurements  in  an  environment  where  politics  makes  it  difficult  to  launch  bids  and  approve contracts.  Also, if the activities are combined then the procurement is not only more valuable but  also more interesting to larger firms. Finally, having the related activities implemented by one firm can help  ensure consistency of strategy and execution. This practice was not done in EDP I, and the project suffered  because of it.        .    Page 37 of 70 The World Bank Second Education Development Project (P118187) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS               A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: Improved teaching quality and the learning environment in preschools  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Improved KG learning  Percentage  3.00  0.00  60.00  44.00  environment in beneficiary  schools (as measured by an    15‐May‐2017  30‐Dec‐2016  29‐Dec‐2017  29‐Jun‐2018  improvement in ECERS scores  of 50 sample schools)    Comments (achievements against targets): This indicator is likely to be achieved. The measure of improvement was the percentage of schools  which are rated as Good or excellent using the Early Childhood Environmental Rating Scale (ECERS) measurement tool. The ECERS scores  significantly improved between the 2017 baseline survey and the 2018 follow up survey. The 2017 ECERS was undertaken just after delivery  of equipment and learning materials but before completion of most of the rehabilitation and training of teachers on use of the new materials.  ECERS 2018, taken a year later, showed significant improvement in the scores, thus indicating a possible link between project interventions  and the scores.        Objective/Outcome: Increase governance and managerial capacity in schools  Page 38 of 70 The World Bank Second Education Development Project (P118187)   Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in percentage of 300  Percentage  0.00  75.00  75.00  95.00  project schools with School  Improvement Plans approved    04‐Aug‐2015  30‐Jun‐2016  30‐Jun‐2018  29‐Jun‐2018  and under implementation    Comments (achievements against targets): Exceeded the target. While the initial target was 300 project schools, this target was increased to 440  schools. A total of 419 project schools developed a school improvement plan (SIP), received a school grant of US$7,000 per school, and are  implementing their SIPs using the grants received.        Objective/Outcome: Increase in governance and managerial capacity of the MEHE.  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Ability of the MEHE ICT  Yes/No  N  Y  Y  Y  system to host data for all  schools and Regional    04‐Aug‐2015  30‐Jun‐2016  30‐Jun‐2018  29‐Jun‐2018  Education Offices    Comments (achievements against targets): This indicator was added during restructuring. The education portal has been enhanced through new  equipment and software and the school information management information system has been extended to all public schools and regional  education offices. This system has been tested,found to be secure and operational. Following training on use of data, schools, regional offices  and MEHE have started using the system generated data for decision making.        Page 39 of 70 The World Bank Second Education Development Project (P118187) A.2 Intermediate Results Indicators        Component: Early Childhood Education  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in % of 3‐5 year‐olds  Percentage  0.00  10.00  20.00  53.00  enrolled in kindergartens in  the 230 Component 1 project    01‐Jun‐2012  30‐Jun‐2016  30‐Jun‐2018  29‐Jun‐2018  schools    Comments (achievements against targets): The target was exceeded. The increase in project schools was 53 percent compared to 37 percent in  non project schools.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of KG schools  Number  0.00  91.00  273.00  306.00  furnished and equipped    01‐Jul‐2011  30‐Jun‐2016  30‐Jun‐2018  29‐Jun‐2018    Comments (achievements against targets): Target was exceeded due to reallocation of funds to this activity to facilitate support to additional  preschools.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of KG schools  Number  0.00  110.00  153.00  163.00  Page 40 of 70 The World Bank Second Education Development Project (P118187)   rehabilitated    01‐Jul‐2011  30‐Jun‐2016  30‐Jun‐2018  29‐Jun‐2018    Comments (achievements against targets): Target was exceeded. This was due additional funds provided to the Early Childhood Education  Component through reallocation of funds between project categories.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of KG teachers in  Number  0.00  0.00  590.00  790.00  classrooms with project  supported learning materials    05‐Aug‐2015  30‐Jun‐2016  30‐Jun‐2018  20‐Jun‐2018  who are trained on  pedagogic use of new  materials    Comments (achievements against targets): Target was exceeded. This indicator was added during restructuring.        Component: Supporting Improvement in Quality of Education  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in % of the 300  Percentage  0.00  50.00  80.00  95.00  project schools  implementing the self‐   01‐Jun‐2011  30‐Jun‐2016  30‐Jun‐2018  20‐Jun‐2018  evaluation    Comments (achievements against targets): Target is likely to be achieved. The total number of project schools was increased to 441. A total of  419 schools out of 441 project schools implemented self‐evaluations before project closing. School self‐evaluation has been institutionalized  Page 41 of 70 The World Bank Second Education Development Project (P118187)   and additional schools continue to implement self‐evaluation even after project closing.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of teachers trained  Number  0.00  0.00  260.00  291.00  on the Teacher Training,  Pedagogical Counselors    05‐Aug‐2015  30‐Jun‐2016  30‐Jun‐2018  20‐Jun‐2018  Training and Psycho‐social  Counselors Training    Comments (achievements against targets): The target was exceeded. Trainers were trained to support implementation of standards.        Component: Education Sector Policy Development and Management  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Increase in cumulative  Number  4.00  0.00  43.00  55.00  number of regulations or  modifications to regulations    21‐Jun‐2013  30‐Jun‐2016  30‐Jun‐2018  20‐Jun‐2018  proposed and approved in  order to enable efficient  implementation of the ESDP‐ related reforms    Comments (achievements against targets): Target was exceeded.      Indicator Name  Unit of Measure  Baseline  Original Target  Formally Revised   Actual Achieved at  Page 42 of 70 The World Bank Second Education Development Project (P118187)   Target  Completion  Institutional Development  Yes/No  N  Y  Y  N  Plan for MEHE capacity  building developed and    05‐Aug‐2015  30‐Jun‐2018  30‐Jun‐2018  20‐Jun‐2018  approved    Comments (achievements against targets): Target achieved. This indicator was added during restructuring.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Network infrastructure  Yes/No  N  Y  Y  Y  meets standard penetration  and internet security tests    05‐Aug‐2015  30‐Jun‐2016  30‐Jun‐2018  20‐Jun‐2018    Comments (achievements against targets): Target was achieved. Security tests carried out confirm that the network meets standards. This  indicator was added during restructuring.            Note to Task Teams: End of system generated content, document is editable from here. Please delete this note when finalizing the document.           Page 43 of 70 The World Bank Second Education Development Project (P118187) B. KEY OUTPUTS BY COMPONENT        Objective/Outcome 1 Improve teaching quality and the learning environment in preschool in the Lebanese Republic  1.Improved kindergarten teaching quality and learning environment in  beneficiary schools (as measured by an improvement in ECERS scores   Outcome Indicators  of 50 sample schools) – 36%     1. 53 percent increase in 3‐5 year‐olds enrolled in kindergartens in the  230 project schools  2. 163 kindergartens schools rehabilitated   Intermediate Results Indicators  3. 306 kindergarten schools furnished and equipped  4. 790 kindergarten teachers in classrooms with project supported  learning materials who are trained on pedagogic use of new materials   1. Developed and implemented a physical development plan to  increase capacity for ECE service delivery    2. Rehabilitated 162 existing preschool facilities (including both stand‐ alone preschools and preschool sections of existing schools)  Key Outputs by Component  3. Furnished and equipped 306 preschool facilities   (linked to the achievement of the Objective/Outcome 1)  4. Adapted the ECERS to measure preschool learning environment and  eventually (after project closing) student readiness for first grade  5. Trained 790 preschool teachers    Page 44 of 70 The World Bank Second Education Development Project (P118187) Objective1/Outcome 2:  Improve teaching quality in general education  Outcome indicators  No outcome indicator defined  1. 291 trainers trained on the teacher, pedagogical counselors,  and psycho‐social counselors standards  Intermediate results indicators  2. Adoption of a competency framework for teachers, teacher  trainers, and pedagogical and psychological coaches.    1. Finalized and adopted teacher competency framework  2. Developed national professional standards for teachers,  pedagogical counselors, psychological counselors   3. Trained 291 to teacher trainers, pedagogical counselors and  psycho‐social counselors  Key Outputs by Component  4. Implemented teacher standards, school standards and other  (linked to the achievement of the Objective/Outcome 2)  professional standards implemented for all public school  teachers  5. Provided equipment         Objective2/Outcome 1: Increase governance and management capacity of schools  95 percent of 441 project schools with school improvement plans   Outcome Indicators  approved and under implementation    1. 436 project schools (145 percent of original target of 300  schools) implementing the self‐evaluation   Intermediate Results Indicators  2. Revised principal standards and self‐assessment rubrics and  all handbook and training materials  Page 45 of 70 The World Bank Second Education Development Project (P118187)    1. Trained 1,181 school level staff (318 school principals and 863  administrators and school planning committee members) in  order to introduce a school‐based development and  improvement model   2. 436 schools implemented school self‐evaluation   3. Developed school principals’ standards   4. Trained 284 principals on the principal self‐evaluation model  based on principal standards   Key Outputs by Component  5. Designed, piloted and evaluated school‐based planning,  (linked to the achievement of the Objective/Outcome 2)  development and improvement under the “Lebanon School  Improvement Network” – A fund for quality improvement at  the school level  6. Activated planning committees in public schools  7. 419 school improvement plans developed and approved  8. 419 school grants (US$7,000) provided  9. Trained 30 facilitators to support schools   10. 2 SIP evaluation reports prepared          Objective2/Outcome 2: Increase governance and management capacity of MEHE      1. Ability of the MEHE ICT system to host data for all public schools  Outcome Indicators  and regional education offices   1. Increase in cumulative number of regulations or modifications to  Intermediate results indicators  regulations proposed and approved in order to enable efficient  implementation of the ESDP ‐related reforms.  Page 46 of 70 The World Bank Second Education Development Project (P118187) 2.Institutional development plan for MEHE capacity building  developed and approved.   3. Network infrastructure meets standard penetration and internet  security tests.  1. Procured equipment for MEHE data center and disaster  recovery/backup facilities.  2. Acquired software and systems to secure data and  applications.   3. Enhanced MEHE running applications.  4. Consolidated and developed MEHE information systems.  Key Outputs by Component  5. Trained MEHE information technology staff.  (linked to the achievement of the Objective2/Outcome 2)  6. Upgraded the examinations center with new equipment  7. Updated MEHE website.   8. Development and implementation of document management  system, workflow and archiving.  9. Manual for simplification and streamlining of administrative  procedures        Page 47 of 70 The World Bank Second Education Development Project (P118187)   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION      A. TASK TEAM MEMBERS    Name  Role  Preparation  Supervision/ICR  Manal Bakur N Quota  Task Team Leader(s)  Lina Fares  Procurement Specialist(s)  Rock Jabbour  Financial Management Specialist  Emma Paulette Etori  Team Member  Pierre Joseph Kamano  Team Member  Alaa Ahmed Sarhan  Environmental Specialist  Lene Natasha Lind  Social Specialist  Shafick Hoossein  Environmental Specialist  Mirvat Haddad  Team Member  Mohamed Yassine  Team Member  Noushig Chahe Kaloustian  Social Specialist          B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY10  24.000  143,242.23  FY11  20.750  147,507.37  FY12  3.375  22,336.50  FY13  0     0.00  Total  48.13  313,086.10  Page 48 of 70 The World Bank Second Education Development Project (P118187)   Supervision/ICR  FY12  9.338  62,057.14  FY13  21.439  164,884.48  FY14  29.048  191,876.43  FY15  32.089  169,157.35  FY16  13.339  61,620.85  FY17  16.792  105,220.29  FY18  12.949  76,258.76  FY19  19.613  106,206.70  Total  154.61  937,282.00                 Page 49 of 70 The World Bank Second Education Development Project (P118187) ANNEX 3. PROJECT COST BY COMPONENT          Amount at Approval   Actual at Project  Percentage of Approval  Components  (US$M)  Closing (US$M)  (US$M)  Component 1: Early  15.7  18.70  137.45  Childhood Education    Component 2: Supporting  Improvements in Quality of  7.60  6.10  84.60  Education  Component 3: Education  Sector Policy Development  16.70  15.10  71.2  and Management  Total     40.00    39.90     99.75          Page 50 of 70 The World Bank Second Education Development Project (P118187) ANNEX 4. EFFICIENCY ANALYSIS      The efficiency analysis comprises three levels of assessment detailing (1) the impact of the expansion of  educational opportunities for refugees and the general population, (2) a unit cost analysis of expansion of  access  to  early  childhood  education  and  school‐based  development  through  enhanced  education  leadership, and (3) an analysis of project design and implementation efficiency.    Expansion of educational opportunities for refugees and the general population. At appraisal, neither a  cost‐benefit  nor  a  cost‐effectiveness  analysis  was  carried  out,  and  no  economic  rate  of  return  was  calculated  for  the  project.  Instead,  the  project  appraisal  document  (PAD)  included  a  literature  review  supporting the case for public investment in improving the quality of education:    […] various models of economic growth have attributed a positive effect of education on growth.    […] conditional on initial income levels, regional growth over the last four decades is completely  described by differences in cognitive skills (OECD 2010).18    The  PAD  also  provides  justification  for  specific  interventions  proposed  under  each  component  of  the  project. Among the interventions, the expansion of public preschool services was the most significant— both in terms of its financial cost and its potential impact. Component 1 (Early Childhood Education, ECE)  accounted for more than half of all project expenditures (US$ 21.6 million out of US$ 40 million). This was  used to furnish and equip 306 kindergarten (KG) schools, 162 of which also benefited from rehabilitated  facilities. The number of 3–5‐year‐old children enrolled in the project‐supported schools increased by 53  percent (surpassing the target of 20 percent) as a result—an increase of 6,466 children gaining access to  preschool.    As was noted in the PAD:    […] investing in early education interventions yields returns at the individual, family, societal and  economy levels. Analysis suggests that well‐targeted ECE programs cost less and produce more  dramatic and lasting results than education investments at any other level (Van der Gaag, 1998).  Heckman and Carneiro (2003) show that the rate of return to human capital investment is the  highest at the preschool level and diminishes with age thereafter. Individual benefits to ECE range  from  improved  health,  nutrition  and  socioemotional  development  to  expected  improvement  in  labor  market  outcomes  and  income.  Beyond  individual  benefits,  investment  in  ECE  may  have  implications,  including:  cost  savings  due  to  decreased  repetition  rates  and  less  spending  on  remedial classes as a result of improved school readiness, better student achievements at later  stages  due  to  stronger  cognitive  skills  and  abilities,  increased  participation  of  mothers  in  the  workforce  as  a  result  of  children  going  to  school  at  a  younger  age,  and  anticipated  improved  productivity at the level of the economy.19     18 PAD, p. 75.  19 PAD, p. 77.  Page 51 of 70 The World Bank Second Education Development Project (P118187) The expansion of access to preschool under the project benefited the general population, as well as the  population of Syrian refugees. As of the 2017–18 academic year, approximately 210,000 Syrian children  were enrolled in public schools in Lebanon, three‐quarters of them studying in second shifts. Of these,  16,699 Syrians were enrolled in public preschools, including those expanded under the project. In total,  an  estimated  2,000–3,000  Syrian  refugees  were  enrolled  in  project  schools,  often  studying  during  the  second shift and benefiting from the same rehabilitated classrooms and learning materials and furniture  procured under the project. The expansion of educational opportunities for refugee children hosted in  Lebanon was an additional benefit that was not envisioned during project preparation.    Unit cost analysis. The expansion of preschool enrollment was achieved at a lower average cost per child  than  was  anticipated  at  appraisal.  The  unit  cost  to  the  project  of  enrolling  an  additional  child  in  kindergarten  is  estimated  at  US$3,335,  which  is  37  percent  lower  than  the  US$5,333  anticipated  at  appraisal (see table 5). Moreover, more than twice as many additional children were able to benefit from  preschool enrollment than the initial target of 2,944, in addition to many Syrian refugees. However, the  average cost per school of rehabilitating, furnishing, and equipping ECE facilities was 23 percent higher  than anticipated at appraisal. This was largely due to the cost increase of approximately US$5.1 million in  the  rehabilitation  of  162  KG  schools  (over  the  initial  estimate  of  US$9.0  million).  Nevertheless,  the  achievement of more than double of the planned increase in KG enrollment at a cost that was 37 percent  above the initial estimate reveals that component 1 interventions were highly efficient.    Among  the  other  project  interventions  outside  of  component  1,  only  those  under  subcomponent  2.1  (School‐based Development through Enhanced Education Leadership) lend themselves to straightforward  unit  cost  analysis.20  Under  this  subcomponent,  419  schools  have  prepared,  received  approval  for,  and  begun  implementing  a  school  improvement  plan,  surpassing  the  initial  target  of  300  schools.  This  intervention was funded with US$6.2 million of project funds, exceeding the US$5.2 million estimated at  appraisal. (The strong demand for the school grants program, which was at the core of this intervention,  led to an additional US$1 million being allocated to subcomponent 2.2 during the May 2017 restructuring.)  The  average  cost  per  school  of  the  interventions  financed  under  this  subcomponent  amounted  to  US$14,746, which was 15 percent lower than the US$17,333 estimated at appraisal (see table A1). This  leads to the conclusion that the school grants program and subcomponent 2.2 was generally efficient in  achieving higher levels of coverage at a lower unit cost than was initially planned.    Analysis  of  project  design  and  implementation  efficiency.  Various  aspects  of  project  design  and  implementation affect the efficiency rating of the project.     Effectiveness and implementation delays. The amount of time elapsed between project approval  and  effectiveness  (2  years)  was  substantially  longer  than  anticipated  at  appraisal.  The  pace  of  disbursement  during  the  first  4  fiscal  years  of  the  project  was  also  substantially  slower  than  anticipated, leading to 2 extensions of the project closing date by a total of 18 months. However,  starting in FY17 the pace of project implementation accelerated with nearly 80 percent of project  funds (US$31.67 million) being disbursed over the course of two fiscal years (see table A3). This  ramp‐up in implementation allowed the project to achieve many of its expected outcomes during  this time (as discussed below). Thus, the temporal inefficiency in project implementation caused  20 Additional interventions funded by the project either do not have quantitative indicators associated with them in the project  results framework or cannot have project costs easily attributed to them.  Page 52 of 70 The World Bank Second Education Development Project (P118187) by the delays during its first four fiscal years did not have a lasting effect on the project’s ability  to achieve results. The timely project restructurings (which included closing date extensions and  revisions  of  the  results  framework)  allowed  it  to  perform  efficiently  during  the  last  two  fiscal  years.    Table A3. Projected and Actual Disbursements, by Fiscal Year (US$M)    FY12  FY13  FY14  FY15  FY16  FY17  FY18  FY19  Projected at Appraisal  Annual  2.20  7.20  10.40  11.10  6.70  2.40      Cumulative  2.20  9.40  19.80  30.90  37.60  40.00      Actual  Annual  0.00  0.83  0.73  2.91  3.14  18.69  12.98  0.70  Cumulative  0.00  0.83  1.56  4.47  7.62  26.31  39.28  39.98     Administrative costs. Due to the extensions of the project closing date, the administrative costs  of project supervision to the World Bank likely increased. In total, the period spanning project  preparation  and  supervision  extended  over  10  fiscal  years,  2  more  than  originally  planned.  Approximately US$138,000 in additional administrative costs to the World Bank were incurred  after the original project closing date of December 31, 2016. However, given that 65 percent of  project funds were disbursed after this date, the additional administrative costs can be considered  justified. The administrative costs of the borrower and implementing agency likely also increased  as a result.     Actual  versus  projected  component  costs.  Although  the  overall  cost  of  the  project  remained  constant during its period of implementation, important changes were made to the cost of its  three  components.  Component  1  (Early  Childhood  Education)  increased  in  cost  by  US$5.9  million—from US$15.7 million estimated at appraisal to US$21.6 million disbursed. Meanwhile,  the cost of component 2 (Supporting Improvements in Quality of Education) decreased by US$  1.2 million—from US$7.6 million to US$ 6.4 million—while the cost of component 3 (Education  Sector  Policy  Development  and  Management)  decreased  by  US$4.9  million—from  US$16.7  million21 to US$11.8 million. Given that the project achieved or exceeded the targets for most  indicators in its revised results framework (as discussed below), the reallocation of funds across  components did not significantly affect project efficiency. The fact that US$1 million in savings  from the project components was reallocated to the school grants program in May 2017 supports  the  conclusion  that  project  funds  were  used  efficiently  to  maximize  the  impact  of  supported  activities regardless of project component.     Achievement of expected outcomes.  As described elsewhere in this Implementation Completion  and Results Report (ICR), the project achieved or exceeded the targets for most indicators in its  revised results framework. Among the targets that were exceeded under this project were: 92  percent of schools with approved School Improvement Plans (versus a target of 40 percent); 53  percent  increase  in  the  number  of  3–5  year‐olds  enrolled  in  kindergarten  in  project  schools  21 The planned amount for Component 3, as well as the planned total project cost listed above, do not include the US$ 2.6  million in borrower contributions anticipated at appraisal.  Page 53 of 70 The World Bank Second Education Development Project (P118187) (versus  20  percent);  163  kindergarten  schools  rehabilitated  (versus  153);  790  kindergarten  teachers in classrooms with project supported learning materials (versus 590); and 291 teachers  trained on new competencies (versus 260). Most other indicators were achieved in full, due in  part  to  the  proactive  restructurings  of  the  project  and  the  timely  revisions  of  the  results  framework aimed at increasing its relevance and efficiency.    Based on the findings described above, project efficiency is rated as Substantial.                        Page 54 of 70 The World Bank Second Education Development Project (P118187) ANNEX 5. BORROWER COMMENTS      1. STRATEGIC CONTEXT AND RATIONALE  1.1 Country and sector issues     Lebanon is a small middle‐income country with an open economy, a population of 4.2 million, a Diaspora  of 9 million, and an average GDP per capita of US$6,500 in 2008.  The country is highly urbanized with  more  than  85  percent  of  the  population  living  in  cities.  Population  growth  peaked  during  the  1970s  followed by a sharp decline during the 1990s. The size of the working age population (15 to 64 years)  represented 66 percent of the total population. Nearly 28 percent of the Lebanese population (1 million  Lebanese)  is  considered  to  live  on  less  than  US$4/day,  and  a  total  of  8  percent  (300,000  Lebanese)  is  considered  to be extremely poor, living on less than  US$2.40/day.  Regional disparities are particularly  acute in Lebanon. The absence of a regionally‐balanced development strategy, as well as differences in  educational attainment and human capital, has created uneven living standards across regions.     The Lebanese economy is a service‐oriented economy that has a long‐standing and strong proactive  commercial  tradition.  Although  it  is  the  most  private  sector‐led  economy  in  the  region,  and  highly  connected to the region’s economies (especially to the Gulf oil‐producing countries) for exports, in both  capital and labor, it remains extremely vulnerable to domestic and regional politics and civil unrest. The  potential for growth remains in the service sectors of banking, tourism, education, health and real‐estate  activities. Two economic sectors, services and trade, account for 57 percent of GDP and 60 percent of  total employment and were practically the only sectors absorbing more employment during the past 10  years, while overall job creation was negligible. The unemployment rate is estimated at 8 percent, and is  particularly acute among Lebanese youth. Youth unemployment in Lebanon is estimated to be as high as  the average for the Arab region (roughly 26 percent), one of the highest in the world. Young women have  been far more adversely affected than young men.      Lebanon is on track with respect to the Millennium Development Goals (MDGs) for achieving universal  primary  education,  promoting  gender  equality  and  empowering  women,  and  improving  health  outcomes.22 Lebanon ranks 78 out of 177 countries with respect to the UNDP Human Development Index.   Progress made in the education system since the end of the war in 1991 has been commendable:  Female  literacy has been on the rise and is 86 percent, compared to a regional average of 61 percent (2007).23  Health  outcomes  have  also  been  increasing  and  approaching  the  level  of  comparable  upper  middle‐ income  countries.  The  MDGs  on  environmental  sustainability  and  developing  a  global  partnership  for  development require further monitoring and Government attention in order to ensure achievement.      The education sector in Lebanon is overseen by the Ministry of Education and Higher Education (MEHE),  and  provision  is  predominantly  private.  Private  provision  and  financing  of  general  education24  is  22 http://www.mdgmonitor.org/factsheets_00.cfm?c=LBN  23 UNESCO Institute of Statistics   24  General Education consists of pre‐primary, elementary (cycle 1, 2 for 6‐12‐year old students, intermediate (cycle 3, for 13‐15  year‐old students), and secondary levels (for 16‐18 year‐old students).   Page 55 of 70 The World Bank Second Education Development Project (P118187) widespread and offered by private subsidized and non‐subsidized schools. Non‐subsidized private schools  enroll 53 percent of the total number of primary and secondary students, and subsidized private schools  enroll 14 percent. This leaves 33 percent of students enrolled in the public schools, a share that has been  decreasing in the last decade. As for Vocational and Technical Education (VTE), it is offered by around 85  public schools and over 360 private providers.  Higher education is offered at the Lebanese University,  and another  37 private  universities.25 Only around 30 percent of spending on education in Lebanon is  channeled through the MEHE.      While total education spending in Lebanon currently exceeds 13 percent of GDP, public expenditure on  education amounts to just 2 percent of GDP and 8 percent of total government expenditure. The overall  structure  of  education  sector  financing  is  complex,  characterized  by  direct  support  to  public  schools;  subsidies to certain types of private schools, which amount to around 10 percent of the recurrent budget  spent on primary and secondary education; and education grants and other payments to public sector  employees with school‐aged children. By 2004, it was estimated that US$150 million is paid in education  subsidies to public sector employees annually, and that 89 percent of these funds is subsequently spent  in school fees for children who are enrolled in the private sector. At the public school level, non‐salary  recurrent expenditures are financed by school funds received from parental or community contributions,  which  makes  the  amount  of  resources  available  at  the  school  level  highly  unpredictable  and  entirely  dependent upon the level of income of the community, thus contributing to disparities among schools. In  the  absence  of  mechanisms  and  policies  to  directly  subsidize  poor  households  or  schools  in  poor  communities, the current funding regime can be highly inequitable.      Despite satisfactory enrollment rates at the pre‐tertiary levels, internal efficiency and quality are low,  and  the  public/private  gap  is  very  pronounced.  While  secondary  school  gross  enrollment  rates  (81.6  percent in 2008) are 14 points above the regional average,26 there are problems at the basic education  level,  particularly  in  the  upper  grades:    Net  enrollment  rates  are  88  percent  at  the  primary  level  and  decline to 74 percent at the lower secondary level. The highest drop‐out and repetition rates are at the  7th Grade (10 percent drop‐out rate and 15 percent repetition) and the 9th grade (20 percent drop‐out and  9 percent repetition).27  The percentage of over‐age students at the secondary level reaches 60 percent  in the public sector compared to 23 percent in the private sector. Inefficiencies have resulted in a system  which is considered costly for what it achieves:  A 2004 study shows that it takes an average of 22.7 years28  of investment and a total of US$33,500 to produce one grade 9 completer. The observed gap in quality  and  efficiency  between  public  and  private  education  may  significantly  lead  to  the  decreasing  share  of  enrolment in public education.     Although still below TIMSS international benchmarks, the quality of education outcomes in Lebanon is  improving. Between the 2003 and the 2007 TIMSS, a 5 percent improvement in Science and a 4 percent  improvement  in  Math  scores  of  8th  graders  were  achieved.  Learning  outcomes  in  those  subjects  also  improved  as  more  students  in  2007  reached  the  advanced  international  benchmarks.  Analysis  of  the  25 ECRD Statistics   26 UNESCO Institute of Statistics  27 Calculations based on ECRD administrative data for schools’ years 2006/07 and 2007/08  28 Helsinki. Given the reported promotion and repetition rates by grade, in school year 2004/05, 35.9 out of 100 students entering  grade 1 would complete grade 9 in 11 years, the total sum of investment years for the 100 students would be 814.5, and thus the  number of investment years required to produce a Grade 9 completer is 22.7 (814.5/35.9).   Page 56 of 70 The World Bank Second Education Development Project (P118187) results revealed that student performance in private schools was on average superior to public schools,  controlling  for  other  factors.  The  gap  was  wider  in  mathematics,  where  this  factor  was  attributed  the  highest effect size on student performance. The gap in performance between public and private students  is also reflected in the success rates of national Brevet exams (for 9th graders), with a 74 percent success  rate for private school students, and just 55 percent for public school students.      The oversupply and misallocation of teaching and administrative staff is acute in Lebanon, especially in  the public sector. During the past three decades, the number of teachers has increased by 111 percent,  while  the  number  of  students  increased  by  less  than  25  percent.    Pupil/teacher  ratios  are  among  the  lowest in the region: 17:1 at the basic education level (primary) and 8:1 at the secondary level. Overall,  the pupil/teacher ratio in public schools (7:7) is lower than that in private schools (11:5).  The growing  enrolment share of private schools partly explains this gap; teacher deployment and utilization policies in  the  public  sector  account  for  the  rest  of  it.    Salaries  and  wages  constitute  87  percent  of  MEHE’s  total  spending and the average human resource expenditure per student is estimated to be US$1,000.      Although  there  is  an  oversupply  of  teachers,  the  teaching  force  is  under  qualified  and  there  are  shortages  of  teachers  in  certain  subjects  and  in  certain  regions.  The  share  of  uncertified  contract  teachers (22 percent) in primary and secondary education has increased while the average age of teachers  also continues to increase. Only 4.2 percent of public school teachers hold a specialized degree and more  than half have less than a university‐level qualification. There is little or no in‐service training offered to  new teachers, and the quality standards for hiring of new teachers are very weak. Moreover, the public  education  system  still  lacks  a  performance‐based  incentive  system  and  an  effective  mechanism  for  evaluating and upgrading the performance of the teaching staff.      Enrolment in VTE has been increasing, and is expected to grow further, but the system is considered to  have few links to labor market needs.  The major portion (90 percent) of the budget for public VTE schools  is financed directly from the Government’s budget. In contrast to the trend in General Education, public  VTE students tend to outperform private VTE students in national exams. There is a general consensus  that  examinations  in  vocational  streams  tend  to  be  biased  towards  academic  knowledge  and  do  not  provide an adequate assessment of practical skills and employability. The majority of training providers,  both public sector and non‐government training institutions, are seen to be predominantly supply‐led and  unresponsive to the demands of the modern labor market.29     There is abundant financing for higher education in Lebanon, and the tertiary gross enrollment rate has  been on the rise (49 percent); however, the system is severely segmented. This rise in enrollment rates  is mostly attributed to the increase in the number of students enrolled in private universities, taking place  at the expense of the extreme segmentation within the tertiary education system: World‐class high quality  private universities are serving the elite; an oversized and underfunded public university compromises  almost half the university student population and is operating with a trade‐off between quality on one  hand and access and affordability on the other. At the same time, a large and increasing number of second  class private universities is receiving licensing by MEHE in the absence of rigorous quality assurance and  accreditation mechanisms.     29 Vocational and technical education in Lebanon: Strategic issues and challenges, Gibran Karam Page 57 of 70 The World Bank Second Education Development Project (P118187)  The rates of return for additional years of schooling are considered low domestically, but of higher value  when  considering  expectations  to  migrate.30  The  young  and  most  educated  workers  are  the  most  affected in  terms of unemployment.  The  unemployment rate for university  degree  holders, which  has  been  escalating,  was  11.1  percent  in  2007  and  is  the  highest  compared  to  other  groups.  Even  the  unemployment rate for secondary school graduates was higher than the national average.31 In addition,  there seems to be an excessive number of over‐educated people in low‐paying jobs domestically.     Rationale for Bank involvement     Within five years, the Government of Lebanon (GOL) embarked on a second phase of education sector  reform based on the Education Sector Development Plan, with a focus on “quality learning for growth”  at the preschool, primary and secondary education levels. Essentially, this Plan aimed at modernizing the  public education sector in Lebanon, thus leveling the playing field between the private and public sectors,  and building the capacity of the MEHE to effectively manage the whole education system and making  evidence‐based policy decisions. The GOL has requested the World Bank to support this Education Sector  Development Plan with this objective, both financially and technically.      On December 31, 2009, the first Education Development Project (EDP, Ln. 7010) closed after a nine‐year  implementation period. EDP succeeded in building a solid consensus around the education strategy and  in creating the institutional capacity and knowledge base to implement long‐term education reforms.  The  proposed project builds on those achievements, consolidating and continuing the ongoing reforms, while  at  the  same  time  extending  the  agenda  to  incorporate  ECD/preschool,  teacher  policies,  and  open  the  dialogue  in  the  higher  education  sector  (through  the  work  on  establishing  a  National  Qualifications  Framework).     After 10 years of involvement in the education sector, the World Bank has become a trusted partner for  the  Government  and  is  now  playing  a  leading  role  within  the  international  donor  community  in  its  support to the sector. The Bank´s role has been particularly crucial in recent years because of its support– technical  and  financial–to  the  process  of  creating  the  Education  Sector  Development  Plan  and  its  operationalization, both financed by EDP. With a new Government ready to take up all these ambitious  reforms, there is a strong rationale for the Bank to increase its commitment to education in Lebanon.      The World Bank support to education in Lebanon adopted a sector approach, the key elements of which  are the existence of: (i) a MEHE sector‐wide strategy (from early childhood education to higher education);  (ii)  a  medium‐term  financing  framework;  and  (iii)  a  country‐led  partnership  and  systematic  donor  coordination. The project financed a slice of the overall sector development strategy, taking into account  areas  which  the  Bank  considers  priorities,  as  well  as  gaps  left  unfunded  by  other  donors  and/or  government resources.      The project is fully in line with the goals of the forthcoming Country Partnership Strategy (CPS).  In the  forthcoming CPS, education is identified as one of five sectors seen as sources of growth and job creation  for the Lebanese economy, which will require an education system for which planning and production are  30 Financing Higher Education in Lebanon, Charbel Nahass  31 Central Bureau of Statistics  Page 58 of 70 The World Bank Second Education Development Project (P118187) correlated to the demand for skills in the domestic and global markets. Moreover, as stated in the CPS  strategic objectives and principles of engagement, the proposed project is demand‐driven, focusing on  areas considered consistent with Lebanon´s development priorities.     Higher level objectives to which the project contributes     Within the education sector, the project is in line with the 2007 National Education Strategy developed  into the Education Sector Development Plan completed in 2009 and endorsed by the Cabinet of Ministers  in April 2010. In 2006, the Lebanese Association for Educational Studies (LAES) was contracted by MEHE  to develop a national education sector strategy. Following an extensive process of situational analysis and  consultation  with  all  stakeholders,  summary  workshops  were  convened  to  present  conclusions  and  recommendations. Based on these, an Education Sector Development Plan was submitted to MEHE in  January 2007. After another consultation process with all major political parties in Lebanon, the Plan was  endorsed  by  the  Cabinet  of  Ministers  in  April  of  2010.  The  document  is  comprehensive  in  nature  and  includes vision and mission statements for MEHE, followed by detailed strategies and objectives for sector  development under the following themes: (i) education available on the basis of equal opportunity; (ii)  quality  education  that  contributes  to  building  a  knowledge  society;  (iii)  education  that  contributes  to  social integration; and (iv) education that contributes to economic development.     Specifically, the Ministerial Declaration, approved by Parliament on December 10, 2009, included the  following objectives with respect to the education sector: (i) adopt scientific criteria and an employment  and  incentives  policy  within  a  unified  national  qualifications  framework;  (ii)  implement  compulsory  education until the age of 15 and encourage attendance in kindergarten, especially in the neediest areas;  (iii)  establish  principles  of  school  support  in  order  to  minimize  drop‐out;  (iv)  ensure  the  availability  of  required material (information technology, sports equipment, arts, etc.) in all public schools; (v) develop  the  Lebanese  University;  and  (vi)  evaluate  and  classify  universities  to  ensure  the  quality  of  higher  education in Lebanon.   PROJECT COMPONENTS  Component 1: Early Childhood Education (US$15.7 million, all of which financed from the loan)   outline and implement a physical development plan that aims at increasing capacity for ECE  service delivery in identified disadvantaged areas;    rehabilitate  110  existing  preschool  facilities  (including  both  stand‐alone  preschools  and  preschool sections in existing schools);    furnish and equip32 the upgraded preschool facilities;    provide furniture and equipment for an additional 91 preschools (not being rehabilitated),    design new teaching and learning materials for three levels of preschool based on the new  kindergarten curriculum and current cycle one curriculum, and evaluate their use after two  academic years;   train  preschool  teacher  trainers  and  teachers  for  ECE  in  accordance  with  agreed  national  standards;    evaluate the implementation of a Child‐at‐risk Detection Program and a Parent Involvement  Program (these programs themselves are financed by UNICEF); and   32 Equipment includes toys, games, puzzles, magnets, scales, paintbrushes, stencils, small musical instruments  Page 59 of 70 The World Bank Second Education Development Project (P118187)  adapt  the  Early  Development  Instrument33  (EDI)  to  measure  the  preschool  learning  environment and eventually (after the project closing) student readiness for first grade.  Component 2:  Supporting Improvements in Quality of Education  (US$7.6 million, all of which financed  from the loan)  2.1 Subcomponent 2.1: School‐based Development through enhanced Education Leadership  (US$5.2  million)   training of school principals and of school council members in order to introduce a school‐ based development and improvement model;   piloting  a  system  of  school  self‐evaluation  or  school‐based  review  as  the  first  step  in  developing school improvement/development plans;    Designing,  piloting  and  evaluating  a  program  of  school‐based  planning,  development  and  improvement, under the name of “Lebanon School Improvement Network”. A fund for quality  improvement  at  the  school  level  in  priority  areas  will  be  made  available  to  participating  schools through a contract‐based program managed by MEHE at the central level; and    Establishing regulations and procedures to accredit new private schools.    2.2 Subcomponent 2.2: Teacher Professional Development (US$2.4 million total cost)   initiate a process to establish National Teacher Professional Standards based on the following  domains of education policy in Lebanon: Academic and Pedagogical Knowledge; Instructional  Planning and Implementation, Learning Assessment; and Self Development and Professional  Ethics;    develop a standardized pre‐service training model to be implemented before recruitment as  well as a standardized induction program for newly recruited teachers;    develop  and  implement  a  comprehensive  teacher  continuous  professional  development  model  (in‐service  teacher  professional  development  program  and  other  types  of  CPD),  integrated into the school development program supported by subcomponent 2.1;    conduct a review of the existing teacher utilization and career model; and   develop a new model and introduce an appropriate associated incentive scheme.     Component 3:  Education  Sector  Policy Development and  Management  (US$19.3 million  total  cost, of  which US$16.7 million will be financed from the loan)      Subcomponent  3.1:  Institutional  Capacity  Development  and  Efficiency  (US$5.6  million  total  cost,  of  which US$5.2 million will be financed from the loan)    Subcomponent 3.2: Information for Planning  (US$6.2 million total cost, all of which financed from the  loan)    Subcomponent 3.3: Sector Development Management, and Monitoring and Evaluation (US$7.5 million  total cost, of which US$5.3 million will be financed from the loan)  33 EDI measures children’s readiness to learn at school in five general domains: physical health and well‐being; social knowledge  and competence; emotional health/maturity; language and cognitive development; and general knowledge and communication  skills. It has been adapted and used in many countries, often with World Bank support, including Kosovo, Indonesia and Jordan.  Page 60 of 70 The World Bank Second Education Development Project (P118187)     PROJECT CHANGES  US$  Original amounts  Restructured amounts  Difference  Comp 1 total  15,700,000  18,745,971  ‐3,045,971  1.1     18,313,571     1.2     432,400                   Comp 2 total  7,600,000  6,112,899  1,487,101              2.1  5,200,000  4,912,899  287,101  2.2  2,400,000  1,200,000  1,200,000              Comp 3 total  16,700,000  15,041,130  1,658,870              3.1  5,200,000  2,498,130  2,701,870  3.2  6,200,000  6,228,000  ‐28,000  3.3  5,300,000  6,315,000  ‐1,015,000  40,000,000  39,900,000  100,000  TOTAL  Includes front end  Not including front end  Front end fee  fee  fee            Clear  implementation  momentum  emerged  upon  project  restructuring  in  the  general  education  sub‐ sector. However, several attempts to start implementation of activities (incorporated upon restructuring)  demonstrated that institutional weaknesses and lack of decision‐making. Following recommendations of  the  Bank  the  Government  and  the  Bank  agreed  to  cancel  some  activities  under  the  project  and  the  corresponding loan amounts.        II. KEY FACTORS AFFECTING IMPLEMENTATION AND OUTCOMES  Page 61 of 70 The World Bank Second Education Development Project (P118187) Lebanon is well known for its rich human capital base and has demonstrated its ability to mobilize financial  resources when needed to realize its development potential. However, Lebanon continues to suffer from  the impact of old and new, security and political, external and internal conflicts long after the civil war  officially  ended  in  1990.  The  social,  political,  and  security  environment  that  prevailed  all  through  EDP  preparation and implementation was effectively one of conflict and/or post conflict even though Lebanon  is not officially classified by the Bank as such for operational purposes. Protracted and repeated conflicts  in the country established an environment of sustained fragility in the sense that institutions could not  adhere to a systematic decision making process shielded from political and private interests. Furthermore,  the  political  dynamic  of  the  country  continued  to  get  increasingly  complicated  which  exacerbated  a  prevailing  sense  of  security,  social,  and  economic  instability.  This  is  the  context  within  which  implementation effort and outcomes should be viewed and assessed.    2.1 IMPLEMENTATION  A. Partnership arrangements     There  are  no  co‐financing  arrangements  for  the  Project.  MEHE  coordinated  with  other  donors  and  partners. In Component 1, funding the evaluation of the parent involvement and Child‐at‐risk Detection  Programs (designed and financed entirely by UNICEF and implemented by DOPS), MEHE involved UNICEF  in implementation, mainly through the use of these programs for parental awareness on ECE and ECD  and for the training of DOPS staff for the early screening program of children at risk. UNICEF financed  two activities represented in the MEHE‐ESDS Working Group which is leading Component 1.    Component 2 has very clear linkages with the Anti‐Drop‐Out and the Citizenship Education programs that  the EU supported in the context of the ESDP. There has been close coordination during the preparation  phase and the implementation phase.     B. Institutional and implementation arrangements     MEHE was the project implementing agency overseeing the implementation of all activities of EDP II.  Project oversight was through the Executive Steering Committee (ESC), and day‐to‐day coordination  of project activities undertaken by the ESDS. The ESC provided overall policy direction and advice,  chaired by the Minister of Education and Higher Education, and composed of the Director General of  General  Education,  the  President  of  the  ECRD,  and  the  Director  of  the  ESDS.  The  ESDS  was  the  Secretariat  of  the  ESC.  The  ESDS  coordinated  project  implementation  on  a  day‐to‐day  basis,  and  provided regular reports to the Executive Council of MEHE. The ESDS worked with and coordinated  on  a  regular  basis  with  the  concerned  departments  and  units  of  MEHE  and  the  ECRD  to  ensure  effective implementation of EDP II activities. The ESDS is led by a Director and is composed of three  teams:  (1)  Senior  Experts  Team;  (2)  Technical  Support  Team;  and  (3)  Management  Support  Team.  ESDS handled all procurement activities for the project and managed the Designated Account (DA).     C. MONITORING AND EVALUATION  Page 62 of 70 The World Bank Second Education Development Project (P118187) The project supported a number of activities to ensure the effective monitoring and evaluation of project  outputs and outcomes, and in some key areas the impact of the interventions. The focus was on the  following  general  areas:  (a)  clarification  and  institutionalization  of  M&E  functions  and  structures;  (b)  conduct of M&E activities/studies that inform EDP II implementation and provide evidence of impact on  learning;  and  (c)  capacity  building  of  staff.  While  EDP  had  undertaken  good  monitoring  of  project  activities and their implementation, there was no systematic evaluation or linkages to implementation  and  policy.  EDP  II  focused  on  institutionalizing  these  activities  in  order  to  provide  a  more  effective  structure  for  carrying  out  M&E  focused  on  ensuring  program  delivery  and  timely  feedback  to  stakeholders,  and  the  translation  of  data  into  information  for  MEHE  policy  and  planning.  Activities  included: (i) the identification of appropriate internal M&E structures, functions, operational processes,  and linkages to central and field directorates; (ii) development of an internal M&E Framework, guidelines  and  manuals,  and  the  delivery  of  related  training/capacity  building;  and  (iii)  the  development  and  implementation  of  a  monitoring,  evaluation,  and  reporting  system  of  student  performance  against  desired learning goals.     The  project  financed  TA,  capacity  building,  and  specific  training  (including  workshops)  to  assist  with  designing  the  overall  M&E  framework  for  the  project.  The  framework  was  grounded  in  the  Results  Framework as well as in the model underpinning the program design. It encompassed the needed M&E  activities;  outline  the  key  M&E  questions  to  be  addressed,  data  to  be  gathered  and  analyses  to  be  conducted; provided strategies for reporting and use of results; and suggested appropriate evaluation  models and designs. The framework allowed timely feedback so that corrective measures may be taken  during program implementation.       D.  SAFEGUARD AND FIDUCIARY COMPLIANCE  Safeguards compliance was satisfactory during implementation. There were no significant environmental  or social safeguards issues reported in project Aide Memoires. Procurement and Financial Management  generally posed no significant risks during implementation.  Adequate attention was given to capacity building in the fiduciary domain during implementation, and  arising issues were addressed with effective assistance from the Bank. Procurement rules were simplified  at the time of restructuring to facilitate selection of consultants and provision of training, procurement  followed  World  Bank  rules.  Financial  Management  of  the  project  was  also  simplified  in  the  early  implementation  stages  based  on  observed  implementation  capacity,  and  continued  to  be  satisfactory  during implementation. Internal controls were reported to be adequate.  E. POST‐COMPLETION OPERATION/NEXT PHASE  1. Towards the end of the project, the MEHE asked the Bank to identify resources for a program of  transitional support to EDP in order to maintain implementation momentum. Transition arrangements  were in place.  2. ICR discussions with Ministry officials and PMU staff, stakeholders, and Bank staff after project  closing confirm that EDP2 outputs are being utilized.   Page 63 of 70 The World Bank Second Education Development Project (P118187) III. ASSESSMENT OF OUTCOMES  Project implementation continued to improve and progress at a speedy pace. As of November 21, 2017,  project disbursement reached US$33 million, which is equivalent to 83 percent of total project funds and  represents a 35 percent increase in disbursement since February 2017. The targets for two of the three  project development objectives (number of schools with school improvement plans and the ability of the  Ministry to store data from schools), plus seven of the nine intermediate outcome indicators have been  achieved and in some cases surpassed. The project rating is Moderately Satisfactory (MS), which has been  maintained since August 2016. The progress by component is summarized below:  (a) Component 1 ‐ Early Childhood Education (ECE): Rehabilitation of 140 kindergarten (KG) schools was  completed  and  acceptance  of  works  completed  by  December  31,  2017.  An  evaluation  of  the  school  environment  was  conducted  and  completed  in  May  2017;  however,  results  from  the  Early  Childhood  Environment  Rating  Scale  (ECERS)  did  not  demonstrate  improvement  in  the  school  environment.  The  assessment outcomes are the result of external factors, including: (1) the use of a new instrument with  items that are not comparable with the items included in the 2015 baseline instrument; and, (2) delays in  the rehabilitation and delivery of new school materials, thus affording limited time for teachers to become  familiarized with the new materials and space.   (b) Component 2 – Supporting Improvements in the Quality of Education: All activities under the school  leadership  professional  development  program  and  the  school  principal  self‐assessment  have  been  completed. Within the School Improvement Program, three cohorts, equaling a total of 300 schools, have  developed, submitted and implemented their School Improvement Plans (SIPs) using the project grants  of  US$7,000  per  school.  Given  the  success  of  this  component,  the  Ministry  team  decided  to  include  a  fourth cohort of 141 schools that have thus far completed all trainings, received approval for their SIPs  and  received,  the  school  grant  to  commence  implementation.  Within  Component  2.2,  Teacher  Professional  Development,  the  Ministry  successfully  approved  and  launched  the  Teacher  Competency  Framework  in  November  2017.  Competency  standards  for  teachers,  teacher  trainers,  pedagogical  counselors, and psychosocial counselors are included and a total of 291 professionals have been trained  on  the  standards  and  evaluation  tools  developed  within  the  Framework.  Further  training  will  be  conducted by the Ministry of Education and Higher Education (MEHE) through a cascade model.   (c)  Component  3  ‐  Education  Sector  Policy  Development  and  Management:  The  School  Information  Management System (SIMS) was rolled out across all public schools, and the first data reports from SIMS  were developed for internal use by the Ministry. Within this Component, the examinations department  was upgraded with new hardware, software, and infrastructure to streamline the national examinations  scoring process, introducing both time and cost savings to the process.  3.1 RELEVANCE OF OBJECTIVES, DESIGN AND IMPLEMENTATION  Project objectives remain very relevant to the development priorities of the country. The objective is to  help Lebanon build its public institutions to transition out of its current macroeconomic imbalances, to  address the social and environmental implications of the transition in an equitable fashion, and to lay the  foundations for job creation and growth. The project mainly focused on institutional development in a  sector that was known for its weak institutional capacity ‐ as reported in the PAD.  Human  capital  development  was  one  of  the  pillars.  The  project  directly  supported  this  pillar  by  Page 64 of 70 The World Bank Second Education Development Project (P118187) strengthening capacity, both at the Ministry and school level, to enhance the quality of public education  services in the country. The project also enhanced access to education in targeted areas. Furthermore,  project analytical outputs were utilized by the authorities to prepare a set of priority measures and actions  to be taken in the education sector.  The country continued to be in a fragile and uncertain environment that limited the ability of institutions  to develop and function properly. The focus of the restructured project on providing assistance to prepare  the  needed  tools  and  instruments  for  sector  policy  formulation  and  implementation  proved  to  be  necessary and adequate given local institutional capacity to prepare for sector reforms.  3.2 JUSTIFICATION OF OVERALL OUTCOME RATINGS Rating:  Satisfactory    3.3 OVERALL THEMES, OTHER OUTCOMES AND IMPACTS  (a) Poverty Impacts, Gender Aspects, and Social Development  This project aimed at preparing for sector reforms that would eventually improve learning achievement  for students in public schools ‐ who are traditionally from lower income families ‐ so that they could better  capitalize on available job opportunities. In addition, the school construction component directly targeted  areas of higher demand for public schools when parents in those areas were not able to afford private  tuition due to deteriorating economic conditions. There were no direct gender activities under the project;  the PAD reported that gender disparities in the education sector were low at all levels.  (b) Institutional Change/Strengthening  The  EDP2  achieved  some  critical  results  in  this  domain  given  the  continuously  fragile  and  uncertain  environment in the country which hinders the ability of institutions to function properly:  (a) Development  of  policy  and  planning  capacity  within  MEHE:  IT  capacity  during  EDP2  implementation, evolved and was institutionalized within MEHE.   (b) Development of leadership at the school level: This program was delivered with good impact on  student achievement and school management, and prepared over‐achieving Principals to guide  and  assist  others.  This  is  especially  important  in  a  fragile  environment  like  Lebanon’s  where  officials  at  the  school  level  would  be  called  upon  to  exercise  leadership  and  take  initiatives  to  complement efforts by Ministry officials.  (c) Development  of  coordination  mechanisms  among  implementing  agencies:  The  Task  Team  assisted  the  creation  and  functioning  of  an  Executive  Committee,  under  a  Minister  who  was  reticent about collaboration with the Bank, to facilitate and support timely decision‐making and  coordinate implementation efforts at the top level.   Page 65 of 70 The World Bank Second Education Development Project (P118187) IV. ASSESSMENT OF RISK TO DEVELOPMENT OUTCOME   Overall risk to development outcomes is Moderate.  Rating: Moderate   Systemic changes‐decentralized school management and improving quality of education (component1),  a  comprehensive  and  robust  management  school  information  system  (component  3).  An  institutional  development  plan  for  MEHE  capacity  building  developed  (component  3),  and  increased  investment  in  quality early child education (component 1), are widely recognized as critical elements of successful long  term education reform and, therefore one can be confident that they will bear fruit in the medium‐long‐ term, provided that external factors, most notably when the Syrian Refugee Crisis are resolved.          Page 66 of 70 The World Bank Second Education Development Project (P118187)   Annex 6:  Results Framework and Official Revisions  PDO Indicators PAD‐10/26/2010  Change  Rationale for change  Improved scores of participating schools in  Revised: Improved KG learning  Wording slightly revised for  ECERS (Early Childhood Environment  environment in beneficiary schools (as  clarity of measurement.  Rating Scale) ‐ no baseline or target  measured by an improvement in ECERS  scores of 50 sample schools) Baseline: 36%;  Target: 60%  % Reduction in the number of contract  Dropped  No longer relevant since the  teachers in general education (core  number of contract teachers  curriculum teachers)   had increased due to the  influx of Syrian refugees.   Number of schools where at least 60% of  Dropped  Dropped. This activity was  classes in every grade level are being  taken over by USAID and  taught using active and learner‐centered  other donors therefore this  teaching methods    outcome is no longer directly  attributable to project  investments.   % reduction of repetition rates in cycles 2  Dropped  Dropped.  Not directly  and 3 of basic education in project schools    attributable to project  interventions  Increase in the number of MEHE and CERD  Dropped  No longer relevant to project  units and agencies actively involved in the  activities.  planning, implementation, monitoring and  evaluation of the different ESDP programs    New:  Increase in percentage of 300  Upgraded from intermediate  project schools with School Improvement  indicator to PDO indicator  Plans approved and under implementation.  Baseline: 0; Target: 47%    New: Ability of the MEHE ICT system to  In line with new project  host data for all schools and Regional  activities and changed  Education Offices. Baseline: N; Target: Y  context  Intermediate Indicators  Increase in % of 3‐5‐year‐olds enrolled in  Revised.: Increase in % of 3‐5‐year‐olds  Wording slightly changed to  preschools in project schools. Baseline: 0;  enrolled in kindergartens in the 230  clarify number of project  Target: 10%  Component 1 project schools. Baseline:  schools  0%; Target: 20%  Increase in % of preschools nationwide  Dropped    using newly developed learning materials  Increase in % of specifically trained  Revised.: Number of KG teachers in  To better measure progress  preschool teachers in all public preschools.  classrooms with project supported learning  in implementation  Baseline: 0%; Target: 100%  materials who are trained on pedagogic  use of new materials. Baseline: 0; Target:  590          New: Number of KG schools furnished and    equipped. Baseline: 0; Target: 273  Page 67 of 70 The World Bank Second Education Development Project (P118187)   New: Number of KG schools rehabilitated.    Baseline: 0; Target: 153  % of schools with School Improvement  Revised and moved to PDO level indicator  To better measure PDO   Plans approved and under  implementation.   % of schools with active School Council  Dropped  To simplify this  including parents and when possible  subcomponent since  representatives of community    conducting self‐evaluation  includes parent participation.   % schools implementing the self‐ Revised. Increase in % of the 300 project  To clarify number of schools  evaluation/ review system.  Baseline: NA;  schools implementing the self‐evaluation.  Target: 50%  Baseline: 0%; Target: 100%   % of pre‐service, induction and  Dropped  Because many of the linked  professional development programs and  policy changes were dropped  activities that effectively apply the new  from the project as part of  policy and the standardized Frames of  the restructuring.   Reference for different types of teacher  professional development.  % of teachers that enroll in professional  Revised.  Number of teachers trained on    development courses/activities and are  the Teacher Training, Pedagogical  certified/credited according to the new  Counselors training and Psycho‐social  Career development, utilization and  Counselors training. Baseline: 0; Target:  incentive policy. Baseline: 0%; Target:  260  100%  Number of regulations (decisions, decrees,  Revised. Increase in cumulative number of  No longer part of project  laws) modified to enable efficient  regulations or modifications to regulations  activities.   implementation of the ESDP‐related  proposed and approved to enable efficient  reforms. Baseline: NA; Target: NA    implementation of the ESDP‐related  reforms. Baseline: 4; Target: 43  Number of standard administrative  Dropped  No longer part of project  procedures automated for increased MEHE  activities.  efficiency  Number of MEHE and CERD staff who have  Revised: Institutional Development Plan for  Revised to align with project  participated in capacity building sessions  MEHE capacity building developed and  activities.  and are using the available tools geared  approved. Baseline: N; Target: Y  towards efficient streamlining of  administrative and managerial processes.  Baseline: NA; Target: NA    No. of MEHE and CERD units and depts..,  Dropped  New PDO indicator includes  including Regional Directorates, Resource  this dimension.  Centers and schools, with online access to  EMIS data Baseline: NA; Target: NA  Number of executive, administrative or  Dropped  New PDO indicator includes  managerial decisions and actions made in  this dimension.  MEHE where EMIS data are used.   Increased public awareness and improved  Dropped  No longer part of project  public perceptions of the importance of  activities.  ongoing education reforms  Page 68 of 70 The World Bank Second Education Development Project (P118187) Network infrastructure meets standard  New    penetration and internet security tests.  Baseline: N; Target: Y      Page 69 of 70