Document of  The World Bank  FOR OFFICIAL USE ONLY  Report No: ICR00004580  IMPLEMENTATION COMPLETION AND RESULTS REPORT  7735‐MK  ON A  LOAN  IN THE AMOUNT OF EUR 19.3 MILLION  (US$25.0 MILLION EQUIVALENT)  TO THE  REPUBLIC OF NORTH MACEDONIA  FOR THE  CONDITIONAL CASH TRANSFERS PROJECT  February 26, 2019  Social Protection and Labor Global Practice  Europe And Central Asia Region    This document has a restricted distribution and may be used by recipients only in the performance of their  official duties. Its contents may not otherwise be disclosed without World Bank authorization.  CURRENCY EQUIVALENTS   (Exchange Rate Effective January 28, 2019)  Currency Unit =  =  Macedonian Denar (MKD)  54.23 MKD =  =  US$1  61.53 MKD =  =  EUR 1  FISCAL YEAR  January 1 – December 31  ABBREVIATIONS AND ACRONYMS  CBMIS  Cash Benefits Management Information System   CCT  Conditional Cash Transfer  CCTIU  CCT Implementation Unit  CPS  Country Partnership Strategy  EU  European Union  FM  Financial Management  GDP  Gross Domestic Product  HBS  Household Budget Survey  ICR  Implementation Completion and Results Report  MIS  Management Information System  MLSP  Ministry of Labor and Social Protection  MoF  Ministry of Finance  PDO  Project Development Objective  PAD  Project Appraisal Document  PFA  Permanent Financial Assistance  PMU  Project Management Unit  SEP  Subsidized Employment Program  SFA  Social Financial Assistance  SPIL  Social Protection Implementation Loan   SWC  Social Work Center  Regional Vice President: Cyril E Muller  Country Director: Linda Van Gelder  Senior Global Practice Director: Michal J. Rutkowski  Practice Manager: Cem Mete  Task Team Leader(s): Bojana Naceva  ICR Main Contributor: Peter Pojarski  TABLE OF CONTENTS  DATA SHEET ........................................................................................................................... 1 I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 6  A. CONTEXT AT APPRAISAL ........................................................................................................... 6  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION ............................................................... 12  II. OUTCOME ...................................................................................................................... 14  A. RELEVANCE OF PDOs .............................................................................................................. 14  B. ACHIEVEMENT OF PDOs (EFFICACY) ........................................................................................ 15  C. EFFICIENCY ............................................................................................................................. 19  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 21  E. OTHER OUTCOMES AND IMPACTS .......................................................................................... 21  III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 22  A. KEY FACTORS DURING PREPARATION..................................................................................... 22  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 23  IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 24 A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 24  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 26  C. BANK PERFORMANCE ............................................................................................................. 27  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 28  V. LESSONS AND RECOMMENDATIONS .............................................................................. 28  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 31  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 52  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 54  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 55  ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ... 60  The World Bank Conditional Cash Transfers Project (P103974)            DATA SHEET      BASIC INFORMATION   Product Information  Project ID  Project Name  P103974  Conditional Cash Transfers Project  Country  Financing Instrument  North Macedonia  Investment Project Financing  Original EA Category  Revised EA Category  Not Required (C)  Not Required (C)  Organizations  Borrower  Implementing Agency  Ministry of Finance  Ministry of Labor and Social Policy  Project Development Objective (PDO)    Original PDO  The project development objectives is to strengthen the effectiveness and efficiency of the Government of  Macedonia's (GoM)socialsa fety net through (a) the introduction of conditional cash transfers; and (b)  improvements in the administration,oversight,monitorin g, and evaluation of social assistance transfers.   The  project would contribute to the GoM's ultimateobjectives ofalleviating curr ent poverty and enhancing human  capital, thereby reducing the inter‐generational transmission ofpoverty over thelong‐run.    PDO as stated in the legal agreement  The objective of the Project is to strengthen the effectiveness and efficiency of the Borrower's social safety net  through:(a)the introduction of conditional cash transfers (CCT); and (b)improvements in the administration ,  oversight, monitoring and evaluation of social assistance transfers.    Page 1 of 69 The World Bank Conditional Cash Transfers Project (P103974)   FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          25,000,000  22,345,355  21,507,935  IBRD‐77350  Total    25,000,000  22,345,355  21,507,935  Non‐World Bank Financing          0  0  0  Borrower/Recipient     0     0     0  Total     0     0     0  Total Project Cost  25,000,000  22,345,355  21,507,935        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  16‐Jun‐2009  28‐Oct‐2009  16‐Sep‐2012  28‐Feb‐2014  31‐Aug‐2018       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  25‐Jan‐2011  1.45  Other Change(s)  23‐May‐2013  7.24  Change in Results Framework  Change in Components and Cost  Change in Loan Closing Date(s)  Reallocation between Disbursement Categories  18‐Feb‐2015  12.19  Reallocation between Disbursement Categories  22‐Jul‐2015  13.39  Change in Loan Closing Date(s)  18‐Sep‐2017  18.36  Change in Results Framework  Change in Components and Cost  Change in Loan Closing Date(s)  Cancellation of Financing  Reallocation between Disbursement Categories      Page 2 of 69 The World Bank Conditional Cash Transfers Project (P103974)   KEY RATINGS      Outcome  Bank Performance  M&E Quality  Moderately Satisfactory  Satisfactory  Substantial    RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  28‐Jul‐2009  Satisfactory  Satisfactory  .47  02  30‐Apr‐2010  Satisfactory  Moderately Unsatisfactory  2.11  03  23‐Sep‐2010  Satisfactory  Moderately Unsatisfactory  2.11  04  10‐Jan‐2011  Satisfactory  Moderately Satisfactory  2.11  05  27‐Nov‐2011  Satisfactory  Moderately Satisfactory  4.71  06  27‐Mar‐2012  Satisfactory  Moderately Satisfactory  5.04  07  12‐Nov‐2012  Moderately Satisfactory  Moderately Satisfactory  7.17  08  01‐Jul‐2013  Moderately Satisfactory  Moderately Satisfactory  7.89  09  18‐Dec‐2013  Moderately Satisfactory  Moderately Satisfactory  9.76  10  20‐Jun‐2014  Moderately Satisfactory  Moderately Satisfactory  10.61  11  22‐Jan‐2015  Moderately Satisfactory  Moderately Satisfactory  12.85  12  11‐Jul‐2015  Moderately Satisfactory  Moderately Satisfactory  13.58  13  07‐Jan‐2016  Moderately Satisfactory  Moderately Satisfactory  14.88  14  18‐Jun‐2016  Moderately Satisfactory  Moderately Satisfactory  16.32  15  15‐Dec‐2016  Satisfactory  Satisfactory  17.18  16  14‐Jun‐2017  Satisfactory  Satisfactory  19.01  17  27‐Nov‐2017  Satisfactory  Satisfactory  19.01  18  18‐Jul‐2018  Satisfactory  Satisfactory  21.45    Page 3 of 69 The World Bank Conditional Cash Transfers Project (P103974)   SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Education    30  Secondary Education  30      Social Protection    70  Social Protection  20  Public Administration ‐ Social Protection  50      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Public Sector Management  20    Public Administration  20    Administrative and Civil Service Reform  20        Social Development and Protection  50    Social Protection  50    Social Safety Nets  50        Human Development and Gender  30    Education  30    Access to Education  15    Education Financing  15            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Shigeo Katsu  Cyril E Muller  Country Director:  Jane Armitage  Linda Van Gelder  Senior Global Practice Director:  Tamar Manuelyan Atinc  Michal J. Rutkowski  Practice Manager:  Kathy A. Lindert  Cem Mete  Page 4 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Task Team Leader(s):  Snjezana Plevko  Bojana Naceva  ICR Contributing Author:    Peter Ivanov Pojarski                   Page 5 of 69 The World Bank Conditional Cash Transfers Project (P103974)     I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES  A. CONTEXT AT APPRAISAL  Context  Country and Sector Issues  1. At  the  time  of  the  project  appraisal,  economic  growth  in  the  Republic  of  North  Macedonia  slowed due to the global crisis Real gross domestic product (GDP) grew at an average rate of 5.45 percent  in 2007 and 2008, maintaining a range reached in 2004. While job creation increased, the unemployment  rate remained high (34 percent) during that period. The impact of the global financial crisis and economic  downturn had reduced prospects for growth, exports, foreign direct investment, and private transfers in  2009. This was expected to affect government revenues and to result in pressures to reduce spending on  social protection programs. At the same time, due to falling household incomes from lower employment  and remittances, the demand for social assistance benefits was expected to grow. Poverty was also high  and was likely to increase due to the impact of the global crisis. According to the World Bank Poverty  Assessment,1 consumption poverty was estimated at 22 percent (445,000 persons). The relative poverty  rate, monitored by the State Statistical Office hovered around 30 percent.   2. In that context, effective and efficient social safety nets became very important. Safety nets are  part  of  a  broader  poverty  reduction  strategy—interacting  with  and  alongside  social  insurance,  health,  education,  financial  services,  the  provision  of  utilities  and  roads,  and  other  policies  aimed  at  reducing  poverty  and  managing  risk.  Safety  nets  have  both  short‐run  roles  (alleviating  immediate  poverty  and  inequality  and  helping  families  manage  risks  in  the  face  of  crises  and  shocks)  and  long‐run  impacts  (enabling households to make better investments for their future, both in human capital of their children  and  in  the  livelihoods  of  income  earners).  The  impacts  on  human  capital  and  reduction  in  the  intergenerational  transmission  of  poverty  can  be  particularly  powerful  when  safety  net  programs  are  directly linked to incentives for investing in education and health (for example, through conditional cash  transfers [CCTs]).2  3. At the time of appraisal, North Macedonia was a moderate spender on safety net benefits in  the  Europe  and  Central  Asia  region.  The  country  operated  a  plethora  of  benefits,  including  income  support, child, and disability benefits, which were overseen by the Ministry of Labor and Social Protection  (MLSP) and administered in a decentralized manner by the 27 social welfare centers (SWCs) around the  country. In total, these benefits accounted for about 1 percent of GDP and 3.1 percent of total government  expenditures. This compared to an average of about 1.7 percent of GDP in the Europe and Central Asia  region  and  2.5  percent  in  the  countries  from  the  Organisation  for  Economic  Cooperation  and  Development.   4. The most significant income support program was the Social Financial Assistance (SFA) benefit  program (known as SFA), which accounted for 0.5 percent of GDP and 50 percent of total spending on  social assistance. The SFA, which still exists at the time of this Implementation Completion and Results  1 World Bank 2005.  2 Fiszbein and Schady. 2009. Conditional Cash Transfers: Reducing Present and Future Poverty. World Bank.  Page 6 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Report (ICR), is a ‘benefit of last resort,’ similar to guaranteed minimum income scheme in many European  Union (EU) countries. It is a means‐tested transfer and benefit amounts vary in terms of household size  and income. Other means‐tested programs include several categorical benefits (that also involve income  screening for eligibility), such as disability benefits and child allowances. Although both the SFA and child  allowances  targeted  poor  families  with  children,  in  practice,  the  benefits  rarely  overlapped,  because  children from families where both parents are unemployed are not eligible for the child allowance benefit,  so they tend to seek assistance under the SFA.   5. Overall, the social safety net was performing fairly well in terms of coverage. With only 1 percent  of GDP allocated to social assistance benefits overall, the support reached 18 percent of all households  and  46.5  percent  of  the  poorest  households  (in  the  poorest  quintile),  which  was  significant  by  international standards in terms of coverage for fiscal effort. Moreover, when considering not only social  assistance benefits but also those for social insurance (pensions), almost 92 percent of poor received some  type of cash  benefit. Among specific social assistance  programs, coverage of  the SFA was  the highest.  Specifically,  the  SFA  reached  15  percent  of  the  total  population  and  43  percent  of  households  in  the  poorest  quintile.  Coverage  of  child  allowances  was  much  lower,  with  only  1.7  percent  of  the  poorest  quintile receiving these benefits (child allowances received only 0.08 percent of GDP).   6. North Macedonia’s social safety net was fairly accurate in the targeting of cash benefits to the  poor. Overall, it was among the top five performers in the region in terms of the targeting accuracy of  total social assistance benefits. Specifically, those in the poorest quintile received 50 percent of all social  assistance  transfers  (all  types),  while  those  in  the  richest  quintile  received  7  percent.  With  respect  to  specific  programs,  those  in  the  poorest  quintile  received  over  55  percent  of  SFA  benefits,  another  22  percent went to those in the second poorest quintile, and those in the richest quintile received less than  4 percent. Child allowances primarily benefitted those in the lower‐middle quintiles. Those in the poorest  quintile (poorest 20 percent of the population) received only 17 percent of child allowance benefits—less  than their share in the population, although poorer households tended to have more children. Those in  the second‐poorest quintile received close to 39 percent of total child allowance benefits, and those in  the middle quintile received 25 percent.  7. Despite  strong  overall  coverage  and  targeting  accuracy,  the  social  safety  net  faced  several  challenges, relating primarily to fragmentation and administration, mainly stemming from (a) excessive  number of benefits that were inconsistent in their definitions and parameters and (b) over‐burdened and  weak capacity of the SWCs in benefits administration and a lack of a unified and automated registry. At  the time of appraisal, some of the constraints within the system were related to the existing legislation  and  to  the  design  of  benefits  and  some  were  related  to  the  administrative  system.  These  challenges  compromised  the  ability  of  the  MLSP  to  monitor  and  manage  policies  and  programs  and  reduced  the  effectiveness and efficiency of oversight and controls.  8. The Government of the Republic of North Macedonia intensified efforts to strengthen the social  safety net, including initiating key steps toward consolidation and improvements in administration. The  four‐pronged  strategy  for  reforms  included  (a)  Legislative  reforms  to  harmonize  benefits,  (b)  Improvements  in  the  Cash  Benefit  Management  Information  System  (CBMIS),  (c)  Structural  reform  of  SWCs; and (d) Introduction of CCTs. The Government requested continued support for these reforms and  improvements. Over the years preceding this project’s approval, the World Bank had provided support  Page 7 of 69 The World Bank Conditional Cash Transfers Project (P103974)   under the Social Protection Implementation Loan (SPIL) project, which helped improvements in the areas  of (a) benefits administration (business processes, CBMIS, and information technology); (b) strengthening  service  delivery  by  the  SWCs;  and  (c)  building  capacity  for  policy  development,  monitoring,  and  evaluation.   9. Despite  comprehensive  reforms  in  the  education  sector,3  important  gaps  were  identified  in  secondary  school  enrollment,  attendance,  and  completion.  Improvement  in  access  to  and  quality  of  education were among the five priorities of the Government of North Macedonia. Demand‐side factors  constrained  higher  participation  in  secondary  education.  Analysis  of  the  education  sector  in  North  Macedonia at the time indicated that most prominent reasons for preventing children from participating  in secondary education are related to the direct and indirect costs of attending schools. Therefore, the  project prioritized the introduction of a CCT program focused on enhancing safety net links to secondary  education.  The  CCT  was  designed  to  provide  incentives  by  ‘topping  up’  benefits  for  eligible  SFA  beneficiaries with conditionalities pertaining to secondary school enrollment and attendance. This was  also expected to allow the Government of North Macedonia to channel transfers to the poor through a  well‐targeted  instrument  (the  SFA),  to  further  help  mitigate  the  impacts  of  the  global  financial  and  economic crisis on poor families. The Government was also interested in possible extensions of the CCT  model.  Some  areas  considered  for  demand‐side  incentives  included  (a)  health,  given  the  country’s  persistently  high  rates  of  perinatal  and  infant  mortality  despite  improvements  in  service  delivery,  and  apparent  correlations  with  poverty  and  low‐service  utilization;  (b)  active  labor  market  links,  given  the  country’s  unrelenting  high  rates  of  unemployment;  and  (c)  other  levels  of  education,  such  as  adult  education, kindergarten, and primary‐school performance.   3 The reforms included improvement of the effectiveness of central government institutions and schools, and structural reforms  in primary and secondary education subsystems.  Page 8 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Theory of Change (Results Chain)   Page 9 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Project Development Objectives (PDOs)  10. PDOs. The PDO from the Loan Agreement is to strengthen the effectiveness and efficiency of the  Borrower’s  social  safety  net  through:  (a)  the  introduction  of  conditional  cash  transfers  (CCT);  and  (b)  improvements in the administration, oversight, monitoring and evaluation of social assistance transfers.  Key Expected Outcomes and Outcome Indicators  11. The key performance indicators for tracking progress toward the PDOs are the following:    Overall safety nets’ targeting accuracy—percent of safety nets transfers going to the poorest  quintile—maintained or improved by year 4    Percent of households with children ages 15–18 or until the finalization of regular secondary  education in poorest quintile that have been registered with CCT (coverage of the poor)   Enrollment  rates  of  children  ages  15–18  or  until  the  finalization  of  regular  secondary  education in CCT beneficiary households increased by 10 percentage points   At least 85 percent daily attendance rates of children ages 15–18 or until the finalization of  regular secondary education in CCT beneficiary households   Administration of safety nets strengthened, especially with the use of MIS  Components  12. The project includes three components: (I) Enhancing the Human Capital Links to Cash Assistance;  (II)  Strengthening  Safety  Net  Administration;  and  (III)  Project  Management,  Monitoring,  and  Impact  Evaluation.  Component I: Enhancing the Human Capital Links to Cash Assistance (Total base costs: EUR 16.15  million; Actual cost at closing: EUR 8.67 million)  13. This  component  financed  technical  assistance,  goods,  services,  and  grants  through  two  subcomponents.   14. Subcomponent  1:  Implementation  of  a  CCT  program  for  poor  families  with  children  attending  secondary  education.  This  subcomponent  financed  the  payment  of  grants  to  designated  beneficiaries  conditioned  upon  the  secondary  school  enrollment  and  attendance  of  their  children.  These  children,  estimated at 18,800 in 2008, were eligible for the CCT benefits on the condition that they were enrolled  and  attend  at  least  85  percent  of  classes  at  the  secondary  school  level.  The  benefits  were  paid  as  a  conditional ‘top‐up’ for eligible SFA beneficiaries. The means‐tested SFA program was considered to be  well targeted to the poor. The initial CCT benefit level was established at MKD 12,000 per child per year,  which was similar to the amount of the child allowance benefit per child. The benefits were paid directly  to the beneficiaries on a quarterly basis.   Page 10 of 69 The World Bank Conditional Cash Transfers Project (P103974)   15. Subcomponent  2:  Identification,  development,  and  implementation  of  possible  CCT  extensions.  The subcomponent considered several areas for extension of demand‐side incentives including (a) health,  given  the  country’s  persistently  high  rates  of  perinatal  and  infant  mortality  despite  improvements  in  service  delivery,  and  apparent  correlations  with  poverty  and  low‐service  utilization;  (b)  active  labor  market  links,  given  the  country’s  unrelenting  high  rates  of  unemployment;  and  (c)  other  levels  of  education,  such  as  adult  education,  kindergarten,  and  primary‐school  performance.  Eventually,  the  subcomponent financed an extension program related to active labor market services. The subcomponent  financed technical assistance activities in developing the program, as well as the program itself. The main  activity was the Subsidized Employment Program (SEP), which provided temporary subsidies to employers  who hired employees from specific vulnerable groups—especially (but not only) young adults who were  recipients of the SFA. The employment subsidy was designed as a mix of wage subsidy and tax incentives  to employers for hiring program beneficiaries.   Component II. Strengthening Safety Net Administration (Total base costs: EUR 1.97 million; Actual  cost at closing: EUR 7.11 million)  16. This component aimed to strengthen the efficiency and effectiveness of the overall safety net— including the CCT and other social assistance benefits—through improved administration and oversight,  service delivery, and monitoring and evaluation (M&E). Such improvements were important not only for  the safety net system as a whole but also for the CCT per se because it relied on many of the existing  instruments for other programs (such as the SFA). The component improvements built on and extended  the activities supported previously by the SPIL project.  17. The  component financed  technical assistance, training, goods, and services  needed to support  further strengthening of benefits administration and oversight and improvements in service delivery. In  particular, the component supported   (a) Development of the CBMIS;4   (b) Assessments  of  targeting,  eligibility,  and  registry  systems  for  different  cash  benefit  programs;  (c) Development  and  application  of  oversight  and  controls  mechanisms  to  monitor  implementation of the CCTs and other SFA benefits;   (d) A functional analysis of the SWCs; and   (e) Capacity building for program management.   Component  III:  Project  Management,  Monitoring  and  Impact  Evaluation  (Total  base  costs:  EUR  1.13  million; Actual cost at closing: EUR 1.42 million)  4 Initially the project was only supposed to finance improvements to an already developed system. However, the predecessor  project, the SPIL, did not deliver anything related to CBMIS, so this project had to invest in its creation.  Page 11 of 69 The World Bank Conditional Cash Transfers Project (P103974)   18. This  component  financed  activities  under  three  subcomponents:  Subcomponent  1:  Project  management; Subcomponent 2: Monitoring and impact evaluation; and Subcomponent 3: Dissemination,  communications and awareness activities. The component aimed to (a) ensure effective administration  and  implementation  of  the  World  Bank‐financed  project,  (b)  develop  and  put  in  place  an  effective  monitoring and impact evaluation system, and (c) develop and implement the public awareness campaign.   B. SIGNIFICANT CHANGES DURING IMPLEMENTATION  Revised PDOs and Outcome Targets   19. The project underwent five restructurings, which did not modify the original PDO. The second  restructuring (May 2013) made some changes to the language and targets of three out of the five key  performance indicators, as well as to some intermediate indicators. This ICR, however, will not employ  split evaluation for the following reasons:   (a) With one exception, revised PDO targets were actually increased, and the ICR will evaluate  the whole project against the higher targets.   (b) Edits to indicator formulations were for clarity and higher precision and do not represent  substantive changes in the logic of the results measurement.  Revised PDO Indicators  20. The revisions to the PDO indicators from the second restructuring are described in detail in annex  1/table 1.3. In summary, these revisions were as follows:  (a) Indicator 1: Overall safety nets’ targeting accuracy—% of safety nets transfers going to the  poorest quintile—maintained or improved after Year 4.  The indicator formulation was not  changed, but the baseline and target values were changed. The baseline was changed from  50 percent to 44.8 percent to reflect the standard definition used by the statistical office to  measure  safety  nets  transfers.  The  target  was  increased  to  65  percent  instead  of  the  originally intended objective to simply maintain the baseline of 50 percent.  (b) Indicator 2 (revised):5 % of SFA beneficiary children ages 15–18 or until finalization of regular  secondary  education  that  have  been  registered  with  the  CCT  program.  The  indicator  formulation was edited to account for the fact that CCT beneficiaries are selected from SFA  beneficiaries,  and  not  from  the  total  population.  The  new  formulation  also  removed  the  reference to ‘poorest quintile’, as the CCT was defined as a top‐up of the SFA. The wording  of  the  indicator  was  changed  to  avoid  logical  duplication  once  the  target  group  was  described more precisely and the SFA was defined as a last resort program for the poorest.  The target was increased from 40 percent to 65 percent.  5 Original Indicator 2: % of households with children ages 15–18 or until the finalization of regular secondary education in  poorest quintile that have been registered with CCT.  Page 12 of 69 The World Bank Conditional Cash Transfers Project (P103974)   (c) Indicator 3 (revised):6 Enrollment rates of children ages 15–18 or until finalization of regular  secondary  education  in  SFA  beneficiary  households.  By  definition,  enrollment  rates  of  children in CCT households are 100 percent. Thus, the indicator formulation was edited to  refer  to  SFA  beneficiaries  instead  of  CCT  beneficiaries.  The  target  was  increased  from  43  percent to 60 percent.  21. Finally, the last –  fifth –  restructuring (September 2017) also revised the end target value of the  core PDO indicator ‘Number of direct project beneficiaries’, aimed at reflecting the expected increase of  beneficiaries in the extended period for project implementation. The revised target value changed from  7,242 to 19,500. However, this indicator was not part of the Project Appraisal Document (PAD) and its  revision is not accounted as a formal change.  Revised Components  22. The first project restructuring, early on in January 2011, changed the financing percentage of the  loan  categories  to  100%  Bank  financing,  and  amended  the  disbursement  conditions  to  allow  for  the  financing of the first year of CCT program implementation. This restructuring was done in response to  some emerging issues with the counterpart financing. The second project restructuring (May 2013) made  some changes to the components’ structure and financing, as follows:   Introduction  of  a  new  subcomponent  under  Component  II.  A  new  subcomponent  was  added  to  Component  II  (Strengthening  Social  Safety  Net  Administration).  The  original  component  financed  technical  assistance,  training,  goods,  and  services.  A  subcomponent  was  added  to  finance  minor  civil  works  for  refurbishment  of  existing  SWC  offices  that  contributed to improvements in service delivery of existing SWCs. The minor civil works were  to be carried out in 11 SWCs throughout North Macedonia, at a total cost of about EUR 2  million.    Expansion of Subcomponent I.2. This change allowed the financing of the CCT‐subsidized  youth  employment  program  to  continue  beyond  its  pilot  phase.  Subcomponent  I.2  (Identification, Development, and Implementation of Possible CCT Extension) of Component  I  (Enhancing  the  Human  Capital  Links  to  Cash  Assistance)  originally  financed  technical  assistance activities aimed at identifying, developing, and piloting possible extensions to the  initial  CCT  program,  as  well  as  providing  grants  to  pilot  and  test  such  CCT  extension  programs.  An  activity  was  added  to  this  subcomponent,  which  included  financing  of  the  rollout of the CCT program for subsidized employment beyond its pilot phase, following the  successful piloting and testing of the program.   23. The  changes  to  the  components  were  substantiated  by  respective  reallocations  among  loan  categories, and resulted in revised component costs, shown in table 1:   6 Original Indicator 3: Enrollment rates of children ages 15–18 or until the finalization of regular secondary education in CCT  beneficiary households increased.  Page 13 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Table 1. Revisions to Component Costs through the Second Restructuring  Project Costs (EUR, million)  Project Components  Original Cost  Revised Cost   I. Enhancing the Human Capital Links to Cash Assistance  16.15  12.00  II. Strengthening Safety Net Administration  1.97  5.46  III. Project Management, Monitoring, and Impact Evaluation  1.13  1.79  Rationale for Changes and Their Implication on the Original Theory of Change  24. The changes made to project indicators and indicator targets were mostly to improve the clarity  of the Results Framework and did not substantially affect the original theory of change. Similarly, the  changes to components and component costs were applied to adjust the activities to the initial experience  from project implementation and did not affect the logic of the theory of change. The introduction of  minor civil works responded to the need to improve further the effectiveness of the delivery system. The  expansion of the youth employment active labor markets program was because of the original project  design, which foresaw an initial period of developing one or more extension programs to the main CCT  activity. Once it was clear that the youth employment would be the main supported extension program,  it made sense to allocate some more funds to it to ensure some critical mass of investment for it.  II. OUTCOME  A. RELEVANCE OF PDOs  Assessment of Relevance of PDOs and Rating  Rating: High  25. The relevance of the PDO was high at the time of completion. The project is fully relevant with  regard to the Country Partnership Strategy (CPS) at closing.7 Pillar 2 of the CPS ‘Skills and Inclusion’ notes  as a challenge, the provision of opportunities for all through modern skills and better public services. This  pillar is focused on interventions that would help broader sections of society to participate in the fruits of  economic growth through better employability and more efficient public and municipal services. As part  of that, the CCT is specifically listed as one of the tools for achieving Outcome 6: ‘Social protection system  more efficient and compatible with employment’. The CCT project also supported strategic priorities of  the CPS at the time of project approval  by fostering long‐term productivity and employment outcomes,  improving governance, and building public service capacity. That initial CPS, which was approved by the  World Bank Board in March 2007, established three strategic priorities: (a) enhancing economic growth  and job creation, (b) improving governance, and (c) improving public service  delivery. The CCT  project  supported  these  objectives  by  linking  various  elements  of  the  human  development  agenda  into  a  comprehensive effort to tackle persistent and intergenerational poverty by supporting equal access to  services aiming at building the human capital of the most vulnerable groups and enhancing opportunities  for labor market participation of those at risk of poverty and social exclusion.   7 Report No: 89556‐MK, August 25, 2014. International Bank for Reconstruction and Development, International Finance  Corporation, Multilateral Investment Guarantee Agency Country Partnership Strategy for FYR Macedonia for the Period  FY2015–2018.  Page 14 of 69 The World Bank Conditional Cash Transfers Project (P103974)   26. The relevance of the PDO was also high at the time of design. By supporting strengthening of the  effectiveness and efficiency of the social safety net and enhancing human capital links to cash assistance,  the  project  contributed  to  the  Government  of  North  Macedonia’s  ultimate  objectives  of  alleviating  poverty and  enhancing human capital,  thereby reducing the intergenerational transmission of poverty  over  the  long  run.  The  project  supported  the  country’s  overarching  commitment  to  accelerating  the  achievement of the Millennium Development Goals by 20158 through the provision of conditional cash  benefits by (a) promoting enrollment, attendance, and completion of secondary education of all children  living in North Macedonia and (b) creating high‐quality human capital, which would be able to achieve  sustainable economic growth for the benefit of current and future generations. The project also built on  the Government’s  National Employment Strategy 2010, the National Action Plan for Employment 2006– 2008,  the  National  Program  for  the  Development  of  Education  2005–2015,  and  the  Decade  of  Roma  Inclusion Action Plans.     B. ACHIEVEMENT OF PDOs (EFFICACY)  Rating: Substantial  27. The  project  has  two  clearly  discernable  desired  objectives,  which  need  to  be  evaluated  separately:    Objective 1: To strengthen the efficiency of North Macedonia’s social safety net   Objective 2: To strengthen the effectiveness of North Macedonia’s social safety net  28. To achieve the objectives, the project first had to define the social safety net system of North  Macedonia and then focus its efforts on the elements of this system that had to be improved and made  more  efficient  and  effective.  The  PDO  statement  includes  a  provision  that  the  outcomes  were  to  be  achieved through (a) the introduction of conditional cash transfers (CCT); and (b) improvements in the  administration, oversight, monitoring and evaluation of social assistance transfers. The PAD also specifies  that  the  “Project  will  contribute  to  the  Government  of  the  Republic  of  North  Macedonia’s  ultimate  objectives  of  alleviating  current  poverty  and  enhancing  human  capital,  thereby  reducing  the  intergenerational transmission of poverty over the long run.” The original PAD does not include explicit  definitions for efficiency and effectiveness, but those can be derived from the indicators and activities  assigned  to  each  objective.  Therefore,  this  ICR  assumes  “efficiency”  to  mean  improved  targeting  and  strengthened administration of the safety nets. “Effectiveness” is then the improved coverage of the CCT,  and higher enrollment and attendance rates for children of beneficiary households.  Assessment of Achievement of Each Objective/Outcome  Objective 1: To strengthen the efficiency of North Macedonia’s social safety net  8 National Strategy for Reduction of Poverty and Social Exclusion in the Republic of Macedonia (2010–2020).  Page 15 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Table 2. Progress on PDO Indicators for Objective 1  Revised  Actual  Original  PDO Indicator  Target (if  Value at  Target  any)  Closing  1  Overall safety nets’ targeting accuracy ‐ % of safety nets  50%  65%  77.7%  transfers going to the poorest quintile‐ maintained or  improved after Year 4  5  Administration of safety nets strengthened, especially with  Management  —  Yes  the use of MIS  information  system (MIS)  used to  inform  decisions  (Yes/No)  29. One  of  the  outcome  indicators  for  this  objective  was  surpassed,  and  the  other  one  was  achieved.  The first objective was measured by PDO Indicators 1 and 5 (see table 2). Indicator 1, Overall  safety nets’ targeting accuracy—maintained or improved after Year 4, reached a value at closing of 77.7  percent. Measured against the revised (increased) target of 65 percent, this indicator was substantially  surpassed. This is largely due to the targeting accuracy of the SFA program. The accuracy of targeting is  also reflected in the fact that leakage incidence to the richest quintile is low in all the social assistance  programs except the disability benefits. The other indicator measuring the efficiency of the system was  the strengthened administration of the safety net. This indicator was fully achieved.   30. Safety nets targeting accuracy. According to the recently released World Bank North Macedonia  Public Finance Review,9 social assistance is well targeted, as more than 70 percent of all transfers go to  the poorest quintile, which places North Macedonia among the best performers among its neighbors and  in the broader Europe and Central Asia region. Furthermore, the benefit incidence for the poorest quintile  improved from 57.8 percent in 2012 to 70.3 percent in 2016. This is largely due to the targeting accuracy  of the SFA program, which also compares very favorably to those of regional peers. In fact, the leakage of  social assistance transfers to the richest quintile (1.4 percent of all benefits) is among the lowest in the  region. The accuracy of targeting is also reflected in the fact that leakage incidence to the richest quintile  is low in all the social assistance programs except the disability benefits. High levels of targeting accuracy  contribute to efficiency because a larger share of benefits go to the poor and a larger share of benefit  administration is spent on the poor, thereby increasing the resources going toward targeted beneficiaries  and reducing waste.  31. Efficiency impacts through improvements of the benefits administration and service delivery.  These  improvements  in  targeting  can  largely  be  attributed10  to  the  introduction  of  the  CBMIS,  which  reduced  inclusion  errors  and  benefit  leakage  and  increased  the  administrative  efficiency  of  the  social  assistance delivery system.   32. The  establishment  of  the  CBMIS  and  interconnectivity  with  the  other  institutions  has  9 The World Bank. 2018. North Macedonia Public Finance Review.  10 Attribution by the 2018 World Bank North Macedonia Public Finance Review.  Page 16 of 69 The World Bank Conditional Cash Transfers Project (P103974)   contributed  to  the  increased  efficiency  of  social  assistance  administration  and  lower  cost  of  administration  of  social  assistance  cash  transfers.  Processing  time  per  SFA  application  has  decreased  from 69 to 11 days, which is well below the targeted 30 days. The registration procedures were simplified  and the administrative costs for benefit claimants eliminated. In the past, the applicants used to spend  approximately EUR 40 and a minimum of 5 days for obtaining all the necessary documents from various  institutions.  Administration  of  the  cash  benefits  through  the  CBMIS  has  decreased  the  time  spent  for  processing payments of the cash benefits, decreased the burden on employees in the SWCs, and created  an appropriate database for analysis of the cash benefits for the purposes of further policy making. The  number of social assistance recipients has also declined because the CBMIS was introduced in late‐2011,  due to improved system oversight and considerable reduction of possibilities for abuse of the system,  thus contributing to savings of about EUR 290,000 on monthly basis, or approximately EUR 6 million since  establishment of the CBMIS.   33. The  efficiency  of  the  social  safety  net  administration  has  been  additionally  strengthened  by  linking the CBMIS with the administrative registries in the Employment Agency, Cadaster Agency, and  the  Pension  Fund.  This  exchange  of  information  between  these  agencies  and  the  MLSP  simplifies  the  registration  procedures  and  minimized  the  administrative  costs  for  benefit  claimants.  The  level  of  the  intentional and unintentional errors in administration of the cash transfers has also been reduced. The  project has helped with development and application of the internal oversight and control mechanisms  such as cross‐checks and spot‐checks and the external mechanisms such as operational and performance  audits.  Objective 2: To strengthen the effectiveness of North Macedonia’s social safety net  Table 3. Progress on PDO Indicators for Objective 2 (%)  Revised  Actual  Original  PDO Indicator  Target (if  Value at  Target  any)  Closing  2  % of SFA beneficiary children ages 15–18 or until  40  65  86  finalization of regular secondary education that have been  registered with CCT.  3  Enrollment rates of children ages 15–18 or until finalization  43  60  76  of regular secondary education in SFA beneficiary  households.  4  Attendance rates of children ages 15–18 or until the  85  —  93  finalization of regular secondary education in CCT  beneficiary households.  34. All outcome  indicators measuring the Objective 2  were surpassed.  The second objective  was  measured by PDO Indicators 2, 3, and 4 (see table 3). Indicator 2 measured the registration rate of the  target group of SFA recipients into the CCT program. The indicator reached almost 86 percent, against a  revised (increased) target of 65 percent. Thus, the indicator target was substantially surpassed. Indicator  3 measured the enrollment rate of the children from the target group, and showed an achievement of  almost  76  percent,  compared  to  a  target  of  60  percent.  This  was  also  a  significantly  surpassed  target.  Finally, Indicator 4 that measures the attendance rate of the target group children, showed an attendance  Page 17 of 69 The World Bank Conditional Cash Transfers Project (P103974)   rate of above 93 percent, thus surpassing the target of 85 percent.  35. The impact evaluation of the CCT on secondary school enrollment and attendance showed good  impacts on enrollment, especially among older youth who are disproportionately likely to drop out of  school.  It  showed  that  an  increase  of  10  percentage  points  in  secondary  school  enrollment  in  North  Macedonia could be attributed to the CCT, with this effect explained by lower dropout rates among older  youth. This impact was mainly driven by girls and in the older group, suggesting that the CCT program  helped reduce the dropouts in this group. The CCT program was also evaluated as having some positive  effect on household expenditures in the beneficiary families, although the 3 percent change was not seen  as significant by the evaluation (for more on these effects refer below to section C on efficiency). The  approach for targeting of mothers was also studied by the CCT evaluation and was found to affect the  share of food purchased by the family. The budget share spent for food in households in general was 51.9  percent at baseline and remained the same in the follow‐up evaluation, but on isolating the effect on  households where mothers were the recipients, the share of budget spent on food grew from 53.1 percent  to 56.4 percent. This effect was particularly strong for Muslim households, in which the share of food is  around 6 percent higher when mothers receive the transfer.  36. Another program element supporting the improvements in effectiveness was the design and  implementation of ‘CCT extensions’. CCT extensions were defined as programs that would be stemming  from and linked to the CCT, attempting to further extend and expand its impact. As the project could only  focus on one or two such programs, some diagnostic assessments were conducted in order to recommend  appropriate extension programs. While the assessments recognized various problems of the system and  of the poor population in general (like poor health and education standards), it identified unemployment  among SFA beneficiaries as one of the main systemic problems.    The analyses therefore proposed the  Subsidized  Employment  Program  as  an  extension  to  the  CCT,  as  a  way  to  reduce  the  high  rate  of  unemployment  by  providing  SFA  beneficiaries  with  the  necessary  training  in  order  to  increase  their  possibilities  to  get  employment  in  private  companies  in  demand  of  jobs.    The  choice  of  SEP  as  a  lead  extension  program  was  also  related  to  practical  implementation  factors  as  counterparts’  s  ownership,  capacity and data collection capabilities of the partner agencies. SEP increased the integration of the most  vulnerable  groups  in  the  labor  market  and  improved  their  living  standard  by  providing  incentives  (subsidies)  to  companies  to  hire  persons  from  socially  vulnerable  categories  such  as  young  SFA  beneficiaries,  youth  without  parental  assistance,  and  ex‐beneficiaries  of  the  secondary  education  CCT  program.  The  impact  evaluation  conducted  for  the  SEP  activities  showed  a  notable  increase  in  the  employment  of  the  program  participants  during  the  program  period.  Employment  levels  for  the  participants remained relatively high at roughly 35–40 percent employment rate for the rest of the period  of analysis, suggesting that even after the SEP was completed, the beneficiaries remained employed, in  the original or other firms. In comparison, the control group for the study (nonparticipants with similar  profile)  remained  essentially  unemployed  until  January  2016.  Continued  monitoring  of  the  nonparticipants showed that even after 6–12 months their employment levels never fully caught up with  those of the participants, and their employment rate stabilized at roughly 20–25 percent.  37. Effectiveness  improvements  through  the  CCT  programs.  The  quality  of  the  program  and  its  administration have constantly been improving due to the rigorous monitoring of the implementation.  This resulted in improved program coverage, starting at 67 percent in the first year to 86 percent in the  final  year  of  its  implementation,  and  increased  secondary  school  enrollment  rate  of  social  assistance  Page 18 of 69 The World Bank Conditional Cash Transfers Project (P103974)   beneficiaries ages 15–19 from 60.80 percent to 73.50 percent. Since the project inception, around 20,000  children from poor families regularly attended secondary schools due to this program. From the gender  equality  point  of  view,  the  girls  benefitted  from  the  program  at  an  equal  level  with  their  male  peers.  Moreover, the CCT secondary education is the only cash transfer paid to the mothers in all beneficiary  households.  This  approach  was  adopted  because  of  the  impact  evaluation’s  finding  showing  that  this  modality of payments had greater impact on critical outcome indicators.   38. The CCT SEP  take‐up significantly increased  due  to  the improvement  of the  program design,  informed by the M&E reports. This program helped 315 young underprivileged persons to obtain their  first job and ‘on‐the‐job training’, and the retention rate of the beneficiaries in the employers’ companies  was 42 percent. The program is part of the National Employment Plan and is implemented through the  National Employment Agency. The positive program results contributed to the Government’s decision to  replicate the program design features to a newly created cash entitlement, named ‘education allowance’.  Justification of Overall Efficacy Rating  39. Overall efficacy, based on the assessment of the two main objectives, is rated Substantial. Both  parts of the PDO were fully achieved, as measured by the PDO indicators.  C. EFFICIENCY  Rating: Modest 40. Given  that  this  operation’s  main  objective  includes  improvement  of  social  safety  net  system  efficiency, which is assessed as an outcome above, the efficiency analysis can do two things: (a) update  the original economic analysis and look at the efficiency of the social safety net at large and (b) review the  preparation and implementation efficiency. The additional efficiency analysis will only look at the original  assumptions (for clarity) and will try to add information on the system effects. Although the project does  not  explicitly  state  an  objective  for  poverty  alleviation,  the  original  economic  analysis  creates  an  expectation for some poverty reduction effects from CCT spending. That is why the ICR also focuses on  this aspect in the efficiency analysis.  Original Economic Analysis  41. The original economic analysis stated that CCT transfers were expected to have a wide range of  impacts. These impacts would extend to improving consumption (thus reducing poverty and inequality),  increasing  school  enrollment,  and  social  benefits.  In  addition,  findings  from  existing  CCT  programs  in  developing countries suggested that potential adverse effects on adult labor market participation were  expected to be insignificant.  42. The impact of CCT transfers on consumption poverty was assessed by a simulation as part of  the original economic analysis. These transfers were then delivered based on the targeting mechanism  for  the  SFA  benefit,  which  was  assessed  as  well  targeted,  with  over  half  of  SFA  benefits  going  to  the  poorest quintile. Assuming that the transfer amount was consumed fully (rather than partly saved), the  simulation suggested that the headcount index could be reduced by 0.17 to 0.19 percentage points, and  the poverty gap could be reduced by 0.1 to 0.12 percentage points. If households transferred part of the  Page 19 of 69 The World Bank Conditional Cash Transfers Project (P103974)   amount into productive investments, lower impact on current consumption could be expected but with  possibly larger impacts on medium‐term welfare indicators. The impact of CCTs on school enrollment was  also expected to be significant.  Update to the Economic Analysis (refer to Annex 4 for details)  43. However, the impact of CCT transfers on households’ expenditure is not very large.  The CCT  transfer corresponds only to about 5 percent to 6 percent of average expenditure, and 3 percent to 4  percent of average consumption. The CCT is also unlikely to have a significant effect on poverty (also see  next paragraph) because of its small share of average consumption. No visible impact of the CCT on the  overall expenditure levels of these households was detected. In theory, the CCT transfer was supposed to  be a large component of the income of eligible households, but the evaluation seems to show that the  effect is much smaller than expected. Although these households reported fairly low levels of household  income, they reported levels of monthly expenditure that were 5 to 8 times larger, which suggests that  there was probably significant underreporting of income.   44. Targeting benefits to mothers had larger effect than general targeting. Targeting payments to  mothers  was  found  to  result  in  a  different  pattern  of  durable  and  nondurable  expenditures  in  the  household,  indicating  that  the  identity  of  the  transfer  recipient  can  have  a  strong  impact  in  the  household's decision‐making process. In particular, households where the transfer recipient is the mother  have higher food shares and are more likely to own durable goods.  Implementation Efficiency  45. The project faced several challenges during implementation. These warranted the three rounds  of extension of the project end date. As explained in more detail in other sections of the ICR, the project  ended up being extended for a total of 4 years and 6 months, after initial 2 years of slow implementation.  46. First, the introduction of the CCT Secondary Education Program was delayed because the CBMIS  was not finalized by the preceding World Bank project SPIL. The disbursement condition did not allow  withdrawals to be made for payments of the CCT grants without an operational CBMIS. The World Bank  and the Government reacted quickly to this limitation by amending the legal agreement. However, certain  delay had already been accrued by the time the amendment was enacted.  47. Second,  the  project  disbursement  rate  was  constantly  low  due  to  the  lower‐than‐expected  number of CCT secondary education beneficiaries. This, however, was not related to a shortfall of the  program coverage, which constantly surpassed the target value of 65 percent, but rather the low number  was  due  to  the  decreased  number  of  SFA  beneficiaries  resulting  from  the  improved  targeting  of  the  benefit administration system (after the introduction of the CBMIS) that is, the reduced inclusion errors.  The number of SFA beneficiaries was reduced by a half, mainly because of the project interventions (from  50,185 in 2010 to 25,337 in 2018).  48. Finally,  the  political  environment  in  the  last  several  years  of  project  implementation  was  volatile. The project was receiving irregular political support due to frequent changes of the ministers  (five) during its life. However, having this project in place has helped a lot in preserving the quality of  Page 20 of 69 The World Bank Conditional Cash Transfers Project (P103974)   policy dialogue with all political structures in the social protection and inclusion areas. This is due to the  recognition of the relevance of the PDO and quality of implementation by all ministers. Maintenance of  the productive dialogue led to a request for a new operation that would introduce the second‐generation  policy  reforms  in  social  and  child  protection  in  North  Macedonia,  by  significantly  building  on  the  achievements of the CCT11.   D. JUSTIFICATION OF OVERALL OUTCOME RATING  Rating: Moderately Satisfactory  49. The relevance of the project objectives remained high throughout the life of the project. Albeit in  a significantly extended time frame, efficacy was substantial, and the project fully achieved its objectives.  Very good and well‐evidenced results were achieved on both  parts of the PDO—on strengthening  the  efficiency of the safety nets and on strengthening their effectiveness in the areas of project intervention.  On  the  implementation  side,  the  project  successfully  overcame  some  technical  and  political  issues,  including through timely restructuring efforts.  However, there were multiple extensions and some initial  delays in implementation. The project‐funded transfers also did not seem to have any notable effect on  the  beneficiaries’  consumption  levels.  Both  of  these  findings  are  pointing  at  modest  (albeit  bordering  substantial) efficiency. The overall project outcome rating is therefore Moderately Satisfactory.  E. OTHER OUTCOMES AND IMPACTS  Gender  50. The project had positive gender aspects. As demonstrated by the evaluations conducted under  the project, the CCT intervention’s choice to target mothers as recipients of the transfers has resulted in  increased food consumption in the target households—and hence, increased food security. The program  can  also  be  seen  as  helping  improve  the  status  of  women  in  the  family,  as  recipients  of  the  targeted  transfers.  Institutional Strengthening  51. In addition to the institutional strengthening impacts described in the Efficacy section of this ICR,  the findings from the analytical work conducted under the project underpinned the preparation of the  new Law on  Social Protection and the  new operation under preparation ‘Social Services  Improvement  Project’. The law is prepared and is awaiting approval in the Parliament, while the new operation was  recently declared effective and the MLSP has started its implementation.   52. Further,  the  introduction  of  the  CBMIS  has  allowed  for  regular  collection  and  analysis  of  the  administrative  data  related  to  all  cash  transfers  and  the  socioeconomic  structure  of  the  beneficiaries’  household, as well as monitoring of the transfers administration and payment.  11 Social Services Improvement Project, approved by the World Bank Board of Executive Directors on September 13, 2018.  Page 21 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Poverty Reduction and Shared Prosperity  53. Although the project has definitely achieved its specific objectives, the overall poverty situation  in North Macedonia does not seem to have improved over the years of the project life. Despite a decline  in poverty in the post‐crisis period and improvements in living conditions among the poor, poverty and  inequality levels remain high when compared to regional peers and most EU countries (after controlling  for economic development levels). North Macedonia’s relative poverty rate at the time of appraisal was  around  30  percent,  and  it  was  estimated  at  22  percent  in  2016  (EU  Statistics  on  Income  and  Living  conditions  ‐  SILC).  Despite  what  these  figures  might  logically  suggest,  it  seems  that  any  reduction  in  poverty was largely due to general economic factors, as the spending on means‐tested programs declined  from  0.82  percent  of  GDP  in  2008  to  0.6  percent  in  2017.  Conversely,  the  spending  on  categorical  programs more than doubled during the observed period.   54. Equity  also  remains  a  challenge.12  North  Macedonia’s  overall  structure  of  social  assistance  is  inequitable,  with  an  increasing  share  of  resources  being  directed  toward  categorical  programs.  As  opposed  to  the  declining  spending  levels  on  means‐tested  programs,  the  overall  family  and  child  protection budget (non‐means‐tested programs) has significantly increased since 2008. This was primarily  due to the introduction of the parental allowance program in 2009, which has significantly expanded ever  since. Disability‐related social benefits have also increased, though less sharply.   III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME  A. KEY FACTORS DURING PREPARATION  Setting of Objectives and Results  55. The project set relatively realistic objectives based on the existing capacity, policy environment,  and country specifics. The design reflected the objectives well, choosing to influence the right elements  of the system to achieve the end goals. The activities and targets were easily adaptable, which helped  when the project had to adjust some targets and fine‐tune some of the indicators at a later stage. The  Results Framework reflected the PDO and the design. However, some of the indicators relied on data that  could not be sustainably collected over time, so indicators had to be modified (see section on M&E).  Readiness for Implementation and Stakeholders  56. The project’s readiness for implementation was dependent on three elements: (a) institutional  structure  for  the  implementation  of  the  CCT  program,  (b)  institutional  arrangements  for  project  implementation, and (c) technical readiness.  57. On the institutional structure for the safety nets and CCT,  responsibility for designing policies,  managing  and  monitoring  the  overall  social  safety  net  is  with  the  MLSP.  In  addition,  responsibility  for  beneficiary interface (for example, registration and case management) rests with the SWCs. Reflecting on  these arrangements, the implementing agency was set to be the MLSP, under the oversight and leadership  12 North Macedonia Public Finance Review.  Page 22 of 69 The World Bank Conditional Cash Transfers Project (P103974)   of  the  Deputy  Prime  Minister  for  Economic  Issues.  To  prepare  the  CCT  program,  the  Government  established a high‐level inter‐ministerial CCT Council, responsible for overall strategic decisions for design  of the CCT and monitoring of implementation. In addition, an interagency CCT Working Group was formed  to  discuss  technical  aspects  of  design  and  implementation.  Finally,  ongoing  coordination  and  implementation of the Government’s CCT program was ensured by a unit within the MLSP’s structure (the  CCT Implementation Unit [CCTIU]).   58. With  regard  to  the  institutional  setup  for  project  implementation,  implementation  arrangements  for  the  CCT  Project  were  already  established  during  project  preparation.  The  overall  authorizing  environment  came  from  the  inter‐ministerial  CCT  Council  (council  and  the  CCT  Working  Group).  The  project  was  to  be  managed  by  a  Project  Management  Unit  (PMU),  headed  by  a  project  director, in the MLSP. This was an easy transition, as it was the same PMU that coordinated and monitored  project  activities  under  the  SPIL  project  and  had  the  experience  necessary  for  handling  all  fiduciary  functions, as well as day‐to‐day project coordination, monitoring, and implementation activities.  59. On the technical side, there were some gaps in preparedness. The procurement documents for  the first year of the project were under preparation at the time of appraisal and were largely completed  before  effectiveness.  The  fiduciary  arrangements  built  on  the  existing  PMU  in  the  MLSP  and  that  experienced PMU staff continued working on project implementation. However, the CBMIS, which was  an important requirement for starting the CCT program, was not ready on time. The CBMIS was supposed  to be prepared through another World Bank operation—the SPIL—but was delayed.  B. KEY FACTORS DURING IMPLEMENTATION  Factors Subject to Government and/or Implementing Entities Control   60. Overall, Government coordination and engagement were appropriate. The Government, as a  whole, and the implementing agency were committed to the project objectives and activities.  61. Active  project  implementation  started  with  a  significant  initial  delay.  Implementation  during  2009–12  was  slower  than  planned,  primarily  due  to  the  delay  in  launching  of  the  CCT  program  and  insufficient budget allocations for the project operation between 2009 and 2012. The implementation of  the project has slowed down due to the delays in the development of the CBMIS which resulted in a one‐ year delay in launching of the CCT Secondary Education Program, as well as due to insufficient budget  allocations  for  project  implementation  in  2012.  Besides  the  budget  allocation,  the  major  technical  bottleneck for the initiation of the CCT program was the delay in development of the CBMIS. The MLSP  terminated the contract with a software development company for the CBMIS under the preceding World  Bank project (SPIL) and had to rebid this task. Initiation of the CCT program was conditional upon the  CBMIS. The CBMIS was considered vital for the implementation of the CCT program for adequate use and  management of information regarding intake process, registration, application, attendance compliance,  payroll,  and  M&E  of  the  program.  In  May  2013,  and  as  a  follow  up  to  the  project  midterm  review,  a  restructuring was approved to extend the closing date by 22 months and to fix some issues with results  indicators.   Page 23 of 69 The World Bank Conditional Cash Transfers Project (P103974)   62. Later, two more extensions of the closing date were processed. In July 2015, another extension  by  24  months,  until  December  31,  2017,  was  approved.  That  extension  was  needed  to  ensure  sustainability of the CCT program. This additional time was also needed to complete the activities related  to improvement of the cash benefits administration. The additional time was also seen as helping the  policy dialogue, thereby allowing the Government and the World Bank to use newly produced system  analyses to design and implement policy reforms. It was expected that the implementation of these new  measures would increase the percentage of safety nets transfers going to the poorest quintile.  63. The final extension was processed at the end of 2017 and extended the closing date by another  8 months, till August 31,  2018.  That extension was to allow the continued provision of CCT benefits to  about 7,000 families, as well as the upgrading of the computer hardware in the MLSP and SWCs and for  analytical work to help prepare additional social safety net system reforms. In total, the project had three  extensions of the closing date that brought the initial closing date from February 28, 2014, to August 31,  2018, or a total extension of four‐and‐a‐half years.  Factors Subject to World Bank Control  64. The World Bank was active at all times, and this positively influenced implementation. Since the  Board  presentation  of  the  CPS  in  October  2014,  North  Macedonia  experienced  a  period  of  significant  political  instability.  In  the  period  of  extended  political  crisis,  during  which  the  World  Bank  in  general  experienced significant delays in its portfolio, the CCT remained relatively stable and managed to move  ahead, albeit with some delays. According to the 2017 Performance and Learning Review of the CPS,13  “impressive results were achieved and CPS outcomes already met in improving efficiency of the social  protection system and its compatibility with employment.” This positive outlook is a result of the World  Bank’s proactive approach in the times of crisis, pushing implementation where possible, and maintaining  broad dialogue with multiple stakeholders to ensure continuity of the project’s policy and implementation  goals.  Factors outside the Control of Government and/or Implementing Entities  65. Early implementation was affected by insufficient budget allocations in the state budget for the  project. While the implementing agency seems to have made every effort to ensure the allocations, the  decision  power  was  at  the  parliament  /government  level  and  therefore  beyond  their  control.  Macroeconomic  issues  and  volatile  political  environment  made  it  difficult  for  the  executive  branch  to  influence the budget allocation process, which affected early implementation. The issue, however, was  resolved by certain amendments  to the legal agreement for the project, and by stabilizing the budget  planning process.    IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME  A. QUALITY OF MONITORING AND EVALUATION (M&E)  Rating: Substantial  13 World Bank. 2017. Performance and Learning Review of the Country Partnership Strategy for the FYR Macedonia for the  Period FY15–18. Report No. 119862‐MK.  Page 24 of 69 The World Bank Conditional Cash Transfers Project (P103974)   M&E Design  66. The project M&E was designed as a knowledge generator. The CCT was a new type of benefit  program in North Macedonia and one of the first few exercises of its kind conducted in the Europe and  Central Asia region and in transition countries. Therefore, investments in M&E were planned to generate  knowledge critical not only for policy makers but also for others who may be considering adapting a similar  approach in different contexts.  67. The project was designed to support the Government of North Macedonia in implementing an  M&E system for the project and the CCT program with a focus on results. The project design included  tools to examine the effectiveness of the CCT program and monitor the strengthening of overall safety  nets administration using the project results and a monitoring framework. In addition, the project also  planned to develop the mechanisms and building national capacity in monitoring and impact evaluation,  particularly  capacity  strengthening  in  the  MLSP.  Subcomponent  2  of  Component  III  was  designed  to  provide monitoring and impact evaluation. The project planned to support the design and implementation  of (a) tools to monitor the Results Framework for the project and the CCT program itself, (b) an evaluation  to assess and review implementation of the CCT program in the decentralized context, and (c) an impact  evaluation. The main features of the impact evaluation design were outlined at the time of appraisal.  M&E Implementation  68. M&E  arrangements  were  constantly  improving  throughout  the  life  of  the  project.  This  was  especially visible after the establishment of the CBMIS, which collected a wealth of easily accessible and  important  administrative  data.  Overall,  data  were  systematically  collected  and  analyzed  by  the  Government  and  the  World  Bank.  Several  impact  evaluations  were  conducted  during  the  life  of  the  project—two on the CCT program and two on the SEP. Specifically, the CCT impact evaluation looked at  the overall impact of CCT program, and the impact of different payment and recipient modalities of CCT  transfers on education outcomes and consumption levels of recipient households.   M&E Utilization  69. Data on project indicators were regularly collected and reported and used for decision making,  adjustments  (restructuring),  and  planning  purposes.  For  example,  the  second  restructuring  adjusted  some  indicators  because  the  M&E  system  indicated  that  specific  data  collection  sources  had  to  be  changed.  Because  of  M&E  activities,  adjustments  to  the  program  were  also  made.  Following  the  evaluation of the successful piloting and testing of the SEP, the project was restructured to expand SEP  and  continue  it  beyond  the  originally  envisaged  pilot.  Further,  following  up  to  the  findings  of  an  operational evaluation (audit), minor civil works were included in Component II to enhance the working  conditions of the staff and improve service delivery to the clients at some SWCs.   Justification of Overall Rating of Quality of M&E  70. The  M&E  system  was  appropriately  designed  and  planned  for  all  necessary  institutional  arrangements  and  evaluation  tools.  Information  was  regularly  collected  by  the  Government  and  the  World  Bank  on  the  main  indicators  and  was  used  for  decision‐making  purposes.  The  main  planned  Page 25 of 69 The World Bank Conditional Cash Transfers Project (P103974)   evaluation studies were procured and conducted. The impact evaluation reports on the CCT and on SEP  provided sufficient information on the project indicators and additional analysis of the various impacts.   B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE  Environmental Compliance  71. There  were  no  environmental  issues  related  to  this  project,  and  none  of  the  environmental  safeguards were triggered. At appraisal, the project was classified as Environmental Category C, requiring  no environmental assessment. Later on, during the second restructuring, a subcomponent was added that  involved some minor refurbishments. At that time the environmental category was reviewed again, and  was reconfirmed as Category C, requiring no environmental assessment.  Social Compliance  72. The project was planned from the onset to have positive social effects. The focus on improving  efficiency and effectiveness of the safety net system improved inclusion and the fair distribution of budget  support for the poor.   Financial Management  73. Overall, according to financial management (FM) reviews and audits conducted for the project,  FM  of  the  project  was  found  to  be  adequate,  with  a  properly  functioning  FM  system.  The  FM  arrangements under the project—including planning and budgeting, accounting, internal controls, flow of  funds, financial reporting, and external audit—did not display any significant problems throughout the life  of the project and were steadily assessed as Satisfactory during the last two years of implementation.  After the budgetary constraints faced during the pre‐2012 period, the project budget for 2013–2018 was  generally adequate for the activities envisaged.   74. Project  accounting  and  reporting  was  up‐to‐date  and  adequate  control  procedures  were  in  place during implementation. Accounting records were properly kept, and interim unaudited financial  reports were automatically generated from a locally developed accounting software, supplemented by  Treasury reports with data in local currency and according to budgetary classification. Flow of funds was  also adequate, with some sporadic small delays in the processing of Treasury payments to suppliers. The  two CCT programs implemented under the project had somewhat more complex arrangements in terms  of channeling the funds to students, respectively employees. However, these arrangements were based  on clear and comprehensive eligibility criteria and procedures, described in respective manuals.   75. The project complied with the audit requirements and there were no overdue audits. In addition  to financial audit, there was also a requirement to perform and deliver performance and operational audit  of  cash  transfers  at  least  on  a  sample  basis  to  ensure  that  agreed  outputs  were  delivered  efficiently.  Separate reports were produced for the financial audit, operational audit, and performance review, for  each CCT program, and finalized within six months from the end of each audited period.   Page 26 of 69 The World Bank Conditional Cash Transfers Project (P103974)   76. FM was steadily rated Satisfactory during the life of the project. Transactions were also in order,  with  adequate  system  of  internal  controls  developed  for  the  project  implementation.  A  transactions  review  was  conducted  and  did  not  identify  any  omissions  in  application  of  internal  controls  and  procedures in practice.   Procurement  77. Procurement was consistently rated Satisfactory over time and was carried out in accordance  with the applicable Procurement and Consultant Guidelines and as agreed in the Loan Agreement and  the Procurement Plan. The CCTIU managed procurement during the project life, and there were no major  issues reported during the procurement process or with regard to contract implementation.  78. Procurement  under  the  project  was  governed  by  the  World  Bank’s  ‘Guidelines:  Procurement  under IBRD Loans and IDA Credits’, published by the World Bank in May 2004 and revised in October 2006,  and ‘Guidelines: Selection and Employment of Consultants by World Bank Borrowers’ published by the  Bank in May 2004 and revised in October 2006, as well as the provisions stipulated in the Loan Agreement,  the Project Operations Manual, and the Procurement Plan. The World Bank standard bidding documents,  including evaluation for procurement of works and goods, were used, as well as the World Bank’s standard  request for proposal for selection of consultants, including the standard evaluation report.   C. BANK PERFORMANCE  Rating: Satisfactory  Quality at Entry  79. At the time of preparation and appraisal, the World Bank team collected necessary analytical  data and conducted technical assessments of the support options. As a result, the project components’  design was clear and provided a stable basis for project implementation. Preparation was effectively led  in  the  field,  with  key  members  of  the  team  based  in  the  country.  Sector  (practice)  management  also  provided  direct  support  with  guidance,  but  also  with  expertise.  A  Japan  Policy  and  Human  Resources  Development  Grant  for  preparation  was  also  secured.  The  World  Bank  supported  a  conference  with  international experts reviewing best‐practice CCT examples. The conference provided needed advice to  the Government team and informed project preparation.  Quality of Supervision  80. The  World  Bank’s  implementation  assistance  remained  responsive  to  the  needs,  and  the  operation remained important to achieving country, World Bank, and global development objectives.  There were no significant changes to the objective‐setting circumstances during implementation, and no  major changes were required in the project implementation modality to retain relevance of the objectives  and design.  81. The World Bank team remained vigilant  in continuously reviewing the overall environment in  which the project functioned and was responsive to the everyday implementation challenges, especially  during the initial period of delayed implementation. The team was fast to react to issues from the early  Page 27 of 69 The World Bank Conditional Cash Transfers Project (P103974)   project life by introducing amendments to the loan agreement, modifying disbursement conditions and  disbursement percentages to remove blockages to implementation.  Justification of Overall Rating of Bank Performance  82. The  due  diligence  and  analytical  work  at  the  time  of  preparation  and  the  proactive  implementation support of the World Bank team were overall rated Satisfactory.  D. RISK TO DEVELOPMENT OUTCOME  Rating: Substantial  83. The risk to sustaining the development outcome is substantial, but with improving prospects.  Overall, the country economic outlook is positive, and growth is expected to average 2.7 percent for 2018– 20. The new government has a mandate and political will to pursue the reforms in all social sectors. The  positive outlook has also been improved by the development of a new draft Law for Social Protection, and  recent legislative reforms in the areas of child protection (namely, the planned introduction of Education  Allowances for both primary and secondary education). Most of the proposed changes in the draft laws  are informed by the findings from the project‐financed analytical reports. The institutional capacity for  implementation and sustainability is improved due to the decision of the new minister of labor and social  policy to establish a new Policy Unit within the MLSP. Moreover, the design features of the CCT Secondary  Program  are  replicated  in  the  new  entitlement  ‘education  allowance’.  However,  political  environment  continues to be complex, and sudden changes of the course of policies are possible. On the technical side,  capacity constraints continue to exist and may slow down the implementation of the further reform steps.  V. LESSONS AND RECOMMENDATIONS  84. The long project life resulted in several lessons learned, including ones related to the parameters  of the social safety nets and the enabling environment. However, they are subject to a discussion beyond  this ICR. Only the lessons directly related to the project are presented in the following paragraphs.   Design  85. Activation measures should include more activities such as individual training, support at home,  counseling, and subsidized employment. The poorest and most vulnerable are hard to employ; thus, the  activation  measures  for  them  have  to  be  carefully  tailored.  The  implementation  of  the  CCT  SEP  for  beneficiaries that are at social risk showed that the SFA beneficiaries are an extremely hard category to  employ.  Some  reasons  are  psychological  (concern  by  beneficiaries  that  if  they  work,  they  would  lose  benefits), and others—practical (existence of unregulated labor market and lack of skills). The whole set  of measures should be individually planned and implemented. Instead of group activities or programs, an  individual approach should be implemented considering the unique situation and problems that each SFA  family  is  facing.  In  addition  to  that,  with  the  experience  from  SEP,  new  extension  programs  could  be  developed tackling other problems of the vulnerable, like health and education status of the adult poor.  Page 28 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Readiness for Implementation  86. Team effort and management support are crucial for а successful institutional reform. The role  of each institution needs to be well defined. Assigning a team comprising representatives from all the  institutions, who have a clear vision about the goals and strong commitment and management support,  is the key for success in this kind of reform.  87. Information and communication technology/MIS investments need to be fully in place before  the  start  of  the  implementation  of  safety  net  programs  that  rely  on  automated  systems.  Although  creating an appropriate institutional setup for maintaining and developing MIS was in the preparation  plans, the necessary IT system was not in place at the time when all other components of the CCT were  ready. This delayed the launch of the whole CCT program.   88. There  is  a  need  to  build  a  pool  of  skilled  staff.  Mechanisms  are  needed  to  attract  and  retain  properly skilled staff in the government agencies so that massive project investments into capacity of the  implementing  ministries  are  more  likely  to  be  sustained.  For  day‐to‐day  project  implementation,  it  is  important to have a functional PMU with qualified staff who will support all government structures in  overall project implementation activities. Building a pool of skilled staff can be achieved through creating  long‐term employment prospects within the regular government structures, with appropriate incentives,  including, among other things, training and competitive salary.  Implementation  89. Government budgetary commitments for project implementation need to be clear and strictly  observed. Annual allocations from the state budget were not always in line with the project financing  needs and agreements. As explained earlier, this led to the need for an extension of the Loan Agreement.  To  overcome  this  in  the  future,  Government  commitments  for  budget  allocation  need  to  be  strictly  observed, according to the respective project budgets and agreements. The budget process needs to be  evaluated during project appraisal, and respective processes should be made into formal commitments  in legal documents.  90. For institutional reform projects such as this one, the established consultative mechanisms on  the reform are of significant importance for project implementation. The successful implementation of  the  activities  in  most  cases  depended  on  the  quality  of  the  working  groups,  established  to  guide  and  coordinate  the  respective  activity.  Including  the  right  people  in  each  working  group  meant  better  coordination, faster and clearer decision making, and better products coming from the working group.  The  higher  quality  the  working  group  was,  the  better  and  smoother  was  the  implementation  of  the  respective activity.  91. Development  of  MIS  for  a  sector  is  complex  and  time‐consuming  and  requires  strong  management/political  commitment.  Developing  a  system  that  will  automate  the  business  processes  requires a strong team that would work with the software development company, to be able to make  daily  decisions  about  the  content  of  the  software.  Although  the  business  processes  are  part  of  each  contract for software development, some of the details need to be defined during the development, and  it is critical that the assigned team has knowledge and authority to make decisions about the details of  Page 29 of 69 The World Bank Conditional Cash Transfers Project (P103974)   the software. The time required for successful completion of projects of this scope and level of complexity  needs to be more conservatively assessed. Finally, MIS development should be accompanied by careful  planning of the necessary follow‐on support—for example, training people and establishing helpdesks in  the institutions hosting the systems.  .  Page 30 of 69 The World Bank Conditional Cash Transfers Project (P103974) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS               A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: To strengthen the efficiency of country's social safety net  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Direct project beneficiaries  Number  0.00  18000.00  19500.00  20173.00    30‐Sep‐2010  30‐Sep‐2010  30‐Nov‐2017  21‐Jun‐2018    Female beneficiaries  Percentage  0.00  45.00  47.00  48.10    30‐Sep‐2010  30‐Sep‐2010  30‐Nov‐2017  21‐Jun‐2018      Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Administration of Safety Nets  Yes/No  N  Y  Y  Y  strengthened, especially with  the use of MIS    15‐Apr‐2010  15‐Apr‐2010  30‐Nov‐2017  21‐Jun‐2018  Page 31 of 69 The World Bank Conditional Cash Transfers Project (P103974)     Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Overall safety nets' targeting  Percentage  60.80  65.00  65.00  77.70  accuracy    28‐Feb‐2014  28‐Feb‐2014  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):         Objective/Outcome: To strengthen the effectiveness of country's social safety nets  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  At least 85 % attendance  Percentage  85.00  85.00  85.00  93.90  rates of children ages 15‐18  in CCT beneficiary households    09‐Jan‐2015  15‐Jan‐2015  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Enrollment rates of children  Percentage  54.90  60.00  60.00  75.90  ages 15‐18 in CCT beneficiary  households    15‐Apr‐2010  15‐Apr‐2010  30‐Nov‐2017  21‐Jun‐2018    Page 32 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  % of SFA beneficiary children  Percentage  0.00  40.00  65.00  85.91  aged 15‐18 that have been  registered with CCT    15‐Apr‐2010  15‐Apr‐2010  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):         A.2 Intermediate Results Indicators        Component: Enhancing the human capital links to cash assistance  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Cash benefit programs  Percentage  0.00  90.00  90.00  100.00  administered in the MIS    15‐Apr‐2010  15‐Apr‐2010  30‐Dec‐2015  21‐Jun‐2018    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  CCT extensions  Yes/No  N  Y  Y  Y  Page 33 of 69 The World Bank Conditional Cash Transfers Project (P103974)     15‐Apr‐2010  15‐Apr‐2010  30‐Dec‐2014  21‐May‐2014    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Random spot check of  Yes/No  N  Y  Y  Y  schools    01‐Sep‐2011  01‐Sep‐2011  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Time frame SWCs answer to  Percentage  50.00  100.00  100.00  100.00  CCT complaints    01‐Sep‐2011  01‐Sep‐2011  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Transfer payments on time  Percentage  50.00  80.00  80.00  50.10    10‐Apr‐2012  10‐Apr‐2012  30‐Nov‐2017  21‐Jun‐2018    Page 34 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Education conditionalities  Percentage  0.00  90.00  90.00  100.00  are monitored in MIS    01‐Sep‐2011  01‐Sep‐2011  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):         Component: Strengthening safety net administration  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Number of MLSP and SWC  Number  0.00  30.00  30.00  355.00  staff trained    30‐Sep‐2010  30‐Sep‐2010  30‐Nov‐2017  30‐Dec‐2015    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  CCTIU staffed and 1 staff  Percentage  0.00  100.00  100.00  100.00  member in each SWC  assigned to CCT program    15‐Apr‐2010  15‐Apr‐2010  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):   Page 35 of 69 The World Bank Conditional Cash Transfers Project (P103974)       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Functional analysis of SWCs  Yes/No  N  Y  Y  Y  completed    15‐Apr‐2010  15‐Apr‐2010  28‐Feb‐2014  07‐Nov‐2013    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Assessment of targeting  Yes/No  N  Y  Y  Y  mechanisms, eligibility, and  registry systems of different    15‐Apr‐2010  15‐Apr‐2010  30‐Nov‐2017  30‐Dec‐2015  CBs completed.    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Processing time per SFA  Number  69.00  30.00  30.00  11.00  applications reduced    14‐Apr‐2010  15‐Apr‐2010  28‐Feb‐2014  21‐Jun‐2018    Comments (achievements against targets):       Page 36 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Operations and performance  Yes/No  N  Y  Y  Y  Audit    15‐Apr‐2010  15‐Apr‐2010  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Algorithm for MIS cross‐ Yes/No  N  Y  Y  Y  checking    15‐Apr‐2010  15‐Apr‐2010  30‐Dec‐2015  05‐Dec‐2016    Comments (achievements against targets):         Component: Project management , monitoring and impact evaluation  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Awareness of the  Percentage  58.37  80.00  80.00  75.90  beneficiaries    10‐May‐2011  10‐May‐2011  28‐Feb‐2014  05‐Dec‐2016    Comments (achievements against targets):       Page 37 of 69 The World Bank Conditional Cash Transfers Project (P103974)   Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Impact evaluation for  Yes/No  N  Y  Y  Y  education CCT program    15‐Apr‐2010  15‐Apr‐2010  28‐Feb‐2014  09‐Jan‐2015    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  PMU fully staffed and  Percentage  100.00  100.00  100.00  100.00  operational    15‐Apr‐2010  15‐Apr‐2010  30‐Nov‐2017  21‐Jun‐2018    Comments (achievements against targets):             Page 38 of 69 The World Bank Conditional Cash Transfers Project (P103974)   A.3 Results Framework and Monitoring: Changes after the Second Restructuring  Project Development Objective (PDO): To strengthen the effectiveness and efficiency of the Borrower’s social safety net through: (a) the introduction of  conditional cash transfers (CCT); and (b) improvements in the administration, oversight, monitoring and evaluation of social assistance transfers.  Revised Project Development Objective: (No changes proposed)    D=Dropped  Cumulative Target Values**  PDO Level  C=Continue  Responsibilit Core  Unit of    Data Source/  Results  N= New  Baseline  Frequency  y for Data  Measure  YR 1  YR 2  YR 3  YR4  Methodology  Indicators*   R=Revised  Collection    Indicator 1:  R  Percent  44.8%  ≥44.8%  ≥44.8%  ≥44.8%  ≥44.8%  Annual  This indicator  Policy Unit  Overall safety  The indicator  will be  nets’ targeting  is unchanged,  measured  accuracy ‐ % of  but the  through the  safety nets  baseline and  annual  transfers going  target values  Household  to the poorest  are changed  Budget Survey  quintile  from 50% to  (HBS), using  maintained or  44.8%. This  the question  improved after  change  of percentage  year 4  reflects the  of households    standard  receiving    definition  ‘social  used by the  assistance and  statistical  other  office to  allowances  measure  related to  safety nets  social  transfers.  assistance.’    However, it is  important to  note that  these data are  not  Page 39 of 69 The World Bank Conditional Cash Transfers Project (P103974) representative  of safety nets  beneficiaries —and have  shown  inconsistencie s in other  indicators  needed to  measure  absolute  poverty, for  example. As a  result,  numbers jump  significantly  year after  year. The  team is  working on  better  understanding  the source of  the annual  variations in  the data.   Indicator 2: %  R  Percent  0%      60%  65%  Annual  MIS  CCTIU  of SFA  The indicator  beneficiary  will be more  children aged  clearly  15–18 or until    defined to  finalization of  account for  regular  the fact that  secondary  CCT  education that  beneficiaries  Page 40 of 69 The World Bank Conditional Cash Transfers Project (P103974) have been  are selected  registered  from SFA  with CCT.  beneficiaries  and not the  total  population.  Instead of ‘%  of all  households  with  children...,’ it  will say "% of  SFA  beneficiary  children ages  15–18....’   Also, instead  of percentage  of  households, it  will measure  percentage of  children since  they are the  direct  beneficiaries  and are what  the MIS  measures.  Changes to  the baseline  and targets  are proposed  accordingly.   Page 41 of 69 The World Bank Conditional Cash Transfers Project (P103974) Indicator 3:  R  Percent  54.9%        60.0%  Twice in  Impact  CCTIU  Enrollment  By definition,  lifetime of  evaluation  rates of  enrollment  the  surveys  children ages  rates of  program  15–18 or until  children in  finalization of  CCT  regular  households  secondary  are 100%.  education in  This indicator  SFA    should refer  beneficiary  to SFA  households   beneficiaries  instead of CCT  beneficiaries.  Changes to  baseline and  targets are  proposed  accordingly.  Indicator 4:    C  Percent  85%  ≥85%  ≥85%  ≥85%  ≥85%  Annual  MIS  CCTIU  Attendance    rates of  children ages  15–18 or until  the finalization  of regular  secondary  education in  CCT  beneficiary  households  Indicator 5:    C    MIS under    MIS for  MIS used to    Annual  MIS  Policy Unit  Administration  development  overall  inform  of safety nets  safety nets  decisions  strengthened,  Page 42 of 69 The World Bank Conditional Cash Transfers Project (P103974) especially with  the use of MIS  INTERMEDIATE RESULTS  Intermediate Result (Component I): Education CCT implemented and functioning efficiently  Revised Intermediate Result (Component I):  Intermediate  D                    Result  This indicator  Indicator 1: %  is the same as  of eligible SFA  PDO #2.    households  that have been  registered  with CCT  Intermediate  D                    Result  There is no  Indicator 2: %  instrument to  of CCT transfer  measure this  amount going  directly. The  to the poorest  target  quintile  population for  CCT is SFA  beneficiaries.    The targeting  effectiveness  of the SFA  benefits is  already  covered in  PDO #1.  Measuring  this indicator  Page 43 of 69 The World Bank Conditional Cash Transfers Project (P103974) directly would  require  significant  resources to  either  oversample  CCT  beneficiaries  in the HBS or  carry out a  separate  survey.  Intermediate    R  Percent  N/A    90%  90%  90%  Annual  MIS  CCTIU  Result  The indicator  For a child to  Indicator 3: %  will refer to  be counted as  of CCT  children  being  beneficiary  monitored,  monitored  children  rather than  regularly,  whose  households.  conditionalitie education  The MIS  s need to be  conditionalitie follows  monitored in  s are  children, not  all quarters of  monitored  households.  the school  regularly in  year  MIS  Intermediate    R  Percent  N/A    80%  80%  80%  Annual  MIS  CCTIU  Result  The indicator  Indicator 4: %  will refer to  of CCT  children and  beneficiary  not  children who  households.  receive  The MIS  transfer  follows  payments on  children, not  time  households.  Page 44 of 69 The World Bank Conditional Cash Transfers Project (P103974) Intermediate    R  Percent  N/A    90%  100%  100%  Annual  For the first  CCTIU  Result  Change to  year, the  Indicator 5: %  measure this  indicator was  of CCT  annually,  measured  complaints  instead of  through the  received by  semiannually.  paper‐based  the SWC that  complaints  have been  system since  responded to  the MIS was  within 30 days  not yet fully  functional.  After that, it is  to be  measured  through the  MIS. The  change may  affect  comparability  of numbers  over time.  Intermediate    C  Yes/ No  N/A  Yes  Yes  Yes  Yes  Annual  Performance  CCTIU  Result  audit  Indicator 6: 1  random spot‐ check of  schools  conducted  annually  Intermediate    C  Yes/ No  N/A    Diagnostic Design and    Annual  Program  PMU  Result  s and  piloting  design report,  indicator 7:  assessme completed  pilot survey  Possible CCT  nt  extensions  conducted  assessed,  Page 45 of 69 The World Bank Conditional Cash Transfers Project (P103974) designed and  piloted  Intermediate Result (Component II): The overall safety net administration (including CCT) strengthened  Revised Intermediate Result (Component II):  Intermediate  C  Percent  0%      90%  90%  Annual  MIS  Policy Unit  Result Indicator  The indicator  1: % of cash  measures the  benefit programs  percentage of  administered in  payments  the MIS  administered    through the  MIS as a  percentage of  total  payments paid  for social  benefits.  Intermediate  C  Progress in  N/A  Algorithm  Algorithm      Annual  MIS  PMU  Result Indicator  process  developed  applied  2: Algorithm for  and  MIS cross‐check  application    for eligibility and  consistency  developed and  applied  Intermediate  C  Yes/No  N/A    Yes      Once in  Assessment  PMU  Result Indicator  the  report  3: Assessment of  lifetime of  targeting    the  mechanism,  project  eligibility, and  registry systems  Page 46 of 69 The World Bank Conditional Cash Transfers Project (P103974) of different CBs  completed  Intermediate  C  Yes/No  N/A    Yes      Once in  Assessment  PMU  Result Indicator  the  report  4: Functional    lifetime of  analysis of SWCs  the  completed  project  Intermediate  C  Percent  N/A  100%  100%  100%  100%  Semiannu Status report  PMU  Result Indicator  al  5: CCTIU staffed  and 1 staff    member in each  SWC assigned to  CCT program  Intermediate  C  Number of  N/A  20  30      Annual for  MLSP  PMU  Result Indicator  people  first two  administrative  6: Number of    years  records  MLSP and SWC  staff trained  Intermediate  C  Yes/No  N/A  Yes  Yes  Yes  Yes  Annual  Operations  PMU  Result Indicator  and  7: 1 operations  performance  audit and 1    audit reports  performance  audit conducted  annually  Intermediate  R  Number of  69        60  Annual  Process  Policy Unit  Result indicator  The  days  evaluation  8: Processing  baseline  time per SFA  has been  applications    completed,  reduced  and a  targeted  included,  based on  Page 47 of 69 The World Bank Conditional Cash Transfers Project (P103974) the  correspond ing  legislation.  Intermediate Result (Component III): PMU created and functioning efficiently, impact evaluation implemented and information and dissemination campaign  implemented  Revised Intermediate Result (Component III):  Intermediate  C  Percent  100%  100%  100%  100%  100%  Annual  MLSP  PMU  Result Indicator  administrative  1: PMU fully    records  staffed and  operational  Intermediate  C  Progress in  Draft initial  Design  Follow‐up  IE report of    Annual  Impact  PMU  Result Indicator  process  design  completed;  data  final results  evaluation  2: Impact  baseline  collected  completed  surveys and  evaluation for  data  and  and  reports    education CCT  collected  analyzed  disseminate designed,  d  conducted, and  results reported  Intermediate  C  Percent  0%  60%      80%  Twice in  Impact  MLSP and  Result Indicator  lifetime of  evaluation  PMUs  3: % of  the  surveys  prospective  project  beneficiaries  (households  eligible for CCT)    who are  informed of their  eligibility and the  requirements of  the application  process    Page 48 of 69 The World Bank Conditional Cash Transfers Project (P103974)          Page 49 of 69 The World Bank Conditional Cash Transfers Project (P103974) B. KEY OUTPUTS BY COMPONENT    Objective/Outcome 1: To strengthen the efficiency of North Macedonia’s social safety net  1. Overall safety nets’ targeting accuracy ‐ maintained or improved after year 4 (Indicator 1 from  the Results Framework)   Outcome Indicators  2. Administration of safety nets strengthened, especially with the use of MIS (Indicator 5 of the  Results Framework)  1. % of eligible SFA households that have been registered with CCT  2. % of CCT transfer amount going to the poorest quintile  3. % of CCT complaints received by the SWC that have been responded to within 30 days  4. 1 random spot‐check of schools conducted annually  5. % of cash benefit programs administered in the MIS  6. Algorithm for MIS cross‐check for eligibility and consistency developed and applied  Intermediate Results Indicators  7. Assessment of targeting mechanism, eligibility, and registry systems of different CBs  completed  8. Functional analysis of SWCs completed  9. CCTIU staffed and 1 staff member in each SWC assigned to CCT program  10. Number of MLSP and SWC staff trained  11. 1 operations audit and 1 performance audit conducted annually  12. Processing time per SFA applications reduced  Component II  (i) Development of the Cash Benefits Information and Management System (CBMIS)  (ii)  Assessments of targeting, eligibility, and registry systems for different cash benefit  Key Outputs by Component  programs  (linked to the achievement of the  (iii)  Development and application of oversight and controls mechanisms to monitor  Objective/Outcome 1)  implementation of CCTs and other SFA benefits  (iv)  A Functional Analysis of the SWCs  (v)  Capacity building for program management  Page 50 of 69 The World Bank Conditional Cash Transfers Project (P103974) Objective/Outcome 2: To strengthen the effectiveness of North Macedonia’s social safety net  1. % of SFA beneficiary children aged 15–18 or until finalization of regular secondary education  that have been registered with CCT (Indicator 2 from the Results Framework)  2. Enrollment rates of children ages 15–18 or until finalization of regular secondary education in   Outcome Indicators  SFA beneficiary households (Indicator 3 from the Results Framework)  3. Attendance rates of children ages 15–18 or until the finalization of regular secondary  education in CCT beneficiary households (Indicator 4 from the Results Framework)  1. Intermediate Result Indicator 1: PMU fully staffed and operational  2. Impact evaluation for education CCT designed, conducted, and results reported  3. % of prospective beneficiaries (households eligible for CCT) who are informed of their  Intermediate Results Indicators  eligibility and the requirements of the application process  4. % of CCT beneficiary children whose education conditionalities are monitored regularly in MIS  5. % of CCT beneficiary children who receive transfer payments on time  6. Possible CCT extensions assessed, designed, and piloted  Component I  (i) Subcomponent I.1: Implementation of a CCT program for poor families with children  attending secondary education.   Key Outputs by Component  (ii) Subcomponent I.2: Identification, development and implementation of CCT extension  (linked to the achievement of the  programs.  Objective/Outcome 2)  Component III  (i) Develop and put in place effective monitoring and impact evaluation system;   (ii) Develop and implement the public awareness campaign.      Page 51 of 69 The World Bank Conditional Cash Transfers Project (P103974)   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION    A. TASK TEAM MEMBERS    Name  Role  Preparation  Supervision/ICR  Bojana Naceva  Task Team Leader(s)  Antonia G. Viyachka  Procurement Specialist(s)  Tural Jamalov  Financial Management Specialist  Jasminka Sopova  Team Member  Gulana Enar Hajiyeva  Environmental Safeguards Specialist  Marina Petrovic  Team Member  Bekim Imeri  Social Safeguards Specialist  Briana N. Wilson  Team Member       B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY07  10.612  69,663.20  FY08  19.921  123,733.77  FY09  42.969  160,196.06  FY10  .350  ‐ 729.22  Total  73.85  352,863.81    Supervision/ICR  FY10  31.238  82,289.96  FY11  37.809  117,324.23  FY12  24.763  87,467.54  FY13  22.620  78,151.22  Page 52 of 69 The World Bank Conditional Cash Transfers Project (P103974) FY14  16.071  41,449.73  FY15  17.775  56,413.73  FY16  14.740  45,086.30  FY17  24.115  78,730.97  FY18  19.885  91,064.83  FY19  6.533  34,790.53  Total  215.55  712,769.04                 Page 53 of 69 The World Bank Conditional Cash Transfers Project (P103974) ANNEX 3. PROJECT COST BY COMPONENT      Actual at Project  Percentage of  Amount at Approval  Components  Closing   Approval   (EUR, millions)  (EUR, millions)  (%)  Enhancing the Human  Capital Links to Cash  16.15  8.67  54  Assistance  Strengthening Safety Net  1.97  7.11  361  Administration  Project Management and  Monitoring and  1.13  1.42  126  Evaluation  Physical and price  contingencies and front‐ 0.05  0.05    end fee  Total  19.3  17.25  89.38          Page 54 of 69 The World Bank Conditional Cash Transfers Project (P103974) ANNEX 4. EFFICIENCY ANALYSIS  Original PAD Economic Analysis  Economic Analysis  1. To evaluate the economic soundness of the CCT program, a cost‐benefit analysis was undertaken  at appraisal  based on  the program  costs and  estimated economic returns.  The CCT program  costs are  given  by  the  transfer  amount  (MKD  12,000  per  child  per  year)  and  an  estimated  10  percent  for  administrative costs.14   2. On economic returns, the CCT program was expected to have important short‐run and medium‐ run  benefits.  It  was  expected  to  reduce  immediate  poverty  by  channeling  cash  transfers  to  poor  households.  School  attendance  conditionalities  associated  with  these  transfers  aimed  to  promote  investment in education, thus presumably higher earnings and welfare in the future. These benefits were  expected to arise regardless of the specific payment and recipient structures. The cost‐benefit analysis  based  on  gains  in  educational  attainment  is  presented  in  the  following  paragraphs,  followed  by  simulations of the impact on consumption.  3. While  it  was  difficult  to  fully  measure  the  expected  impact  of  the  CCT  transfers  in  North  Macedonia in monetary terms, the evidence at the time from impact evaluations of various CCT programs  gave a range of reasonable estimates of the impact of CCT on school enrollment. The evidence15 suggested  that the impact on school enrollment tends to be higher among children transitioning from primary to  secondary school and among poor recipient households. In North Macedonia, the target population was  the  poorest  (recipient  households  of  SFA  with  children  ages  15–18  or  until  the  finalization  of  regular  secondary education who do not benefit from child allowance), and CCT conditionalities were placed on  secondary  education.  Secondary  enrollment  was  low  among  the  poorest  quintile,16  thus,  in  the  cost‐ benefit  analysis  for  North  Macedonia,  an  estimate  of  10‐percentage  point  increase  in  enrollment  associated with receiving CCT was used. This number is the median in the range of international estimates,  and other countries with similarly low baseline enrollment experienced even larger than 10‐percentage  point impact of CCT.   4. With these underlying assumptions, and based on the results from CCT impact evaluations and  estimated returns to education from 2007 Labor Force Survey, the cost‐benefit calculations provided the  following estimates:   CCT was expected to increase enrollment by 10 percentage points per beneficiary; that is,  the average CCT beneficiary is specific number of percentage points more likely to enroll  than he/she will be without CCT. Based on the Ministry of Education’s estimate of dropouts,  it was assumed that 2 percent of enrolled children in secondary school did not complete  each grade. It was assumed that each year of CCT transfers would be associated with 0.10 ×  0.98 = 0.098 additional years of education attained for each beneficiary.  14 This is already a conservative estimate, based on other CCTs, no more than 10 percent of total cash benefits is spent on  administrative duties.  15 Fiszbein and Schady 2009.  16 Roughly 32 percent according to staff calculations using the 2007 Multi‐Indicator Cluster Survey.  Page 55 of 69 The World Bank Conditional Cash Transfers Project (P103974)  It  was  estimated  that  each  additional  year  in  secondary  school  in  North  Macedonia  was  associated with roughly 4 percent increase in consumption (a conservative estimate). From  labor market data, individuals with four years of secondary school rather than primary or no  formal education were associated with 15 percent higher wages, thus higher income and  consumption.17   To  identify  the  monetary  benefit  that  CCT  recipients  would  presumably  gain  from  higher  educational attainment, the net present value of their consumption was compared with the  counterfactual  consumption  in  the  absence  of  this  gain  in  educational  attainment.  Specifically,  two  consumption  streams  were  estimated  that  differed  by  the  consumption  levels  for  two  individuals  with  different  education  attainment  and  thus  different  income  levels, assuming individuals work from age 18 to 60. The net present value of these income  streams was calculated using the discount rate assumed to be 4 percent, in range with the  usual discount rate used in academic papers.   The  benefit‐cost  ratio  was  calculated  according  to  three  different  growth  scenarios.  Projections  of  annual  growth  in  per  capita  consumption  were  estimated  at  the  worst  3  percent (next two years given the current global crisis) and 5–7 percent in the medium run.18  Table 4.1: Benefit‐Cost Ratios, Alternative Growth Scenarios    3% growth  5% growth  7% growth  Ratio  0.7  1.1  1.83  Source: Staff calculations based on the HBS 2006 and CCT IE results from Fiszbein and Schady (2009)  5. Table 4.1 presents the results from calculations of costs and benefits linked solely to the expected  impact of CCT on education outcomes. The benefits outweigh the cost (benefit‐cost ratio greater than 1)  in all the growth scenarios except that of 3 percent, and they are particularly stark in the higher growth  scenario of 7 percent.   6. In  addition,  other  potential  impacts,  aside  from  improved  earnings  through  educational  achievement, can reinforce the benefit‐cost argument in support of the CCT program. First, higher school  enrollment is likely to affect well‐being beyond its impact on wages, for example, better knowledge on  health issues and social status. Second, transfers made to women (one of the modalities assessed in the  impact evaluation) can influence the household’s expenditure patterns on consumption and investment  goods as well as produce social benefits. Third, findings indicate that CCT programs have no significant  negative  effects  on  adult  labor  market  participation,  despite  the  possibility  that  reduced  employment  because of receiving cash transfers could in theory offset the benefits of those transfers. Finally, expected  impacts  of  the  cash  transfers  on  current  consumption  poverty  are  discussed  in  further  detail  in  the  following paragraphs, with implications for reducing poverty.  17 Angel‐Urdinola, 2008. “FYR Macedonia Labor Market Profile 2004‐2007: A Policy Note.” World Bank.  18 Estimate from the CMU.  Page 56 of 69 The World Bank Conditional Cash Transfers Project (P103974) Simulations of CCT Impacts on Consumption  7. Aside from enhancing investment in human capital, the CCT transfers were expected to constitute  a  considerable  part  of  beneficiary  households’  consumption  budget  and  could  therefore  affect  the  country’s poverty profile. The transfer of MKD 12,000 per child (a cohort used in simulation is 15–18 years)  per year represents approximately 15–19 percent of the mean per capita consumption of the designated  beneficiaries. Calculations based on the national consumption aggregates suggested at the time that this  CCT transfer could add a considerable amount to the household budget. Because there was no upper limit  on the number of children eligible, a household with four children ages 15–18 or until the finalization of  regular  secondary  education  (the  highest  number  in  the  HBS  2006  sample)  could  receive  MKD  48,000  annually if all these children fulfilled the education conditionalities.   8. Therefore, the impact of CCT transfers on consumption poverty was simulated using HBS 2006  data  under  some  assumptions  (see  original  project  PAD  for  details).  The  simulation  exercise  involved  comparing the country’s poverty profile without and with the CCT transfers for all eligible households.  The exercise was undertaken for two poverty lines, US$2.5 and US$5 per capita per day, commonly used  for Europe and Central Asia countries. The impact on the poverty headcount index was simulated, which  denotes the likelihood that a household consumes less than the poverty line, and the poverty gap, which  measures the difference between expenditure and the poverty line, as a percentage of the poverty line.  The  results  are  presented  in  table  4.2.  As  this  CCT  program  targets  a  small  fraction  of  the  population  (approximately 3 percent), the simulations suggested that it could reduce the headcount index by 0.17– 0.19 percentage points and reduce the poverty gap by 0.1–0.12 percentage points.  Table 4.2.: Simulated Change in Poverty with CCT Transfers   No CCT transfer With CCT transfer Difference $2.5 poverty line 7.73% 7.54% -0.19% Poverty Headcount $5 poverty line 28.07% 27.90% -0.17% $2.5 poverty line 2.16% 2.06% -0.10% Poverty Gap $5 poverty line 9.42% 9.29% -0.12%   Source: Staff calculations based on North Macedonia HBS 2006 and national consumption aggregates.  Fiscal Impact and Sustainability  9. The project would finance all components including the cash transfers and the implementation of  the system to monitor conditionalities. Therefore, the fiscal impact on the Government of the Republic of  North Macedonia’s budget was expected to be minor, because it would only include some administration  costs.  Updated (end‐of‐project) Economic Analysis  10. The impact evaluation of the CCT on secondary school enrollment and attendance and on the  expenditure patterns of affected households showed visible effects on enrollment but could not confirm  strong impact on consumption.    Page 57 of 69 The World Bank Conditional Cash Transfers Project (P103974) 11. Impact  on  enrollment.  The  impact  evaluation  of  the  CCT  program  shows  good  results  on  enrollment,  especially  among  older  youth  who  are  disproportionately  likely  to  drop  out  of  school.  It  showed  that  the  CCT  program  could  be  attributed  the  increase  of  10  percentage  points  in  secondary  school enrollment in North Macedonia, with this effect explained by lower dropout rates among older  youth. This is a substantial impact, considering that the average participation in secondary education for  target children is close to 60 percent. The data also suggest that this is due to a decrease in dropouts at  later ages rather than an increase in enrollment at the beginning of secondary school, although the sample  sizes on which such an assessment is based are relatively small and demands a deeper investigation. There  is  hardly  any  impact  of  the  CCT  on  school  attendance  among  those  already  enrolled  in  school.  All  the  impact on schooling comes through enrollment.  12. Targeting.  Targeting  payments  to  mother’s  results  in  a  different  pattern  of  durable  and  nondurable expenditures in the household. This indicates a change in the household’s decision‐making  process, presumably through the empowerment of women, who are put in control of a component of  household resources. Households where the transfer recipient is the mother have higher food shares and  are  more  likely  to  own  durable  goods,  such  as  dishwasher,  a  video/camera,  and  a  motorcycle,  than  households  where  the transfer recipient is  the head of household. In  contrast, the former have lower  expenditures on clothing than the latter, especially clothing of female children.  13. Targeting was also improved by the establishment of the CBMIS and interconnectivity with the  other institutions has contributed to the increased efficiency of social assistance administration and lower  cost of administration of social assistance cash transfers in the following way:   Processing time per SFA application has decreased from 69 days to 11 days, which is well  below the targeted 30 days.   The  registration  procedures  were  simplified  and  the  administrative  costs  for  benefit  claimants eliminated. In the past, the applicants used to spend approximately EUR 40 and a  minimum of 5 days for obtaining all the necessary documents from various institutions.   Targeting  accuracy  of  the  overall  social  safety  net  has  increased  from  61  percent  to  78  percent during project implementation, exceeding the targeted 65 percent.  14. This is largely due to the targeting accuracy of the SFA program. The accuracy of targeting is also  reflected in the fact that leakage incidence to the richest quintile is low in all the social assistance programs  except the disability benefits.  15. Impact  on  household  expenditures  and  consumption.  The  impact  of  CCT  transfers  on  households’ expenditure is not as large as expected, and CCT is unlikely to have a significant effect on  poverty (also see next paragraph). The CCT transfer corresponds only to about 5 percent to 6 percent of  average expenditure, and 3 percent to 4 percent of average consumption. No visible impact of the CCT on  the overall expenditure levels of these households was detected. In theory, the CCT transfer was supposed  to be a large component of the income of eligible households, but the evaluation seems to show that the  effect is much smaller than expected. Although these households reported fairly low levels of household  income, they reported levels of monthly expenditure that were 5 to 8 times larger, which suggests that  they are probably underreporting income. It is likely that in North Macedonia, expenditure would be a  Page 58 of 69 The World Bank Conditional Cash Transfers Project (P103974) much more accurate measure of household welfare than reported income. When the evaluation considers  expenditure instead of reported income, the CCT transfer corresponds only to about 5 to 6 percent of  average  expenditure  and  3  to  4  percent  of  average  consumption  (which  is  different  from  expenditure  because it may include gifts or self‐production of some commodities). This provides some explanation as  to why there are not very large impacts of the CCT transfers on expenditure. Larger transfers are more  likely to produce strong impacts on the welfare of these households.  16. Cost‐efficiency of the SFA. Among social transfers analyzed, the SFA program appears to be most  cost‐efficient.19. Poverty in North Macedonia would be much higher in the absence of social transfers.  Despite its small contribution of 1.7 percent of GDP, social assistance is progressive in relative terms—it  contributes a higher share of total consumption for those in the poorer quintiles. The simulated impact of  discontinuing a particular program or combination of social transfer programs shows that in the absence  of all social transfers, the poverty rate would more than double, reaching 41 percent. If old‐age pensions  were discontinued, the poverty rate would increase to 38 percent. On the other hand, removing any of  the  other  social  assistance  programs  would  not  affect  poverty  significantly.  The  termination  of  government social and child protection benefits would have only a limited impact (rise in poverty rate to  22.9 percent), but this is due to the small budget allocation to these programs. However, among the social  transfers analyzed, the SFA program appears to be the most cost‐efficient. For each MKD spent on SFA,  the  poverty  gap  decreases  by  MKD  0.6.  Child  and  family  protection  allowances  (excluding  disability  allowances)  are  next  in  line  in  terms  of  cost‐efficiency.  MKD  1  spent  on  these  programs  reduces  the  poverty gap by MKD 0.5. The other programs, including old‐age pensions, show considerably lower cost‐ benefit ratios. The least‐efficient transfers, according to the observed data, are scholarships.   17. While North Macedonia’s spending on social assistance has been increasing since 2008, most of  the rise was due to categorical rather than well‐targeted benefits. The number of households receiving  SFA  and  permanent  financial  assistance  (PFA),  more  than  halved  over  the  past  10  years  and  correspondingly, the spending on SFA/PFA dropped from 0.6 percent of GDP in 2005 to 0.2 percent of  GDP in 2016. The SFA/PFA is the only explicit anti‐poverty program. The SFA is means‐tested and targets  able‐bodied  persons  who  cannot  meet  the  subsistence  minimum,  defined  at  MKD  2,831  (below  30  percent of the net minimum wage) a month in 2016. This amount increases by a coefficient of 0.37 for  each additional household member up to a limit of five. This guaranteed minimum income benefit covers  the  difference  between  the  minimum  subsistence  level  and  the  total  income  of  the  household.  The  amount then gets halved after three years of receipt. The PFA targets single persons unable to work, who  fall  below  the  poverty  threshold.  The  child  allowance  program  has  also  been  reduced  over  the  same  period, both in terms of coverage and expenditure (from 0.09 percent of GDP to less than 0.02 percent of  GDP). At the same time, categorical benefits increased due to the introduction of parental allowance in  2009.  This  benefit  is  provided  to  mothers  who  gave  birth  to  a  third  child  (effective  January  1,  2009).  Compared to other social assistance programs, the parental allowance program’s benefit level is very high,  at MKD 8,362 per month, and is granted until the third child reaches the age of 10. By 2016, the program’s  caseload exceeded 23,500, making up 0.4 percent of GDP.      19 World Bank Special Focus Note on Social Assistance in FYR Macedonia.  Page 59 of 69 The World Bank Conditional Cash Transfers Project (P103974) ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS    North Macedonia  Conditional Cash Transfers Project  Ministry of Labor and Social Policy   Approval  June 16, 2009  Signing  September 2, 2009  Effectiveness  October 28, 2009  Closing  August 31, 2018  Original amount (EUR)  19,300,000,00  Cancelled (EUR)  1,600,000,00  1. The project is financed by an IBRD Loan amounting to EUR 17.7 million (initial loan amount was  EUR 19.3 million) and a contribution of the Government of North Macedonia amounting to about EUR  27,000 until January, 2011.   2. In  January  2011,  Amendment  to  the  Loan  Agreement  was  signed  and  the  loan  became  100  percent financed by the World Bank.  3. The original closing date was February 28, 2014, but in May 2013, the Amendment to the Loan  Agreement  was  signed  and  the  project  duration  was  extended  till  December  31,  2015.  With  the  Amendment to the Loan Agreement, a new procurement category ‘civil works’ was introduced  to use the  project resources for renovation of the SWCs that were in relatively bad working conditions with regard  to the working space. Also, a new Subcomponent  4 within Component II was included ‘Civil works for  refurbishment  of  the  SWCs’.  In  May  2013,  additional  reallocation  of  funds  between  procurement  categories was made. To complete some of the activities that are of crucial importance, in July 2015, the  project duration was extended till December 31, 2017. On September 20, 2017, a new Amendment to the  Loan Agreement was signed according to which the CCT project was extended till August 31, 2018, and  partial cancelation of the loan proceeds in amount of EUR 1.6 million and reallocation of loan proceeds  was made.  4. The PDO of the CCT project is to strengthen the effectiveness and efficiency of the Borrower’s  social safety net through the introduction of conditional cash transfers (CCT) and improvements in the  administration, oversight, monitoring and evaluation of social assistance transfers.   5. The CCT project has three components:    Component I: Enhancing the Human Capital Links to Cash Assistance   Component II: Strengthening the Safety Net Administration   Component III: Project Management, Monitoring and Impact Evaluation  Page 60 of 69 The World Bank Conditional Cash Transfers Project (P103974) Component I ‐ Enhancing the Human Capital Links to Cash Assistance  6. This component consists of two subcomponents:  • Subcomponent  1:  Implementation  of  a  CCT  program  for  poor  families  with  children  attending secondary education   • Subcomponent  2:  Identification,  development,  and  implementation  of  possible  CCT  extensions   Subcomponent  1:  Implementation  of  a  CCT  program  for  poor  households  with  children  attending  secondary education   7. The  program  started  with  the  implementation  in  2010  and  each  year  approximately  7,500  students applied for this program.   8. When  the  program  was  designed  in  2008,  the  estimation  was  that  there  are  18,800  eligible  beneficiaries  for  CCT  allowance  for  secondary  education.  The  calculation  was  made  based  on  manual  calculation of the data received from the SWCs. However, with the development of the CBMIS and after  all SFA files from all the SWCs were entered into the CBMIS, in August 2012, the number of eligible children  for the CCT benefit was calculated to be 10,048 (children ages 15–18). Administration of all the benefits  through the CBMIS improved the targeting and reduced the inclusion errors in the system, which resulted  in reduction of the number of SFA and CCT beneficiaries.  9. At the beginning of the program implementation, various design incentives were tested, that is,  four different payment modalities—two related to the amount of benefits and incentives in relation to  the  academic  school  year  (equal  benefit  payments  across  each  quarter,  or  lower  payments  at  the  beginning of the school year with higher payments at the end of the school year), and two related to the  definition of the payee recipient of the benefits (family member designated by the family, and mother of  the child).   10. The  first  impact  evaluation  conducted  in  2012  revealed  that  different  payment  modalities  can  have strong impacts on the patterns of household expenditure and according to the report results, the  payment  modality—'four  equal  instalments  paid  to  the  mother’  has  proven  to  be  most  effective.  The  identity of the recipient of the transfer turned out to be more important across a variety of dimensions,  revealing  that  nominating  women  as  the  recipient  of  public  transfers  can  change  the  pattern  of  expenditures in the household in important ways. This modality demonstrated that households where the  transfer recipient is the mother have higher food shares and are more likely to own durable goods, such  as dishwasher, a video/camera, and a motorcycle, than households where the transfer recipient is the  head of household. Regarding the second comparison, equal CCT payments throughout the year seem to  translate into higher expenditures in education than unequal payments, especially for girls.  11. According to the identified modalities with a greater impact on critical outcome indicators, the  program  design  was  modified  accordingly,  that  is,  starting  from  the  school  year  2013/2014  all  beneficiaries received the total of MKD 12.000,00 in four equal instalments paid to the mother of the  student.  Page 61 of 69 The World Bank Conditional Cash Transfers Project (P103974) 12. The number of beneficiaries of the CCT program for secondary education is 20,173 children, out  of which 48.1 percent, or 9,703, are girls.   13. Although  because  of  the  improved  targeting  and  reducing  the  inclusion  errors  in  the  social  protection system, the yearly absolute number of CCT educational program beneficiaries was decreasing  constantly, the relative numbers, that is, the program coverage (percentage of SFA beneficiaries children  ages 15–18 or until the finalization of regular secondary education who have been registered with CCT)  was increased from 59 percent in the first year to 86 percent in the final year of its implementation. The  main  reason  why  the  coverage  is  not  100  percent  is  because  the  remaining  potential  children  did  not  complete primary education. That is why, the Government has decided to continue financing this program  as a regular social benefit even after the CCT project ended, and also has decided to extend the program  to include the children who attend primary school.  14. Each  year,  an  operational  and  performance  audit  was  conducted  which  helped  to  identify  the  areas regarding the program implementation that need to be improved and actions to be taken.  15. The impact evaluations conducted in 2012 and 2013 revealed that the program is highly successful  and shows impressive results on secondary education enrollment, especially among older youth who are  disproportionally likely to drop out of school. The data show that because of the program, the secondary  school enrollment has increased by about 10 percentage points, due to the decrease in the number of  dropouts among older youth. Given the evidence and results on the ground, the Government continued  financing the CCT program for secondary education after the CCT project ended and the sustainability of  the program has been secured, that is, the Government has allocated budget funds for financing the CCT  program for the school year 2018/2019. Starting from 2019, the CCT for education shall become a regular  social benefit including benefit for primary and secondary school children, as defined in the new Child  Protection Law.  Subcomponent 2: Identification, development, and implementation of possible CCT extensions   16. Since the beginning of the implementation in 2014, through this measure, contracts have been  signed with 254 companies, which employed 315 people. Out of these, 107 are women and 179 are young  people up to 29 years.  17. Out of these, 315 are employed, 179 are still formally employed (81 were employed through this  program this year—2018, and the obligation that the employee is maintained at work for additional six  months after the 6 months subsidized employment, is still ongoing. The remaining 98 or 42 percent are  still  working  although  the  12  months  mandatory  program  employment  has  ended).  It  shows  that  significant number of employed through the program continued working after the subsidized program  ended.   18. Measures taken to increase the success of the program:   To increase the success of this program and not to discourage the SFA beneficiaries to apply  for jobs, the project initiated a change of the rulebook regarding the method of determining  the income, property, and property rights of the household, the determination of the dossier  holder  and  documentation  necessary  for  exercising  and  using  the  SFA.  This  law  change  Page 62 of 69 The World Bank Conditional Cash Transfers Project (P103974) allowed  the  SFA  beneficiaries  to  return  in  the  social  system  immediately  after  the  employment ends, so they need not to be afraid that if they lose the job they will not be able  to return in the system immediately and continue receiving SFA.   Because  of  the  relatively  low  take‐up  in  the  SEP,  from  both  potential  employees  and  potential employers, the MLSP engaged a company that conducted a survey in April–May  2014 to identify the main reasons why the program of CCTs for subsidized employment of  SFA  beneficiaries  resulted  in  insufficient  fulfillment  of  the  assumed  target  in  the  initial  implementation period (163 persons to be employed in 2013 and 800 in 2014).The survey  covered 270 beneficiaries of SFA and 240 companies. The results of the survey showed that  the  SFA  beneficiaries  were  not  adequately  informed  of  this  and  of  other  government  employment programs, they wanted a permanent and not a temporary job, they were afraid  they would lose the right to SFA, the amount which they would receive as salary is low and  cannot cover the expenditures as opposed to the income they would make by working in  the informal sector, and so on. Regarding the attitude of employers, the research showed  that  they  are  not  well‐informed  about  the  program  and  that  they  prefer  to  choose  employees  themselves,  mostly  young  educated  people,  than  to  hire  people  through  the  Employment Agency of  the Republic of North Macedonia, who are mostly having a very low  level of education.   Because of the information obtained from the survey, the program was modified and a new  version  of  the  manual  for  administration  of  the  SEP  was  signed  in  November  2014.  The  modification included expanding of the group of potential beneficiaries and increasing the  amounts paid as subsidy. The vulnerable population has remained the focus of the program.  Therefore, each year, a massive information campaign was conducted.    The  survey  conducted  to  identify  the  low  results  achieved  during  the  program  start‐up  showed that significant number of beneficiaries of social allowances possess some kind of  working skills or can easily obtain those but need additional incentive and encouragement  to start seeking a job. For that reason and to increase the program success by increasing the  employability  of  the  SFA  beneficiaries  in  2015,  approximately  4,000  CCT  SEP  potential  beneficiaries were provided training on life/soft skills.   Immediately after each public call, the SWCs informed all SFA recipients and the National  Employment  Agency  informed  all  the  registered  companies  in  their  system  about  the  measure. About 17,000 companies were several times notified about the program through  e‐mail messages, along with which the announcement, the application form, and the brief  presentation about the benefits of the measure were sent. In addition, meetings with all  registered commercial, craft chambers, and associations were made.   Component II:  Strengthening Safety Net Administration  19. This component consists of three subcomponents:  • Subcomponent 1: Strengthening the efficiency and effectiveness of the overall safety net   Page 63 of 69 The World Bank Conditional Cash Transfers Project (P103974) • Subcomponent 2: Capacity building for program management at ministerial level  • Subcomponent  3:  Development  and  application  of  following  and  control  mechanisms  to  monitor implementation of CCT   Subcomponent 1: Strengthening the efficiency and effectiveness of the overall safety net   Administration of the cash benefits through the CBMIS  20. The starting point for accomplishing the goals of this subcomponent‐ Strengthening the efficiency  and effectiveness of the overall safety net is the implementation of the software (CBMIS) that enables  complete automatization of the social benefits administration.   21. The development of the CBMIS started in December 2010 and was fully developed in September  2011  22. The software consisted of the following modules:  • Benefit module  • Financial module  • Statistical module  • Security module  23. Following  the  development  of  the  CBMIS,  the  MLSP  started  to  gradually  introduce  the  administration of different cash benefits into the new software, and till the middle of 2014, all the rights  have been administrated through the CBMIS completely.  24. Following the operational acceptance of the CBMIS, the MLSP implemented a series of sequenced  activities—training, data entry from the paper files, and signing protocols with the banks for payments of  the cash benefits through transactional accounts. The payment of the different cash benefits through the  CBMIS  was  phased,  using  in  parallel  the  old  system  for  cash  benefits  until  the  securing  of  proper  functioning of the CBMIS.  25. After a while, the CBMIS needed an upgrade. The contract has been signed with the joint venture  that developed the CBMIS to include the social institutions as users of the financial module of the CBMIS  and to include some other new benefits and processes. The contract also included additional services for  digitalization and data entry of files.  26. Following  the  start‐up  of  the  CBMIS,  the  MLSP  has  undertaken  activities  that  would  ensure  interconnection  of  the  CBMIS  with  databases  of  various  institutions  to  electronically  obtain  data  that  influence the eligibility for certain benefits and directly influence the amount of these benefits, if granted.  The CBMIS has been interconnected with the databases and exchanges data through web services with  the  following  institutions:  the  State  Agency  for  Cadastre,  Pension  and  Disability  Fund,  the  State  Employment Agency, and the Office for Certificates. Also, the MLSP electronically exchanges data with  Page 64 of 69 The World Bank Conditional Cash Transfers Project (P103974) the  Public  Revenue  Office,  Agency  for  Financial  Support  of  Agriculture  and  Rural  Development  and  Ministry of Internal Affairs, but the exchange is not in real time with web services.  27. The benefits of this software are numerous:   • Improved targeting. The number of SFA beneficiaries has decreased significantly. When the  CBMIS was deployed 50,185 SFA beneficiaries were registered while in 2018, the number  decreased to 25,337 beneficiaries.   • Improved control, reduction of the possible abuses, reduction of needed documents—no  documents are enclosed to the request for benefit because of an electronic data exchange  (the beneficiaries apply for benefits only with their ID). The electronic exchange minimized  the  human  factor  and  the  possible  mistakes  while  entering  data  from  paper  documents.  Also, the possible fraud and corruption is reduced.  • Decreased effort and time spent on the social benefits administration. Processing time per  SFA application has decreased from 69 to 11 days.  • Change in the manner the policies are planned and the rationale for introduction of changes  in legal provisions. For the first time, there is evidence‐based policy planning.  • The CBMIS improved the MLSP’s FM system. The new software solution enabled complete  automation and consolidation of the FM system.  • The  CBMIS  and  interconnectivity  changed  the  administration  process  and  resulted  in  savings.  • The first and most important saving is reduction in the applicant’s cost and the time spent  on obtaining documents that were required before. The documents were requested for all  family  members,  so  the  number  of  documents  was  substantial  and  could  reach  up  to  10  documents.  Applicants  were  spending  more  than  EUR  40  for  different  documents  and  minimum  5  days  in  going  from  one  institution  to  another  to  collect  all  the  necessary  documents for finalization of the application process.   • The budget savings occurred immediately after the software was deployed. The decreased  number of SFA beneficiaries brought savings of more than EUR 6 million in the last 7 years.   • The direct payment to the beneficiaries’ accounts resulted in savings on bank provisions and  postal costs of approximately EUR 40,000 per year.   A. Reform of the social safety net system   28. The  project  supported  assessments  of  the  social  benefits  and  child  protection  benefits  and  assessments  of  the  social  services  and  quality  of  their  delivery  and  supported  development  of  the  institutional  framework  of  the  system  for  social  protection.  Four  local  experts  were  contracted:  social  policy expert, expert on social services and licensing, expert on financial rights from the social protection  system,  and  the  expert  on  institutional  framework  of  the  social  protection  system.  The  local  experts,  Page 65 of 69 The World Bank Conditional Cash Transfers Project (P103974) together with the international consultant for social safety net reform, prepared a concept of reform that  supported introducing a guaranteed minimal assistance, in line with redefining the design and eligibility  criteria of the benefits, better targeting, and overcoming exclusion and inclusion errors. Based on this  reform proposal, a new Law for Social Protection was prepared.  B. Strengthening the capacities of the MLSP’s Unit for Analysis, evaluation, and monitoring  29. The  project  strengthened  the  capacities  of  the  MLSP’s  unit  for  analysis,  evaluation,  and  monitoring by engaging of four experts: actuary, IT expert, legal adviser, and social protection expert. The  unit  has  become  an  important  structure  in  the  ministry,  which  collects  data,  conducts  analyses,  and  proposes law changes and politics for improvement of the social and child protection and pension system  in North Macedonia.  C. Functional analysis of SWCs  30. A functional analysis of SWCs was conducted. The functional organization of SWCs was analyzed,  reorganization of the functions and responsibilities of the SWCs staff and units was proposed, and working  processes were drafted. This analysis provided inputs for improvements in the administration of SWCs  that  enhanced  their  effectiveness  and  efficiency:  new  system  for  reporting  and  M&E  was  introduced;  rulebooks, internal procedures, manuals, guidelines, and standards were developed; and working norms  were defined.  D. Interconnectivity and data exchange system  31. A  system  for  interconnectivity  and  data  exchange  was  implemented  and  74  web  services  for  electronic data exchange between institutions were developed. This project enabled the documents that  are required for delivering the services to the citizens, and are electronically available, to be exchanged  electronically rather than physically collected and carried from various institutions by the citizens, saving  time and money. The effects that are achieved by the implementation of this project are savings in time  and money, improved communication between the institutions involved in the project, improved service  quality, and increased satisfaction of the citizens.  E. ISO standardization   32. Principles of quality management in the process management functions of the MLSP’s and the  institutions  under  its  wing  (State  Labor  Inspectorate  and  its  30  branch  offices,  11  social  protection  institutions, 33 SWCs, and State Institution for Protection of the Rights of War Veterans and Civil Invalids)  were implemented that led to earning of ISO 9001:2008 certificate of conformity from an independent  quality system certification body.   Subcomponent  3:  Development  and  application  of  oversight  and  control  mechanisms  to  monitor  implementation over CCT  33. Each year, a project audit and operational and the performance audit of the two CCT programs  were conducted and the audits revealed that the project and programs are being implemented according  to  the  signed  documents  and  manuals,  which  helped  the  program  design  and  implementation  to  be  Page 66 of 69 The World Bank Conditional Cash Transfers Project (P103974) constantly improved. This resulted in improved coverage for both CCT programs and reduced complaints  received from the beneficiaries.  Subcomponent 4: Civil works   34. The project outcomes are the following:   Renovated and furnished 11 SWCs   Renovated and furnished 52 local offices for applying for social and child benefits   Partly Renovated institutions for social protection: ‘Topansko Pole” and ‘Demir Kapija’   Renovated center for Downs syndrome   35. The renovation and the furnishing of the centers for social work improved working conditions.  The buildings in which the social work centers are located are older buildings and the renovation process  that was undertaken under this project enabled better working conditions. The renovation and furnishing  of the social institutions enabled better accommodation conditions for the vulnerable groups. In line with  the  new  social  reform,  52  local  offices  for  applying  for  social  and  child  benefits  were  renovated  and  equipped within this project. Opening local offices in each municipality will help the citizens obtain their  social rights easily, reducing the traveling costs and time spent for beneficiaries.   Lessons Learned  (a) Team effort  and management support. When reforming the system that reflects several  institutions, a well‐defined role for each institution in the reform is crucial. Assigning a team  comprising representatives from all the institutions, who have clear vision about the goals,  strong commitment, and management support, is the key for success in this kind of reforms.  (b) Stability of the PMU staff. It is crucial to have a functional PMU with qualified staff who will  support the ministry’s structure in overall project implementation activities.  (c) Yearly budgetary allocation was not always in line with the request of the PMU and MLSP,  due  to  the  Ministry  of  Finance  (MoF)  public  funds  policy‐related  reasons.  This  triggered  extension of the Loan Agreement. To overcome this, it may be useful for the World Bank to  obtain  commitment  from  the  Ministry  of  Finance  (MoF)  management  that  for  the  World  Bank projects, sufficient funds are allocated annually in the specific year/period during the  project implementation .  (d) The success of the project activity implementation, in most cases, relied on the quality of  the working group established, that is, whether the working group was established or not  and whether the right people who are responsible for implementing it are included in the  working  group.  Otherwise,  the  outputs  would  be  mainly  reports  read  and  approved  by  a  small  group  of  authorities,  and  the  recommendations  are  not  referenced  in  the  future  policies and practices.  Page 67 of 69 The World Bank Conditional Cash Transfers Project (P103974) (e) Development of the MIS:   Developing  a  system  that  will  mechanize  the  business  processes  requires  strong  commitment from the management to the designated team that shall work with the  software development company, to be able to make daily decisions about the content  of the software. Although the business processes are part of each contract for software  development,  some  of  the  details  need  to  be  defined  during  the  development,  and  here it is critical that the assigned team has knowledge and authority to make decisions  about the details of the software.    The  time  required  for  successful  completion  of  projects  of  this  scope  and  level  of  complexity needs to be more conservatively assessed. The development of the CBMIS  was started within the previous SPIL project and finished under this one. The lesson  learned  during  this  process  is  that  the  time  planned  for  drafting  the  tender  documentation including the business processes of system that is as complex as this  one, takes more time and effort, that is, approximately continuous work for at least six  months.  In  addition,  the  time  planned  for  development  of  the  system  for  administration of cash benefits should not be less than 2 years, including the time for  testing and putting the system into production. However, the quality and the duration  of  the  process  depends  on  the  structure  and  determination  of  the  working  group  established: whether the working group has people who know the process, whether  they are committed to the tasks, and whether they are available to work on drafting  the working processes and on system testing on a daily basis.  (f) Establishment  of  helpdesk  under  IT  contracts.  Besides  engaging  a  company  for  maintenance of the developed software, a helpdesk should be established in the beneficiary  institution  as  well.  However,  because  of  the  lack  of  qualified  human  resources  on  the  beneficiary side, the  helpdesk regarding  the CBMIS functioning  was only  provided by the  PMU  members  together  with  the  engaged  company.  Considering  that  the  PMU  is  only  a  temporary project unit, there is a risk that after the contracts of the PMU members end,  there will be no one in the ministry who will be able to continue with the support function  for this software, which is crucial for functioning of the entire ministry.   (g) The implementation of the CCT SEP for beneficiaries who are at social risk showed that the  SFA beneficiaries are an extremely hard category to employ. The reasons are mostly that  they do not want to be employed because of some kind of ‘secure’ zone that they are living  in as SFA beneficiaries. They receive many benefits except the SFA and they are afraid that  they will lose it if they start to work formally. The other reason is that most of them are  already  working  informally  and  earn  more.  The  lesson  learned  is  that  the  activation  measures  should  include  more  activities  such  as  individual  training,  support  at  home,  counseling, and subsidized employment. The whole set of measures should be individually  planned and implemented. Instead of group activities such as trainings in groups, individual  approach should be implemented considering the unique situation and problems that each  SFA family is facing. By working with them, the final result will be to take the families out of  poverty and out of the social system.  Page 68 of 69 The World Bank Conditional Cash Transfers Project (P103974) (h) The public campaigns do not need to be expensive exercises, that is, campaigns through the  local  communities,  the  SWCs,  the  National  Employment  Agency  offices,  municipalities,  schools  and so on might have a greater impact.   (i) The CCT educational program showed that although the amounts of the benefits are not  very high, they are of great importance to the children from the SFA families, because they  know  that  the  money  is  intended  for  something  that  they  are  achieving  individually,  motivating them for their future success in life.                Page 69 of 69