Document of  The World Bank  FOR OFFICIAL USE ONLY  Report No: ICR00003648  IMPLEMENTATION COMPLETION AND RESULTS REPORT  TF093011, TF099946, TF099943, TF012069, TF015934, TF015935, H‐9920, TF0A1813  ON A  GRANT  IN THE AMOUNT OF US$ 29.43 MILLION EQUIVALENT  TO THE  Ministry of Finance & Economic Planning  FOR A/THE  SOUTHERN SUDAN EMERGENCY FOOD CRISIS RESPONSE PROJECT ( P113586 )  February 22, 2019  Agriculture Global Practice  Africa Region    CURRENCY EQUIVALENTS     (Exchange Rate Effective {Feb 12, 2018})    Currency Unit  =   South Sudanese Pound  130.26  =  US$1  US$ 1.452010   =  SDR 1      FISCAL YEAR  July 1 ‐ June 30                                            Regional Vice President: Hafez M. H. Ghanem  Country Director: Carolyn Turk  Senior Global Practice Director: Juergen Voegele  Practice Manager: Mark E. Cackler  Task Team Leader(s): Melissa Williams  ICR Main Contributor: Melissa Williams, Behnaz Bonyadian Dehkordi      ABBREVIATIONS AND ACRONYMS    2008 PP  The original Project Paper creating the Emergency Food Crisis Response Project  2011 PP  The first Additional Finance Project Paper dated June 20, 2011  2012 PP  The second Additional Finance Project Paper dated June 15, 2012  2013 PP  The third Additional Finance Project Paper dated October 1, 2013   2014 PP  The fourth Additional Finance Project Paper dated February 28, 2014  2016 PP  The fifth Additional Finance Project Paper dated April 11, 2016  AAH  Africa Action Help  ACTED  Agence d'Aide a la Cooperation Technique et au Developpement  CMU  Country Management Unit  CPA  Comprehensive Peace Agreement  CSO  Civil Society Organization  EFCRP  Emergency Food Crisis Response Project  EFNSP  Emergency Food and Nutrition Security Project  EA  Environment Assessment   ESA  Environment and Social Assessment   ESIA  Environment and Social Impact Assessment   ESMF  Environmental and Social Management Framework  ESMP  Environmental and Social Mitigation and Monitoring Plan  ESSAF  Environmental and Social Screening and Assessment Framework  FAO  Food and Agriculture Organization of the United Nations  FCV  Fragile, Conflict and Violence   FPCR  Food Price Crisis Response Trust Fund  GFRP  Global Food Crisis Response Program  GOSS  Government of Southern Sudan/Government of South Sudan  IBRD  The International Bank for Reconstruction and Development  ICRR  Implementation Completion and Results Report  IDA  International Development Association   IPDP  Indigenous Peoples Development Plan  IPPF  Indigenous Peoples Planning Framework  IRI  Intermediate Results Indicator  ISN  Interim Strategy Note  ISR  Implementation Status Report   JAM  Joint Aid Management International  LICUS  Low‐income Countries Under Stress Grant  M&E  Monitor and Evaluation   Ministry of Agriculture and Food Security, which previously known as Ministry of  MAFS  Agriculture and Forestry   M&E  Monitoring and Evaluation  NGO  Non‐governmental Organization  NPA  Norwegian People’s Aid  OP  Operations Manual Policy and Procedures    PCF  Post‐Conflict Funds  PDO  Project Development Objective  PHRD  Policy and Human Resources Development Fund  PIU  Project Implementation Unit   POC  Project Operational Coordinator   PMP  Pest Management Plan  PP  Project Paper   RAP  Resettlement Action Plan  RPF  Resettlement Policy Framework  SSTC  Southern Sudan Technical Committee—a technical secretariat within the SSPSC responsible  for overall coordination and oversight of the project  SSTSC  Southern Sudan Technical Steering Committee—an inter‐ministerial, high level Committee  chaired by the Minister of Agriculture and Forestry and responsible for implementation of  the project  SAFDP  Support to Agriculture and Forestry Development Project  TOC  Theory of Change   UN  United Nations   WFP  World Food Programme  WVI  World Vision International  TABLE OF CONTENTS  DATA SHEET ........................................................................................................................... 1 I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 7  A. CONTEXT AT APPRAISAL ........................................................................................................... 7  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION ............................................................... 10  II. OUTCOME ...................................................................................................................... 12  A. RELEVANCE OF PDOs .............................................................................................................. 12  B. ACHIEVEMENT OF PDOs (EFFICACY) ........................................................................................ 13  C. EFFICIENCY ............................................................................................................................. 21  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 22  E. OTHER OUTCOMES AND IMPACTS (IF ANY) ............................................................................. 23  III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 24  A. KEY FACTORS DURING PREPARATION..................................................................................... 24  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 25  IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 28 A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 28  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 29  C. BANK PERFORMANCE ............................................................................................................. 31  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 34  V. LESSONS AND RECOMMENDATIONS .............................................................................. 35  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 38  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 49  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 51  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 52  ANNEX 5. OVERVIEW OF CHANGES TO THE RESULTS INDICATORS ......................................... 55  ANNEX 6. SUPPORTING DOCUMENTS (IF ANY) ...................................................................... 57  ANNEX 7. MAP OF PROJECT COUNTIES .................................................................................. 59  The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) DATA SHEET  BASIC INFORMATION Product Information  Project ID  Project Name  Southern Sudan Emergency Food Crisis Response  P113586  Project  Country  Financing Instrument  South Sudan  Emergency Recovery Loan  Original EA Category  Revised EA Category  Partial Assessment (B)  Related Projects  Relationship  Project  Approval  Product Line  Additional Financing  P125381‐Southern  29‐Jun‐2011  Special Financing  Sudan Emergency Food  Crisis Response Project  Supplement  P130396‐Southern  15‐Jun‐2012  Recipient Executed Activities  Sudan Emergency Food  Crisis Response Project  (AF)  Supplement  P145339‐Southern  13‐Mar‐2014  Recipient Executed Activities  Sudan Emergency Food  Crisis Response Project‐  AF III  Supplement  P149698‐Southern  Recipient Executed Activities  Sudan Emergency Food  Crisis Response Project  Additional Financing IV  Supplement  P149700‐Southern  13‐Mar‐2014  IBRD/IDA  Sudan Emergency Food  Crisis Response Project  AF IV  Supplement  P151031‐Southern  12‐Apr‐2016  Recipient Executed Activities  Sudan Emergency Food  Crisis Response Project  Page 1 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Organizations  Borrower  Implementing Agency  Ministry of Finance & Economic Planning  Ministry of Agriculture and Forestry  Project Development Objective (PDO)  Original PDO  Increased access to food for consumption by food insecure households or groups living in six of the most distressed  counties ofSouthern Sudan.  Revised PDO  To support adoption of improved technologies for food production and storage, and provide cash or food to eligible  beneficiariesinSouth Sudan.  PDO as stated in the legal agreement  See ICR text for elaboration  Page 2 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) FINANCING  Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing  P113586  TF‐93011  5,000,000  5,000,000  5,000,000  P113586  TF‐99943  1,500,000  1,500,000  1,500,000  P113586  TF‐99946  700,000  700,000  700,000  P113586  TF‐12069  3,000,000  2,999,718  2,999,718  P113586  TF‐15935  3,800,000  3,799,982  3,799,982  P113586  TF‐15934  3,730,000  3,730,000  3,730,000  P113586  IDA‐H9220  9,000,000  8,929,337  8,641,597  P113586  TF‐A1813  2,700,000  2,672,083  2,672,083  Total  29,430,000  29,331,120  29,043,380  Non‐World Bank Financing  0  0  0  Total     0     0     0  Total Project Cost  29,430,000  29,331,121  29,043,381  KEY DATES  Project  Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  P113586  03‐Oct‐2008  27‐Oct‐2008  16‐Feb‐2011  31‐Dec‐2017  31‐Dec‐2017  P130396  15‐Jun‐2012  31‐Dec‐2017  P145339  13‐Mar‐2014  31‐Dec‐2017  P149698  31‐Dec‐2017  P149700  13‐Mar‐2014  31‐Dec‐2017  P151031  12‐Apr‐2016  31‐Dec‐2017  Page 3 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) RESTRUCTURING AND/OR ADDITIONAL FINANCING  Date(s)  Amount Disbursed (US$M)  Key Revisions  29‐Jun‐2011  4.95  Additional Financing  Change in Project Development Objectives  Change in Results Framework  Change in Loan Closing Date(s)  15‐Jun‐2012  7.20  Additional Financing  Change in Project Development Objectives  Change in Results Framework  Change in Loan Closing Date(s)  01‐Oct‐2013  10.20  Additional Financing  Change in Loan Closing Date(s)  28‐Feb‐2014  11.70  Additional Financing  Change in Project Development Objectives  Change in Loan Closing Date(s)  11‐Apr‐2016  17.73  Additional Financing  Change in Results Framework  Change in Components and Cost  Change in Loan Closing Date(s)  KEY RATINGS  Outcome  Bank Performance  M&E Quality  Moderately Satisfactory  Moderately Satisfactory  Modest  RATINGS OF PROJECT PERFORMANCE IN ISRs  Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  24‐Dec‐2008  0  02  29‐Jun‐2009  Moderately Satisfactory  Satisfactory  .81  Moderately  03  22‐Dec‐2009  Moderately Unsatisfactory  2.05  Unsatisfactory  04  04‐Jun‐2010  Satisfactory  Satisfactory  3.08  05  04‐Apr‐2011  Satisfactory  Moderately Satisfactory  4.70  06  11‐Mar‐2012  Moderately Satisfactory  Moderately Satisfactory  6.62  Page 4 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) 07  16‐May‐2013  Satisfactory  Moderately Satisfactory  9.64  08  09‐Dec‐2013  Satisfactory  Moderately Satisfactory  10.20  09  26‐Jul‐2014  Moderately Satisfactory  Moderately Satisfactory  14.22  10  02‐Jan‐2015  Moderately Satisfactory  Moderately Satisfactory  21.66  11  09‐Mar‐2016  Moderately Satisfactory  Satisfactory  26.28  12  05‐Jul‐2016  Moderately Satisfactory  Satisfactory  26.34  Moderately  13  18‐Jan‐2017  Moderately Unsatisfactory  26.44  Unsatisfactory  14  04‐Nov‐2017  Moderately Satisfactory  Moderately Satisfactory  29.04  SECTORS AND THEMES  Sectors  Major Sector/Sector  (%)  Agriculture, Fishing and Forestry    70  Crops  60  Public Administration ‐ Agriculture, Fishing & Forestry  10  Social Protection    30  Social Protection  30  Themes  Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Private Sector Development  100    Jobs  100  Human Development and Gender  100    Nutrition and Food Security  100  Food Security  100  Page 5 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Obiageli Katryn Ezekwesili  Hafez M. H. Ghanem  Country Director:  Kenichi Ohashi  Carolyn Turk  Senior Global Practice Director:  Juergen Voegele  Juergen Voegele  Practice Manager:  Karen Mcconnell Brooks  Mark E. Cackler  Task Team Leader(s):  John Jaramogi Oloya  Melissa Williams  ICR Contributing Author:  Behnaz Bonyadian Dehkordi  Page 6 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES A. CONTEXT AT APPRAISAL Context 1. The Emergency Food Crisis Response Project (EFCRP) was a series of small grants financed through the Food Price Crisis Response Trust Fund (FPCR), Global Food Crisis Response Program Trust Fund (GFRP), IDA, and the Policy and Human Resources Development (PHRD) trust fund. It was implemented over 9.5 years between September 2008 and December 2017. The final project cost totaled to $29.43 million. The components and activities remained largely consistent throughout implementation, with funds shifting to reflect the increasing food insecurity in the country.  At the time of appraisal, Southern Sudan was just emerging from 25 years of protracted violent conflict with the Government of the Sudan, and the 2005 Comprehensive  Peace  Agreement  had  established  the  Government  of  Southern  Sudan  (GOSS)  as  an autonomous entity.1 GOSS’ capacity was still very weak, with few staff in public ministries. 2. Southern Sudan faced continuing residual violence from the previous conflict, returning refugees following the 2005 Peace Agreement, and structural food insecurity stemming from a combination of: (a) low  agricultural  productivity;  (b)  poor  state  of  infrastructure;  (c)  the  lost  productivity  ensuing  from incessant violent conflict; (d) inadequate provision of agricultural services; (e) weak institutions and lack of  policies  and  regulations;  (f)  inadequately  skilled  human  resources;  (g)  irrational  use  of  natural resources; and (h) absence of an appropriate land tenure system and land law. Southern Sudan already relied  heavily  on  food  imports,2  which  were  already  expensive  due  to  fuel  and  transport  costs.  When global commodity prices increased, food prices in local markets jumped by as much as 30 percent over a three‐month period, and local production could not offset expensive imports due to persistent insecurity in Central, Eastern, and Western Equatoria and in Abyei. 3. The 2008 Project Paper (2008 PP) explained that the EFCRP also demonstrated to donors and the UN that the Bank was willing to make financial commitments to Sudan. Since re‐engaging in the country in 2000, Sudan’s arrears prevented the Bank from re‐establishing a normal program. Instead, the Bank had provided $10 million in IBRD surplus to the two multi‐donor trust funds and funded projects using Post‐Conflict Funds (PCF) and Low‐income Countries Under Stress (LICUS) grants. The EFCRP, drawing on Global  Food  Crisis  Response  Program,  addressed  the  criticisms  about  the  Bank’s  commitment  to  the country. Theory of Change (Results Chain)  4. Neither the 2008 PP nor the additional financings were required to explicitly outline a theory of change. Based on the results framework and descriptions in the project paper, a final overarching theory of  change  can  be  discerned  and  is  presented  in  table  1.  This  TOC  supported  items  2  and  3  of  the 1 On 9 July 2011, the Government of Southern Sudan became the Government of South Sudan following a referendum on  independence.  GOSS refers to both Government of Southern Sudan and Government of South Sudan depending on the time.  2 A 2008 FAO/WFP estimate put the cereal gap at 93 thousand tonnes.2 With approximately 372,000 returnees anticipated in  2008, the gap was expected to increase.  Page 7 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Government of Southern Sudan’s 2008 strategy, which called for, inter alia, targeted safety net programs  and enhancing quick impact agricultural interventions to resource poor farmers to address the price crisis.  Table 1 EFCRP Final Theory of Change  Issues/Challenge  Activities  Inputs  Outputs  Outcomes  Improved cereal,  vegetable, and pulse  Increased  Increased  seeds  production and  availability of food  Cultivation techniques  higher yields   for local markets  Investment  training  and producer  support to crop  Mechanization for land  More land prepared  households  and livestock  preparation   and faster  production  Animal  Increased meat,  Increase  restocking/health  milk, and eggs   agriculture labor  Low food  Fishing equipment  Increased  opportunities  production leads to  provision/training  availability of fish  high prices  Post‐harvest  Decreased food loss  management training  Increased food  Availability of  availability into  Investment  Fish processing training  protein for longer  lean season  support to post  period  harvest  Increased trade in  management  processed flour  Mechanization for  Value addition to  processing  agriculture products  Increased income  potential   Increased food  Grain storage  Increased storage  availability over  Poor infrastructure  construction   capacity   time  for agriculture  Improved access to  Cash for  Road repair  markets  More food arriving  Work/Food  Better facilities for  in local markets  Market repair  Households cannot  sellers  afford food  Increased  More food for  Payment for work  household income  households  5. EFCRP sought to address both the supply and demand challenges in local markets. It promoted local production of key staple foods, vegetables, and animal products, which fed the producer households and supplied local markets. It did this by providing technology for production, storage, and processing in addition  to  training  on  good  farming  and  harvest  practices.  The  cash  for  work  program  invested  in infrastructure important to farmers (e.g., market access roads, grain storage facilities) and put cash in the hands of food insecure households so they could purchase food locally. As the project added additional financings, the TOC  clarified as  did the indicators measuring it—changing from general  goals (such as, increased food reserves) to more concrete inputs (such as, fallow land brought under cultivation, storage capacity added). As the security and hunger situation deteriorated, the project added unconditional cash transfers and ultimately food aid through WFP for those too ill or old to work or who could not work due Page 8 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) to conflict in the area. Two underlying assumptions to the TOC were that the security situation would  improve  as  would  the  macro‐economic  situation.  Section  IIIB  “Factors  Affecting  Implementation”  discusses at length how these assumptions did not hold during implementation, and how the scope of the  security,  economic,  and  food  security  crisis  ultimately  far  exceeded  the  ability  of  EFCRP  to  have  a  significant and sustainable impact.  Project Development Objectives (PDOs)  6. The  2008  Project  Paper  (2008  PP)  PDO  in  the  data  sheet  was  “to  increase  access  to  food  for consumption by the food insecure households living in six of the most distressed counties of the Southern Sudan”. There were variations in how the PDO was presented between the data sheet, PP text, and the Grant  Agreement  (GA),  but  the  differences  were  minor  and  still  adhered  to  the  theory  of  change.  In keeping  with  World  Bank  practice,  the  ICR  uses  the  text  in  the  GA,  which  reflects  text  agreed  during negotiations:  “The  objective  of  the  project  is  to  assist  the  Recipient  increase  access  to  food  for consumption by food‐insecure households and groups in six counties of Southern Sudan.” 7. The  2008  PP  defined  food  insecure  households  as  those  lacking  assets  and  technical  support, mostly constituted by smallholder farmers. Implementing NGOs worked with local authorities to identify those  households  in  the  project  area.  The  project  approach  invested  in:  (a)  supporting  an  accelerated supply response of productivity enhancing technologies to increase “own production of staple foods for own consumption and internal distribution;” and (b) safety net measures that will target food insecure households  in  the  same  locations  through  public  works.  Some  of  the  technologies  to  be  introduced included  improved  seeds,  animal  traction,  mechanized  land  preparation  and  crop  management,  post‐ harvest mechanization, and storage facilities. Key Expected Outcomes and Outcome Indicators  8. The project proposed measuring progress toward the PDO through two indicators: (a) the percent of  targeted  farmers  adopting  improved  technologies  for  food  production  in  the  targeted  areas, corresponding  to  the  goal  of  accelerated  production  for  consumption;  and  (b)  percent  of  target population  receiving  cash  transfers,  corresponding  to  the  safety  net  measures.  While  the  indicators aligned to the goals of the PDO, they stopped at measuring inputs rather than whether the amount of food accessible to households for consumption increased. Measuring production increases of different crops, changes in local market prices, and the actual purchase of food by the safety net beneficiaries would have provided better measures of PDO achievement. Components  9. The project had two technical components and one management component through the fourth additional  finance,  which  remained  largely  unchanged  in  terms  of  the  activities  they  supported  (see Section I(B) for additional details). The most frequent change was the addition of funds and the outcome targets.  The  fifth  additional  finance  added  a  new  component,  which  is  discussed  in  Section  I(B).  The original project included the following three components:  Component  1:  Support  to  Agricultural  Productivity  (appraisal:  $3.0  million,  project  close: US$11.43 million) sought to increase farmers’ own production and improve postharvest handling Page 9 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) and  management  of  food  crops.  It  supported  provision  of  inputs  (seeds  and  tools),  technical  advice on production and postharvest management, and construction of low‐cost food storage  facilities and granaries at household and community levels.    Component  2:  Strengthening  Community  Safety  Nets  (appraisal  $1.5  million,  project  close: US$13.2 million)  created temporary job opportunities and income for the food insecure people to increase their access to food. It supports cash for work activities where target beneficiaries get cash  transfers  in  exchange  for  labor.  Typical  activities  included  opening  access  roads  to agriculturally productive areas and  construction of  grain storage facilities and markets, among others.  Component  3:  Support  to  Project  Implementation  (appraisal:  $0.50  million,  project  close: US$2.1 million) designed to finance administrative costs of the Project Coordination Unit (PCU) including financial management, procurement, environment and social safeguards management, monitoring, reporting and evaluation of activities under the project. B. SIGNIFICANT CHANGES DURING IMPLEMENTATION Revised PDOs 10. The  original  PDO—to  assist  the  Recipient  increase  access  to  food  for  consumption  by  food‐ insecure households and groups in six counties of Southern Sudan—was revised three times. In the first additional  finance  in  June  2011  (2011  PP),  the  PDO  was  revised  to  “support  adoption  of  improved technologies  for  food  production  by  eligible  beneficiaries,  increase  storage  capacity  for  staples,  and provide cash or food to eligible people participating in public works programs in six counties in Southern Sudan.” This aligned the PDO more closely to the PDO indicators being used by the team and reflected the changes in geographic targeting agreed in the original negotiations, although it focused the PDO on activities as opposed to more strategic outcomes.  The restated and amended GA used the same text for the  new  PDO.    The  second  additional  finance  in  June  2012  (2012  PP)  revised  the  PDO  to  align  to  the proposed change in geographical reach of the project and recognize the change in name of the country after  independence.  The  fourth  additional  finance  in  2014  (2014  PP)  streamlined  the  description  of Component 1 and reflected the introduction of direct food support to vulnerable people who could not participate in cash for work programs due to conflict, age, or infirmity. Revised PDO Indicators and Outcome Targets  11. The  project  adjusted  its  targets  with  each  additional  finance  made  changes  to  the  project indicators.  Ultimately,  none  of  the  indicators  from  the  2008  PP  remained  at  the  end  of  the  project. Changes and additions brought clarity to the indicators and how they were measured. 12. Based  on  instructions  from  the  GFRP,  which  funded  the  project,  the  team  changed  the  PDO indicators  to  farmers  adopting  at  least  one  improved  technology  for  food  production  (number  and percentage) and targeted population receiving cash transfers (number instead of percent). These were agreed  with  MAFS  and  the  implementing  NGOs  at  a  workshop  in  December  2009,  which  introduced indicators specified by the GFRP Secretariat after the 2008 PP had been approved. Annex 5 gives a full review of the indicators Page 10 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Revised Components  13. The  fifth  additional  financing  project  paper  in  April  2016  (2016‐PP)  added  a  new  component, Support to Improved Nutritional Outcomes, that sought to increase the production and consumption of foods of high nutritional value and build institutional capacity to support nutrition‐sensitive agriculture. The project PDO did not change with the addition of this component, which had three subcomponents:  Strengthening of farmer groups for increased diversification of locally produced  foods  would build  the  capacity  of  the  smallholder  farmers  already  supported  under  the  EFCRP  project  in Nagero,  Tali,  Morobo,  Jur  River,  Juba,  and  Aweil  South  counties  to  diversify  their  local  food production to include legumes, fruits, vegetables, and small animal products.  Improved Food and Nutrition Practices would  improve households’ knowledge and practices of food and nutrition to improve food consumption patterns—focusing on both farmers and mother support groups. It also promoted new technologies and incentives to reduce post‐harvest losses, test labor, and energy saving technologies especially for women as well as address health issues such as aflatoxins in foods.  Strengthening Institutional Capacity to Improve Integration of Nutrition in Agriculture  would build  the  capacity of national institutions for better nutrition outcomes  through integration of nutrition in agriculture and promotion of a multi‐sectoral approach to addressing malnutrition and exploring the possibility of bio‐fortification to enhance nutrition. 14. Ultimately, implementation of this component was delayed by one year due to another outbreak of fighting in July 2016, which caused the Bank and most other donors and NGOs to evacuate the country for several months. The grant was implemented between July 1 and December 31, 2017 but only in Jur River,  Juba,  and  Aweil  South  counties  due  to  time  constraints  and  remaining  security  restrictions  in Nagero, Tali, Morobo. 15. From the beginning of the EFCRP to the project closure on 31 December 2017, Component 1 on agricultural production shifted from being 60 percent of total project cost to 47 percent. The component on  safety  nets  shifted  from  30  percent  of  project  cost  to  50  percent.  This  shift  in  investment  in  the components was consistent with the deteriorating humanitarian situation in the country.  By the end of the project, the final four components were: Table 1. Project costs by component  Original   Additional Finance (US$ million)  Project  1  2  3  4  5  Component  2008  2011  2012  2013  2014  2016  Total  Support to Agricultural Productivity  3.00  1.30  1.40  2.73  3.00  ‐  11.43  Strengthening Community Safety Nets   1.50  0.70  1.50  4.00  5.50  ‐  13.20  Support to Improved Nutritional Outcomes  ‐  ‐  ‐  ‐  ‐  2.30  2.30  Support to Project Implementation   0.50  0.20  0.10  0.80  0.50  0.40  2.50  Total  5.00  2.20  3.00  7.53  9.00  2.70  29.43  Page 11 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Other Changes  16. The  third  Additional  Financing  (2013),  added  upgrading  of  the  Palotaka  Basic  Seed  Center  to component 1 “Support to Agricultural Productivity”. The fourth Additional Financing (2014), a $5 million activity for general food distribution through World Food Programme (WFP) was added to Component 2 in response to the worsening food security situation. Rationale for Changes and Their Implication on the Original Theory of Change  17. All the changes made to the PDO statement, funding amount, and key performance indicators were aligned with the original theory of change which had the PDO outcome of increasing the ability of food  insecure  households  to  access  food.  The  addition  of  the  investment  for  the  Palotaka  Basic  Seed Center  supported  the  PDO  and  the  goal  of  increasing  production  by  facilitating  the  bulking  and multiplication of higher yielding seeds thus making them available for farmers because quality seeds are a major constraint to farmers throughout the country. II. OUTCOME A. RELEVANCE OF PDOs Assessment of Relevance of PDOs and Rating 18. Relevance the PDO is rated substantial. While the PDO wording changed three times, the theory of change remained constant, and it was very relevant to the food security issues facing Southern/South Sudan. The significant change in wording came in the 2011 PP, which changed the language to focus more explicitly on the inputs and activities the project supported. In 2016, new PDO and intermediate outcome indicators  were  added  to  track  activities  to  improve  nutrition  in  addition  to  food  security.  EFCRP’s objectives aligned to the World Bank Interim Strategy Note (ISN) of 2008 for Sudan, which, in Southern Sudan, focused on improved governance and decentralized service delivery to the states, counties, and communities, drawing on the experiences of the Comprehensive Peace Agreement period (2005‐2011). Subsequent additional financings were similarly informed by the World Bank's 2011 strategy for Africa, Africa's  Future  and  the  World  Bank's  Support  to  It,  the  2011  World  Development  Report  on  Conflict, Security and Development, and the South Sudan Interim Strategy Note (2013‐2014). The goals remained, perhaps, even more relevant after closing in December 2017 given the conflict/post‐conflict conditions prevailing in the country and the high level of food insecurity. Activities like those under EFCRP are being implemented under the current Emergency Food and Nutrition Security Project (EFNSP) with a greater emphasis on humanitarian aid. 19. The  relevance  of  the  project  design  is  conservatively  rated  as  substantial.  When  the  original project was designed, Southern Sudan was affected by low production and a dependence on food imports that resulted in high food prices that were exacerbated by the global food price crisis. EFCRP provided a rapid intervention that brought assets (seeds and tools) to farmers and created work opportunities for food insecure households to earn cash for food. The combination of agricultural productivity and cash for public works should be considered a good practice approach for such conditions because it addressed both  the  supply  side  and  demand  side  constraints  within  a  given  area.  More  food  was  produced,  and people had more money to buy the food, which increased income for the producers to invest in additional Page 12 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) production. The simple and modular design—which remained throughout the life of the project—allowed  it  to  respond  to  the  different  needs  of  project  communities  as  implementation  progressed.  Once  the  security situation deteriorated, this also allowed the implementing NGOs to determine what activities to  focus  on  given  the  fluid  conditions  was  also  a  good  decision.  In  interviews  with  some  NGO  staff  they  indicated they are often limited by other programs to delivering humanitarian aid, even when the targeted  communities ask for farming assistance over food.   20. There were some weaknesses in the design decisions that lead to the conservative rating. It may have  been  better  for  the  grants  to  be  linked  directly  to  the  Support  to  Agriculture  and  Forestry Development  Project  (SAFDP)  under  the  MDTF‐S  as  additional  financing,  especially  since  the  initial geographic  targeting  aligned  in  part  to  that  project.  SAFDP  was  already  under  implementation  when EFCRP  was  designed,  and  MAFS  was  the  implementing  agency  for  both  projects,  and  the  2008  PP discussed the complementarities between the two projects. The clear connection in terms of activities is evident in that the EFCRP activities in Leer and Panyikang counties were ultimately shifted for a time to the  SAFDP  project  with  the  2011  PP  using  the  same  implementing  partner—Norwegian  Peoples’  Aid. Attaching the grant to SAFDP could have facilitated better synergies between the two projects, simplified monitoring  for  the  stretched  resources  in  MAFS,  and  allowed  the  Bank  and  MAFS  to  reassess  the continuation of EFCRP when SAFDP closed in 2012. One reason for keeping EFCRP separate was raised in the 2008 PP, and that was the need to show development partners that the Bank was willing to invest its own resources, as opposed to MDTF‐S resources, into Southern/South Sudan. At the time, the FPCR trust fund was perceived as Bank funds. B. ACHIEVEMENT OF PDOs (EFFICACY) Assessment of Achievement of Each Objective/Outcome  21. Efficacy is rated substantial.  Considering the FCV environment, it is extraordinary that over the life of the project, EFCRP  reached 339,433 people, of which 47 percent were women. This fell just short of the target of 384,500 people, (of which 50 percent women).3 This achievement was made even though implementation was hampered by increasing insecurity. The assessment looks at project delivery on the major goals in three phases:  Phase 1: September 2008‐June 2011, which implemented in Yambio, Morobo, Leer, Panyikang, Raga, and Tonj North counties;  Phase 2: July 2011‐June 2016 which covers the first through the fourth additional finance and implemented in Yambio, Morobo, Leer,4 Jur River, Panyikang, Raga, Tonj North, Terekeka, Maban, Nagero, and Pochalla; and  Phase 3: July 2016‐December 2017, which added the focus on nutrition and implemented in Jur River, Juba, and Aweil South counties.5 3 The final progress report from MAFS gives a figure of 442,921, of which 51 percent were women, but the ICRR team used  World Bank ISR reporting throughout the report to be consistent.  The more conservative number reported reflects   4 Leer and Yirol ultimately had to be dropped due to insecurity.   5 Nagero, Tali, and Morobo had to be dropped due to insecurity.   Page 13 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Component 1 Goal: Increasing the Supply of Food  22. Farmers adopting new production technology. Phase one measured the number of farmers that adopted at least one improved technology for food production, setting a target of 130,000. According to project reports, the IPs surpassed that target, helping 189,000 farmers adopt an improved technology by July  2011.  In  phase  2  the  project  continued  to  measure  the  number  of  farmers  adopting  improved technologies for food production, surpassing the final target of 266,000 by achieving 272,620. Phase 2 also clarified the PDO and indicators, and the technical interventions—seeds and planting materials, small processing equipment and tools, advisory services, and the goal of expanding current household’s areas under cultivation to a minimum of five feddans. 23. The  technological  inputs  included  mainly  seeds, malodas,  toria,  some  ox  ploughs,  and  in  a  few  instances power  tillers  or  tractors.  According  to  the  2011  project paper, the impact of this technology on yields was positive— yields  of  sorghum  on  EFCRP  farmer  field  increased  100 percent in Panyikang, 71 percent in Morobo, and 43 percent in Yambio. Given that cultivation had decreased or ceased during  the  war  with  Sudan,  the  significant  increase  is understandable.  Farmers  supported  by  the  project  toward Farmer in Ngingo boma, Yambio, with her casava  mosaic virus free crop (credit AAH‐I).   the end of Phase 1 cultivated an average of 0.43‐1.3 hectares  of land.6 The distribution of seeds was more equitable than market‐oriented than originally intended. MAFS wanted to include farmers with larger farms who could produce more food for local markets. The support for households working the  smaller  plots  was  a  trade‐off—more  households engaged  in  the  project,  with  just  enough  for  food  security and  a  little  surplus  for  local  markets  (at  least  those cultivating 1.3 hectares).7 Tonj North Farmer Field Day training (credit WVI)  where farmers learn, inter alia, the benefits of planting  24. In Tonj North, WVI also supported crop production in rows instead of broadcasting seed for cultivation.   through distribution of seeds, malodas, hoes, and some ox  ploughs.  It  worked  beyond  staple  crops  and  trained  five  women’s  groups  in  improved  vegetable  production techniques and installed vegetable gardens. Another group of 25 women received sheep and  goats, and 50 households received training on fish drying/handling. WVI reported an 80 percent increase  in  households  with  diversified  income  sources  and  a  40  percent  increase  in  target  households  with  vegetable gardens and producing green leafy vegetables.8    25. Expansion  of  land  under  cultivation.  Given  the  cultural  practices  in  the  allocation  of  land—in 6 2011 PP  7 MAFS. 2014. Private Sector‐Driven Agricultural Modernization Working Paper 3 for the Agricultural Development and Food  Security Project.   8 World Vision. Project completion report Tonj North County, September 2010 ‐ July 2011. Received by ICRR team July 2018.   Page 14 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) some areas, the village head allows people to cultivate land, but ownership does not change hands, so  the land remains communal. The plot size per household was not tracked; however, new land brought  under  cultivation  was.  By  introducing  labor  saving  equipment  for  land  preparation—e.g.,  ox  ploughs,  power tillers, tractors—the project surpassed the target of 38,800 hectares of previously fallow land by  roughly 170 percent to achieve 104,741 hectares.   26. Introducing  post‐harvest  technology.  Post‐harvest technology  was  supported  in  phase  1,  reaching  approximately 82,000  farmers,  but  it  was  explicitly  tracked  in  the  results framework  in  phase  2.  In  terms  of  the  number  of  farmers adopting  practices  and  initiatives  for  postharvest  handling  and management, the project surpassed the final target of 100,700 with  the  final  figure  of  125,211.  By  the  project  end,  125,211 Training in fish drying/smoking in Tonj North (credit  WVI)  farmers  adopted  new  practices  and  initiatives  for  postharvest handling  and  management  after  being  trained  by  the  project, surpassing the target of 100,700. The project also provided new machinery  to  facilitate  new  introduction  of  technology,  which the beneficiaries adopted  as reported in the anecdotal reports accessed (see photos). 27. Increasing storage capacity. The project was not able to Food Preparation and Preservation of Vegetable in  measure the number of food insecure households in the project Tonj North (credit WVI)  area that had food reserves during phase 1 due to the difficulty in  establishing  a  baseline  and  difficulty  in  measurement  given that  there  were  investments  in  household  and  community storage—depending  on  the  community  demand.  The  indicator was  revised  for  Phase  2  to  track  the  additional  grain  storage capacity  created  overall.  According  to  project  ISRs,  the  project exceeded the final target of 8700 metric tons of storage capacity Improved granary in Morobo  by  building  11,092  metric  tons  of  storage  capacity  at  the community  and  household  levels.  In  most  areas,  the  project supported more rudimentary technology for storage, which was within the ability of communities to build and maintain and for which materials were readily available. 28. The  overall  project  impact  on  food  production  was  as follows: Rice mill in Morobo  a. Under  the  2008  PP  (2008‐2011),  about  190,000 beneficiaries  cultivated  on  average  about  1.0  feddans  (or  0.425  hectare)  equaling  80,750 hectares.  Based  additional  data  provided  on  beneficiary  cultivation  patterns  in  Yambio  and Morobo  during  phase  1,  about  83  percent  of  cropping  was  used  for  cereals.  Taking  a  more conservative estimate of 70 percent of EFCRP cropping area going to cereals, that would mean Page 15 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) 56,227 hectares were planted with cereals in the project areas. Data from FAO/WFP in the CLIMIS  database for 2011 show that in the six counties where EFCRP operated, the total area under cereal  production was 66,268 hectares. Therefore, upwards of 85 percent of cereal production in the  EFCRP counties in 2011 is attributable to the project. See tables 2 and 3.  b. During  the  remaining  years  of  the  project  (from  2011‐2016),  an  additional  83,620  farmers adopted  improved  technology  with  the  goal  of  cultivating  5  feddans  per  farmer.  Assuming  an average of (1.275 hectares) per beneficiary, 106,616 hectares were added (tables 2 and 3). c. Up to 2014 when the bulk of project lending for productivity had already occurred, cropped area and total production maintained a healthy increase over the early years of the project (tables 2 and 3). Due to the conflict, however, area under cereals harvested reduced, resulting in reduced production (see graph FAOSTAT). d. The  project  supported  the adoption  of  post‐harvest  technologies  for  125,000  farmers  and  an additional 11,000 tons of storage capacity to ensure temporal availability of foods, all contributing to reduced losses and longer availability of processed foods for consumption. According to field reports  from  IPs,  several  farmers  indicated  that  they  would  construct  their  own  household granaries after they saw how effective Table 2 Total cereal production area (hectares) in EFCRP counties during the life of the project  State  County  2010  2011  2012  2013  2014  2015  2016  Central  Morobo   10,351  10,060  12,550  13,079  25,099  37,603  9,783  Equatoria   Terekeka   26,858  18,409  18,961  18,224  Western  Nagero  2,311  1,731  1,914  Equatoria   Yambio  25,080  29,251  34,970  36,414  37,770  33,156  22,302  Lakes   Yirol  28,583  25,594  36,505  Warrap   Tonj North  22,143  15,065  30,333  25,543  18,736  20,505  22,809  Western  Raga   6,406  6,946  7,221  9,553  11,056  11,388  6,260  BeG  Jonglei   Pochalla     6,003  5,007  5,894  6,625  Unity  Leer  3,536  3,007  2,814  4,105  639  Upper  Maban  4,362  4,546  3,461  4,990  5,370  Nile   Panyikang   2,090  1,939  2,016  2,522  ‐  162  680  69,606  66,268  94,266  128,623  150,432  159,984  131,111  Source: FAO/WFP data in CLIMIS database.  http://www.climis‐southsudan.org/crop/data  Table 3 Net cereal production (tonnes) in EFCRP counties during the life of the project  State  County  2010  2011  2012  2013  2014  2015  2016  Central  Morobo   7,453  7,243  9,036  11,510  32,126  51,140  12,522  Equatoria   Terekeka     21,486  16,200  10,618  13,122  Western  Nagero  1,849  1,524  1,684  Equatoria   Yambio  27,086  30,422  36,369  40,784  45,324  34,483  23,194  Lakes   Yirol   25,750  24,570  32,125  Warrap   Tonj North  15,057  7,834  15,773  16,348  14,989  16,404  18,247  Western  Raga   6,406  6,946  4,910  7,643  12,383  10,932  6,010  BeG  Jonglei   Pochalla     5,763  5,207  4,715  5,300  Page 16 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) State  County  2010  2011  2012  2013  2014  2015  2016  Unity  Leer  1,980  505  900  1,971  1,117  224  358  Upper  Maban  2,094  2,182  1,661  3,194  3,437  Nile   Panyikang   1,254  489  968  1,614  N/A  104  435  101,843  94,829  119,003  133,510  156,606  157,908  116,434  Source: FAO/WFP data in CLIMIS database.  http://www.climis‐southsudan.org/crop/data  Increasing Income Through Safety Nets  29. Cash for Work.  Project reports cite initial difficulties implementing the safety nets because the IPs were not familiar with the approach promoted by the project. However, the World Bank team, MAFS, and the NGOs worked to overcome the confusion, and by the end of phase 1 in June 2011, the project reached 24,462 people with cash for work, exceeding the PDO target of 20,000. 30. The original project also had some learning Box  1 Safety nets entry activities by AAH  by doing regarding what could be measured under To  introduce  project  public  works  activities,  the  NGO  held  the circumstances and how. The practice of paying three  Boma  meetings  in  Lujulo,  Panyume  and  Gulumbi  by  task  instead  of  daily  rates  is  one  example  of Payams, which were attended by 54 participants including  difficulty  in  tracking  data  as  originally  planned  in farmers, chiefs, and local authorities.  The three contractors  project  design.  Similarly,  the  initial  criterion  for selected  to  manage  the  work  were  introduced  to  the  construction  sites  through  meetings  with  local  authorities  targeting  food  insecure  households  was  not and  the  community,  where  37  participants  attended  the  effective  due  to  the  local  culture.  Box  1  describes meeting. Eligible households for public works were selected  how  Africa  Action  Help—the  IP  in  Morobo  and based on the following criteria: level of food insecurity, idle  Yambio  counties—entered  communities  and youth  not  involved  in  productive  work,  those  involved  in  identified  beneficiaries  for  the  safety  nets charcoal  burning  and  forestry  destruction,  and  individuals  capable  of  working.  Feeder  road  formation  training  was  component (see box 1). given to 69 beneficiaries (62 male, 7 female) that formed the  31. By  the  end  of  phase  2,  EFCRP  supported core  group  for  road  repair.  The  training  covered  road  alignment,  measurement  for  feeder  road  dimension  110,000  beneficiaries  with  cash  for  public  works, formation and compaction.  averaging 22,000 beneficiaries per year. It had also  informed the technical design of the Skills Development and Safety Nets Project, which was approved in  2013.  32. As agreed with GOSS, the cash for work activities enhanced agricultural productivity in the project area—e.g., feeder roads, market cleaning/upgrading, grain storage, and the like. For example, in two road rehabilitation projects, there were 690 individuals (510 men and 180 women) employed to repair 6.5 kms of the Morobo‐Iraga road and 7 kms of Aboroto‐Yugufe road. Activities included clearance and stumping, road formation (earth works), drainage, murram digging, and spot murraming.9 In Morobo, 300 people (198  men  and  102  women)  were  employed  to  rehabilitate  23.6  km  of  feeder  road  by  bush  clearing, excavating, and spreading murram to selected sections, and another 76 people renovated the Karua and Wuli bridges. In Tali, 225 people (180 M/45 F) were involved in the opening, swamp raising, and gravelling sections of 11 km feeder road linking Tali center to Pagara Boma. 9 Murram is a gravelly lateritic (clayey) material, often used to surface minor roads in parts of Africa.  Page 17 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Rehabilitation of Karua bridge in Morobo county  Installing culverts as part of road  rehabilitation in Nagero  33. Unconditional  food  transfers.  The  2014  PP  started  after  the  civil  war  began  and  added unconditional food or cash transfers to the project deliverables given the severe food insecurity in the country.  This  was  the  first  time  that  IDA  funds  were  used  in  EFCRP.  The  unconditional  food  aid— amounting to $5 million—was managed by WFP. A target of 138,000 beneficiaries provisioned with two months of food was set in the project paper. In the contract with MAFS, however, WFP committed to reach about 58,000 with four months of provisions. Ultimately, it reached 58,680 beneficiaries with four months  of  food  supplies,  substantially  achieving  the  overall  target  (138,000  x  2  months=276,000 compared  to  58,680  x  4  months  =  234,720).  WFP  reported  efficiencies  in  food  procurement  due  to exchange  rate  gains  and  sourcing  commodities  from  various  sources.  Given  the  dispersed  locations  of those in need, the “land, transportation, storage, and handling” comprised 63 percent of the contract cost compared to 17 percent to procure the food. This provides a stark picture of the transport challenges in the country. Table 4 General food distribution and BSP by state  Beneficiaries  States  Cereals  Pulses  Oil  Salt  Supercereal  Total MT  Aug‐Dec 2014  Jonglei   697.70   151.50  20.76   71.88   941.84   25,250   Upper Nile   334.95   12.00   46.81   65.12   458.87   10,401   Central Equatoria   245.95   14.41   20.05   280.41   16,708   Eastern Equatoria   0.75   0.75   207   Unity  350.75   11.70  4.38   366.83   5,846   Lakes   16.05   16.05   268   Total  1,645.40   175.20  87.11   20.05   137   2,064.75  58,680  34. Given the difficulty in getting on the ground in country for supervision once the war broke out, the team only caught the disconnect by the time of the May/June 2016 ISR, just before the close of the project. If the indicator tracking the WFP work had not been at the PDO level, the mismatch could have been corrected relatively easily. Improved Nutritional Outcomes  35. Activities related to improving nutrition were the focus of phase 3, which was supposed to begin in July 2016. The outbreak of violence in July 2016 delayed the start of implementation until July 2017, at which point the World Bank and MAFS agreed to contract the Food and Agriculture Organization of the United  Nations  (FAO)  to  manage  implementation.  FAO  subcontracted  World  Concern  Development Organisation  (WCDO),  Joint  Aid  Management  (JAM),  and  World  Vision  International  as  implementing partners.  The  phase  was  originally  supposed  to  build  the  capacity  of  the  smallholder  farmers  already Page 18 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) supported under the EFCRP in Nagero, Tali, Morobo, Jur River, Juba, and Aweil South counties with the  codicil that locations could change based on the security situation. When operations resumed in July 2017,  Nagero, Tali, and Morobo were dropped due to insecurity.    36. In contrast to the other grant activities under EFCRP, phase 3 had the affirmative goal to impact  nutrition through dietary diversity,10 and it introduced two new PDO indicators. Against a target of 1800  households increasing the number of foods they produce, the project achieved 4600 households.  To do  this, the project collaborated with State Ministries of Agriculture and Health, the Relief and Rehabilitation  Commission, UNICEF, WFP, International Rescue Committee, Action for Development, and Die Johanniter,  a  German  humanitarian  organization  operating  in  the  area,  to  sensitize  communities  to  the  project  activities  and  to  nutrition  through  meetings  in  collaboration  with  county/payam  administrators,  local  chiefs, and sultans. Following that, 4600 targeted households were organized into 163 groups (20 in Aweil  South, 40 in Juba, and 103 in Jur River).  FAO procured and distributed about 4.8 tonnes of vegetable  and  legume  seeds,  including  amaranth,  collard,  cowpea,  eggplant,  okra,  onion,  tomato,  and  watermelon. Hand tools—including, hoes, rakes, spades, watering cans and plastic buckets—were  distributed to beneficiaries. Beneficiaries in Jur River also received fishing kits comprising gill nets,  fishing hooks, and twine. To increase availability of animal protein, the project provided 5000 vulnerable  households with investment vouchers to acquire 20,000 chickens and 18,000 sheep or goats from the  local market, which generated income for local livestock sellers. Demonstration plots covering 12.6 ha  provided training on agronomic practices and animal husbandry.       Beneficiaries redeeming their vouchers for poultry pose with  A beneficiary shows off her tomato crop  the poultry trader  37. The  project  increased  the  dietary  diversity  of  6000  households  (against  a  target  of  1900).  Interventions  to  achieve  this  goal  included  providing  vouchers  to  6000  mothers  of  children  under‐five  years  of  age  and  vulnerable  households  to  access  nutritious  foods  in  the  local  market.  The  NGOs  also  formed and trained 18 mother‐to‐mother support groups with 450 mothers (100 mothers in Juba and 350  in Jur River) on income generation, business skills and market linkages. It also established small kitchen  gardens  for  2300  beneficiaries  (79%  women)  and  trained  2500  beneficiaries  (82%  women)  on  food  processing  and  storage  and  400  beneficiaries  (38%  women)  on  fish  net  braiding,  processing,  and  10 Other NGOs did provide support to vegetable production—e.g., AAH, WVI, and Mercy Corps.—however, nutrition impacts  were not an explicit goal of the other investments.     Page 19 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) preservation.  38. Beyond  assets,  the  project  trained  households  on  the  types  of  basic  foods  they  could  grow  throughout  the  year  for  dietary  diversity  and  how  they  could  prepare  and  process/preserve  the  food.  Beneficiaries  were  trained  on  food  processing,  preparation  and  infant  feeding  practices,  and  mother  support groups were formed and trained in business skills. Awareness‐raising sessions were conducted  on nutrition sensitive technologies and on energy‐saving technologies—such as, cooking baskets and solar  drying  for  vegetable  preservation.  Beneficiaries  for  nutrition  education  were  selected  following  a  participatory  process  with  the  involvement  of,  and  consultation  with,  relevant  stakeholders  in  the  nutrition  sector.  They  included  households  with  young  children  on  the  verge  of  falling  into  the  malnutrition  trap  and  children  who  have  graduated  from  UNICEF  treatment.  While  these  households  benefited  from  nutrition  vouchers  to  buy  healthy  food,  they  also  received  nutrition  education  and  demonstrations  on  cooking,  food  preparation,  and  preservation;  and  they  were  trained  on  setting  up  kitchen  gardens  and  using  energy  and  labor‐saving  technologies.  Radio  programs  were  designed  with  beneficiaries to improve knowledge of the importance of a diversified diet. Ultimately, 2781 households  reported adopting healthier eating habits and 2500 households were using improved food processing and  storage methods and facilities.           A hay solar cooking basket (fireless cooker) is one of the    Children from Marial Ajiith recording a role play at Voice of  labor saving technologies introduced by the project  Hope Radio Station in Wau  39. The  project  also  conducted  a  national  capacity  assessment  to  review  the  institutional  environment for nutrition and coordination. State level consultations with relevant stakeholders from the  State Ministry of Agriculture, Ministry of Health, and the Universities of Juba and Bahr el‐Ghazal were  held, followed by a workshop to raise awareness among six states of the Greater Bahr el‐Ghazal region  and  draft  action  plans  to  mainstream  nutrition  in  agriculture.  Given  the  short  timeline  of  the  project  (essentially  5  months  for  implementation),  the  planned  national  stakeholder  workshops  could  not  be  organized  to  build  stakeholder  capacity  for  nutrition  mainstreaming.  By  project  close,  40  agriculture  professionals reported increased understanding of their role in improving nutrition, which falls short of  the target, but is an impressive achievement given the context and the short implementation timeline.   Justification of Overall Efficacy Rating   40. Overall  efficacy  is  rated  substantial  because  the  objectives  of  increasing  food  production  and    Page 20 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) providing  access  to  cash  for  work  were  surpassed,  despite  the  difficulties  presented  by  increasing  insecurity and poor accessibility. EFCRP was able to substantially achieve or surpass its targets despite the  challenges of implementing in an area where the government was just being established, the population  had been traumatized by years of civil war, accessibility due to poor roads was an issue between April and  November,  and  where  active  conflict  ultimately  engulfed  the  new  country  for  four  years  of  the  implementation.   41. As noted in the preceding paragraphs, much of the evidence of the project’s achievements came  from indirect sources and not the M&E office of the PIU.  This is why the project is rated substantial instead  of  high.    Progress  monitoring  in  FCV  settings  cannot  be  expected  to  reach  the  levels  of  rigor  that  are  achieved  in  non‐FCV  countries,  particularly  in  times  of  active  conflict.  EFCRP  experienced  consistent  difficulties in monitoring; however, implementing through reputable international NGOs that were able  to collect data at the local level and were willing to meet with the ICRR team even 6 years after the close  of  their  activity  increased  the  confidence  in  the  effectiveness  of  the  project.  In  the  early  years  of  the  project the World Bank and MAFS officials made regular visits to the field to validate reporting from IPs,  which increased the confidence in the reporting that was submitted from the field during the rest of the  project when field monitoring was limited for MAFS and extremely limited for the World Bank. The ICRR  team accessed original completion reports from World Vision, Africa Action Help, ACTED, Mercy Corps,  and  FAO  and  held  a  workshop  with  IPs  in  July  2018  to  review  their  implementation  experience  and  achievements.  This  supplemental  data  verification,  in  addition  to  secondary  sources  and  World  Bank  implementation supervision reports and project papers, helps tell a more plausible story of the project’s  achievements.   C. EFFICIENCY  Assessment of Efficiency and Rating  42. Overall, the project efficiently managed seven grants over the life of the project with no delays in  expensing the grants.  Early inefficiencies in the procurement process were resolved, and the PIU brought  the project in while fully accounting for all funds and receiving clean audit reports. Nevertheless, efficiency  is conservatively rated as modest largely because of deficiencies in direct project monitoring by carried  out by the PIU. In addition, the urgency of the crisis response during preparation and the general lack of  basic data in South Sudan meant that no financial or economic analysis was carried out prior to project  implementation in 2008, 2011, 2012, or 2013 (original project and the first three additional financings).  The 2013 PP committed to collecting data for ex‐post computation of financial and economic returns on  farm income towards the end of  project implementation; however, the civil  war erupted  shortly after  approval of that additional financing, which delayed implementation for several months and limited field  data collection necessary for analysis until the end of the project.   43. Based  on  a  representative  crop  model  for  sorghum  and  maize  that  was  developed  for  the  preparation of 2014 PP to estimate financial gross margins in the project area. For EFCRP, average prices  for  maize  and  sorghum  in  December  2015,  six  months  before  the  end  of  the  project  were  used  to  determine the gross margin. Sorghum prices ranged from SSP 12/kg in Rumbek to SSP 15/kg in Wau. Maize  prices ranged from SSP 10.3/kg in Wau and to SSP 11.7 in Rumbek. Drawing on the EFNSP analysis, the    Page 21 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) analysis assumes an average of 1 ha/beneficiary. Based on these numbers, the average gross margin six  months before project close was US$257 for sorghum and US$150 for maize.    44. While sorghum and maize are the major crops in South Sudan and  a priority  for food security  production,  those  two  crops  represent  just  a  part  of  the  cropped  area  under  the  project.  Seeds  and  cuttings were provided for groundnut, cassava, pulses, vegetables, and sim sim, but data was not available  to do an adequate analysis of these crops.  Prices were volatile throughout the project, so financial returns  were similarly volatile. Informal analysis done by one of the implementing NGOs during Phase 1 of the  project  (around  2010)  showed  a  higher  cost  of  production  that  negatively  affected  gross  margins  for  maize. There was insufficient data to analyze the returns to mechanization—both for land preparation  and post‐harvest processing, but this was a small element of the project assets introduced.    45. The analysis of the cash for work program looked to analysis from similar projects for indications  of the potential returns.  For this, the World Bank’s SNSDP project, which drew on EFCRP for its technical  design, did provide an analysis that showed it would cost US$2.07 to transfer US$1.00 in wage benefits to  the intended recipients, which compared well to similar programs. The EFNSP cash for works component  ultimately  reached  47,595  people  with  an  investment  of  $8.2  million—about  $172  invested  per  beneficiary. This is averaged over the life of the project, and it includes the cost of materials. Detailed data  on the number of people reached each year in each county was not systematically collected, but AAH  provided full financial data in their 2014‐15 completion report. In Yambio, Nagero, and Tali counties, the  public works component provided an average of 56 days employment at about $7/day. This was manual  repair of several kilometers of road and installation of culverts for each community.  Due to the prevalence  of bartering in South Sudan, the project noted that introducing cash wages would increase purchasing  power and stimulate demand in local markets. That EFCRP also supported the supply response in local  market offset the risk of inflation that could have happened in the absence of functioning markets.   46. The  amount  allocated  for  operations  under  the  nutrition  component  in  phase  3  was  US$2.3  million.  The  funds  supported  6000  HH,  averaging  roughly  $54  per  person  to  increase  production  and  dietary diversity, and the households were continuing to produce and even sell surplus in the market six  months after the close of the project. By comparison, the general food distribution under phase 2, cost  $5 million to reach 58,680, and average of $85 per person—this is largely due to the expense of delivering  food support in high conflict areas.  The cash for work generated about US$4.6 million in wages under the  public works schemes. With 110,000 benefiting from public works, the project paid out US$42 per person  annually.    D. JUSTIFICATION OF OVERALL OUTCOME RATING  47. Based on the strong results on the ground in an increasingly dangerous FCV context, there was a  good argument to rate the overall outcome as satisfactory; however, the team decided on a the more  conservative rating of moderately satisfactory due to the lack of traditional evidence and analysis. The  overall relevance of the PDO was substantial and the design of the project was an excellent response to  the challenge being addressed—investing in both the demand and  supply‐side constraints in a project  area to increase food security.  Based on the robust data available (albeit from indirect sources), EFCRP  achieved or surpassed its targets for increasing food security:    Page 22 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )  272,620 farmers adopting improved technologies for production (102% of the target)   104,741 hectares of idle land brought under production (270% of target)    11,092 metric tons of storage capacity built, which increased the time that food was available in  communities (127% of the target)   47,595 participants in the cash for work public works program (128% of target)    4500 households reporting an increase in the number of foods produced (250% of target)   6000 households reporting increased household dietary diversity (316% of target)   2500 households using improved food  processing and storage  methods and facilities  (161% of  target).   48. Having the safety net component focus on improving farm to market roads, increasing storage  capacity and preparing farm land created a virtuous synergy with the food production component. The  simple, modular design also allowed relatively easy expansion of the project as the situation on the ground  deteriorated. Despite this, the difficulties in project implementation caused by steadily increasing conflict  and  violence,  economic  crises,  weather‐related  site  accessibility,  and  capacity  gaps  that  were  not  addressed meant that the project simply did not have the data to prove efficacy and efficiency to meet  the moderately satisfactory threshold.    E. OTHER OUTCOMES AND IMPACTS (IF ANY)  Gender  49. None of the grants had specific goals along the lines of increasing women’s agency—e.g., power  to  make  decisions  about  how  household  resources  are  allocated,  etc.  —or  reducing  gender‐based  violence.  The  focus  on  women’s  inclusion  varied  across  implementing  partners,  but  all  made  sure  to  include  women  in  project  activities—some  explicitly  targeted  female  headed  households  (e.g.,  World  Vision,  Mercy  Corps)  while  others  reported  the  number  of  women  reached.  In  line  with  the  emerging  requirements for the World Bank core indicators, the team started tracking the number of beneficiaries  disaggregated by gender, and it achieved 47 percent women’s inclusion against a target of 50 percent  according to World Bank ISRs. The fifth additional finance, with its focus on nutrition, reached a higher  proportion of women—e.g., 79 percent of the beneficiaries of kitchen garden training, and 82 percent of  trainees on food processing and storage.    Institutional Strengthening  50. Regardless of the definition of institutional strengthening used, EFCRP was not primarily designed  to contribute to this goal.  That said, the primary project paper did say that EFCRP would contribute to the  increased capacity of MAFS and local authorities to manage and monitor projects. Despite a rocky start,  the project did build a new working relationship between MAFS and the NGOs (see the next section for  elaboration).    NGOs  report  close  collaboration  with  local  authorities,  including  county  agriculture  department and payam extension workers, who supported implementation and were provided transport  facilities to facilitate their work. Local officials participated in trainings to be able to provide support after  the end of the project. In addition, EFCRP did provide funding to upgrade the Palotaka Seed Center for  the purposes of producing quality seeds for farmers.      Page 23 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Mobilizing Private Sector Financing  51. The project was not designed to mobilize private sector financing given the emergency nature of the operation and the fragile context of the country. Poverty Reduction and Shared Prosperity  52. As an emergency project designed to meet immediate food security needs, the project did not focus on poverty reduction or growth, per se. Given the focus on food security through production and income support, it certainly increased incomes of producers and mitigated the impacts of poverty during implementation. However, given the continuing conflict, it has been challenging to measure the impact on either of the twin goals. Other Unintended Outcomes and Impacts  53. Early in the project—by June 2010—the team noted that there was impact on youth jobs with public works providing livelihood opportunities. Anecdotes from the NGOs indicate that the youth were especially involved in farm mechanization efforts and took the lead in land preparation in some areas and the  rehabilitation  of  public  roads  and  the  construction  of  storage  facilities.  With  the  first  additional financing,  the  project  started  measuring  youth  participation  in  the  safety  nets  activities  and  it  was reported that they surpassed their target of 50 percent. III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME A. KEY FACTORS DURING PREPARATION 54. At the time EFCRP was designed, the Government of Southern Sudan was just forming and had low human resource capacity to manage development projects. Several ministries had few or no staff on the  ground.  EFCRP  was  designed  shortly  after  the  Support  to  Agriculture  and  Forestry  Development Project  (SAFDP)  which  was  financed  by  the  Multi‐Donor  Trust  Fund‐South  Sudan  (MDTF‐SS)  and  was managed by the same ministry. These two projects were not the only agriculture/food security projects under the MDTF‐SS, so the management burden was not small. 55. The management structure followed SAFDP in that the project was integrated into the normal operations of the MAF Technical Directorate for Research and Extension with the Director General (DG) as  Project  Operational  Coordinator  (POC)  for  day‐to‐day  coordination.  This  meant  that  a  government official was essentially managing the project in addition to the rest of his or her portfolio, which was sub‐ optimal given the fiduciary, safeguards, and technical issues that needed intense attention. 56. The decision to use technical assistance and implementing partners (NGOs) for EFCRP ran against the preference of GOSS, but it was a necessity given limited capacity on the ground and the need to act quickly. Given the government’s aversion to technical assistance, this decision created further challenges during  implementation  that,  perhaps  the  inclusion  of  capacity  building  activities  for  MAFS  staff  (e.g., training seminars with visiting staff from the Bank) could have mitigated. 57. The decision to have project sites spread across six states (and later expanded) was a trade‐off in terms  of  management  efficiency.  The  reason  for  this  is  that  South  Sudan  has  very  weak  transport Page 24 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) infrastructure, with most roads impassable during the rainy seasons, and sporadic insecurity that existed  even  at  the  time  of  project  design.  This  made  management  and  monitoring  especially  difficult  for  an  already stretched Ministry and Bank team.    58. As with SAFDP, the design team lacked information on weather, physical conditions, the social  dynamics of the proposed project areas, and the nature of local markets in the target areas as well.  The  project  overcame  the  lack  of  capacity  and  information  by  hiring  strong,  reputable  NGOs  for  implementation—Action Africa Help, Norwegian People's Aid, World Vision, Mercy Corps, HARD‐SSS, and  ACTED—to implement the project. This prevented the project from adding more detail to the design of  implementation arrangements and from designing a robust monitoring and evaluation strategy.  59. The emergency nature of the project combined with delays in contracting the NGOs, fed into the  failure to sufficiently orient MAFS and NGO staff to the design principles of the project where early on,  there was confusion over how to implement the safety nets component and how to divide the agriculture  production activities between subsistence and more market‐oriented farmers (cultivating 5+ feddans).   This created confusion early on in implementation, which was ultimately overcome, but not without lost  opportunities.   B. KEY FACTORS DURING IMPLEMENTATION  60. EFCRP spanned almost 10 years during which its operating environment changed drastically. It is  impressive that the project achieved what it did given the circumstances unfolding in the country. This  section describes the factors that impacted the implementation progress.   61. Conflict and civil war. The deteriorating security situation ultimately became the defining factor.  While December 2013 marks the start of a civil war period, intermittent insecurity affected the project as  early as December 2009, and delayed or prevented implementation in some area (e.g., Pochalla and Yirol  West).   62. In December 2013, one month after approval  of the 2013 PP, civil war broke out, forcing the Bank to  evacuate the country between 20 December 2013 and  30  April  2014.  During  this  time,  implementation  was  minimal  in  most  locations,  but  given  the  increasing  need,  the  Bank  pushed  through  a  fourth  additional  financing in February 2014, which included direct food  aid through WFP. By the fourth additional financing in  2014, the project was providing food security support  in nine counties across seven states (table 4).     A landmine uncovered in Maban county during  63. The  project’s  flexible  implementation  model,  excavation of a farm pond in 2013 under the grant  giving  authority  to  the  implementing  partners  to  implementated by Mercy Corps  determine where and what to implement based on the  local conditions allowed implementation to continue. The Bank returned to Juba in April 2014, but field  visits were minimal for the Bank and MAFS due to continued insecurity. A peace agreement was reached    Page 25 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) in September 2015, after which the Bank, MAFS, and the NGOs made efforts to return to normalcy. The  2014 PP was set to close in June 2016. Preparations for a fifth additional financing through the PHRD trust  fund—this time focused on nutrition—commenced and the grant was approved in June 2016. However,  the peace agreement fell apart in July 2016, prompting the evacuation of staff from July 2016 to April  2017.    64. Economic  turbulence  and  decline.  Economic  crises  at  different  points  of  implementation  (2008/2009, 2012, and 2016) constrained public sector investment and limited the government’s ability  to import food.  Very early in the project (2008‐2009), oil prices dropped by around 70 percent, at a time  when 90 percent of Southern Sudan’s revenue came from oil. Oil prices rebounded somewhat, but a 2012  dispute over oil with Sudan again restricted the amount of food imported from Sudan and curtailed access  to fuel by large‐scale mechanized farmers in South Sudan. The situation was exacerbated by an influx of  refugees and returnees that increased overall food demand. The conflict in December 2013, shut down  five oil fields, which severely constrained government revenue.  Ultimately, GDP per capita dropped from  $1,111 in 2014 to less than $200 in 2017. Growing insecurity, low government revenues, and the move to  monetize  the  debt  led  to  extraordinarily  high  inflation—including  for  food—later  in  project  implementation.   Figure 1 South Sudan Consumer Price Index 2011‐2017 with dates of each additional financing  5000 4500 4000 3500 Jun‐16 720 3000 2500 2000 1500 Mar‐14 Jun‐12 Apr‐13 1000 Jun‐11 174 153 153 500 100 0 Dec‐11 Mar‐12 Dec‐12 Mar‐13 Dec‐13 Mar‐14 Dec‐14 Mar‐15 Dec‐15 Mar‐16 Dec‐16 Mar‐17 Dec‐17 Jun‐11 Sep‐11 Jun‐12 Sep‐12 Jun‐13 Sep‐13 Jun‐14 Sep‐14 Jun‐15 Sep‐15 Jun‐16 Sep‐16 Jun‐17 Sep‐17   65. Project design elements. The project design had both positive and negative elements. EFCRP was  simple, with two technical components that could be easily replicated, and adjusted, to work in different  geographies. The activities were familiar to most NGOs and so could be deployed quickly at various points  across  the  country.  The  synergy  between  the  two  components  multiplied  the  positive  impact  of  the  project.  On  the  downside,  the  small,  short‐duration  grants  prevented  the  NGOs  from  establishing  the  long‐term  trust  relationship  necessary  to  affect  change.  They  could  not  plan  out  on  a  sufficient  time  horizon the engagement they think was needed. The many restructurings to add financing to the project  also created an administrative burden for the project team (dual track approval and reporting), which was  as different times during implementation, also implementing the SAFDP, preparing a follow‐on agriculture  project, and preparing and implementing the EFNSP. At the same time, the dispersed nature of the project  made monitoring difficult, particularly during the rainy season when rain made roads inaccessible.     Page 26 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) 66. Accessibility.  Aside  from  security  issues,  South  Sudan  is  one  of  the  most  difficult  countries  to  travel due to the lack of paved roads.  In fact, between April to May and October to November, most roads  in South Sudan are inaccessible. As insecurity grew during implementation, the costs of monitoring and  delivering goods increased substantially. At times, logistical issues led to the delayed delivery or loss of  inputs due to road accidents.    67. Weather. Weather shocks—including drought, rain, and flood—repeatedly affected accessibility  to project areas and success of cropping. Early in the implementation, the project learned that drought  had affected beneficiaries in Upper Nile State, destroying all early planted crops.11  In 2011/2012, delayed  and erratic rainfall in most parts of South Sudan affected the harvest while drought in the neighboring  countries limited the availability of food for import. These events coincided with a conflict between Sudan  and South Sudan over oil that triggered macroeconomic decline that exacerbated the rapidly increasing  food insecurity in the country.     68. Implementation through NGOs. EFCRP started when Southern Sudan was an autonomous region  that  had  only  existed  for  about  three  years.  Government  agencies  were  severely  short  of  staff.  The  decision  to  implement  through  reputable  NGOs,  some  of  which  were  able  to  provide  their  own  pre‐ financing in anticipation of the funds being reimbursed by MAF, was critical to successful implementation.  Building trust between the local authorities and the NGOs also took time, which delayed progress at first.  Trust  was  eventually  established,  and  a  positive  working  relationship  characterized  the  rest  of  implementation.  GFRP  ultimately  highlighted  the  partnership  between  the  NGOs  and  the  government  (see box 2).  Box  2 Establishing a New Partnership between NGOs and the Government of South Sudan (GoSS)  Four  international  NGOs  were  contracted  to  support  the  implementation  of  the  GFRP  South  Sudan  Program:  Norwegian People’s Aid, World Vision, Africa Action for Hunger International and the Agency for Cooperation in  Technical Development. The contractual relationship was defined by an agreement based on Bank procedures  that  clearly  identified  NGOs  as  consultants  delivering  services  required  by  the  GoSS.  The  selected  NGOs  had  working experience in the agricultural sector in South Sudan, extensive knowledge of the local communities, and  appropriate  operational  structures  ready  to  be  quickly  scaled  up.  However,  after  the  signature  of  the  Comprehensive Peace Agreement (2005) and the subsequent independence in 2011, new working procedures  were established. While previously NGOs were only accountable to their donors, they began to be supervised by  the new government in place.  It took some time for the NGOs to adjust to the new reporting requirements; however, they successfully engaged  with  the  local  authorities.  They  played  a  crucial  role  in  promoting  awareness  on  important  topics,  especially  related  to  gender  issues.  Although  governmental  institutions  remained  structurally  weak,  they  played  an  important  role  by  providing  counterparts  to  supervise  the  project;  facilitating  the  exemption  of  taxes  on  equipment,  materials,  and  inputs  for  the  project;  and  disclosing  policy  documents  related  to  agriculture  and  forestry development in South Sudan. Therefore, the relation between NGOs and the GoSS positively evolved  during the implementation of the GFRP program. In terms of management, the Internal Coordination Committee,  a  forum  in  the  Ministry  of  Agriculture  and  Forestry,  brought  together  the  different  actors  monthly  to  discuss  implementation of the project and helped in the identification and resolution of key implementation challenges  also related to accessibility, logistics, and insecurity.  Source: World Bank 2012 “Global Food Crisis Response Program (GFRP):  Progress and Lessons Learned”  11 World Bank. 2009. Implementation Status and Results Report. Sequence 2.     Page 27 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )   IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME  A. QUALITY OF MONITORING AND EVALUATION (M&E)  M&E Design  69. Monitoring and evaluation was modest. The original project paper outlined more of a supervision  plan than a monitoring strategy beyond defining the indicators and describing the sources for the data.  Given the dearth of information about M&E in the 2008 PP (and subsequent additional financings) and  that EFCRP used the implementation structure and fiduciary systems as defined under the MDTF‐S and  used for implementation of the SAFDP, it is likely that the project design team planned to build on the  M&E system defined in the final project paper for SAFDP.  Like SAFDP, EFCRP suffered from the paucity of  data available to establish baseline values.    70. Taking a lesson from SAFDP, where “in the absence of a clear plan, a piecemeal approach became  the  actual  modus  operandi  of  the  project  as  far  as  M&E  was  concerned”,12  EFCRP  developed  a  set  of  indicators  directly  linked  to  the  project  and  held  at  least  two  workshops  to  reach  agreement  on  the  indicators and their measurement. There were, however, changes to the initial indicators once monitoring  requirements from the FCRP trust fund were communicated after the project was approved.  This led to  a  disconnect  between  the  2008  project  paper  results  framework  and  the  one  that  was  used  during  implementation support. Despite the additional preparation, there was some initial confusion over some  indicators—e.g., what constituted an improved technology—and difficulty measuring other indicators— e.g., calculating person‐days of labor was not possible due to the nature of assigning and jobs and making  payment. The original results indicators were completely  different by the second additional finance in  2012.   M&E Implementation  71. M&E remained weak throughout implementation. By the close of the project, there was no M&E  specialist on staff, and the PIU did not have staff or budget to prepare a borrower completion report. No  consolidated management information system database to track physical progress and supplementary  data was created according to interviews with the Project Director. In the absence of capacity, the PIU  assembled  the  progress  reports  from  the  NGO  implementers  for  the  World  Bank  team.  Technical  assistance  was  supposed  to  be  used  throughout  implementation,  which  could  have  bolstered  M&E  activities; however, the Government was not enthusiastic about outside technical assistance, so coverage  was patchy.  72. There  was  a  missed  opportunity  to  gather  supplementary  data  on,  for  example,  the  types  of  technology used, the amount and types of seeds distributed, the production levels of crops, the prices  earned  by  producers,  the  difference  in  prices  in  local  markets  once  the  farmers  began  selling,  the  kilometers of roads rehabilitated, etc. Enriching data like this was done or not depending on the NGO, and  12 World Bank.  2013.  Implementation Completion and Results Report for the Support To Agriculture And Forestry  Development Project. World Bank: Washington, DC.     Page 28 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) there was no defined methodology to guide the gathering of the information.  Therefore, good efficiency  and impact analysis was not possible.   73. In the early years of the project, regular field missions by the Bank and MAFS could verify the data provided by the NGOs, and local authorities were also working with the NGOs to do site monitoring. Due to the outbreak of civil war in December 2013, field missions reduced significantly. While implementation resumed by March 2014, access to field areas for data validation was constrained. The World Bank team noted that for most of 2015, MAFS officials were unable to make field visits due to insecurity and could only resume monitoring visits in early 2016. M&E Utilization  74. The indicators finally adopted by the project as of 2012, were enough to gauge progress on project implementation; however, the World Bank team consistently reported problems with data verification. Nonetheless, field verification missions that included World Bank staff were possible through 2013, which adds  a  measure  of  confidence  to  the  data  that  the  NGO  partners  were  reporting.  Based  on  project completion  reports  submitted  by  the  project  implementers—available  from  every  implementing  NGO except for one—there was a wealth of data being collected that could have been consolidated and use to enrich  the  project  knowledge  base.  For  example,  there  are  doubts  about  the  acceptability  of  animal traction and other mechanization among communities.  EFCRP supported such mechanization and could have  collected  data  on  adoption  rates  and  qualitative  information  on  issues  limiting  adoption.  Some implementing NGOs reported on farmers engaging in contracts with private sector buyers in larger cities. It would have been good to collect data on what farmers and/or cooperatives were able to engage in such contracts and to gather qualitative data on how these contractual arrangements were formed. Justification of Overall Rating of Quality of M&E  75. Quality of M&E is rated negligible because by the end of the project, the paucity of verifiable data and  reports  meant  that  the  ICRR  team  could  not  validate  any  outcomes.  The  introduction  of  capacity building  for  PIU  staff  could  have  helped  increase  the  acceptance  of  the  technical  assistance  that  was needed but  not readily accepted by the implementing agency,  and it  could  have improved the overall confidence in the data. B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE 76. Environmental  and  Social.  EFCRP  was  a  Category  B  project  for  environmental  safeguards throughout the life of the project. The 2008 PP triggered OP 4.01 (Environmental Assessment) and OP 4.09  (Pest  Management).  The  2011  PP  added  OP  4.10  (Indigenous  Peoples)  and  OP  4.12  (Involuntary Resettlement, then the 2012 PP added  OP 4.04 on  Natural  Habitats and OP 4.36 on Forests. Relevant safeguards  documents  were  prepared  and  disclosed  as  specific  to  OPs  as  follows:  Environmental  and Social Management Framework (ESMF), including a Pest Management Plan (PMP) for OPs 4.01 and 4.04; an Indigenous Peoples Planning Framework (IPPF) for OP 4.10; and a Resettlement Policy Framework (RPF) for  OP  4.12.   During  these  updated  PPs,  an  Environmental  and  Social  Screening  and  Assessment Framework (ESSAF) was prepared for the whole of the South Sudan portfolio in 2012. 77. Despite  capacity  weaknesses  in  safeguards  management  in  the  implementing  agency,  EFCRP Page 29 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) started and ended implementation in safeguards compliance with respect to documentation.  Compliance  lags occurred in preparation of subsequent management plans – Environmental and Social Management  Plans (ESMPs) and Resettlement Action Plans (RAPs). At the time of the 2013 PP, a South Sudan Social  Assessment concluded that most of the people in South Sudan met the criteria for OP 4.10, so an IPP was  deemed  no  longer  necessary.  In  May  2013,  an  environmental  and  social  audit  conducted  by  the  Bank  found  that  safeguards  continued  to  be  implemented  satisfactorily  at  the  NGO  level.  By  October  2013  (when 2013 PP was approved), a consulting firm had been hired by the PIU to manage all safeguard issues.  That firm, which continued through the end of EFCRP and assured safeguards compliance on the ground.  According  to  project  reporting,  project  interventions  remained  small  in  scale  and  resulted  in  minimal  safeguard risks that were easily mitigated by the NGO implementers. The collaboration between the NGOs  and the local authorities was particularly helpful in managing localized conflict between groups.  78. Financial  Management  and  Audits.  The  implementing  entity  maintained  effective  financial  management arrangements throughout the life of the project in compliance with the Bank’s policies and  procedures. A consultant financial management specialist supported the project for the entire duration.  The  overall  financial  management  performance  was  rated  Moderately  Satisfactory  for  most  of  the  implementation period, except for  the period between July 2016 and January 2017 when it was rated  moderately  unsatisfactory  due  to  disruptions  occasioned  by  the  July  2016  conflict.  To  mitigate  the  heightened  fiduciary  risk  following  the  conflict,  implementation  of  key  project  components  under  the  2016 PP was contracted out to FAO, which had adequate capacity. The project submitted all the interim  financial reports to the Bank within the timelines stipulated in the legal agreement. It also submitted all  the audit reports to the Bank on time except the audit report for the financial year ended June 30, 2017  which  was  delayed.  All  the  audit  reports  expressed  unqualified  opinions  with  no  major  financial  management issues except the audit report for the financial year ended June 30, 2018 when the auditor  expressed  a  disclaimer  of  opinion  based  on  inability  to  obtain  documentary  evidence  relating  to  expenditure of USD 2.5 million incurred through FAO.  Withdrawal applications were submitted to the  Bank on a regular basis with no major delays in funds flow.   79. Procurement risk rating remained high throughout project implementation. Challenges included  the institutional weakness to independently implement project procurement activities and the general  geographical  and political  factors during implementation period. The 2008 PP was prepared when the  establishment of government systems were at initial stages with challenges related to overall oversight  and accountability of  procurement  decisions. The Ministry of Finance and Planning  issued in 2006 the  Interim  Public  Procurement  and  Disposal  Regulations  (IPPDR)  that  were  not  generally  adhered  to  by  institutions. Regulations have no legal framework and to date no Procurement Act has been passed by  the  government.  The  other  factor  is  the  long  lead  time  in  procurement  process  due  to  both  the  infrastructural and capacity challenges in the country. At a rate of not less than six months to hire a firm,  project  procurement  did  at  times  negatively  affected  the  project’s  ability  to  adhere  to  the  cropping  calendar. Conflict in some project areas especially during the period 2014‐2017 affected the procurement  and contract management. Project supervision was limited to Juba town as corporate security restricted  movement of Bank staff beyond Juba town. Procurement and contract management was supported by  experienced  procurement  consultants.  Post  Procurement  Reviews  conducted  showed  moderately    Page 30 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) satisfactory ratings and though with some challenges, procurement objective(s) were largely met with no  mis‐procurement activities recorded. Procurement performance is rated as moderately satisfactory.  C. BANK PERFORMANCE  Quality at Entry  80. Quality at entry was satisfactory. The design of EFCRP was particularly strong in that it addressed  both the supply side and demand side constraints affecting food security. When it was being designed,  several other programs—financed through the MDTF‐SS were under implementation, many working on  complementary issues of food production and safety nets. This included the SAFDP, which had been under  implementation  for  a  couple  of  years,  was  trying  to  address  issues  of  capacity  at  the  center  and  local  levels, which would have benefitted EFCRP operations.   81. Implementation  arrangements  were  complex  at  first,  following  SAFDP,  which  mainstreamed  project  activities  into  the  operations  of  MAF  Technical  Directorates.  The  Southern  Sudan  Technical  Steering Committee (SSTSC) was an inter‐ministerial committee chaired by the Minister of Agriculture and  Forestry was responsible for implementation of the project. The Southern Sudan Technical Committee  (SSTC) was a technical secretariat at the Undersecretary level within the SSPSC and was responsible for  overall coordination and oversight of the project. A Director General, who was a member of the SSTC, was  appointed to provide a link between the national level and the NGO implementers at the decentralized  level and was to be supported by a short‐term project management and administrative specialist and a  road engineer as the core personnel for the PIU for the project. The PIU for EFCRP was embedded within  the Project Coordination Unit of MAF so it could be fully supported by their expertise in the said unit.   82. EFCRP supplemented the capacity of the government with well‐established international NGOs  with extensive experience working with the local communities on agriculture and safety nets. This was a  good decision that impacted the ability of the project to start activities despite delays in establishing the  contracts for the NGOs, and it paid off in term of safeguards management and implementation in conflict  areas when the security situation worsened. The project also brought in technical assistance in the PIU to  complement the government staff working on the project.   83. EFCRP reflected the lessons that had already been learned through SAFDP. It had a comparatively  simple results framework with a few indicators that were directly related to the project activities instead  of broad sector monitoring indicators. The team held workshops on M&E with the implementing agency  and the NGOs to overcome difficulties experienced in developing the M&E system under SAFDP. Based  on the quality of EFCRP’s data, more was needed to get a workable system established, such as capacity  building on database creation and management, data verification, using project data for decision support,  etc.   84. The World Bank team planned for rigorous supervision of the project, but the selection of far flung  implementation sites should have been avoided given the poor transport infrastructure in the country.  Most of the team was based in the Juba Office and provided direct support and supervision as frequently  as  required.  In  keeping  with  the  practice  of  other  emergency  projects,  a  minimum  of  four  intensive  support missions per year were planned in addition to bimonthly review meetings with the implementing    Page 31 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) agencies. A project review was planned for the end of the first year of implementation to focus on: (a) the  fiduciary issues; (b) the effectiveness of the coordination mechanisms; and (c) achievements of results.  Implementing  agencies  were  required  to  produce  technical  audit  reports  every  six  months  and  the  government was tasked with making regular spot visits to project sites.   Quality of Supervision  85. The quality of supervision is conservatively rated moderately satisfactory, especially given the FCV  context. The World Bank team is to be commended for adhering to a critical pillar of the World Bank’s  approach in  countries affected by fragility, conflict, and violence, which is to  stay engaged.  The team  worked with MAFS to apply for additional funds to keep the EFCRP operation going, preparing additional  financing proposals while the staff were evacuated due to insecurity. Ultimately, the experience of EFCRP  into the design of the Safety Nets and Skills Development Project and the Emergency Food and Nutrition  Security Project. For the latter, it is highly likely that the relationship established between the World Bank  and the GOSS through EFCRP facilitated the rapid preparation of that project.   86. During Phase 1 and the early parts of Phase 2, the World Bank team was in the Juba office and  worked  closely  with  MAFS  and  the  NGOs  to  monitoring  implementation  progress.  It  also  hired  an  additional consultant to provide close implementation support to MAFS. The team held workshops with  MAFS  and  the  NGOs  to  agree  on  monitoring  indicators  and  measurement—although  more  capacity  building  was  required  to  get  the  M&E  system  functioning—and  it  provided  training  on  safeguards  implementation.  The  World  Bank  team  undertook  regular  field  visits  and  joined  project  coordination  meetings with MAFS. Given the lack of capacity on the part of such a new government and the lack of  experience on the part of the NGOs and the Government in working together, it sometimes fell to the  World Bank team to drive implementation, which they did, by and large.   87. Once civil war erupted in December 2013, supervision became almost impossible (table 5). The  Bank offices were twice evacuated to Nairobi: (a) 20 December 2013–30 April 2014; and (b) July 2016‐ April 2017,  but the Bank  team still arranged for  the  2014 PP during  the first and  the follow‐on EFNSP  during the second.   88. Insecurity ultimately precluded field visits in some areas—especially by the World Bank team— and it impeded project implementation in several areas. Given the rapidly changing circumstances in the  country (both from a security and food insecurity perspective), the World Bank team and MAFS adopted  a  flexible  approach  to  implementation,  where  the  combinations  of  activities  (agricultural  production,  public works, and direct food support) implemented in a project area were dictated by local circumstances  and relied on the judgement of the implementing agency.     Page 32 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Table 5 EFCRP implementation calendar with security issues  2008 2009 2010 2011 J F M A M J J A S O N D J F M A M J J A S O N D J F M A M J J A S O N D J F M A M J J A S O N D 2008 PP 2011 PP 2012 PP 2013 PP 2014 PP 2016 PP 2012 2013 2014 2015 J F M A M J J A S O N D J F M A M J J A S O N D J F M A M J J A S O N D J F M A M J J A S O N D 2008 PP 2011 PP 2012 PP 2013 PP 2014 PP 2016 PP 2016 2017 J F M A M J J A S O N D J F M A M J J A S O N D 2008 PP Active implementation 2011 PP 2012 PP Bank evacuated from Juba 2013 PP 2014 PP Implementation under security restrictions 2016 PP 89. Nevertheless, despite persevering under extremely challenging conditions, there were oversights and  missed  opportunities  that  might  have  been  avoided.  For  example,  providing  capacity  building  to government staff at the national level could have built more long‐term impact than hiring in technical assistance. Even training workshops during supervision, VCs with Bank experts for additional training and guidance,  and  mentoring  of  staff  by  Bank  team  members  could  have  be  workable.  The  reporting  and record  keeping  on  the  part  of  the  Bank  team  was  less  than  optimal.  The  team’s  candor  about  the implementation issues, including scale of the conflict was weak throughout implementation. There were 14 ISRs for a 9.3‐year project (less than the twice per year guideline), and they sometimes lacked detail on the nature of the issues being incurred. Finally, the Bank’s handling of two of the additional financings in 2014 and 2016 created errors that dragged down the ratings of efficacy and relevance. In the 2014 PP, it’s  not  clear  that  the  PDO  needed  to  be  changed  to  add  unconditional  cash  transfers  to  the  project, although this may have been required under the circumstances. The indicator to track that activity did not need  to be at the PDO level, since  there was already a beneficiary indicator, and the other safety net activities were tracked at the intermediate outcome level. An intermediate outcome indicator could have been  correctly  quickly  and  painlessly  revised  once  the  confusion  between  the  Bank’s  targets  and  the MAFS‐WFP contract was identified, preventing the shortfall on the target. In the 2016 PP, the failure to revise the PDO to fit the changed nature of the grant led to a break in the relevance of the design in the project, even though the activities by themselves were relevant to the context. Justification of Overall Rating of Bank Performance  90. Based on the above, while consideration was given to rating overall performance as satisfactory, the  conservative  rating  of  moderately  satisfactory  was  chosen  for  the  reasons  cited  above.  Project preparation reflected lessons from ongoing project, but the lack of contextual information on the ground and lack of capacity for World Bank project management in the implementation agency led to weaknesses Page 33 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) in  baselines  and  monitoring  systems  that  were  not  overcome.  During  implementation,  the  growing  insecurity ultimately made field level close supervision impossible. The chaos resulting from the unfolding  situation in South Sudan during this time, certainly explain the shortcomings; however, the World Bank’s  failure to catch these issues during preparation and supervision reviews and to bring in the extra resources  to adequately address them led to important data and lessons being lost.     D. RISK TO DEVELOPMENT OUTCOME  91. The risk to development outcome is high. The continued conflict and macroeconomic collapse in  the  country  have  resulted  in  one  of  the  worst  humanitarian  crises  in  the  world.  Table  6  provides  an  overview  of  how  key  humanitarian  indicators  have  degraded  over  time.  The  scale  of  the  conflict  and  economic collapse where beyond the ability of the project to overcome.   Table 6 Humanitarian situation in South Sudan at various points of time  Dec‐12  Apr‐14  Jun‐16  Jun‐17  Jul‐18  IDPs  183,000  817,700  1,600,000  1,940,000  1,840,000  POCs  N/A  N/A  170,000  216,956  198,444  Severely food insecure  2,400,000  3,200,000  6,100,000  7,500,000  7,100,000  Refugees  N/A  287,600  727,610  1,940,000  2,480,000  92. Given the insecurity in the country and the ensuing internal displacements, the sustainability of  project  investments  cannot  be  confirmed,  and  it  is  likely  that  much  of  the  progress  registered  by  the  project  has  been  lost  due  to  displacement  and  damage  or  destruction  of  infrastructure  in  the  conflict  affected areas. For example, Mercy Corps implemented in Maban County in the payams of Korakimar,  Bunj and Banachuwa between November 2012 to May 2013. By 2014, sources reported escalating conflict  in Upper Nile, including in Maban County (Bunj payam) and in Panyikang County. It is unknown how many  beneficiaries were displaced and how much of the cropping and public works activities survived.13 The  July 2018 workshop with MAFS and implementing NGOs confirmed that some infrastructure in Yambio  has survived the conflict, but that many of the farmers had fled the area. Nagero and Morobo counties  remained  inaccessible.  The  investments  in  Phase  3  were  still  operating  in  June  2018,  six  months  after  project close. Follow up surveys or monitoring have been next to impossible for MAFS and especially for  Bank staff.  93. Donor activities in South Sudan now focus almost exclusively on humanitarian aid, including the  World  Bank’s  EFNSP,  which  has  supported  general  food  distribution  through  World  Food  Programme;  nutrition, health, WASH, and psycho‐social support services through UNICEF; and continued support to  production for food security through FAO. Despite the loss to conflict, EFCRP did influence the design of  two follow‐on projects—SNSDP and EFNSP. It also created lessons that will inform the design of future  recovery and resilience projects in terms of the type of inputs, technology, and other support that should  be provided.     13 Radio Tamazuj. 2014. “MAP: Who controls Upper Nile state?” https://radiotamazuj.org/en/news/article/map‐who‐controls‐ upper‐nile‐state    Page 34 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) V. LESSONS AND RECOMMENDATIONS  94. The  following  lessons  learned  and  recommendations  from  the  project  are  intended  to  inform  future World Bank finances operations being implemented in the FCV context.   What worked well   Working with NGOs. In a context of fragility and conflict, strong, reputable NGOs that are familiar  with the project area and cultural issues can help overcome lack of information on the part of the  World Bank and the implementing agency. This is especially true in areas that were isolated for a  long time due to war. Difficult human relations that arose due to the war are better understood and  addressed by people who have worked and/or have thorough knowledge about the local setting.  This can accelerate progress at the beginning of the project as they can hit the ground running. This  approach  also  has  trade‐offs.  The  World  Bank  and  implementing  agency  must  ensure  a  shared  understanding of project goals, methodologies, and monitoring priorities up front to avoid confusion.     Working  with  Local  Authorities.  Working  with  local  authorities—including  sector  officers,  local  administrative officers, and traditional leaders—is critical to managing risk and delivering results on  the  ground.  EFCRP  benefitted  from  County  level  coordinating  meetings  with  officials  that  helped  minimize overlap among donor programs. In addition, local authorities played a key role in resolving  localized conflicts between groups when they occurred.    Youth in Agriculture.  Youth do exhibit interest in agriculture, and they are especially attracted to  machinery for land preparation and crop processing, in addition to road rehabilitation and storage  construction.  These types of activities can attract more youth in future project and create sustainable  enterprise opportunities for them.      Pushing  technical  boundaries.  NGO  partners,  working  with  government  scientists  to  identify  best  varieties for different locations were able to introduce good quality seeds with traits beneficial to the  South Sudan  context, such as:  Red Beauty groundnut, which is tolerant to rosette and leaf spots;  NERICA  rice,  which  is  more  resistant  to  environmental  stresses  and  contains  more  protein  than  traditional varieties; TME 14 variety of cassava for high yields and disease and pest resistance; Longe  5 maize, for drought‐tolerance and protein content. In addition, seed multiplication in areas of relative  security was possible and beneficial to continued production.     Mechanization  is  possible  and  essential.  Even  with  small  grant  sizes  and  a  short  implementation  period, EFCRP was able to introduce animal traction, push tillers, some tractors, and machinery for  post‐harvest processing. Land preparation mechanization is critical to bringing sufficient amounts of  fallow land under cultivation, so a community can start to tackle food security, and the post‐harvest  machinery is important to extending storage life of crops.   Adaptive changes during implementation   Technical  assistance  vs.  capacity  building.  There  is  a  trade‐off,  particularly  when  working  in  FCV  countries,  between  achieving  project  goals  in  a  timely  manner  through  technical  assistance  and  building lasting skills on the ground through capacity building. While technical assistance is needed  up front in low capacity contexts, a strong program of mentoring and capacity building is needed for    Page 35 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) longer‐term  change.  Close  supervision  is  also  needed  to  more  effectively  track  progress,  communicate and establish teamwork among PIU and donors.    Maintaining momentum. It is important to counter the impacts of high staff turnover, including by  staying  in  active  communication  with  changing  country  context  and  PIU  staff,  and  by  working  to  foster capacity of and ownership by incoming stakeholders through dialogue and periodic training  sessions.   Proactivity  and  Flexibility  in  Project  Design  and  Implementation.  Projects  in  FCV  face  fluid  situations—in  terms  of  natural  disasters  and  conflict—requiring  adaptive  risk  management  at  all  levels—e.g.,  Bank  team,  CMU  and  Senior  Management.    Projects  should  be  flexible  enough  to  continue operating as circumstances on the ground change. For example, in Northern Bahr el Ghazal,  when  plans  for  donkey‐powered  traction  clearly  did  not  work  due  to  tse‐tse  fly  infestation,  the  government and the NGO partner quickly identified alternative activities that would benefit farmers.  When the insecurity made it next to impossible to go to the field, the World Bank and MAFS agreed  with the NGO partners on the priorities and to decentralize decision‐making on what interventions  would  work  in  each  setting.  This  allowed  the  project  to  keep  moving  forward  on  at  least  one  component until security improved.    Recommendations for Future Projects in FCV  Learning from experience. This project could serve as an example that despite challenging country  context, results can be achieved, especially in dire situations such as a food crisis. There is also merit  in  assessing  the  counterfactual  risk  of  not  engaging  in  countries  needing  basic  services.  For  these  circumstances, a feasible and measurable M&E framework is needed and should be given credence  when assessing final outcomes.    Value of better targeting that trades off need and accessibility. Having analysis that would effectively  measure the accessibility dimension would provide evidence to better support the technical design of  projects in the future. The demands of this project were especially clear given the grants responded  quickly  to  the  food  crisis,  however  may  have  missed  the  potential  of  conjoining  the  accessibility  dimension for greater impact.      Pre‐planning and clear fund flows help maintain implementation momentum.  A project operating  in and FCV  context should map out as much as possible, its initial procurements and locations for  prepositioning  so  that  supplies—seeds,  construction  materials,  equipment—can  be  purchased,  imported,  and  pre‐positioned  close  to  the  implementation  sites.    This  will  help  the  project  keep  moving if weather or conflict block transport. It can also ensure that the seeds and tools for cultivation  are in place before cropping needs to begin and not delay implementation for a season.    Longer implementation timelines are needed to achieve impact. All of the NGOs reported that having  small  grants  over  a  short  period  prevents  planning  for  a  longer  engagement  and  trust  with  the  communities,  which  need  more  intensive  engagement  to  move  from  humanitarian  to  resilience  building.  The NGOs could not plan out on a sufficient time horizon the engagement they think was  needed.  The  many  restructurings  to  add  financing  to  the  project  also  created  an  administrative    Page 36 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) burden for the project team (dual track approval and reporting), which was as different times during  implementation   Third‐party monitoring.  Having one or more independent agencies monitoring project processes as  well as implementation progress is important in fragile contexts. These monitors can not only verify  results,  but  also  identify  areas  where  confusion  over  approaches  or  measurement  techniques  are  evident so that additional capacity building or other adjustments can be made quickly.  They can also  facilitate knowledge sharing across project areas.    Use technology to enhance M&E.  Where interventions are highly dispersed and difficult to access,  technology such as those offered by GOST, can boost the value of data collected. First, it provides  time and GPS tagged data that can be used to ensure project staff are working where they claim to  be working.  Second, data can be uploaded directly to the PIU and the Bank at any time, allowing for  closer tracking of project progress. Third, it makes M&E interesting—something even youth in the  project areas might enthusiastically embrace. Fourth, it can facilitate satellite monitoring of project  areas.    Finally,  photos  of  the  implementation  locations  can  be  attached  to  records  to  increase  understanding of the situation of the ground and to provide before and after comparisons of project  interventions.    .      Page 37 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS          A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: Increased access to food for consumption by food insecure households  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of vulnerable persons  Number  0.00  138000.00  138000.00  58680.00  benefiting from unconditional  food or cash transfers    03‐Feb‐2014  03‐Feb‐2014  03‐Feb‐2014  31‐Dec‐2017    Comments (achievements against targets): Added in the 2014 PP to capture beneficiaries of direct food distribution from WFP (43% of target  achieved). Due to apparent miscommunication between the World Bank team and MAFS, the 2014 PP gave the 138,000 target, but the  contract between MAFS and WFP was for the amount achieved. The May/June 2016 ISR noted that “the number of vulnerable households  benefiting from unconditional food support (food aid) stands at 58,680 and these accrue primarily from the contract that was issued by the  Government to the World Food Program.” The project was not restructured at the time to align the targets.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Direct project beneficiaries  Number  213462.00  215500.00  384500.00  339433.00    20‐Jun‐2011  01‐Jun‐2011  11‐Apr‐2016  31‐Dec‐2017    Female beneficiaries  Percentage  42.00  45.00  50.00  47.00    Page 38 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )     20‐Jun‐2011  01‐Jun‐2011  11‐Apr‐2016  31‐Dec‐2017      Comments (achievements against targets): Target (88% achieved). Indicator introduced in 2011 PP as a mandatory core indicator. It replaced  "targeted population receiving cash transfers" as a PDO indicator, and participants in public works was tracked for the rest of the project  through an intermediate outcome indicator. This indicator will capture beneficiaries under components one and two only (component two  beneficiaries disaggregated as an intermediate indicator).        Objective/Outcome: Increased production and availability of food in targeted areas  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of farmers adopting  Number  0.00  189000.00  229800.00  272620.00  improved technologies for food  production.    23‐Sep‐2008  01‐Jun‐2011  16‐May‐2016  31‐Dec‐2017    Comments (achievements against targets): Target surpassed (102% achieved). The indicator was introduced in 2011 and replaced the indicators  "Farmers adopting at least one improved technology for food production (number and percent). It is proxy for reporting on number of  farmers targeted for own food production. Original target from 2008 PP was targeted farmers adopting improved technologies for food  production in the targeted areas. This was replaced with 2 GFRP indicators in 2009: Farmers adopting at least one improved technology for  food production (number and percent). This current indicator was the final version used from the 2011 PP onwards. The target was revised  upward with each additional finance until 2016.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Metric tons of storage capacity  Metric ton  1636.00  2600.00  8700.00  11092.00  built    01‐Jun‐2011  01‐Jun‐2011  03‐Feb‐2014  31‐Dec‐2017      Page 39 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )   Comments (achievements against targets): Target surpassed (427% achieved). New PDO indicator in 2011 will report on investments made in  response to the demanded post‐harvest storage capacity identified at household and community level. It is a proxy to capture strategies  taken by the project to promote increase practices that would reduce household vulnerability to seasonal availability of food for  consumption.        Objective/Outcome: Increased production and consumption of highly nutritious foods by selected farmers and vulnerable households  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of households  Number  0.00  1800.00    4600.00  reporting an increase in the  number of foods produced due    11‐Apr‐2016  01‐Jun‐2016    31‐Dec‐2017  to the project    Comments (achievements against targets): Target surpassed (250% achieved). This indicator was added under the final grant (PHRD) accessed by  the project. Implementation was delayed due to the outbreak of violence that caused the Bank to evacuate from South Sudan for almost one  year.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Numbe rof households that  Number  0.00  1900.00    6000.00  report an increased household  dietary diversity    11‐Apr‐2016  01‐Jun‐2016    31‐Dec‐2017    Comments (achievements against targets): Target surpassed (316% achieved). This indicator was added under the final grant (PHRD) accessed by  the project. Implementation was delayed due to the outbreak of violence that caused the Bank to evacuate from South Sudan for almost one  year.          Page 40 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) A.2 Intermediate Results Indicators  Component: Component 1 Support to Agricultural Productivity  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of farmers adopting  Number  0.00  83000.00  100700.00  125211.00  new practices and initiatives  for postharvest handling and  23‐Sep‐2008  01‐Jun‐2011  01‐Jun‐2016  31‐Dec‐2017  management.  Comments (achievements against targets): Target surpassed (151% achieved) New indicator in 2011. Introduced to report innovations  promoted by the project to improve household consumption through better food management and handling. It will report effects of  investments in training, construction of food stores or granaries, processing and other post‐harvest management. It is a subset of the  indicator above.  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of hectares of idle  Hectare(Ha)  0.00  4000.00  38800.00  104741.00  land brought back into  production  23‐Sep‐2008  01‐Jun‐2011  01‐Jun‐2016  31‐Dec‐2017  Comments (achievements against targets): Target surpassed (262% achieved) New indicator in 2011. Introduced to track increased production  through expansion of beneficiaries planted area through clearing of idle land.  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Percent of targeted food  Text  12%  65%  0  74%  Page 41 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )   insecure households in project    23‐Sep‐2008  01‐Jun‐2011    01‐Dec‐2011  areas with food reserves    Comments (achievements against targets): Original indicator from 2008 PP was "Numbers of food insecure households in the project area with  food reserves" with a target of 1000. This was revised to the current target in 2011 and dropped in 2012 due to difficulty in terms of time and  cost in obtaining accurate and reliable data on the indicator, potential problems with attribution of impact to project interventions, and lack  of a reliable baseline.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of househjolds using  Number  0.00  0.00  1550.00  2500.00  improved food processing and  storage methods and facilities    23‐Sep‐2008  23‐Sep‐2008  01‐Jun‐2016  31‐Dec‐2017    Comments (achievements against targets): Target surpassed (161% achieved) Added in 2016 as part of AF #5 (2.7M PHRD), this is a new  indicator associated with the projects new components. Implementation was delayed due to the outbreak of violence that caused the Bank  to evacuate from South Sudan for almost one year.        Component: Component 2: Strengthening Community Safety Nets  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of participants in  Text  0  25462.00  37300.00  47595.00  public works program    01‐Jun‐2011  01‐Jun‐2011  01‐Jun‐2016  31‐Dec‐2017    Percent of which are youth  Text  N/A  50%  70%  62%    23‐Sep‐2008  01‐Jun‐2011  01‐Jun‐2016  31‐Dec‐2017    Page 42 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )       Comments (achievements against targets): Target surpassed (187% achieved) Added in 2011 as requested by the GFRP Secretariat, to report the  number of individuals that participated and possibly benefited from cash and/or food from public works. It was simplified to record  participation rather than benefits as the latter would require survey, and the original target was set based on elaborate criteria targeting  households. Based on the nature of activities selected and the required time for completion, self targeting predominated the selection in 50%  of the areas selected.        Component: Component 3: Support to Improved Nutritional Outcomes  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of housholds adopting  Number  0.00  0.00  1650.00  2781.00  healthy eating practices and  using essential nutrition    23‐Sep‐2008  23‐Sep‐2008  01‐Jun‐2016  31‐Dec‐2017  practices    Comments (achievements against targets): Target surpassed (169% achieved) Added in 2016 as part of AF #5 (2.7M PHRD), this is a new  indicator associated with the projects new components. Implementation was delayed due to the outbreak of violence that caused the Bank  to evacuate from South Sudan for almost one year.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of agriculture  Number  0.00  0.00  120.00  40.00  professionals reporting an  increased understaning of their    23‐Sep‐2008  23‐Sep‐2008  01‐Jun‐2016  31‐Dec‐2017  role in improving nutrition and  integrated nutrition activities  in their work    Page 43 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )     Comments (achievements against targets): Added in 2016 as part of AF #5 (2.7M PHRD), this is a new indicator associated with the projects new  components. Implementation was delayed due to the outbreak of violence that caused the Bank to evacuate from South Sudan for almost  one year.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of jopint activities and  Number  0.00  0.00  5.00  8.00  meetings invloving nutrition  and agricutlure/food security    23‐Sep‐2008  23‐Sep‐2008  01‐Jun‐2016  31‐Dec‐2017  coordination mechanisms    Comments (achievements against targets): Target achieved (160% achieved) Added in 2016 as part of AF #5 (2.7M PHRD), this is a new indicator  associated with the projects new components. Implementation was delayed due to the outbreak of violence that caused the Bank to  evacuate from South Sudan for almost one year.        Component: Component 4: Support to Project Implementation  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Planned implementation  Yes/No  N  Y  Y  Y  progress based on annual work  plans is achieved and timely    23‐Sep‐2008  23‐Sep‐2008  31‐Dec‐2017  31‐Dec‐2017  actions taken on  implementation problems  including fiduciary issues.    Comments (achievements against targets):     Page 44 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )       Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Feebacks and follow‐up  Text  4  0  0  0  recorded on fiduciary issues  (number)    23‐Sep‐2008  23‐Sep‐2008  23‐Sep‐2008  23‐Sep‐2008    Comments (achievements against targets): Dropped in 2012 in favor of Planned implementation progress based on annual work plans is  achieved and timely actions taken on implementation problems including fiduciary issues. However, the ISR template was not updated until  the following year.                        Page 45 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) B. KEY OUTPUTS BY COMPONENT    Increased access to food for consumption by food insecure households   1. Number of vulnerable persons benefiting from unconditional food or cash transfers  Outcome Indicators  2. Direct project beneficiaries  Intermediate Results Indicators  1. Number of participants in public works program  1. 58,680 people benefitted from unconditional food distribution through WFP (43% of stated target)  Key Outputs by Component  2. 339,433 direct project beneficiaries, of which 47% were women (88% of target)   (linked to the achievement of the  Objective/Outcome 1)  3. 47,595 people participated in public works programs (128% of target) of which 62% were youth (89%  of target)  Increased production and availability of food in targeted areas  1. Number of farmers adopting improved technologies for food production   Outcome Indicators  2. Metric tons of storage capacity built  1. Number of farmers adopting new practices and initiatives for postharvest handling and management  Intermediate Results Indicators  2. Number of hectares of idle land brought back into production  Key Outputs by Component  1. 272,620 farmers adopted improved technologies for food production (102% of target)  (linked to the achievement of the  Objective/Outcome 2)  2. 11,092 metric tons of storage capacity built (127% of target)    Page 46 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) 3. 125,211 farmers adopting new practices for post‐harvest management (124% of target)  4. 104,741 hectares of idle land brought under cultivation (270% of target)  Support to Improved Nutritional Outcomes14  1. Number of households reporting an increase in the number of foods produced due to the project  Outcome Indicators  2. Number of households that report an increased household dietary diversity  1. Number of households adopting healthy eating practices and using essential nutrition practices  2. Number of households using improved food processing and storage methods and facilities  Intermediate Results Indicators  3. Number of agriculture professionals reporting an increased understanding of their role in improving  nutrition and integrated nutrition activities in their work  4. Number of joint activities and meetings involving nutrition and agriculture/food security coordination  mechanisms  1. 4,500 report increased number of foods produced (250% of target)  2. 6,000 households reporting increased dietary diversity (316% of target)  Key Outputs by Component  3. 2781 households report adopting healthy eating practices (169% of target)  (linked to the achievement of the  Objective/Outcome 2)  4. 2,500 households using improved food processing and storage methods and facilities (161% of target)  5. 40  agriculture  professionals  reporting  increased  understanding  of  their  role  in  improving  nutrition  (33% of target)  14 This was not part of the PDO, but was the objective of the phase 3 grant.  See Sections IIA and IIB for explanation.     Page 47 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) 6. 8  joint  activities  and  meetings  involving  nutrition  and  agriculture/food  security  coordination  mechanisms (160% of target)        Page 48 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 )   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION      A. TASK TEAM MEMBERS    Name  Role  Preparation  Supervision/ICR  Melissa Williams  Task Team Leader(s)  Ocheng Kenneth Kaunda Odek, Pascal Tegwa  Procurement Specialist(s)  Stephen Diero Amayo  Financial Management Specialist  Christine E. Cornelius  Team Member  Jeeva A. Perumalpillai‐Essex  Team Member  Tracy Hart  Environmental Safeguards Specialist  Juvenal Nzambimana  Team Member  Varalakshmi Vemuru  Social Safeguards Specialist  Evarist F. Baimu  Counsel  Srilatha Shankar  Team Member  Abel Lufafa  Team Member  Museme Munira Issa  Team Member  Eric Brintet  Team Member  John Barakia  Team Member  Grace Tabu Felix  Team Member             B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation    Page 49 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) FY09  5.573  33,822.36  FY10  0     0.00  Total  5.57  33,822.36    Supervision/ICR  FY09  8.358  32,206.60  FY10  23.351  111,520.88  FY11  39.461  117,881.87  FY12  19.661  47,720.84  FY13  16.470  123,350.67  FY14  0  1,737.27  FY15  1.800  7,914.26  FY16  0   273.77  FY18  6.088  39,112.82  FY19  3.878  23,034.92  Total  119.07  504,753.90                   Page 50 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) ANNEX 3. PROJECT COST BY COMPONENT             Original  Additional Finance (US$ million)  Project  2008 (US$,  1  2  3  4  5  Component  millions)  2011  2012  2013  2014  2016  Total  11.43  Support to Agricultural Productivity   3.00  1.30  1.40  2.73  3.00  ‐    13.2  Strengthening Community Safety Nets   1.50  0.70  1.50  4.00  5.50  ‐      Support to Improved Nutritional  ‐  ‐  ‐  ‐  ‐  2.30  2.3  Outcomes    Support to Project Implementation   0.50  0.20  0.10  0.80  0.50  0.40  2.5  Total  5.00  2.20  3.00  7.53  9.00  2.70  29.43        Page 51 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) ANNEX 4. EFFICIENCY ANALYSIS    95. Because of the urgency of the crisis response during preparation and the general lack of basic data  in South Sudan, no financial or economic analysis was carried out for the project in 2008, 2011, 2012, or  2013 (original project and the first three additional financings). The 2013 PP committed to collecting data  for  ex‐post  computation of financial and economic returns on farm income towards the end of project  implementation. Within two months of approving the 2013 PP, however, the civil war broke out in South  Sudan  forcing  the  Bank  to  evacuate  Juba  in  late  December  2013  until  April  2014.  The  2014  PP  was  prepared while the Bank office was evacuated, so the World Bank team used available data (including  targets set in the 2014 PP) to provide some preliminary financial and economic analysis while highlighting  the uncertainties associated with the following estimates:    Cash wages paid to 37,300 participants in public works projects in the project area were valued  at US$1.6 million or US$42 per person per year constituting 11 percent of the South Sudan poverty  line per person per year.    In EFCRP, ultimately 47,595 people participated in the public works program; however, payment  in some areas followed a daily wage rate while other used a task‐based rate, which incentivized  rapid completion of works.  According to analysis in the 2011 PP using 2009 data, the payments  were equivalent to daily rates ranging from SDG 13‐15 SSP per day in Yambio and Morobo to SDG  20‐25 per day in Raja.    Direct food support to 138,000 people for 2 months was valued at US$7.6  million at a rate of  US$27.5 per person per month equivalent to 86 percent of the poverty line.   As pointed out in section IIB, due to miscommunication between the World Bank team and the  PIU,  the  assumption  of  138,000  beneficiaries  served  for  two  months  was  inaccurate.    The  PIU  contracted with WFP to provide GFD for 58,680 beneficiaries over a period of four months. GFD  represented 17 percent of the project cost, so the analysis below looks at the financial returns for  the support to agriculture production, which was 39 percent of the project.    The economic benefit cost ratio of increased community grain storage was estimated at 1.3 with  an economic NPV of US$1 million and an ERR of 20 percent.   The data and assumptions used to arrive at these figures were not available to the ICRR team, so  a follow up analysis was not done.    96. While  the  NGOs  were  able  to  restart  with  implementation  after  March  2014  and  the  Bank  returned to Juba one month later, insecurity throughout the country preventing the collection of solid  data  for  analysis.  This  ICRR  provides  some  financial  analysis  of  the  support  to  agriculture  production  (component  1)  using  a  representative  crop  model  for  sorghum  and  maize  that  was  developed  for  the  preparation of the 2014 PP. It also draws on project documents and evaluations of similar projects inside  and outside of the Bank to get a sense of the returns to investments to public works programs (component  2) like those under EFCRP.  97. EFNSP  used  a  representative  crop  model  for  sorghum  and  maize  that  was  developed  for  the  preparation of 2014 PP to estimate financial gross margins in the project area. For EFCRP, average prices    Page 52 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) for  maize  and  sorghum  in  December  2015,  six  months  before  the  end  of  the  project  were  used  to  determine the gross margin. Sorghum prices ranged from SSP 12/kg in Rumbek to SSP 15/kg in Wau. Maize  prices ranged from SSP 10.3/kg in Wau and to SSP 11.7 in Rumbek. Drawing on the EFNSP analysis, the  analysis assumes an average of 1 ha/beneficiary. Based on these numbers, the average gross margin six  months before project close was US$257 for sorghum and US$150 for maize.    Table 7 Financial analysis of sorghum and maize production under EFCRP     Unit  Sorghum  Maize  Yield  kg/ha  900  800  Crop price  US$/kg  0.73  0.5  Operating costs by Project  US$/ha  200  125  Operating costs by farmer  US$/ha  200  125  Gross Margin  US$/ha  257  150  98. There are a few caveats to the analysis. The final reported number of farmers adopting improved  technologies for production under EFCRP is 272,620, and while sorghum and maize are the major crops in  South Sudan and a priority for food security production, those two crops do not represent 100 percent of  the cropped area. Seeds and cuttings were provided for groundnut, cassava, pulses, vegetables, and sim  sim, but the project did not track the number of hectares dedicated to each crop across seasons. It should  also be noted that prices were volatile throughout the project, so financial returns were similarly volatile.  Financial analysis of production for maize and groundnut done by one of the implementing NGOs during  Phase 1 of the project (around 2010) showed a higher cost of production, particularly for maize in Yambio  county. However, this data had not been validated, and some details were missing, so the analysis could  not be included.   99. There was insufficient data to analyze the returns to mechanization—both for land preparation  and post‐harvest processing, but this was a relatively small element of the project assets introduced.    100. The analysis of the cash for work program looked to analysis from similar projects for indications  of the potential returns.  For this, the World Bank’s SNSDP project, which drew on EFCRP for its technical  design, did provide an analysis that showed it would cost US$2.07 to transfer US$1.00 in wage benefits to  the intended recipients, which compared well to similar programs. The EFNSP cash for works component  ultimately  reached  47,595  people  with  an  investment  of  $8.2  million—about  $172  invested  per  beneficiary. This is averaged over the life of the project, and it includes the cost of materials. Detailed data  on the number of people reached each year in each county was not systematically collected, but AAH  provided full financial data in their 2014‐15 completion report. In Yambio, Nagero, and Tali counties, the  public works component provided an average of 56 days employment at about $7/day for average annual  wage of $414. This was manual repair of several kilometers of road and installation of culverts for each  community.    Component  Component  Component  Number of  Average  1  2  3  people  days/  Total Wage  Average  Agriculture  Safety Nets  Management  employed  Mandays  person  Bill  daily wage  Yambio  37.2%  24.9%  37.9%  276  14,691  53.23  112,059.07  7.63    Page 53 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Component  Component  Component  Number of  Average  1  2  3  people  days/  Total Wage  Average  Agriculture  Safety Nets  Management  employed  Mandays  person  Bill  daily wage  Tali  40.6%  17.2%  42.2%  225  13,667  60.74  99,638.96  7.29  Nagero  42.6%  25.2%  32.2%  568  31,150  54.84  224,081.00  7.19  101. Noting the prevalence of bartering in South Sudan, the project noted that introducing cash wages  would increase purchasing power and stimulate demand in local markets. That EFCRP also supported the  supply response in local market offset the risk of inflation that could happen in the absence of functioning  markets. The public works supported by EFCRP had multiplier effects as well.  For example, the focus on  farm to market road rehabilitation would have contributed to lowering the cost for transport to market  by  farmers,  which  would  have  increased  access  to  relatively  affordable  food  in  local  markets.  The  monitoring  system  for  the  project  did  not  systematically  record  the  kilometers  of  road  that  were  rehabilitated, and no baseline data on the cost of transport to market was collected.  A review of a World  Food  Programme  feeder  road  project  (an  activity  supported  by  EFCRP  as  well)  did  not  perform  an  economic or financial analysis.        Page 54 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) ANNEX 5. OVERVIEW OF CHANGES TO THE RESULTS INDICATORS    Dropped  Line  or  Item  Type  Indicator  Introduced  Replaced  Comments  1  PDO  % of targeted farmers adopting  Sep‐08  Dec‐09  Replaced by GFRP indicators  improved technologies for food  (#2 and #3)   production in the targeted areas  2  PDO  Farmers adopting at least one  Dec‐09  Jun‐11  Replaced by simplified #4 in  improved technology for food  June 2011  production (number of farmers)  3  PDO  Farmers adopting at least one  Dec‐09  Jun‐11  Replaced by #4  improved technology for food  production (% of farmers targeted)3  4  PDO  Number of farmers adopting  Jun‐11  N/A     improved technologies for  production  5  PDO  % of target population receiving  Sep‐08  Dec‐09  Replaced by #6  cash transfers  6  PDO  Targeted population receiving cash  Dec‐09  Jun‐11  Replaced by #9  transfers (number)3  7  PDO  Number of vulnerable persons  Feb‐14  N/A  Added in 2014 to capture  benefiting from unconditional food  beneficiaries of direct food  or cash transfers  distribution from WFP  8  PDO  Metric tons of storage capacity built  Jun‐11  N/A     9  PDO  # of project beneficiaries (% of  Jun‐11  N/A  Captured all beneficiaries  which are female)  under components one and  two.   10  PDO  Number of households reporting an  Jun‐16  N/A  Exclusive to the PHRD grant  increase in the number of foods  produced  11  PDO  Number of households that report  Jun‐16  N/A  Exclusive to the PHRD grant  an increased household dietary  diversity  12  IOI  Food insecure households in the  Sep‐08  Jun‐11  Replaced by #17  project area with food reserves  13  IOI  Number of food insecure  Sep‐08  Jun‐11  Reformulated in 2011 and  households in the project area that  merged with number of  participate in public works  participants of public works  program   14  IOI  Beneficiaries of public work  Dec‐09  Jun‐11  Replaced by #18  programs (number of individuals)  15  IOI  Person‐days provided in labor  Dec‐09  Jun‐11  Difficulties in measurement as  intensive public works (number)  some areas of South Sudan  paid by task rather than by day.   16  IOI  Feedbacks and follow‐up recorded  Sep‐08  Jun‐12  Replaced by #21  on fiduciary issues (number)    Page 55 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) Dropped  Line  or  Item  Type  Indicator  Introduced  Replaced  Comments  17  IOI  Percent of targeted food insecure  Jun‐11  Jun‐12  Dropped due to difficulty in  households in project areas with  gathering data   food reserves  18  IOI  Number of participants in public  Jun‐11  N/A     works program (% of which are  youth)  19  IOI  Number of farmers adopting new  Jun‐11  N/A  Introduced to track additional  practices and initiatives for  focus on post‐harvest  postharvest handling and  management.   management.  20  IOI  Number of hectares of idle land  Jun‐11  N/A     brought back into production  21  IOI  Planned implementation progress  Jun‐12  N/A     based on annual work plans is  achieved and timely actions taken  on implementation problems  including fiduciary issues.  22  IOI  Number of households adopting  Jun‐16  N/A  Exclusive to the PHRD grant  healthy eating practices and using  essential nutrition practices  23  IOI  Number of households using  Jun‐16  N/A  Exclusive to the PHRD grant  improved food processing and  storage methods and facilities  24  IOI  Number of agriculture professionals  Jun‐16  N/A  Exclusive to the PHRD grant  reporting an increased  understanding of their role in  improving nutrition and integrated  nutrition activities in their work  25  IOI  Number of joint activities and  Jun‐16  N/A  Exclusive to the PHRD grant  meetings involving nutrition and  agriculture/food security  coordination mechanisms            Page 56 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) ANNEX 6. SUPPORTING DOCUMENTS (IF ANY)    World Bank. 2008. Sudan ‐ Southern Sudan Emergency Food Crisis Response Project (ISDS). Washington,  DC: World Bank.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=9817324  World Bank. 2011. Sudan ‐ Southern Sudan Emergency Food Crisis Response Project : P113586 ‐  Implementation Status Results Report : Sequence 05 . Washington, D.C. : World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=14004193  World Bank. 2012. Main report  Vol. 1 of South Sudan ‐ Emergency Food Crisis Response Project :  environmental assessment. South Sudan ; s.n..  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=17736742  Lufafa, Abel. 2012. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project : P113586 ‐  Implementation Status Results Report : Sequence 06 . Washington, D.C. : World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=16898647  Lufafa, Abel. 2013. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project : P113586 ‐  Implementation Status Results Report : Sequence 07 . Washington, D.C. : World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=17721318  World Bank. 2013. Environmental and social management framework  Vol. 3 of South Sudan ‐  Emergency Food Crisis Response Project : environmental assessment. South Sudan ; s.n..  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=17747304  World Bank. 2013. Environmental and social assessment report  Vol. 2 of South Sudan ‐ Emergency Food  Crisis Response Project : environmental assessment. South Sudan ; s.n..  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=17747175  Lufafa, Abel. 2013. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project : P113586 ‐  Implementation Status Results Report : Sequence 08 . Washington, D.C.: World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=18622981  Lufafa, Abel. 2014. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project : P113586 ‐  Implementation Status Results Report : Sequence 09 . Washington, D.C.: World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=19892291  World Bank. 2011. Sudan ‐ Additional Financing for the Southern Sudan Emergency Food Crisis Response  Project . Washington, DC: World Bank.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=14450486  0000A8056. 2015. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project : P113586 ‐  Implementation Status Results Report : Sequence 10 . Washington, D.C.: World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=23141880  World Bank. 2013. South Sudan ‐ Additional Financing for the Emergency Food Crisis Response Project.  Washington DC: World Bank.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=18367768  Lufafa,Abel. 2016. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project : P113586 ‐  Implementation Status Results Report : Sequence 11 . Washington, D.C. : World Bank Group.    Page 57 of 60   The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=26047282  Lufafa, Abel. 2016. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project: P113586 ‐  Implementation Status Results Report: Sequence 12 . Washington, D.C.: World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=26550495  World Bank. 2016. Sudan ‐ Southern Sudan Emergency Food Crisis Response Project: Implementation  support mission ‐ May 16 to 20, 2016. Washington, D.C.: World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=26534091  World Bank. 2014. Official Documents‐ Recommendation of Statutory Committee for Grant H922‐SS,  TF015934 and TF015935 (Closing Package) . Washington, DC: World Bank.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=19427303  World Bank. 2014. South Sudan ‐ Additional Financing for the Emergency Food Crisis Response Project:  restructuring. Washington DC; World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=19221266  Lufafa, Abel. 2017. South Sudan ‐ Southern Sudan Emergency Food Crisis Response Project: P113586 ‐  Implementation Status Results Report: Sequence 13. Washington, D.C.: World Bank Group.   https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=27109736  World Bank. 2017. South Sudan/AFRICA‐ P113586‐ Southern Sudan Emergency Food Crisis Response  Project ‐ Procurement Plan. Washington, D.C.: World Bank Group.   https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=27895515  National Audit Chamber. 2016. South Sudan ‐ Emergency Food Crisis Response Project: audited financial  statement ‐ year ending June 30, 2015. South Sudan.   https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=27041391  Lufafa,Abel. 2017. Disclosable Version of the ISR ‐ Southern Sudan Emergency Food Crisis Response  Project ‐ P113586 ‐ Sequence No: 14. Washington, D.C.: World Bank Group.  https://hubs.worldbank.org/docs/ImageBank/Pages/DocProfile.aspx?nodeid=28133885  Page 58 of 60 The World Bank Southern Sudan Emergency Food Crisis Response Project ( P113586 ) ANNEX 7. MAP OF PROJECT COUNTIES  The project implemented in select payams within each operational county.   Page 59 of 60