Document of  The World Bank  FOR OFFICIAL USE ONLY  Report No: ICR00004085  IMPLEMENTATION COMPLETION AND RESULTS REPORT  IDA 47690   ON A  CREDIT  IN THE AMOUNT OF SDR 79.5 MILLION  (US$120.0 MILLION EQUIVALENT)  AND   TF‐97184  GRANT FROM THE  GLOBAL ENVIRONMENT FACILITY TRUST FUND  IN THE AMOUNT OF US$7.2 MILLION  TO THE  REPUBLIC OF UGANDA   FOR THE  AGRICULTURAL TECHNOLOGY AND AGRIBUSINESS ADVISORY SERVICES PROJECT   February 15, 2019  Agriculture Global Practice  Africa Region  This document has a restricted distribution and may be used by recipients only in the performance of their  official duties. Its contents may not otherwise be disclosed without World Bank authorization.  CURRENCY EQUIVALENTS     (Exchange Rate Effective January 27, 2019)    Currency Unit   =  Ugandan Shillings (UGX)  UGX 3,675  =  US$1  US$1.40   =  SDR 1      FISCAL YEAR  July 1 – June 30    ABBREVIATIONS AND ACRONYMS    AASP  Agricultural Advisory Service Provider  ACDP  Agriculture Cluster Development Project  AEZ  Agro‐Ecological Zone  ARSP  Agricultural Research Service Provider  ARTP  Agricultural Research and Training Project  ATAAS  Agricultural Technology and Agribusiness Advisory Services Project   CBA  Cost‐Benefit Analysis  CBSD  Cassava Brown Streak Disease  CCF  Commercialization Challenge Fund  CGS  Competitive Grant Scheme  CMD  Cassava Mosaic Disease  CPF  Country Partnership Framework  CRG  Competitive Research Grant   DANIDA  Danish International Development Agency   DARST  District Adaptive Research Support Team  DAES  Directorate of Agricultural Extension Services  DP  Development Partner  DPO  District Production Officer  DSIP  Development Strategy and Investment Plan  EAAPP  Eastern Africa Agricultural Productivity Project  EFA  Economic and Financial Analysis  EIRR  Economic Internal Rate of Return  ESMF  Environmental and Social Management Framework  FAO  Food and Agriculture Organization of the United Nations  FAW  Fall Army Worm  FG  Farmer Group  FID  Farmer Institutional Development  FM  Financial Management  GAC  Governance and Anti‐Corruption  GDP  Gross Domestic Product  GEF  Global Environment Facility  GEO  Global Environmental Objective  GHG  Greenhouse Gas  GoU  Government of Uganda  HLFO  Higher‐Level Farmer Organization  ICR  Implementation and Completion Results Report  ICT  Information and Communication Technology  IFAD  International Fund for Agricultural Development  IPF  Investment Project Financing  IRI  Intermediate Results Indicator  ISR  Implementation Status and Results Report  IST  Implementation Support Team  LG   Local Government  LSMS  Living Standards Measurement Survey  M&E  Monitoring and Evaluation  MAAIF  Ministry of Agriculture, Animal Industry, and Fisheries  MIS  Management Information System  MSIP  Multi‐Stakeholder Innovation Platform  MTR  Midterm Review  NAADS  National Agricultural Advisory Services  NARI  National Agricultural Research Institute  NARO  National Agricultural Research Organization  NARP  National Agricultural Research Program  NARS  National Agricultural Research System  NDP  National Development Plan  NPV  Net Present Value  OWC  Operation Wealth Creation  PARI  Public Agricultural Research Institute  PCU  Project Coordination Unit  PDO  Project Development Objective  PIM  Project Implementation Manual  PPP  Public‐Private Partnership  R&D  Research and Development  R&E  Research and Extension  RF  Results Framework  SLM  Sustainable Land Management  STEP  Systematic Tracking of Exchanges in Procurement  TFP  Total Factor Productivity  TIMP  Technologies, Innovations, and Improved Management Practice  UBoS  Uganda Bureau of Statistics  UNPS  Uganda National Panel Survey  USAID  United States Agency for International Development  ZARDI  Zonal Agricultural Research and Development Institute      Regional Vice President: Hafez M. H. Ghanem  Country Director: Carlos Felipe Jaramillo  Senior Global Practice Director: Juergen Voegele  Practice Manager: Dina Umali‐Deininger  Task Team Leader(s): Joseph Oryokot  ICR Main Contributor: Ashesh Prasann  TABLE OF CONTENTS  DATA SHEET ................................................................................................................................1   I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ........................................................ 6  A. CONTEXT AT APPRAISAL ........................................................................................................... 6  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE) ...................................... 11  II. OUTCOME ...................................................................................................................... 16  A. RELEVANCE OF PDOs .............................................................................................................. 16  B. ACHIEVEMENT OF PDOs (EFFICACY) ........................................................................................ 17  C. EFFICIENCY ............................................................................................................................. 23  D. JUSTIFICATION OF OVERALL OUTCOME RATING ..................................................................... 24  E. OTHER OUTCOMES AND IMPACTS (IF ANY) ............................................................................. 25  III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 28  A. KEY FACTORS DURING PREPARATION..................................................................................... 28  B. KEY FACTORS DURING IMPLEMENTATION .............................................................................. 28  IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 30 A. QUALITY OF MONITORING AND EVALUATION (M&E) ............................................................. 30  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ..................................................... 31  C. BANK PERFORMANCE ............................................................................................................. 33  D. RISK TO DEVELOPMENT OUTCOME ........................................................................................ 35  V. LESSONS AND RECOMMENDATIONS .............................................................................. 36  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 38  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 50  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 53  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 54  ANNEX 5. BORROWER, CO‐FINANCIER, AND OTHER PARTNER/STAKEHOLDER COMMENTS .. 59  ANNEX 6. SUPPORTING DOCUMENTS (IF ANY) ...................................................................... 60  ANNEX 7. SUPPORTING TABLES AND FIGURES ....................................................................... 62  The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)             DATA SHEET    BASIC INFORMATION   Product Information  Project ID  Project Name  Agricultural Technology and Agrribusiness Advisory  P109224  Services  Country  Financing Instrument  Uganda  Investment Project Financing  Original EA Category  Revised EA Category  Partial Assessment (B)  Partial Assessment (B)  Related Projects              Relationship  Project  Approval  Product Line  Supplement  P108886‐Uganda  22‐Jun‐2010  Global Environment Project  Sustainable Land  Management Country  Program  Organizations  Borrower  Implementing Agency  Ministry of Agriculture, Animal Industry and Fisheries  Republic of Uganda  (MAAIF)  Project Development Objective (PDO)    Original PDO  The Project Development Objective is to increase agricultural productivity and commercialization of participating  rural households by transforming and improving the performance of agricultural technology development and  advisory service systems in Uganda    Page 1 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) PDO as stated in the legal agreement  The objective of the Project is to increase agricultural productivity and incomes of participating households by  improving the performance of agricultural research and advisory service systems in the Republic of Uganda.      FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing        P109224  IDA‐47690  120,000,000  119,997,789  115,179,982  P108886  TF‐97184  7,200,000  7,200,000  7,200,000  Total    127,200,000  127,197,789  122,379,982  Non‐World Bank Financing          0  0  0  Borrower/Recipient  497,300,000     298,977,005  Other Development Partners  41,000,000  14,700,000  4,619,920  (IFAD, EU, Danida)  Total  538,300,000  14,700,000  303,596,925  Total Project Cost  665,500,000    425,976,907        KEY DATES      Project  Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  P109224  22‐Jun‐2010  20‐Dec‐2011  06‐Oct‐2014  30‐Jun‐2015  25‐Jun‐2018  P108886  22‐Jun‐2010  06‐Jun‐2013  06‐Oct‐2014  30‐Jun‐2016  25‐Jun‐2018      Page 2 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  14‐Apr‐2015  59.92  Change in Implementing Agency  Change in Results Framework  Change in Components and Cost  Change in Loan Closing Date(s)  Change in Financing Plan  Reallocation between Disbursement Categories  Change in Institutional Arrangements  Change in Financial Management  Change in Procurement  Change in Implementation Schedule  17‐Aug‐2017  114.02  Change in Loan Closing Date(s)      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Moderately Satisfactory  Moderately Satisfactory  Modest    RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  29‐Nov‐2010  Moderately Satisfactory  Moderately Satisfactory  1.01  02  10‐Jul‐2011  Moderately Satisfactory  Moderately Satisfactory  2.32  03  13‐Mar‐2012  Moderately Satisfactory  Moderately Satisfactory  2.34  04  12‐Nov‐2012  Moderately Satisfactory  Moderately Satisfactory  20.72  05  30‐Jun‐2013  Moderately Satisfactory  Moderately Satisfactory  46.82  Moderately  06  11‐Feb‐2014  Moderately Unsatisfactory  54.78  Unsatisfactory  Moderately  07  18‐Nov‐2014  Moderately Unsatisfactory  62.19  Unsatisfactory  Moderately  08  23‐Jan‐2015  Moderately Satisfactory  64.56  Unsatisfactory  Page 3 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 09  14‐Aug‐2015  Moderately Satisfactory  Moderately Satisfactory  64.89  Moderately  10  26‐Oct‐2015  Moderately Unsatisfactory  69.45  Unsatisfactory  11  02‐May‐2016  Moderately Satisfactory  Moderately Satisfactory  73.80  12  25‐Dec‐2016  Moderately Satisfactory  Moderately Satisfactory  86.36  13  29‐Jun‐2017  Moderately Satisfactory  Moderately Satisfactory  110.86  14  27‐Dec‐2017  Moderately Satisfactory  Moderately Satisfactory  120.00  15  25‐Jun‐2018  Moderately Satisfactory  Moderately Satisfactory  120.10    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Agriculture, Fishing and Forestry    75  Agricultural Extension, Research, and Other Support  65  Activities  Public Administration ‐ Agriculture, Fishing & Forestry  10      Industry, Trade and Services    25  Agricultural markets, commercialization and agri‐ 25  business      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)    Private Sector Development  10    Public Private Partnerships  10          Page 4 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Finance  20    Finance for Development  20    Agriculture Finance  20          Urban and Rural Development  80    Rural Development  80    Rural Markets  40      Rural Infrastructure and service delivery  40            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Obiageli Katryn Ezekwesili  Hafez M. H. Ghanem  Country Director:  John McIntire  Carlos Felipe Jaramillo  Senior Global Practice Director:  Inger Andersen  Juergen Voegele  Practice Manager:  Karen Mcconnell Brooks  Dina Umali‐Deininger  Task Team Leader(s):  Madhur Gautam, Sergiy Zorya  Joseph Oryokot  ICR Contributing Author:    Ashesh Prasann                 Page 5 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) I. PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES    A. CONTEXT AT APPRAISAL  Context  1. At appraisal, 70 percent of Uganda’s population was engaged in agriculture, overwhelmingly on  small, low‐productivity farms.i The sector accounted for 28 percent of GDP, half of export revenues and  half of all land area, with the median landholding size being just 1.8ha.ii Only tea and sugar were grown  on large estates. The average annual agricultural growth rate had doubled from 1.2 percent (2005 – 2007)  to 2.5  percent  (2008 – 2010) because of the 2008  food price spike rather  than productivity increases.  Despite being endowed with favorable natural resources and varied climate conditions suitable for a wide  variety of crops and livestock, growth in agricultural Total Factor Productivity (TFP) was negative, at −3  percent, between 2000 and 2010.iii It was evident that despite having the potential to serve as East Africa’s  breadbasket,  Uganda’s  agricultural  growth  was  slow,  inefficient,  and  unsustainable—enhancing  the  sector’s  performance  required  a  technology‐powered  productivity  boost,  coupled  with  deeper  and  stronger linkages to the market.   2. Agricultural  research  and  advisory  services  in  Uganda  provided  the  greatest  impacts  on  agricultural productivity, growth, and poverty reduction, relative to other rural investments.  Over the  1980 – 2003 period, the estimated internal rate of return (IRR) on agricultural research and extension  (R&E) investments in Uganda was 65 percent, above the Sub‐Saharan Africa aggregate of 55 percent. The  average elasticity of productivity with respect to agricultural research was estimated to be 0.38; in turn,  the elasticities of GDP per capita and poverty with respect to productivity were 0.95 and 0.60, respectively  (Alene  and  Coulibaly  2008).iv  Using  data  from  1992–1999,  Fan  and  Zhang  (2008)v  demonstrated  that  spending  on  agricultural  R&E  had  larger  and  more  cost‐effective  impacts  on  agricultural  growth  and  poverty incidence in Uganda than comparable investments in rural roads and education.vi An evaluation  of  only  the  advisory  system  estimated  the  direct  impact  of  the  National  Agricultural  Advisory  Services  (NAADS) program to be a 37–95 percent increase in per capita agricultural gross revenue between 2004  and  2007  for  participating  households,  relative  to  nonparticipants;  the  return  on  the  program’s  expenditures was estimated at 8–49 percent (Benin et al. 2011).vii Given this body of evidence and the  wide reach of Uganda’s agricultural R&E system (more than 725,000 farmers or 15 percent of all farmers),  the economic rationale for investment in a core public good was extremely strong at appraisal.   3. A large‐scale Agricultural Technology and Agribusiness Advisory Services Project (ATAAS) was  the flagship program of the Government of Uganda (GoU) in the agriculture sector, with counterpart  financing accounting for three‐fourths of the project cost of US$665.5 million. At appraisal, the GoU had  identified  agriculture  as  one  of  the  top  five  priority  sectors  for  public  investment  in  the  first  National  Development  Plan  (NDP  2010/11–2014/15),  with  productivity  enhancement  and  promotion  of  commercialization  being  recognized  as  critical  for  realizing  growth,  employment,  and  socioeconomic  transformation.  Furthermore,  the  Development  Strategy  and  Investment  Plan  (DSIP  2010–2015),  developed by the Ministry of Agriculture, Animal Industry, and Fisheries (MAAIF) as a tool for moving the  sector’s agenda, produced four program areas: (i) enhancing sustainable production and productivity (ii)  improving access to markets and value addition (iii) creating an enabling environment and (iv) institutional  strengthening in the agriculture sector. ATAAS was designed to be a large‐scale investment that directly  Page 6 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) addressed all four areas by supporting agricultural research and development (R&D), advisory services,  the  interface  between  national  institutions  mandated  with  agricultural  research  (National  Agricultural  Research  Organization  [NARO])  and  advisory  services  (NAADS),  and  market  links  between  farmer  organizations and agribusinesses. Given the project’s convergence with government priorities, the GoU  committed to providing counterpart financing for 74.7 percent of total project costs at appraisal.viii This  commitment was reflected in significant budget allocations for both NAADS (US$500 million) and NARO  (US$126 million) in the five‐year Medium‐Term Expenditure Framework (MTEF). Together, the R&E share  of the government budget was projected to be 2.7 percent over the 2007 – 2015 period; with ATAAS, this  share was projected to grow to 3.2 percent, in line with budget allocations in Kenya and South Africa.ix   4. ATAAS  was  also  a  successor  to  two  World  Bank  projects  that  had  made  foundational  investments in the institutional development of the main implementing agencies. Since 1992, IDA had  made a long‐term commitment to support institution building for core public services, such as agricultural  R&E,  reflected  in  investment  projects  and  Pillar  2  of  the  Country  Assistance  Strategy  2005–2009x,  ‘Enhancing Competitiveness, Production and Incomes’.xi As part of this commitment, the Bank financed  two projects – the NAADS Project and the Second Agricultural Research and Training Project (ARTP II) — that ran in parallel and were successfully closed in 2009 (rated Moderately Satisfactory and Satisfactory,  respectively) after laying the institutional foundations for ATAAS. While NAADS was designed as a 25‐year  program to establish a pluralist, sustainable, and demand‐driven agricultural advisory service,xii ARTP II  made  complementary  investments  in  NARO’s  physical  infrastructure  and  research  planning,  implementation,  technology  transfer,  and  impact  evaluation  capacities.  At  appraisal,  both  institutions  were well positioned to deliver an ambitious ATAAS, which was intended to develop a unified framework  by forging formal linkages between research and advisory services to deliver greater effectiveness and  outreach than its predecessor projects.   5. The deep consensus on the ATAAS approach was reflected in external financing from the World  Bank, Global Environment Facility (GEF), International Fund for Agricultural Development (IFAD), and  commitments from the European Union (EU) and Danish International Development Agency (DANIDA).  At appraisal, a GEF grant of US$7.2 million from the World Bank‐led GEF Strategic Investment Program  was blended into the project to finance Sustainable Land Management (SLM) activities, to respond to land  degradation, erosion, erratic rainfall, and other climate risks in Uganda. ATAAS was designed to scale up  existing,  low‐cost  SLM  interventions  such  as  mulching,  organic  soil  amendments,  soil  and  water  conservation structures, and improved land and water use, through a stronger R&E services system.xiii In  addition, an IFAD loan of US$14 million was to be presented to the IFAD Executive Board for approval,  after which IDA and IFAD were to cofinance project costs with a pari passu ratio of 90 percent for IDA and  10 percent for IFAD. An EU contribution through a trust fund and additional DANIDA funds aggregating to  US$26.3 million were also going to be mobilized after the effectiveness of the IDA Credit, but this did not  eventually  materialize.xiv  The  coordination  of  financial  support,  technical  knowledge,  and  international  experience  among  development  partners  (DPs)  was  expected  to  lower  the  costs  of  government‐led  coordination of DP support and reduce waste arising from overlapping donor activities in line with DP  commitments on aid effectiveness.  Theory of Change (Results Chain)  6. The theory of change underlying ATAAS was that the demand‐driven development of agricultural  technologies  for  marketable  commodities,  coupled  with  delivery  of  market‐oriented  advisory  services  Page 7 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) through  farmer  groups  (FGs),  would  enhance  the  adoption  of  productivity‐enhancing  technologies,  innovations,  and  improved  management  practices  (TIMPs).  In  turn,  this  would  lead  to  higher  yields,  a  growth in high‐quality marketable surplus, larger revenues, incomes, and shifts toward a more profitable  enterprise mix over time. Activities promoting farmer institutional development (FID) would reinforce this  pathway  by  (a)  improving  aggregation  and  strengthening  the  bargaining  position  of  the  FGs  and  (b)  providing  matching  grants  to  build  linkages  with  established  value  chains  and  agribusinesses.  Consequently, the higher volumes and quality of agricultural output will command market premiums and  generate larger revenues, further reinforcing income gains. In the long term, agricultural productivity and  income  increases  will  be  protected  against  climate  risks  through  SLM  activities,  leading  to  higher  and  sustainable agricultural growth and poverty reduction (figure 1).  Figure 1. Project Theory of Change    Note: AASP = Agricultural Advisory Service Provider; AEZ = Agro‐Ecological Zone; ARSP = Agricultural Research Service  Provider;  DARST  =  District  Adaptive  Research  Support  Team;  MFI  =  Microfinance;  MSIP  =  Multi‐Stakeholder  Innovation  Platform;  PPP  =  Public‐Private  Partnership;  ZARDI  =  Zonal  Agricultural  Research  and  Development  Institute.  7. The critical assumptions underlying the theory of change are the following: (a) the off‐the‐shelf  and new technologies generated by the research system are sufficiently adapted to all nine AEZs served  Page 8 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) by ZARDIs; (b) the frequency, duration, and quality of demonstration, training, and advisory services can  induce behavioral change and adoption of improved TIMPs and SLM practices by farmers; (c) farmers in  their groups will demand high‐quality and improved technologies, even in the presence of imperfectly  substitutable inputs varying on the price and quality dimensions; (d) the capacity of the advisory services  system  does  not  decline  through  and  beyond  the  project  lifetime;  (e)  SLM  beneficiaries  will  have  the  organizational and financial capacity to provide maintenance on the infrastructure beyond the lifetime of  the project; (f) market linkages are strong and stable enough for surplus of tracked commodities to reach  agribusinesses and high‐value markets; and (g) aggregate increases in output of tracked commodities are  not large enough to depress market prices (no general equilibrium effects).  Project Development Objectives (PDOs)  8. As stated in the Financing Agreement and in line with the Project Appraisal Document (PAD), the  development  objective  was  to  “increase  agricultural  productivity  and  incomes  of  participating  households”  by improving the performance of agricultural research and advisory service systems in the  Republic of Uganda.xv In addition, the project’s Global Environment Objective (GEO) was to enhance the  environmental  sustainability  and  resilience  of  agricultural  production  to  land  degradation  and  climate  risks.  Key Expected Outcomes and Outcome Indicators  9. The  PAD  states  that  project  performance  was  to  be  assessed  against  the  following  three  outcomes:   (a) Percentage increase in average agricultural yields of participating households (PDO 1)  (b) Percentage increase in agricultural income of participating households, by gender (PDO 2)  (c) Additional hectares and kilometers of land area with improved land and water management  practices (GEO)  10. At  appraisal,  beneficiaries  were  defined  as  participating  farming  households  which  directly  benefit  from  NAADS  support  through  FGs.xvi  For  PDO  1,  the  results  were  to  be  measured  using  five  outcome indicators: 15 percent increase in average crop yields (maize, rice, beans) of beneficiaries and 20  percent increase in livestock productivity (milk, eggs) of beneficiaries. The two PDO 2 indicators were 20  percent  increase  in  agricultural  income  of  beneficiaries  (male,  female).  Lastly,  the  two  GEO  indicators  were 11,165 additional ha (terraces, low‐till agriculture, watershed rehabilitation, agroforestry, woodlots,  vegetative, small‐scale irrigation, water harvesting) and 9,900 additional km (contour bunds, grass bunds)  of land area covered by SLM practices. In addition, the project included 17 Intermediate Results Indicators  (IRIs). The following seven IRIs were directly relevant outputs for monitoring progress toward outcomes  I, II, and III, with the rest presented in annex 1:   (a) Direct project beneficiaries (number), of which female (%)  (b) Indirect project beneficiaries (number), of which female (%)  (c) Number of technologies demonstrated by the project in project areas (by enterprise)   (d) Percentage of targeted beneficiaries using improved technologies (by enterprise, incl. SLM)  Page 9 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) (e) Percentage of targeted beneficiaries who are satisfied with advisory services (by gender)  (f) Share of farm production marketed by targeted beneficiaries (in value terms, by gender)  (g) Number of operational PPPs for agribusiness and market linkages  Components  11. The original project had the following five components.  (a) Developing  Agricultural  Technologies  and  Strengthening  the  National  Agricultural  Research  System  (Appraisal:  US$137.8  million;xvii  Closing:  US$115.5  million  totalxviii).  This  component provided support to NARO for technology identification and development and  institutional  capacity  building  of  National  Agricultural  Research  System  (NARS).  The  main  activities  included  (i)  implementation  of  strategic  national  and  zone‐specific  research  programs;  (ii)  support  to  competitive  research  grants  (CRGs);  (iii)  support  to  build  the  competencies  of  public  and  private  Agricultural  Research  Service  Providers  (ARSPs);  (iv)  equipment,  facilities,  and  transport  for  research;  (v)  enhanced  governance  through  stakeholder  participation  and  research  partnerships;  and  (vi)  exploring  options  for  sustainable financing mechanisms for NARS.  (b) Enhancing  Partnerships  between  Agricultural  Research,  Advisory  Services,  and  Other  Stakeholders  (Appraisal:  US$72.4  million;  Closing:  US$67.1  million)  to  finance  the  development of activities that facilitate closer links between NARO, NAADS, private ARSPs  and AASPs, farmer fora, processors, and marketing agents. The main activities included (i)  joint  priority  setting,  adaptive  research,  and  technology  scale‐up  through  nine  ZARDIs,  district adaptive research support teams (DARSTs) covering all Ugandan districts, and multi‐ stakeholder innovation platforms (MSIPs) established from community to zone levels;xix (ii)  scale‐up of SLM practices through farm trials, ZARDI demonstrations, and farmer field days;  (iii) joint monitoring and evaluation (M&E); and (iv) joint information and communication  technology (ICT) applications for NARO and NAADS.  (c) Strengthening  the  National  Agricultural  Advisory  Services  (Appraisal:  US$317.8  million;  Closing: US$151.5 million)  to finance the delivery of demand‐driven and  market‐oriented  advisory  services  through  performance‐based  contracts  with  professional  and  certified  AASPs at the district level. It was designed to provide support for (i) FID and the mobilization  of  the  FGs  as  enterprises  and  (ii)  technology  uptake  grants  to  the  FGs  to  help  uptake  of  productivity‐enhancing  technologies  and  practices  by  market‐oriented  enterprises  and  enterprises focused on food security.  (d) Supporting Agribusiness Services and Market Linkages  (Appraisal: US$63 million; Closing:  US$6.7  million)  to  promote  integration  of  smallholders  in  value  chains  by  supporting  collaboration  between  agribusiness,  farmers,  AASPs,  and  researchers.  Collaboration  was  intended to be achieved through (i) provision of agribusiness development services and (ii)  the establishment of a Commercialization Challenge Fund (CCF) to provide matching grants  to  FGs  and  emerging  farmers  for  links  with  established  value  chains  and  for  promising  marketing, value addition, and agro‐processing activities.  Page 10 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) (e) Project  Management  (Appraisal:  US$74.5  million;  Closing:  US$53.6  million)  to  support  coordination between the NAADS and NARO Secretariats and the management of project  activities.  Table 1 below shows the project costs at Appraisal and actual disbursements at Closing, disaggregated by  component and financing entity. Out of the original signed credit amount of XDR79.5 million ($120m), the  project disbursed XDR 78.498 million, which is equivalent to $110.55 million (average over the period)  and  $115.18  million  (historical),  factoring  in  currency  variations.  The  World  Bank  cancelled  XDR1,595,  equivalent to $2,220. The system‐generated datasheet (p.2) reflects the IDA disbursement in historical  terms and Table 1 reflects the average over the project period.   Table 1. Project Costs at Appraisal and Closing, by Component (US$, millions)  Components  At Appraisal  At Closing    IDA  GEF  DPs  GoU  Total  IDA  GEF  IFAD  GoU  Total  C1  25.5  —  8.6  104.0  137.8  51.5  —  3.0  61.0  115.5  C2  11.5  7.2  3.9  49.8  72.4  14.1  7.2  0.2  45.5  67.1  C3a  58.1  —  19.9  239.8  317.8  12.4  —  1.4  138.1  151.5  C4b  11.5  —  4.0  47.5  63.0  1.0  —  0.1  5.5  6.7  C5  13.6  —  4.7  56.2  74.5  13.1  —  0.2  40.3  53.6  C6 (NEW)    —  —  —  0.0  18.5  —  —  8.5  26.9  Total  120.0  7.2  41.0  497.3  665.5  110.5  7.2  4.6  299.0  421.4  Note.  The  World  Bank disbursed  US$110.55  million  (average  over the  period),  which  is  equivalent  to  US$115.18  million (historical) after factoring in currency variations and cancelled US$2,220. The disbursal of the GEF grant of  US$7.2 million was in U.S. dollars and did not experience currency variations. IFAD canceled its support to advisory  services after disbursement of US$4.6 million of its US$14.7 million commitment; the remainder was allocated to  the Agriculture Cluster Development Project (ACDP). At appraisal, US$26.3 million was expected to be financed by  EU  and DANIDA  but this  financing did not materialize  due  to policy  changes  in  their aid  programs, and the  GoU  committed to filling this gap.   a. At restructuring, Component 3 was terminated.  b. At restructuring, Component 4 was terminated and replaced by a new Component 6.  B. SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE)    Key Dates  Milestone  November 6, 2009  Decision to proceed with project preparation (Project Concept Note approved)   Project prepared and presented to the Board for approval within 7 months  June 22, 2010  Board approval by the World Bank Board   Project size at approval: US$665.5 million—IDA: US$120.0 million; GEF: US$7.2  million (blended with IDA); GoU: US$497.3 million; IFAD: US$14.7 million; and  financing gap: US$26.3 million (expected from EU, DANIDA which eventually is taken  up by the GoU)  July 19, 2011  Project Financing Agreement and GEF Grant Agreements Signed   Gap of 13 months due to (a) a lengthy parliamentary ratification process, an  intervening election campaign period leading up to the general elections on  February 18, 2011, and the subsequent period before the constitution of a new  parliament; (b) GoU‐World Bank negotiations on pending accountability and  governance issues that were addressed through enhanced governance and anti‐ Page 11 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Key Dates  Milestone  corruption (GAC) measures; and (c) revisions in draft NAADS guidelines to align  beneficiary selection methods with project design in the negotiated PAD  December 20, 2011  Project declared effective   Further delay of 5 months from signing of the agreement to effectiveness due to  approval procedures under the GoU (especially the parliamentary approval process  for subsidiary agreements) and restructuring of NAADS Secretariat.   Effectiveness coincides with an almost total overhaul of management of NAADS  Secretariat in November 2011. Although replacements are made by February 2012,  the new team takes time to fully understand the project.  July 1, 2014  Government adopts reforms in Agricultural Extension Services    The GoU adopts Single Spine extension system in Uganda transferring extension  services function from NAADS back to a newly created Directorate of Extension  Services at the MAAIF. Under the same reform process, NAADS is reassigned the role  of input distribution and strategic interventions.   Despite a significant paradigm shift in extension delivery system from pluralistic  ‘publicly funded, privately provided’ to the earlier model of ‘publicly funded and  publicly provided’ system, the World Bank remains committed to delivery of the  project even when key cofinancing partner, IFAD, opts to discontinue engagement.    New institutional mandates of NAADS and the MAAIF necessitate restructuring of  project. The World Bank commits to support the Government to build capacity of  the new extension system, starting with a policy and strategic framework.   April 9, 2015  First Project Restructuring (Level 2)   Project restructured to reflect six main changes:   o Modification of project components and activities under NAADS. new  component introduced related to capacity building of the new extension system  under the MAAIF  o Reduction/revision of project size/scope from US$665.5 million to US$421.3  million  o Revision to the Results Framework (RF) to match revised scope  o Inclusion of start‐up activities of the new operation (ACDP)  o Modification of institutional implementation arrangements (NAADS dropped)  o Extension of closing date by 1.5 years from June 30, 2016, to December 31,  2017  September 2017  Second Project Restructuring (Level 2)   Outbreak of Fall Army Worm (FAW) in Uganda threatens to erode gains made by  project; the GoU requests for reallocation of project resources to address outbreak  and an extension of closing date by 6 months to undertake required activities—and  also address effects of the prolonged drought of 2016/17).   Restructuring granted, incorporating 2 main changes: (a) re‐allocation of project  resources to address FAW interventions and (b) extension of closing date by 6  months from December 31, 2017, to June 25, 2018.  12. Delay between approval and effectiveness. ATAAS was approved on June 22, 2010 but became  effective only on December 20, 2011.  The 18‐month lag was due  to  three factors:  (a) election‐related  delays in parliamentary approval procedures, (b) negotiations on pending accountability and governance  issues that were addressed through enhanced GAC measures, and (c) revisions in draft NAADS guidelines  to align beneficiary selection methods with project design in the negotiated PAD.xx Project effectiveness  then coincided with a nearly complete staff overhaul at NAADS between November 2011 and January  Page 12 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 2012, consequently slowing down disbursement and joint NARO‐NAADS activities such as planning, M&E,  and ICT.   13. First Level 2 restructuring. In July 2014, large‐scale policy and institutional changes interrupted  project  implementation,  leading  to  a  Level  2  restructuring  in  March  2015.  The  GoU  approved  major  reforms  in  the  extension  system,  introducing  a  Single  Spine  system,  which  transferred  the  extension  services mandate from NAADS to the MAAIF. Further, the GoU decided to reorient technology uptake  grants for FG enterprises, delivered through the NAADS extension system in Component 3, into a national  mechanism for distribution of agricultural inputs outside of ATAAS.xxi The formal policy change addressed  the problem of input provision through NAADS, which (a) started during initial implementation but was  not allowed under ATAAS design, (b) crowded out financial and human resources from the project, and  (c) generated ineligible expenditures.   14. At this stage, the GoU’s financial allocation to NAADS components shifted out of ATAAS,xxii with  no carry‐over in budget and staff to the MAAIF. In light of this policy change, IFAD reached an agreement  with the GoU to cancel its support to advisory services. After the World Bank’s midterm review (MTR) in  October  2014,  it  was  determined  that  restructuring  the  project  was  necessary  to  align  activities  with  reduced  resources  and  extension  capacity.  Consequently,  the  following  amendments  were  made:  (a)  change in implementing agency from NAADS to the MAAIF; (b) dropping of Components 3 and 4, originally  the remit of NAADS, and with a subset of their activities retained under Component 6/a new Component  3, named ‘Strengthening Agricultural Support Services’; (c) revisions to the RF to reflect the reduced scope  of project activities; and (d) extension of the closing date from June 30, 2016 to December 31, 2017 to  allow completion of proposed activities and initiate start‐up activities for the ACDP.   15. Post restructuring, project implementation overcame initial challenges, as delays in constituting  the MAAIF Implementation Support Team (IST) meant that key leadership and technical positions were  filled  by  November  2016.  However,  the  stability  at  NARO  during  the  entire  project  cycle  meant  that  Component 1 and 2 activities under its remit remained on track, leading to a doubling of IDA resources  and continued budgetary support by the GoU. These additional resources were deployed toward three  critical changes that helped ATAAS achieve its PDOs: (a) the development and launch of a new extension  strategy in December 2016; (b) the building up of new R&E, farmer‐market linkages through NARO, the  MAAIF, and local governments (LGs), coupled with a strong mobilization of DARSTs and MSIPs at zonal,  district,  and  local  levels;  and  (c)  the  rapid  scale‐up  of  SLM  activities  after  a  transition  from  a  hotspot  approach implemented by FGs to a landscape approach implemented by communities, with support from  LGs, NARO, and the MAAIF.   16. Second Level 2 restructuring. In September 2017, a six‐month, no‐cost extension to the closing  date was made to develop and disseminate measures to address the threat of FAW, a new pest of maize,  beans, and other annual crops that invaded Uganda and threatened to reverse productivity gains achieved  by ATAAS. Further, the extension would help complete ACDP start‐up activities such as the piloting of an  e‐voucher scheme and the development of ICT‐based platforms (Component 6), the initiation for which  was delayed by nine months due to (a) changes in the top leadership of the MAAIF following national  elections  in  2016;  (b)  delayed  parliamentary  ratification  of  the  new  ACDP  credit;  and  (c)  delays  in  procurement process caused by the migration from the old PROCYS system to the Systematic Tracking of  Exchanges in Procurement (STEP) system, requiring training of procurement staff. Therefore, the no‐cost  extension was a timely response to the evolving needs of the project, the rapidly changing institutional  Page 13 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) environment, and emerging threats in the agriculture sector. No other changes were made during the  second restructuring.  Revised PDOs and Outcome Targets  17. The  PDO  remained  the  same  after  the  first  restructuring,  but  the  RF  underwent  five  key  changes: (a) the definition of beneficiaries was changed from “members of NAADS FGs” to “members of  FGs  receiving  support  from  contracted  project  group  promoters  or  district  extension  workers  under  MAAIF;” (b)  the number of direct project beneficiaries was upgraded from IRI to PDO indicator; (c) end  targets were raised for 3 IRI indicators; (d) end targets were lowered for 3 indicators (including 1 PDO  indicator); and (e) 6 IRI indicators were eliminated as their corresponding activities were no longer part  of the restructured project (see annex 7 for details).  Revised PDO Indicators  18. At  the  first  restructuring  stage,  the  two  headline  PDO  indicators  remained  unchanged,  with  changes restricted to: (a) addition of cassava to tracked commodities as a result of a joint NARO‐MAAIF  prioritization process and (b) the addition of gender‐disaggregated agricultural income as an indicator.  However, the GEO indicator measuring additional land coverage in kilometers was dropped, to address  an  anomalous  definition  of  the  former  indicator.xxiii  The  intermediate  indicator  on  number  of  project  beneficiaries disaggregated by gender was moved to the PDO level, as was required of projects approved  or restructured after July 1, 2009.   19. Intermediate indicators and outcomes relevant only to the dropped components were removed  from the RF, and new intermediate outcomes and indicators related to the new proposed components  and activities were added. There have also been changes to targets based on the baseline. These changes  are elaborated in annex 7 (see table 4).  Revised Components  20. After  the  first  restructuring,  ATAAS  had  four  components:  (a)  Developing  Agricultural  Technologies and Strengthening the National Agricultural Research System; (b) Enhancing Partnerships  between Agricultural Research and other Value Chain Stakeholders; (c) Strengthening Agricultural Support  Services  (Component  6);  and  (d)  Program  Management,  Coordination,  and  Monitoring  and  Evaluation  (Component 5).   21. Component 1 activities remained as initially appraised but were allocated a larger budget to (a)  develop outreach strengthening activities at NARO to maintain an uninterrupted flow of new technologies  from research to farmers; (b) finalize research infrastructure rehabilitation and procurement of laboratory  equipment;  and  (c)  increase  allocation  for  Competitive  Grant  Scheme  (CGS)  support,  especially  for  ‘targeted’ or solution‐oriented competitive grants focused on priority value chain issues and partnerships.   22. Component  2  was  modified  to  be  jointly  implemented  by  NARO  Secretariat  and  the  MAAIF,  with extension activities scaled up to fill the vacuum left by the exit of NAADS advisory provision. The  transfer of extension functions from  NAADS to  the  MAAIF meant that all NAADS staff positions in the  districts  and  subcounties,  as  well  as  AASP  contracts,  were  terminated.  This  necessitated  the  design  of  Page 14 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) activities targeted at strengthening of the district extension system under the MAAIF, with the following  changes  being  most  noteworthy:  (a)  greater  allocation  for  enhancement  of  technology  upscaling  activities,  especially  adaptive  research  through  DARSTs,  demand‐driven  technology  demonstrations  through  MSIPs,  and  institutional  and  human  capacity  strengthening  for  other  partnersxxiv  and  (b)  the  acceleration  of  SLM  interventions  after  procurement  delays  until  this  point.xxv  Furthermore,  the  restructuring  transferred  the  joint  M&E  (former  Subcomponent  2.4)  to  the  programme  management  component and the joint ICT (former Subcomponent 2.5) to Subcomponent 6.3.   23. Activities under the new Component 6 facilitated the development of sustainable channels for  market‐oriented  technology  uptake  through  targeting  (a)  farmer  empowerment  and  organization  of  strengthened links to markets, (b) support for the design of a new extension strategy and its institutional  and implementation arrangements, and (c) development and operationalization of ICT tools to improve  the effectiveness of public agricultural programs.xxvi All activities under the original Component 4 were  included except (a) the provision of market information services and (b) the Commercialization Challenge  Fund (Subcomponent 4.2), which was then moved, to be implemented under the ACDP.  24. Component  5  remained  similar  with  the  integration  of  the  ATAAS  M&E  activities  and  strengthening  project  coordination.  The  last  component  was  renamed  ‘Programme  Management,  Coordination and M&E’ and included (a) NARO management and coordination, (b) MAAIF management  and coordination, and (c) strengthened M&E systems. The overall coordination between NARO and the  MAAIF was to be further strengthened through the establishment of an IST/a Project Coordination Unit  (PCU) in the MAAIF, with clearly assigned lead responsibilities. Since the original ATAAS did not have a  provision for a joint PCU, the NAADS and NARO Secretariats were de facto working in parallel; the new  PCU was intended to address these administrative inefficiencies and coordination challenges.   Other Changes  Changes in Financial Management and Disbursement Arrangements  25. One  of  the  main  issues  that  led  to  project  restructuring  was  the  inadequate  fiduciary  compliance which led to the use of technology uptake grants for input provision, a purpose for which they  were not explicitly designed and approved. This issue was resolved with ineligible expenditures of US$1.36  million being identified and refunded to IDA. In fact, the separation of advisory services (MAAIF) and input  provision  (NAADS)  functions  was  carried  out  with  an  objective  of  eliminating  the  recurrence  of  such  ineligible expenditures in the future.   26. The  budget  for  district‐level  activities  under  Component  2  were  to  be  now  held  by  the  respective ZARDIs with no funds expected to flow from the ministry to the districts and subcounties.  Due to increased activities and resources to NARO, coupled with its reporting weaknesses, staffing levels  at NARO headquarters and ZARDIs were to be enhanced through recruitment of one accountant to be  based at headquarters and three accountants to be assigned to all nine ZARDIs to support district‐level  activities.  Page 15 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Changes in Procurement  27. At the restructuring stage, it was anticipated that the MAAIF’s capacity would be stretched with  three major IDA‐financed projects being planned. The main risks identified were (a) inadequate number  of technical staff in the Procurement Unit to support increased procurement volumes of complexity, (b)  delayed  initiation  and  preparation  of  Procurement  Plans,  (c)  lack  of  a  reliable  system  for  monitoring  progress with available tools such as the PPMS not being used, and (d) inadequately prepared bidding  documents with incomplete qualification requirements and inconsistent evaluation of published criteria.  These risks were addressed by (a) the preparation of a manual to elaborate procurement arrangements  under the MAAIF; (b) the hiring of a dedicated procurement specialist for ATAAS and the ACDP, hiring of  project coordinator, SLM specialists,  M&E, and so on  to support  implementation; and  (c) the  monthly  monitoring of progress reports by a procurement coordinator.  Rationale for Changes and Their Implication on the Original Theory of Change  28. Although  there  was  no  explicit  theory  of  change  for  the  project  at  appraisal,  the  first  restructuring’s two major effects on the research‐extension‐adoption‐productivity‐income pathways can  be assessed through the reconstructed theory of change (figure 1). First, the reconfiguration of technology  dissemination  under  the  new  policy  and  extension  strategy  helped  strengthen  the  channels  from  agricultural R&D to technology adoption, which had been weakened by the diversion of NAADS financial  and human resources from advisory services (Components 2 and 3) to input distribution, in the months  leading  up  to  the  first  restructuring.  On  the  other  hand,  the  dropping  of  technology  uptake  (Subcomponent 3.2) and CCF matching grants for FG enterprises (Subcomponent 4.2) meant that (a) the  focus  of  aggregation  and  market  links  shifted  from  established  NAADS  FGs  to  preexisting  MSIPs  and  functional FGs under the MAAIF and (b) FGs and nucleus farmers were able to generate more marketable  surplus due to productivity gains but no longer had direct access to financial support for integrating with  established value chains, or commercializing their production, thus lowering the magnitude of income  gains that could have been achieved.  II. OUTCOME  A. RELEVANCE OF PDOs  Relevance Rating of PDO: High  Assessment of Relevance of PDOs and Rating  29. Uganda’s Vision 2040 and NDP ‐ II continue to prioritize strategic investments in agricultural  productivity and commercialization.  At closing,  the project continued to be consistent with and highly  relevant  for  the  GoU’s  long‐term  vision  and  medium‐term  strategy.  Vision  2040  aims  at  transforming  Uganda from a predominantly peasant and low‐income country to a competitive upper‐middle‐income  country with a per capita income of US$9,500 by 2040. It identifies agriculture as one of the nine strategic  opportunities to accelerate growth and as a sector whose labor productivity needs to increase to capitalize  on the opportunity.xxvii NDP ‐ II (2015/16–2019/20), laying out medium‐term policies that would support  achieving Vision 2040, remained consistent with NDP ‐ I in prioritizing agriculture as one of five areas with  the  greatest  multiplier  effect.  In  particular,  it  demonstrates  continuity  with  the  ATAAS  approach  by  targeting  investments  in  selected  commodities,  with  a  strong  emphasis  on  strengthening  agricultural  Page 16 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) research, implementing the Single Spine extension system, adapting farm‐level technology, using farm  inputs effectively, promoting SLM, increasing financial access, and strengthening agricultural institutions  for service delivery.xxviii   30. Similarly,  the  PDO  continues  to  be  aligned  with  the  agricultural  policy  of  the  GoU.  The  Agriculture  Sector  Strategic  Plan  (ASSP  2015/16–2019/20)  reviewed  progress  on  DSIP  programs  and  maintained course with its investment objectives of increasing agricultural production and productivity,  providing access to critical farm inputs, improving agricultural markets and value addition, and ensuring  service delivery. Markedly, the plan designates the MAAIF as responsible for service delivery, reflecting  the change in mandate for NAADS midway through ATAAS implementation. The project’s theory of change  continues to be strongly aligned with sectoral strategic government objectives.   31. Finally,  the  PDO  remains  relevant  and  aligned  with  the  FY16–FY20  Country  Partnership  Framework (CPF).xxix The World Bank’s CPF overlaps significantly with GoU priorities, with ‘raising incomes  in  rural  areas’  comprising  one  of  the  three  selected  strategic  focus  areas.  Its  associated  objective  of  increased agricultural commercialization, one of the six objectives under the three focus areas, is squarely  in line with the ATAAS PDO.  B. ACHIEVEMENT OF PDOs (EFFICACY)  Rating: Substantial  32. The project fully achieved its development objectives of increasing agricultural productivity and  incomes of participating households. For the headline PDO indicators of agricultural productivity (PDO 1)  and agricultural income (PDO 2), all seven indicators surpassed their targets comfortably. In retrospect, a  case for upward revision of headline PDO targets at restructuring could be made; however, the project  team deliberately adopted a conservative approach at both restructurings given (a) the disruption and  uncertainty  caused  by  the  institutional  shift  that  triggered  the  first  restructuring  and  (b)  the  threat  to  project gains posed by FAW before the second restructuring. For direct project beneficiaries (PDO 3) and  additional SLM coverage (PDO 4), all three revised targets were achieved as well.  Assessment of Achievement of Each Objective/Outcome  PDO Indicator 1: Percentage increase in average agricultural yields among participating households  33. The rapid generation of productivity‐enhancing technologies in response to FG demand opened  the  pathway  connecting  agricultural  R&D  to  productivity.  The  project  supported  core  research  and  financed  innovation  through  91  collaborative  research  projects  under  the  CGS.  The  recipients  of  CGS  grants were drawn from 16 public agricultural research institutes (PARIs), 4 universities and colleges, and  18 private sector enterprises. Consequently, the stock of agricultural technologies generated by the NARO  system grew from 600 to 888 between appraisal and closing, a 48 percent increase, far exceeding the PAD  target  of  20  percent.xxx  About  81  new  technologies  developed  for  5  tracked  commodities—market‐ oriented commodities identified through a bottom‐up prioritization process from FGs to implementing  agencies—includedxxxi (a) 10 varieties of maize with resistance to striga, drought, necrosis, early maturity,  and highland adaptability; (b) three cold‐tolerant lines of rice with smart options for weed management;  (c) five iron and zinc‐fortified beans varieties; (d) Cassava Brown Streak Disease (CBSD)‐tolerant cassava,  in addition to 10 highland‐adapted clones and 11 clones with resistance to Cassava Mosaic Disease (CMD)  Page 17 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) and CBSD; and (e) eight dairy technologies covering high‐nutrient feed, high‐quality forage and grasses.xxxii  For  maize  and  beans  technologies,  yields  even  under  drought  conditions  were  4–5  times  higher  than  baseline yields; the multiples for cassava were up to 15 times and similar gains were estimated for other  technologies.  The  project’s  excellent  performance  in  raising  agricultural  yields  is  thus  in  large  part  a  function of the productivity boost generated by the demand‐driven technology development in the NARO  system.  34. Agricultural TIMPs were widely scaled up through NAADS FGs and advisory system.  Several of  NARO’s new and off‐the‐shelf technologies were widely disseminated through NAADS FGs in the early  years of the project. The rapid adoption of new technologies and practices is reflected in early trends,  which were captured by the Uganda Bureau of Statistics (UBoS) Baseline Survey (2013). Together, these  trends show the following during 2011–2013: (a) the share of beneficiaries with direct access to extension  grew from 47.8 percent to 59.0 percent; (b) the adoption of technologies disseminated by NAADS grew  from 36.1 percent to 49.2 percent; (c) the share of beneficiaries trained by NAADS grew from 46.8 percent  to 67.5 percent; and (d) on all TIMPs dissemination and adoption metrics, project beneficiaries registered  faster growth than non‐beneficiaries. Furthermore, this rapid dissemination was supplemented by a large  and growing pool of project beneficiaries—1.36 millionxxxiii—who were members of more than 54,000 FGs,  with 40,024 FGs and 704 higher‐level farmer organizations (HLFOs) being registered and trained in FID at  the  MTR  stage;xxxiv  thus  magnifying  the  impact  of  the  agricultural  R&E  system  through  farmer‐farmer  learning, adoption, aggregation, and commercialization.   35. By  closing,  coordinated  NARO‐MAAIF‐LG  extension  outreach  and  support  to  the  seed  value  chain  had  led  to  greater  availability  and  adoption  of  improved  TIMPs.xxxv  After  initial  delays  in  constituting  the  MAAIF  IST  in  the  post‐restructuring  period,  the  new  extension  strategy  and  delivery  system built on NAADS achievements to deliver impressive results during 2016–2018. Agricultural TIMPs  were disseminated through nine ZARDIs, DARSTs, and LG staff in all 122 Ugandan districts. A total of 216  on‐station adaptive trials, 11,771 on‐farm demonstrations, and 186 SLM community‐level interventions  were  conducted  nationwide  by  ZARDIs,  DARSTs,  and  district‐level  extension  officers,xxxvi  covering  12  commodities  that  included  locally  prioritized  products  such  as  bananas,  coffee,  and  fish.xxxvii  About  327,059  new  direct  beneficiaries  were  reached,  enlarging  the  pool  of  beneficiaries  to  1.68  million  at  closing. Among direct beneficiaries, the cumulative adoption rate was 78 percent, with 95.3 percent, 63.3  percent,  and  31.7  percent  of  crop  enterprises,  livestock  enterprises,  and  SLM  farmers,  respectively,  reporting the use of improved TIMPs at closing.xxxviii Consequently, across 24 metrics of technology access  and  adoption,  access  to  credit,  market  information,  and  training  utilization,  the  share  of  beneficiaries  surpassed non‐beneficiaries at closing.xxxix Partly, the high adoption rates reflected greater private sector  supply of NARO technologies, as the project provided foundation seeds and multiplication training to 14  seed companies, several entrepreneurs, and three community producers (see ‘Mobilizing Private Sector  Financing’ for more details).xl Further, it is evident that the increased availability and adoption of high‐ quality  seeds,  clean  planting  materials,  and  high‐productivity  dairy  breeds  coupled  with  better  soil,  fertilizer,  pasture,  and  fodder  management  techniques  and  implementation  of  SLM  interventions  contributed to substantial gains in agricultural yields and incomes.  36. Among  project  beneficiaries,  agricultural  productivity  gains  surpassed  project  targets.  At  closing, yield growth for maize (80.5 percent), rice (180.4 percent), cassava (126.3 percent), beans (47.6  percent), and milk (120 percent) far exceeded the targeted increases of 15 percent and 20 percent for  crops and milk, among project beneficiaries (column 5, table 2). There are two statistical caveats to the  Page 18 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) pre‐post comparison made here. First, although the baseline survey (UBoS 2013) was intended to update  provisional baseline yields in the PAD,xli it did not collect yield information from beneficiaries and reported  country‐level yields as a proxy; consequently, the comparison in table 2 assumes pre‐project yields were  statistically equal across beneficiaries and non‐beneficiaries. To test for robustness to alternative sources  of information, yields at closing were also compared to (a) provisional PAD baseline values and (b) revised  (higher) MTR baseline values. xlii In both cases, yields for all five tracked commodities still exceeded their  targets (see annex 7, table 5). Second, the endline sample was only drawn from direct beneficiaries at  closing (host farmers, SLM participants, and learners at adaptive trials) and did not capture yields among  indirect beneficiaries in FGs, who adopted technologies after learning from host farmers. To address this  issue, the Implementation and Completion Results Report (ICR) team commissioned an additional survey  of more subsistence‐oriented, risk‐averse ‘adopters’ from the same FGs to construct a weighted endline  that is representative of indirect beneficiaries. The percentage change in commodity yields is computed  by comparing this weighted endline against the UBoS baseline.  Table 2. Assessment of PDO 1 (Agricultural Productivity)  (1)  (2)  (3)  (4)  (5)  Commodity  Baseline, MT/a  Targets, MT/ha  Weighted Endline, MT/ha  Percentage change  Maize  1.30  1.50  2.30  80.50  Rice  1.00  1.15  2.80  180.40  Cassava  1.70  1.90  4.10  126.30  Beans  0.50  0.58  0.70  47.60  Milk*  3.00  3.60  6.60  120.00    Source: UBoS  Original Targets  Source: Impact Evaluation    Baseline Survey  Crops: 15%  (2018)  Report (2013)  Livestock: 20%  Note:  Host  farmers  received  foundational  technologies,  demonstrations,  and  advisory  services  from  ATAAS.  Adopters in FGs received inputs from host farmers and not directly from ATAAS. *The unit for milk yield is liter per  day per cow.  37. In  addition  to  yield  growth  over  the  project  period,  cross‐sectional  evidence  shows  that  at  closing,  crop  yields  were  significantly  higher  among  beneficiaries.  The  Impact  Evaluation  (2018)  data  show that using the crop‐cuts method, yields for maize, rice, cassava, and beans were, respectively, 125  percent,  154.1  percent,  95.7  percent,  and  200  percent  higher  among  beneficiaries  at  closing.  Second,  using  the  less  reliable  recall  method,  beneficiary  yields  remained  statistically  larger  than  non‐ beneficiaries, even though the differentials were smaller (annex 7, table 6). Third, these yield differential  patterns  held  for  all  nine  AEZs,  when  disaggregated  by  their  corresponding  ZARDIs.  In  the  absence  of  comparable agricultural investment projects with the scale and geographical coverage of ATAAS, these  endline  results  are  strong  indicators  of  project  impact  on  agricultural  productivity,  especially  when  coupled with the evidence on yield growth over the project life cycle (table 2). However, in the absence  of an M&E system, systematically tracking characteristics and outcomes for treatment and control groups  through the project life cycle, an ex post evaluation through experimental or quasi‐experimental methods  cannot be undertaken. 38. Project‐level  productivity  growth  also  contributed  to  the  small  productivity  gains  for  beans,  maize, and rice nationally until 2016, the latest year for which data are available (annex 7, table 7).xliii  On  the  other  hand,  national‐level  cassava  production  exhibits  a  secular  downward  trend  until  2016,  Page 19 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) reflecting the widespread effects of CBSD during this period. In contrast, the high cassava yields recorded  at endline among ATAAS beneficiaries is directly attributable to the wide promotion and dissemination of  NAROCass 1 and NAROCass 2, high‐yielding CBSD, and CMD‐tolerant varieties that a large share of farmers  have  adopted.  Similarly,  the  recovery  of  maize  and  beans  yields  among  ATAAS  beneficiaries  after  the  devastation caused by FAW in the 2016–2017 season is neither captured in the pre‐post comparison (table  2) nor in the national‐level production series which does not report outcomes after 2016.  PDO Indicator 2: Percentage increase in agricultural income of participating households, by gender  39. Market  participation,  marketed  surplus,  and  agricultural  incomes  grew  with  agricultural  productivity gains and increased adaptability to climate shocks, pests, and diseases.  The commercial  orientation  of  the  NAADS  FID  program  and  extension  system,  coupled  with  large  productivity  gains  in  market‐oriented tracked commodities, translated to growth in market participation, marketed surplus,  and  agricultural  incomes  during  the  project  period.  Between  2010  and  2013,  ATAAS  contributed  to  improvements on all three dimensions: (a) the share of subsistence farmers dropped by 2.7 percentage  points  (from  80.8  percent  to  78.1  percent),  with  a  corresponding  increase  in  the  share  of  commercial  farmers (from 12.8 percent to 14.9 percent); (b) 66.6 percent of beneficiaries reported higher marketed  surplus; and (c) average incomes grew by 15 percent among beneficiaries, with 43 percent attributing  income changes to adoption of TIMPs or building on NAADS support.xliv Although the utilization of public  extension services declined in 2015 after the exit of NAADS, the use of improved TIMPs continued to raise  agricultural incomes. Between 2013–2014 and 2015‐2016, 15.6 percent of the national rural population  moved out of poverty and the share  of the ‘chronically poor’ engaged  in agriculture declined from 22  percent to 19 percent.xlv Since 2016, a series of shocks—drought (2016‐2017); plant disease (CBSD, CMD,  and  banana  wilt  disease);  and  pest  infestation  (FAW  in  2017–2018)—have  hit  production  and  caused  shortages  of  cassava,  banana,  maize,  and  beans  in  many  regions  across  Uganda.  However,  the  combination of pest management techniques and the cultivation of drought and disease‐resilient varieties  (for example, NAROCass 1 and 2 for cassava; NAROBan 1, 3, and 4 for bananas) by project beneficiaries  have  commanded  even  higher  prices  during  these  shortages,  reflecting  their  relative  inoculation  to  shocks.  40. The project also supported MSIPs and built community seed enterprises that helped FGs link to  value chain players and output and input markets and capitalize on income‐generating opportunities.  At appraisal, ATAAS was designed to provide technology uptake and commercialization grants through  FGs to enable farmers to access technologies as well as production and business development services,  to contract with agribusinesses and integrate with established value chains through PPPs. However, nearly  no progress was made on these activities due to diversion of NAADS resources to input provision, leading  to Subcomponents 3.3 and 4.2 being dropped at restructuring. Therefore, in the post‐restructuring period,  the project’s market link activities were concentrated on supporting (a) zonal, district, and subcounty‐ level  MSIPs,  platforms  which  linked  agricultural  producers,  FGs,  agro‐dealers,  traders,  and  agro‐ processors,  and  (b)  community  seed‐producing  enterprises,  which  were  organized  and  trained  in  the  multiplication of foundation seeds. ATAAS provided training and financial support to operationalize 78  MSIPs covering all nine AEZs, engaged in diverse commercial activities such as rice seed multiplication,  maize flour processing, banana wine production, honey production, ghee making, fish farming, and so  on.xlvi  Although  heterogenous  in  type  of  enterprise  and  size  (often  40–100  members),  several  MSIPs  resulted in the formation of cooperatives that reduced transaction costs for members, and other feeder  enterprises  by  taking  on  the  tasks  of  collecting,  aggregating,  processing,  and  branding  their  marketed  Page 20 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) surplus to achieve greater volumes, quality control, bargaining power, and secure higher prices. On the  other hand, community seed‐producing enterprises were able to aggregate and sell large volumes of high‐ quality seedlings and cuttings —especially for highly demanded  commodities such as rice and maize— thus generating sizable additional income for farmers.  41. Net agricultural incomes more than doubled among project beneficiaries over the project life  cycle. At appraisal, the baseline value of net household agricultural incomexlvii reported in the PAD (UGX  4,120,000) was clearly erroneous, given that corresponding values were significantly smaller in its data  source,  the  UNHS  2005–2006  household  survey  (UGX  434,400  for  men  and  217,200  for  women).xlviii  Drawing on the average agricultural income calculated using the Living Standards Measurement Study  (LSMS)/UNPS  2010–2011  household  survey  (UGX  986,668),xlix  it  is  further  corroborated  that  the  true  agricultural income at appraisal was less than one‐fourth of the PAD baseline value. Given this error, the  baseline for agricultural income and targets were revised at MTR using the UBoS baseline survey (2013),  which comprises a more credible benchmark to evaluate project performance. Against this baseline, the  project is found to have raised net agricultural incomes by more than 2.6 times for men and nearly 3 times  for women over 2013–2018. Even after adjusting for inflation, the corresponding metrics are 2 times and  2.3 times, far exceeding the restructuring targets of 20 percent and 15 percent. It is also evident that the  project surpassed its appraisal targets as well, when evaluated against benchmarks from other nationally  representative  household  surveys  conducted  in  the  years  immediately  preceding  and  succeeding  appraisal (UNHS 2005–06, LSMS 2010–2011, and LSMS 2011–2012) (annex 7, table 7).   Table 3. Performance on PDO 2  (1)  (2)  (3)  (4)  (5)  UBoS  Endline (2018),  Percentage Change,  Percentage Change,  Gender  Baseline/MTR, UGX  UGX  Nominal  Real  Men  975,730  3,600,846  269  204.8  Women  698,200  2,751,231  294  225.5    Impact Evaluation  Impact Evaluation  Targets  Targets  (2018)/UBoS  (2018)  Men: 20%  Men: 20%  Baseline Survey  Women: 15%  Women: 15%  Report (2015)  42. At  closing,  project  beneficiaries  reported  higher  agricultural  income  than  non‐beneficiaries  across  all  enterprise  and  gender  sub‐samples.  Cross‐sectional  data  collected  as  part  of  the  Impact  Evaluation  (2018)  show  that  net  agricultural  incomes  for  beneficiaries  operating  maize,  rice,  cassava,  beans, and dairy enterprises were 57.8 percent, 39.5 percent, 27.8 percent, 400.5 percent, and 1,387.5  percent, respectively, higher than non‐beneficiaries. Next, the effect of land size and gender is accounted  for by calculating on a per‐hectare basis for men‐ and women‐operated enterprises. These comparisons  show that for enterprises operated by women, net agricultural incomes for maize, rice, cassava, beans,  and  dairy  were  51  percent,  86.5  percent,  6.6  percent,  610.5  percent,  and  578.1  percent,  respectively,  higher. For enterprises operated by men, the corresponding differentials were 63.8 percent, 21.7 percent,  45.4 percent, 255.4 percent, and 1,963.7 percent (annex 7, table 8). Because sample sizes are small for  each commodity‐gender combination—especially for rice and dairy enterprises—these differentials are  presented as corroborative evidence of project impact on net agricultural incomes. Further, it must be  noted  that  several  beneficiary  enterprises  also  produced  non‐tracked  commodities  such  as  bananas,  Page 21 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) coffee,  and  fish,  which  were  locally  prioritized,  received  ATAAS  support,  and  generated  additional  agricultural income which contributed to the large differentials in relation to non‐beneficiaries.  PDO Indicator 3: Direct project beneficiaries (number), of which female (%)  43. At closing, the pool of project beneficiaries covered 1.68 million farm households; that is, at  least  25  percent  of  Uganda’s  rural  households.l  At  appraisal,  this  indicator  defined  ‘participating  households’  as  members  of  NAADS  FGs  who  directly  benefit  from  project  interventions.  Based  on  an  assessment of NAADS FGs, an estimated 46,000 FGs were active at the appraisal stage.  Averaging 23.1  members per group, the number of FGs grew to more than 54,000 by 2013, with aggregate number of  members being 1,357,900. li Further, it was estimated that 75 percent of all growth in FGs over 2011–2013  was due to NAADS support to formation, registration, provision of technologies, advisory services, and  market  information.  After  restructuring,  the  pace  of  FG  formation  and  the  degree  of  functionality  of  NAADS FGs declined, as NAADS was no longer engaged in FID. However, with the strengthening of existing  NARO outreach activities through links with the new MAAIF‐LG extension system, the number of direct  beneficiaries grew by 327,059 (90 percent host farmers for demonstrations, 8 percent SLM, and 2 percent  adaptive  trials  learners),lii  enlarging  the  pool  to  1.68  million  and  exceeding  the  revised  target  by  4.5  percent; measured against the appraisal target of 1.71 million, the closing number is 1.7 percent lower.  Further,  women  accounted  for  52  percent  of  this  total  number  of  beneficiaries.  Notably,  several  beneficiaries were members of 16,022 new and established FGs and 396 HLFOs that had survived after  the  exit  of  NAADS  from  FID.liii  However,  the  number  of  indirect  beneficiaries—members  of  FGs  who  learned  from  direct  beneficiaries—were  not  tracked,  thus  underestimating  total  beneficiaries.  Other  indirect beneficiaries included seed dealers, producers, and out growers; private sector seed producers  and  farmer‐based  community  seed  producers;  and  seeds  inspectors  for  quality  assurance,  whose  capacities were built by the project for multiplying technologies generated by research.   PDO Indicator 4: Additional land area with improved land and water management practices (kilometres,  hectares)  44. After  slow  initial  progress,  SLM  interventions  rapidly  exceeded  appraisal  and  restructuring  targets,  building  resilience  to  local  agro‐climatic  shocks  across  32  landscapes  in  77  subcounties.  At  appraisal, the project established targets of 11,000 ha and 9,900 km of additional land area to be covered  by SLM practices; at restructuring, the former target was revised downward to 6,000 ha given delays in  start‐up  activities,  but  the  latter  remained  unchanged.  The  technologies  selected  for  promotion  and  scaling‐up  were  terraces,  contour  bunds,  grass  bunds,  conservation  agriculture  (low‐till),  rehabilitation/reclamation  of  degraded  watersheds,  agroforestry  woodlots,  agronomic/vegetative  SLM  practices (mulching, intercropping, rotations, integrated nutrient management, grassland improvement,  and so on), small‐scale irrigation, and water harvesting.liv In the post‐restructuring period, the capacity of  240 extension workers and 517 community‐based facilitators (53 percent women) across all nine ZARDIs  were  built  through  training  to  organize  local  groups  and  reinforce  the  sustainability  of  investments.  Eventually,  SLM  interventions  were  executed  in  40  districts,  77  subcounties,  and  32  landscapes.lv  At  closing, the total coverage achieved was 20,930 ha, 248.8 percent above the revised target.lvi In particular,  highlands  terracing  and  rehabilitation  of  degraded  watersheds  was  adopted  by  a  large  share  of  communities, with their final coverage of 3,391 ha and 3,337 ha being 771 percent and 556 percent of  respective  targets.  Notably,  the  impacts  of  SLM  interventions  were  not  restricted  to  the  tracked  commodities—some of the most dramatic effects on beneficiary yields and incomes were in coffee and  Page 22 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) banana  plantations,  where  soil  erosion  due  to  erratic  rainfall  has  been  brought  under  control  due  to  organized collective action supervised by local facilitators. Using the Ex Ante Carbon‐Balance Tool (EX‐ ACT) tool, it was assessed that in aggregate, SLM interventions on all ATAAS sites would have sequestered  1,964,831  tons  of  carbon  over  the  lifetime  of  the  project  (US$151.3  million  in  2018  prices),  a  sizable  positive externality for Uganda.lvii  Justification of Overall Efficacy Rating   45. Achievement  of  the  PDO  is  deemed  Substantial.  The  project  exceeded  all  its  PDO  indicators’  targets  and  there  is  strong  and  clear  indication  that  the  results  recorded  can  be  attributed  to  project  interventions. However, the project encountered some delays, particularly in the registration of farmers  and traders through ICT platforms, which will now be piloted and scaled after closing as part of the ACDP.  Therefore, the full extent of the project’s contribution to market integration of farmers have not been  revealed at the time of the ICR.  C. EFFICIENCY  Assessment of Efficiency and Rating  Efficiency rating: Modest  46. Economic and financial analysis (EFA) at appraisal.  The EFA conducted at appraisal anticipated  strong  economic  profitability,  with  the  economic  internal  rate  of  return  (EIRR)  estimated  to  be  33.9  percent  while  the  net  present  value  (NPV)  amounted  to  US$1.3  billion.lviii  The  analysis  approached  all  project components and activities as an integrated package and accounted for three streams of benefits:  (a) increase in yields as a result of more productive and resilient technologies developed by NARO and  disseminated by advisory and extension services;lix (b) shift to a more profitable commodities mix as a  result of strengthened market links; and (c) increase in the farm‐gate prices share of wholesale prices,  arising from higher smallholder bargaining power in value chains and output quality improvements. All  project costs were considered in the analysis.   47. The analysis focused on several commodities promoted in Uganda under NAADS: sorghum, maize,  cassava, Irish and sweet potatoes, millet, simsim, groundnut, beans, bananas, coffee, and cotton; notably,  it did not include rice and investments in livestock production. It was expected that yields will increase  between 4 percent (coffee) and 50 percent (groundnut), while the income of participating households will  increase by 20 percent by the end of the project. The analysis did not account for the benefits resulting  from SLM activities which translate into a reduction of greenhouse gas (GHG) emissions.lx   48. EFA  at  project  closing.  To  re‐estimate  the  project  profitability  at  its  completion,  the  EFA  at  appraisal was revisited by adjusting the key parameters including number of beneficiaries, yield increases,  adoption rate, project annual cost streams and considering benefits arising from SLM. The ex post analysis  examines the combined impact of R&E on yields,lxi which rose because of TFP growth and intensive use of  inputs.  Project  carbon  balance  is  included  in  addition  to  the  three  benefit  streams  used  in  the  EFA  at  appraisal. Rice—one of the tracked commodities missing in the appraisal EFA—is also added to the model.  The adoption rate is conservatively taken to be 49.2 percent, using the lower estimate from 2013,lxii given  that the endline estimate of 78 percent was computed from a sample that underrepresented FG members  who were not host farmers.lxiii The EFA also conservatively models a delay of 5 years between project  appraisal and enterprise shifts to a more profitable commodity mix, to account for slow implementation,  Page 23 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) production lags, learning, and time taken to build market links. This analysis has been carried out for a 20‐ year period at 2018 prices in 2010 constant terms.lxiv  49. Summary results of the EFA:   (a) The project yielded an EIRR of 37.5 percent, an NPV of US$700 million, and an NPV per  beneficiary of US$309. The project is therefore more profitable than estimated at appraisal,  mainly  due  to  larger  yield  growth  than  anticipated  and  accounting  for  substantial  environmental benefits. However, the NPV is lower than estimated at appraisal, reflecting  the different cost and benefit flows generated by a longer project implementation period.  (b) The  results  were  also  subjected  to  additional  sensitivity  tests  to  capture  the  impacts  of  exogenous negative shocks (elite capture, adverse weather shock, increase in fuel prices,  and  unexpected  drops  in  agricultural  prices)  and  positive  shocks  (favorable  weather,  decrease in fuel prices, and unexpected spikes in agricultural prices) on project profitability.  All  things  being  equal,  even  in  the  case  of  extreme  elite  capture—which  generates  the  largest  negative  impact—the  project  would  still  yield  an  EIRR  of  13  percent.  Conversely,  favorable weather shocks will generate maximum positive impacts, with EIRR growing to 50  percent. This additional robustness generates confidence that ATAAS was in fact efficient in  producing economically meaningful gains (see annex 4).   50. Implementation efficiency.  The project performed better than anticipated in terms of EIRR and  worse than anticipated in terms of NPV. This mixed performance partially reflects the following time and  cost related efficiency considerations.   51. First, the project closed 3 years after the closing date planned at appraisal, due to (a) a 12‐month  delay between planned and actual effectiveness dates, (b) an 18‐month extension at the first restructuring  stage,  and  (c)  a  6‐month  no‐cost  extension  at  the  second  restructuring  stage.  Although  mitigating  circumstances—delays due to elections and parliamentary approval, initial staff overhaul at NAADS and  large shift in extension policy, delays in constitution of the MAAIF IST, and the threat of the FAW—explain  each  of  the  three  instances,  their  cumulative  effect  was  a  slower  rate  of  converting  project  inputs  to  outputs.   52. Second,  the  total  project  costs  at  closing  represented  63.1  percent  of  the  project  costs  at  appraisal, with the drop in GoU commitment—US$198.2 million—accounting for most of the difference.  Consequently, the restructured project scaled back significant direct support to several activities planned  at  the  design  stage—for  example,  FID,  technology  uptake  grants,  and  matching  grants  for  commercialization—thus reducing the potential number of beneficiaries, technology adoption, farmer‐ farmer learning, and long‐term integration with value chains.   53. Given the project’s high economic profitability and countervailing time and cost‐related efficiency  considerations, project efficiency is rated Modest.  D. JUSTIFICATION OF OVERALL OUTCOME RATING  54. The overall outcome rating is Moderately Satisfactory based on the above assessments:   Page 24 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)  Relevance of objectives  (Rating: High).  The project’s objectives, design, and methodology  were highly relevant and have continued to be relevant to the sector, as evidenced by its  continued  alignment  with  Vision  2040,  NDP  ‐  II  (2015/16–2019/20),  ASSP  (2015/16– 2019/20), and the FY16–FY20 CPF.    Efficacy of achieving objectives (Rating: Substantial). The project achieved all its objectives  for  PDO  indicators,  based  on  project  survey  data,  counterpart  reporting,  and  nationally  representative  surveys.  About  73.3  percent  (22  of  30)  of  the  targets  associated  with  12  intermediate indicators were also met or exceeded.lxv   Efficiency  (Rating:  Modest).  The  project  profitability  was  estimated  to  be  higher  than  at  appraisal,  consistent  with  outcomes  achieved  by  the  project.  However,  major  implementation delays resulted in inefficiencies, which lowered the efficiency of the project.  E. OTHER OUTCOMES AND IMPACTS (IF ANY)  Gender  55. The project surpassed its targets for inclusion of women in FGs. The mainstreaming of gender in  all  project  activities,  including  FID,  was  designed  to  increase  women’s  participation  and  voice  in  FGs.  Endline  data  on  project  beneficiaries  indicate  that  52  percent  of  the  1.68  million  beneficiaries  were  women and women were beneficiaries of larger increases in agricultural income, as mentioned earlier. A  process evaluation survey undertaken in 2017 showed that 94.3 percent of women reported that their  voice had been considered for decision making in FGs, substantially exceeding the project target of 65  percent. Moreover, more than half the households reported joint decision making on purchase, sale, and  utilization of assets (land, livestock, and farm equipment) even as joint ownership rates remained lower  in  comparison,  indicating  substantial  bargaining  power  for  women  beneficiaries  of  ATAAS.lxvi  Notably,  these  changes  were  recorded  as  the  collection  of  gender‐disaggregated  data  and,  with  the  hiring  of  a  specialist,  became  institutionalized  in  NARO  during  project  implementation.  Further,  the  project  supported the development of a gender strategy by NARO, which was integrated in all project activities  and other programs implemented by the agency.  Institutional Strengthening  56. ATAAS financing has built a pipeline of scientific researchers, technicians, and support staff who  will continue to deliver agricultural TIMPs through the public research system long after closing. Among  NARO researchers, several scientists from National Agricultural Research Institutes and ZARDIs received  project‐financed training at the PhD (31) and MSc (8) levels. Many received specialized training such as  apiculture,  plant  breeding  and  pathology,  tick  epidemiology,  fish  nutrition,  crop  agronomy,  and  management  while  others  engaged  in  the  broader  disciplines  of  knowledge  management,  natural  resource management, and climate‐smart agriculture. Graduate students signed a bond to work at NARO  for  3–5  years  upon  completion  of  their  program,  ensuring  their  availability  to  continue  working  with  technology development and dissemination. About 34 percent of the scientists were women and by the  end of the project, 32 percent had received their degrees while 19 percent had submitted their theses  and the remainder are still in progress.lxvii In addition, the project supported mentoring and peer‐to‐peer  coaching programs for young scientists (33) and staff to facilitate knowledge sharing across PARIs. Lastly,  Page 25 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 409 staff members also received short‐term training, based on identified gaps and prioritized needs in  functional areas ranging from e‐procurement to resource mobilization.lxviii   57. NARO  is  now  a  mature  public  research  organization  equipped  with  the  capacity  to  fulfil  its  mandated  role.  The  combination  of  complementary  support  provided  by  ATAAS  and  the  World  Bank‐ financed regional Eastern Africa Agricultural Productivity Project (EAAPP) has contributed to significant  construction  and  rehabilitation  of  physical  infrastructure,  the  establishment  of  well‐equipped  modern  laboratories, and purchase of field research equipment. Coupled with the enhanced capacity of scientists,  technicians and support staff, NARO has now in place the requisite physical capacity, human resources,  and  procedures  to  respond  better  to  public  demands  for  technology  development  and  dissemination;  compete  more  effectively  for  international  funding;  and  develop  partnerships  with  regional  scientific  institutions, PARIs and CGIAR, DPs, and farmer representative bodies.  58. The project also supported the design of a new extension strategy and has helped establish a  demand‐driven advisory system coordinated by the MAAIF, LGs, and DARSTs. By the restructuring stage,  ATAAS had helped establish DARSTs in all Ugandan districts to support technology demand, dissemination,  and  adoption.  DARSTs  supported  the  setting  up  of  216  technology  development  sites  for  adaptive  research,  11,771  research  demonstrations,  and  selection  of  several  strategic  enterprises  for  adaptive  research and seed  multiplication. After restructuring, ATAAS supported  the  design of a new extension  strategy  and  operating  guidelines  reflecting  key  principles  articulated  in  the  Comprehensive  Africa  Agriculture  Development  Programme  (CAADP)  framework.  Further,  the  Directorate  of  Agricultural  Extension Services (DAES) conducted capacity strengthening of 5,385 LG agricultural extension staff (97  percent of target) from 122 districtslxix through 11 training courses on subjects including livestock disease  control, agronomy and fertilizer optimization, value chain development, SLM, and extension.lxx This skills  upgrade  of  the  new  extension  and  LG  staff  will  enable  them  to  deliver  high‐quality  advisory  services  tailored to community level demands.   59. The ground has been prepared for ICT‐powered agricultural interventions in the ACDP.  Under  ATAAS, an ICT specialist was hired to provide leadership in development of e‐platforms at the MAAIF, with  ICT officers also mainstreamed at the  NARO Secretariat and selected ZARDIs. Consequently, seven ICT  platforms have been scoped and one—e‐Certification —has been validated and piloted and was used to  provide  4,276  certificates  to  traders.  Other  platforms  such  as  e‐M&E,  e‐Extension,  and  e‐Markets  are  active but expected to come online under the ACDP and help accelerate project management and service  delivery  significantly.  In  addition,  the  MAAIF  and  NARO  staff  have  also  been  trained  as  certified  information security manager or certified information systems auditor, as well as in optic fibre networks  and  IT  infrastructure,  library,  and  Microsoft  projects.  An  ICT4Agriculture  benchmark  study  was  also  undertaken in Kenya, Rwanda, and Egypt, with participants drawn from all MAAIF directorates and NARO.  The lessons learned have shaped the development requirements for applications that are expected to  improve the performance of the ACDP by enhancing (a) flow of information to farmers: e‐extension, e‐ MIS,  and  e‐advisory;  (b)  flow  of  information  from  farmers  to  program  officers  on  the  performance  of  public  agricultural  programs:  e‐M&E;  (c)  facilitation  of  market  links  through  e‐marketing  and  e‐ certification;  (d)  production  support  through  e‐vouchers;  and  (e)  publicly  accessible  platform  for  agricultural information and statistics (e‐ag statistics).  Page 26 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Mobilizing Private Sector Financing  60. The  project  also  supported  the  provision  of  high‐quality  NARO  technologies  through  private  sector channels. At appraisal, one of the project’s objectives was to promote multiplication of planting  and stocking materials through the private sector. To achieve this objective, ATAAS supported the capacity  building of seed companies, farmer‐based community seed producers, and seed inspectors in multiplying  technologies generated by NARO research. The technical staff from nine seed companies were trained by  NARO in maize foundation seed production. In addition, the technical staff from five seed companies were  sensitized on newly released biofortified bean varieties, and breeder seeds were provided. At least three  community  seed  producers  received  foundation  seeds  and  multiplication  training  to  produce  quality‐ declared  seed,  with  other  FGs  receiving  foundation  seeds  and  on‐demand  demonstrations  to  initiate  pasture grasses and legume multiplication. Several entrepreneurs were also provided with clean cassava  planting  materials  of  newly  released  varieties  and  were  trained  in  multiplication  of  certified  planting  materials.  Although  quantitative  data  on  changes  in  private  sector  supply  were  not  collected,  these  interventions—particularly at the community, FG, and entrepreneur levels—anecdotally accelerated the  availability and adoption of newly released NARO technologies. In addition, the project provided technical  assistance to the National Seed Certification Service and supported the use of fingerprint tracking and  labelling technologies to trace authentic inputs and address the issue of fake input provision, which had  reduced take‐up in some geographies.lxxi   Poverty Reduction and Shared Prosperity  61. ATAAS technologies and the project’s FAW response has successfully prevented a loss of yields  and  incomes  among  farmers,  who  comprise  a  large  majority  of  the  bottom  40  percent.  Since  2015,  ATAAS  beneficiaries  have  faced  several  climate  and  production  shocks  that  threatened  to  reverse  the  productivity  and  income  gains  made  during  project  implementation.  El  Nino‐induced  drought  (2016– 2017),  plant  diseases  affecting  cassava  (CBSD  and  CMD)  and  banana  (BWD),  and  pest  infestation  that  targeted  maize  and  beans  (FAW  in  2017–2018)  have  hit  agriculture  and  caused  shortages  and  food  insecurity in many regions across Uganda. To their credit, the World Bank, GoU, NARO, and the MAAIF  have responded swiftly and disseminated drought and disease‐resilient varieties (for example, NAROCass  1 and 2 for cassava and NAROBan 1, 3, and 4 for bananas) and pest management techniques to protect  yields. In particular, their rapid response in terms of surveillance, monitoring, mass communication, pest  control, and adaptive research has been successful in containing the FAW outbreak in Uganda, which has  since reached 44 African countries and caused yield losses of 15–20 percent in several of them.lxxii After  the  constitution  of  a  national  taskforce  and  deployment  of  emergency  project  support  in  all  jurisdictions,lxxiii the MAAIF has committed to (a) continued provision of support to districts with pesticides  and  other  items  for  demonstration  purposes  and  (b)  surveillance  for  pests  and  diseases  in  priority  commodities  through  the  ACDP.  Together,  ATAAS  interventions  and  their  institutionalization  have  ensured that a large share of farmers did not suffer the type of economic shocks that have reportedly led  to poverty increases in neighbouring countries.   Other Unintended Outcomes and Impacts  Not Applicable.  Page 27 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) III. KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME    A. KEY FACTORS DURING PREPARATION  62. The project was prepared in close collaboration with other DPs, with an emphasis on integrating  the proposed NARO program with lessons from predecessor IPFs and the EAAPP. From the identification  stage onwards, joint World Bank‐IFAD missions were undertaken to prepare ATAAS, with participation  from EU and DANIDA representatives as well. The missions engaged with NARO and NAADS to facilitate  and review the preparation of a joint proposal on the implementation arrangements for the design of a  better  R&E  interface  and  collaborative  activities  such  as  M&E  to  ensure  institutionalization  at  all  operational levels. The missions also provided feedback that ensured the incorporation of lessons from  ARTP‐II’s  ICR  in  the  proposed  NARP  during  the  ATAAS  project  period.lxxiv  Given  the  simultaneous  preparation of World Bank‐financed EAAPP which also supported agricultural R&D, a large share of ATAAS  preparation  also  focused  on  updating  NARP  to  outline  distinct  research  activities  and  budgets  for  infrastructure, goods and services, training and workshops, technical assistance and studies, M&E, CGS,  research programs, staffing and operation, and maintenance.   63. By appraisal, a draft Project Implementation Manual (PIM) and a detailed GAC Action Plan were  also prepared to enhance the accountability and efficiency of the NAADS extension system. Responding  to higher public scrutiny and field reports of frequent changes in NAADS operations at the subcounty level,  the project preparation team ensured the preparation of draft PIM, the NAADS Core Document, NARP,  and  the  NARO‐NAADS  Partnership  Framework  by  appraisal.  Second,  a  communications  strategy  was  designed to address the negative publicity on past NAADS irregularities, with a deliberate effort to inform  the public and policy makers of the new direction, rules, and principles that were designed to improve  NAADS’ performance. Third, a GAC team assessed key issues related to proposed ATAAS activities and  presented a detailed action plan to ensure that procurement and financial management (FM) risks were  managed through (a) inclusion of GAC targets in annual NARO and NAADS work plans; (b) tracking and  reporting of action against governance, FM, procurement and corruption indicators; (c) monitoring of GAC  actions on annual audit recommendations; and (d) the establishment of a functional complaints handling  mechanism for NAADS. lxxv   B. KEY FACTORS DURING IMPLEMENTATION  64. Overall,  project  implementation  was  completed  moderately  satisfactorily,  meeting  all  of  the  PDO targets and 22 of 30 IRI indicator targets, with 99.5 percent of IDA and 100 percent of GEF funds  disbursed by financial closure.lxxvi In the lead‐up to the MTR and restructuring, that is, the period between  February 2014 to October 2015, the project was rated Moderately Unsatisfactory four times, due to the  following developments related to NAADS: (a) a shift in focus from supporting FID and advisory services  to input distribution, (b) poor FM and procurement of inputs outside of the Procurement Plan, and (c)  poor  implementation  of  the  M&E  function  and  follow‐up  of  implementation.lxxvii  Consequently,  the  disbursement  rate  also  dropped  from  November  2014,  as  the  allocation  for  NAADS  implemented  components represented the majority of the ATAAS investment. However, the project team and the GoU  managed to put the restructured project back on track and implementation progress was reported to be  Moderately Satisfactory in all Aide Memoires and Implementation Status and Results Reports (ISRs) since  the May 2016 mission.  Page 28 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 65. Several challenges adversely affected the implementation of the project. These are discussed in  the following paragraphs.    66. The late entry into effectiveness of the project. The project was approved on May 25, 2010, and  became effective on December 20, 2011, causing a delay of 13 months in implementation. The causes of  this delay are described in the section on ‘Significant Changes during Implementation’.   67. Policy  and  institutional  shifts.  Post‐ATAAS  effectiveness,  the  GoU’s  introduction  of  a  new  extension policy in 2013 and the subsequent transfer of the extension mandate to the MAAIF from NAADS,  the lead agency responsible for implementing more than 60 percent of the project (by cost), meant that  the  project  underwent  a  major  realignment  midway  through  implementation.  At  restructuring,  modifications  were  made  to  (a)  components  and  activities,  (b)  the  RF,  to  match  the  revised  scope  of  project activities, (c) institutional and implementation arrangements, and (d) closing date.  68. Disruptions in human resources and institutional capacity. Project effectiveness coincided with  a  nearly  complete  staff  overhaul  at  NAADS  between  November  2011  and  January  2012.  After  the  handover of extension from NAADS, delays in establishing the MAAIF IST (constituted in June 2016) meant  that  key  leadership  and  technical  positions  were  filled,  starting  November  2016.  Both  periods  of  transitions translated to delays in project implementation.  69. Drought,  pests,  and  plant  disease.  Similar  to  most  farmers,  ATAAS  beneficiaries  faced  several  climate  and  production  shocks  that  threatened  to  reverse  the  productivity  gains  made  during  project  implementation. In particular, the widespread drought conditions induced by El Nino (2015–2016), plant  diseases affecting banana and cassava (CBSD, CMD, and BWD), and pest infestation that threatened maize  and  beans  (FAW  in  2017–2018)  caused  shortages  of  high‐quality  commodities  in  many  regions  across  Uganda. To their credit, the GoU, NARO, and the MAAIF responded swiftly and disseminated varieties  adapted  to  drought,  CBSD,  CMD,  BWD,  and  FAW  to  protect  yields  and  deliver  high  prices  to  project  beneficiaries in markets that were experiencing shortages.   70. Due  to  these  challenges,  throughout  implementation,  the  World  Bank  team  and  the  implementation agencies demonstrated their proactivity and resourcefulness. This is demonstrated by  the  immediate  response  to  the  extension  policy  shift  and  FAW‐related  crises  to  conduct  two  Level  2  restructurings of the project and extensions of the closing date as described previously. In addition, the  World Bank team, NARO, the MAAIF, and LGs made considerable and concerted efforts to pick up speed  and ensure the achievement of project objectives despite significant disruption and considerable delays.  71. The restructured project’s turnaround was driven by the leadership of NARO and the MAAIF.  After  restructuring,  NARO,  the  MAAIF,  and  LGs  signed  a  tripartite  Memorandum  of  Understanding  to  develop  a  common  framework  to  guide  development  and  operation  of  partnerships  with  relevant  stakeholders such as ZARDIs and DARSTs for adaptive research, demonstrations, and technology scale‐up.  Further, an IST was established and its project coordinator was assigned key management duties to (a)  accelerate decision making at the MAAIF and avoid implementation delays, (b) establish the use of a time‐ bound monitoring tool and provide monthly reporting of project milestones to the World Bank to avoid  any slippages and take timely corrective actions, (c) enforce a requirement for NARO and the MAAIF to  track the processing of all procurements in their Procurement Plans and sharing monthly status reports  with the World Bank, (d) engage a procurement consultant to audit capacity at the institutes and build in‐ Page 29 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) house procurement capacity. The IST’s successful completion of these tasks and the World Bank’s timely  supervision and feedback were critical ingredients for the project’s turnaround. Furthermore, this IST has  been strengthened to become the PCU for the ACDP, the World Bank’s follow‐on project.   IV. BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME    A. QUALITY OF MONITORING AND EVALUATION (M&E)  M&E Rating: Modest  M&E Design  72. The RF was largely well designed but suffered from deficiencies that were amplified due to poor  implementation. Each of the RF indicators was directly linked to a project outcome, adequately measured  progress  toward  the  overall  PDO,  and  the  framework  outlined  the  frequency  of  data  collection,  data  collection  instruments,  and  responsibility  for  data  collection.  However,  there  were  three  sets  of  shortcomings  with  the  M&E  design:  (a)  PDO‐level  indicators  were  incompletely  defined  (livestock  productivity) and had baseline values that were erroneous (agricultural income) or outdated (crop yields),  thus introducing ambiguity in benchmarking progress and project evaluation; (b) while baseline values  were intended to be updated through a survey by the original effectiveness date, the responsibility was  delegated to four entities (NAADS, NARO, MAAIF, and UBoS) when tasking one could have led to greater  accountability; and (c) the indicator on percentage of same commodities in ten top priorities for ZARDI  and NAADS (by the AEZ) was ambiguous relative to planning processes and consequently, not reported  by implementing agencies before being dropped at restructuring.  M&E Implementation  73. The M&E framework was inadequately implemented due to several reasons: (a) an M&E manual  was not developed in time to outline the timing, responsibility, and methodological approach of baseline,  midline, and endline surveys; (b) a digital management information system (MIS) was not developed to  maintain records during the lifetime of the project; (c) ad hoc consulting firms were used instead of UBoS  to  conduct  surveys  and  produce  reports;  (d)  the  high  turnover  in  M&E  specialists  and  change  in  implementing  agencies  did  not  allow  for  consistency  in  approaches  used  for  tracking,  managing,  and  processing data. Consequently, project M&E implementation was affected by suboptimal utilization of  available  data  (UBoS  baseline  survey  not  completely  included  in  the  revised  RF),  loss  of  institutional  memory (NAADS survey data on FGs not handed over during transfer at restructuring), and reduced ability  to monitor against comparable targets. Further, project evaluation is unable to capture project successes  on several dimensions outside of the RF that a well‐functioning M&E system would generate.  M&E Utilization  74. Corrective actions were taken based on frequently tracked indicators but M&E utilization was  mixed due to weaknesses in data processing and management for others. At the MTR stage, M&E data  on project outputs were used to identify pre‐restructuring progress (for example, DARST district coverage)  and delays (no SLM activities) in the implementation of planned activities. Further, M&E data played an  instrumental  role  in  refining  the  activities  of  the  project  at  joint  review  and  planning  meetings.  In  Page 30 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) particular, the use of well‐defined M&E indicators enabled participants from NAADS to monitor the rate  of technology generation from NARO institutions. This information sharing was directly responsible for  the upward revision of end targets for NARO’s activities in technology generation and CRGs, which were  performing  well at  that stage and continued to  do  so until  closing. Conversely, the slow processing of  baseline information and weaknesses in data transfer from NAADS to MAAIF prevented the project from  utilizing real‐time feedback on progress toward PDO targets on indicators for number of beneficiaries,  adoption, yields, and incomes.   Justification of Overall Rating of Quality of M&E  75. The overall rating of the M&E is Modest. This is because of the substantial shortcomings in the  M&E system’s design and implementation identified above.  B. ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE  76. Environmental  safeguards.  The  project  was  considered  Category  B  at  appraisal.  The  potential  direct impacts on the environment were related mainly to civil works, the use of pesticides and fertilizers,  and the  generation of laboratory and  other waste.  The  potential indirect impacts on  the environment  were related to agricultural intensification and the expansion of agriculture to non‐agricultural lands such  as  forests  and  wetlands.  The  proposed  project  therefore  triggered  two  safeguard  policies:  (a)  Environmental  Assessment  (OP/BP  4.01)  and  (b)  Pest  Management  (OP  4.09).  An  Environmental  Assessment was conducted, and several provisions were made to ensure compliance.   77. At NARO, a specialist was appointed to oversee implementation of environmental safeguards for  all  planned  civil  works  in  line  with  the  Environmental  and  Social  Management  Framework  (ESMF)  guidelines  on  gender,  waste  management,  and  occupational  health  and  safety  considerations.  The  screening  of  relevant  Environmental  and  Social  Management  Plans  was  done  to  guide  construction  activities and partnerships with the International Labour Organization and Ministry of Gender, Labor, and  Social  Development  were  established  for  capacity  building  in  social  risk  management.  Lastly,  the  application of integrated pest management practices has been successfully demonstrated and the use of  pesticides/chemicals has been limited.   78. During the third mission, environmental safeguards was rated Moderately Unsatisfactory due to  the challenges that the MAAIF faced in implementation of the ESMF. The lack of safeguards capacity, a  delay in training of project implementers, delay in implementation of the Strategic Environmental and  Social Assessment, and absence of reporting on environmental issues in the quarterly and semiannual  progress reports were noted. By MTR, this rating had been upgraded to Moderately Satisfactory after  NARO appointed a specialist for implementation of safeguards, screening of planned civil works under  ESMPs and the successful demonstration of IPM practices. By the eighth mission, it was noted that the  MAAIF  had  recruited  a  full‐time  environmental  specialist  and  decommissioning  and  restoration  of  all  construction sites had been completed. Later, the MAAIF also developed a draft environment and social  safeguards (ESS) management policy, guidelines, and plans for operationalizing the system. The guidelines  include  the  ESS  Manual;  Environmental  and  Social  Risk  Management  Procedure  including  the  Environmental and Social Grant screening checklist and risk register template; and management plans for  biodiversity, waste/hazardous waste, pests, natural resources, and stakeholders.lxxviii  Page 31 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 79. Social safeguards. NARO has designated a social safeguards coordinator and has institutionalized  ESS in all its projects. Focal points at the district level have been identified for all nine ZARDIs to address  issues  on  HIV/AIDS,  child  labor,  sexual  harassment  and  gender,  in  addition  to  grievance  redress  mechanisms being established in all NARO programs. It also began reporting on social risks and safeguards  management and developed a policy on sexual harassment, which forms the basis of strong protections  in  workers’  contracts  against  sexual  harassment  in  the  workplace  and  sex  with  minors.  Furthermore,  NARO  has  also  developed  a  Gender  and  Diversity  strategy  to  guide  the  process  of  addressing  project‐ related gender concerns, which the World Bank has recommended to be expanded to the ACDP.lxxix In  view of the above, social safeguards was rated Moderately Satisfactory through the project period, but  this rating improved to Satisfactory during the tenth mission by which time most of the achievements  noted above had been realized.  80. FM. The FM of the project has been consistently rated Moderately Satisfactory due to weaknesses  of the internal control system characterized by (a) insufficient supporting documentation for a range of  expenditures,  (b)  low  quality  of  the  planning  and  budget  follow‐up,  and  (c)  delays  in  implementing  external and internal auditors’ recommendations. During the early implementation period, disbursement  was slow and there were several instances of ineligible expenditures on input provision, with this figure  rising to an estimated UGX 19 billion by July 2012. At the restructuring stage, the GoU and the World Bank  reached an agreement that 75 percent of the ineligible expenditures was to be considered as expenditure  from government resources and the remaining amount—about US$1 million—was refunded to IDA.   81. Other early challenges included (a) delays in transfer of funds to the districts, (b) excessive cash  transactions by NAADS and some NARO research institutes, and (c) significant delays in accounting for  project advances by both NAADS and NARO and their respective districts and institutes. It was also noted  that  while  NARO  consistently  submitted  the  quarterly  intermediate  financial  reports  within  the  submission deadline, NAADS did not meet the required deadline. An FM review (March 2017) covering  the MAAIF, NARO, PARIs, and ZARDIs found that the compliance levels on accounting for staff advances  had remained low. In response, a report on advances was required to be integrated with quarterly IFRs  submitted to the Bank. In 2017, when the auditor general issued a qualified opinion on NARO’s financial  statements, the Bank team made it mandatory for NARO to seek approval from the Ministry of Finance  for  budget  reallocation  and  increases  in  expenditure  ceilings  for  per  diem  allowances,  seminars,  and  workshops to curtail irregular and unsupported payments. In general, the MAAIF was receptive to the  World Bank’s comments on its FM, but it was slow at implementing the recommended actions due to  capacity constraints.   82. Procurement.  During  project  implementation,  procurement  was  throughout  rated  Moderately  Satisfactory,  except  during  the  ninth  mission  when  it  was  rated  Moderately  Unsatisfactory.  This  assessment reflected the fact that after a slow start, many major NARO contracts were executed with  fewer delays despite the misalignment of work plans and procurement. The World Bank conducted a post‐ procurement review of the NARO Secretariat and confirmed that the arrangements remained adequate  for  implementation.  However,  during  the  ninth  mission,  there  were  evident  challenges  that  included  delayed procurement activities caused by bureaucracies in the procurement cycle players, management  of  contracts,  lack  of  contract  management  information  from  users,  and  insufficient  funding  for  some  initiated procurements.  Page 32 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 83. At the start of the project and up to the time of restructuring ATAAS, procurement under NAADS  continued  for  a  long  time  to  be  slow  and  behind  schedule  and  several  cases  of  potential  mis‐ procurement were noted. In many such cases, additional procurements outside the agreed Procurement  Plan  were  undertaken  even  as  those  agreed  to  in  the  plan  remained  behind  schedule.  Further,  the  management overrode procurement and internal control procedures at the district and subcounty levels,  with  the  absence  of  procurement  records,  prequalified  suppliers,  non‐involvement  of  contract  committees, and single sourcing being common violations. In fact, this trend was one of the rationales for  the GoU decision to separated advisory/extension service provision from inputs delivery in NAADS.   84. Post restructuring, when the MAAIF took over the advisory/extension component of the project  from NAADS, it had limited capacity for procurement and implementation, especially in the absence of  technical staff who could prepare terms of reference and initiate procurements. The tenth mission noted  that  the  key  challenges  presented  by  both  the  MAAIF  and  NARO  related  to  (a)  bureaucracies  in  the  procurement cycle, (b) operational challenges with the STEP system including Internet unreliability, (c)  delayed evaluation processes, and (d) management of contracts. These challenges were addressed by (a)  the preparation of a manual to elaborate procurement arrangements under the MAAIF; (b) the hiring of  a  dedicated  procurement  specialist  for  ATAAS  and  the  ACDP  and  the  monthly  monitoring  of  progress  reports  by  a  procurement  coordinator;  and  (c)  hiring  of  project  coordinator,  SLM  specialists,  M&E  specialists, and so on to support implementation.  C. BANK PERFORMANCE  Quality at Entry  85. The World Bank’s performance in ensuring quality at entry was Moderately Satisfactory. The  project design was informed by data, existing national capacities, and extensive lessons learned from the  two  preceding  IDA‐financed  IPFs,  ARTP‐II  (closed  June  2009,  rated  Satisfactory)  and  NAADS  (closed  December  2009,  rated  Moderately  Satisfactory).  It  also  drew  on  and  directly  operationalized  program  areas identified by the recently concluded DSIP formulation process. Joint missions conducted with other  DPs  enabled  the  preparation  team  to  receive  shared  knowledge  from  ongoing  projects  supported  by  DANIDA,  U.S.  Agency  for  International  Development,  and  IFAD  that  had  promoted  agribusiness  and  agricultural  commercialization.  Procurement,  FM,  and  safeguards  were  adequately  analyzed  and  addressed during project preparation and appraisal.   86. Assessment  of  project  design.  The  project  design  was  based  on  a  clear  operational  logic  connecting its components from technology generation to supporting agribusiness services and building  market links. The emphasis on demand‐driven and participatory approach to technology identification in  research and the adoption of a pluralist approach to extension focused on FID were innovative features  of its design. The project design also reflected complementarities with the simultaneous EAAPP, which  aimed  to  strengthen  regional  cooperation  in  technology  generation,  training,  and  dissemination.  The  project activities were carefully selected to ensure that efforts were not duplicated, and resources would  not be wasted.  87. However, in retrospect, it is evident that some design choices were imperfect. First, the reliance  of agribusiness development activities on CCF matching grants exposed a large share of Component 4 to  non‐disbursement,  a  risk  that  materialized  by  the  MTR,  leading  to  a  scaling  down  of  agribusiness  Page 33 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) development  activities.  Second,  the  decision  to  have  two  parallel  NARO  and  NAADS  Secretariats  implement  the  project  without  a  single  PCU  for  overall  coordination  and  reporting  roles  significantly  weakened the R&E links that the project sought to forge. Third, the M&E arrangements were incompletely  defined and diffused responsibility to an extent that accountability was compromised.   88. Adequacy  of  risk  and  mitigation  measures.  The  original  residual  risk  rating  for  ATAAS  was  Substantial and this was mainly attributed to governance problems associated with NAADS and FM and  procurement  risks.  However,  the  low‐probability  and  high‐impact  risk  of  policy  change  in  the  NAADS  mandate was neither identified as an entity‐level risklxxx nor is it clear that any mitigation measures could  have sufficiently addressed its effects without significantly altering project implementation. On the other  hand, the risk of ineligible expenditures was foreseen but the mitigation measure of the preparation of  an  anticorruption  and  governance  plan  going  beyond  IDA’s  standard  fiduciary  measures  proved  to  be  insufficient in retrospect, reflecting the rating of Substantial for this residual risk at appraisal.   Quality of Supervision  89. The World Bank’s performance during project implementation was Moderately Satisfactory.   90. The World Bank supervised the project adequately, navigating major changes in institutional  capacity and policy environment and addressing production shocks faced by beneficiaries. Throughout  the  project  cycle,  the  World  Bank  team  faced  the  challenges  outlined  in  the  ‘Key  Factors  during  Implementation’  section.  The  World  Bank’s  agility  is  demonstrated  by  the  timely  responses  to  the  extension policy shift and FAW‐related crises to conduct two Level 2 restructurings of the project and  extensions  of  the  closing  date  as  described  previously.  In  addition,  the  World  Bank  team  made  considerable and concerted efforts to pick up speed and ensure the achievement of project objectives  despite  significant  disruption  and  considerable  delays  caused  due  to  (a)  NAADS  staff  overhaul  at  effectiveness and (b) the slow constitution of a new MAAIF IST after restructuring.   91. The  World  Bank  also  used  project  supervision  resources  well,  organizing  10  implementation  support missions with all three supervision task team leaders being based in Kampala. A seasoned team  of local and international staff, as well as consultants, advised the client on M&E, procurement, and FM  issues,  as  they  emerged  during  implementation.  During  each  mission,  meetings  with  leaders  of  implementing agencies were accompanied with field visits to 3–4 districts sampled from different AEZs,  to  form  a  representative  understanding  of  the  nationwide  coverage  of  ATAAS.  This  close  supervision  enabled the World Bank to coordinate responses to shocks such as drought, new plant diseases, and pests,  which threatened to derail the project. Communications and consultations with the client were regular,  open, and transparent with reporting ratings and candid discussions on key issues, including at midterm,  ensuring that the project made some progress even during the episodes of delays. At midterm, actionable  and detailed action plans were elaborated to ensure that the project achieves its objective by the closing  date.   92. A key area that could have benefited from closer support by the task team is M&E. An M&E  specialist as a full‐time member of the World Bank team could have provided timely support to NAARO,  NAADS, and then the MAAIF and enhanced the quality of M&E utilization for measuring progress in the  project. Further, the quality of documentation in the early ISRs, which did not fully document the rationale  for project ratings, could have been improved.  Page 34 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Justification of Overall Rating of Bank Performance  93. The overall World Bank performance rating was  Moderately Satisfactory.  The World Bank team  prepared a project that benefited from lessons learned from predecessor projects. The project was largely  well  designed  with  the  notable  exceptions  discussed  above.  The  team  also  provided  adequate  implementation support and addressed critical issues on time. The team was proactive and prepared well‐ documented  Aide  Memoires  and  ISRs  after  the  MTR,  with  clear  action  plans  to  address  the  identified  implementation gaps. This in turn allowed for the intended results to be achieved.  D. RISK TO DEVELOPMENT OUTCOME  94. Policy sustainability. The inclusion of ATAAS approaches to technology development, extension,  and SLM in agricultural strategies, plans, and budgets will ensure continuity of project interventions. First,  the ASSP (2015/16–2019/20) has now replaced the DSIP (2010–2015) as the MAAIF’s national agriculture  strategy,  but  its  four  main  priorities  take  forward  the  approach  supported  by  ATAAS.lxxxi  Second,  the  recently  developed  National  Agriculture  Policy  also  has  provisions  that  will  help  sustain  the  activities  supported under ATAAS. Third, the GoU has recently increased funding for the new agricultural extension  system established under the project, thus ensuring that resources will remain available for NARO, the  MAAIF, and LG structures  currently cooperating to deliver and  disseminate agricultural TIMPs. Fourth,  SLM interventions have now been mainstreamed into LG development plans and budgets (for example,  Kanungu and Sembabule), ensuring the maintenance and repair of existing community‐level structures  (terraces, trenches, contour bunds, and grass bunds) through monitoring and collective action organized  by  trainers  and  extension  officers.  Further,  LG  plans  and  budgets  have  been  supplemented  by  the  development and implementation of SLM byelaws and ordinances (for example, Kisoro, Kanungu, and  Isingiro) to supervise the engagement between local residents, trainers, and subcounty extension officers.  The risk to development outcome on the policy sustainability dimension is Low.  95. Institutional capacity.  The project had supported in‐house capacity development at NARO and  the MAAIF. The deliberate emphasis of the project on using NARO and the MAAIF’s existing institutional  structures and planning, budgeting, coordination, M&E, and reporting processes resulted in the following  successes: (a) both institutions have now built the requisite physical capacity, human resources, budgets,  and systems to operate a demand‐driven technology development and dissemination system; (b) demand  articulation  and  participatory  priority  setting  has  been  institutionalized  in  both  institutions  and  at  the  provincial and district levels, with close collaborations between FGs, ZARDIs, and LGs; (c) NARO is now  exploring the option of commercializing its technology outputs and could become a financially sustainable  entity supplying the needs of Uganda and neighbouring countries, where its technologies are being scaled  up; and (d) the enabling systems established in ATAAS (FM, M&E, and ICT) are expected to benefit ACDP  implementation and will likely filter down to district and subcounty level institutions affiliated with NARO  and the MAAIF. The risk to development outcome on the dimension of institutional capacity is Low.  96. Pests and disease.  In June 2016, Uganda experienced a FAW outbreak which had caused yield  losses of 15–20 percent as well as devastating economic and social damage in several African countries.  Based on the project’s success in containing the threat from FAW through surveillance, monitoring, mass  communication  and  pest  control  in  all  jurisdictions,lxxxii  the  MAAIF  has  committed  to  (a)  continued  provision  of  support  to  districts  with  pesticides  and  other  items  for  demonstration  purposes  and  (b)  surveillance  for  pests  and  diseases  in  priority  commodities  through  the  ACDP.  Further,  the  GoU  is  in  Page 35 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) contact with the Brazilian government to explore collaboration mechanisms and the establishment of a  biological control facility in the country. The GoU has also expressed its commitment to continue providing  support  to  research  on  development  of  more  sustainable  control  options  for  FAW.  While  a  newly  established early warning system and the above actions are likely to contain outbreaks of several pests  and diseases, new crop and livestock threats are always emerging and require constant vigilance. The risk  to development outcome on the dimension of pests and diseases is rated Moderate.  97. Sustainability of technology adoption. ‘Operation Wealth Creation’ (OWC) is an ongoing public  program that aims to support several strategic agricultural interventions such as mechanization, small‐ scale irrigation, value addition, output marketing, and post‐harvest handling. Most significantly, OWC also  disseminates  farming  inputs  free  of  charge,  which  are  not  complemented  with  advisory  services.  The  continued provision of free, and often, lower‐quality inputs under OWC could crowd out the demand for  NARO’s  improved  seeds  and  planting  materials,  thus  leading  to  dis‐adoption  and  potential  reversal  of  gains in agricultural productivity produced by ATAAS. The risk to development outcome on the dimension  of sustainability of technology adoption is High.  98. Aggregating  across  the  risk  factors  outlined  above,  the  risk  to  development  outcome  is  rated  Moderate.  V. LESSONS AND RECOMMENDATIONS  99. Large‐scale, flagship projects must minimize their exposure to policy risk to operate in dynamic,  short‐term political environments. At appraisal, ATAAS was designed to be the GoU’s flagship project in  the agriculture sector, with a large financial scale and national coverage. However, nearly US$318 million  (48  percent  of  the  total  project  cost)  was  allocated  to  Component  3,  75  percent  of  which  was  to  be  financed by the GoU allocation for NAADS. This design feature left the project highly exposed to a risk of  policy and institutional shifts, especially in a political environment in which the role of NAADS came under  high  public  scrutiny  during  preparation  and  immediately  after  the  project’s  Board  approval.lxxxiii  In  retrospect,  the  project  could  have  reduced  the  concentration  of  big‐ticket  and  politically  visible  activities—technology  promotion,  beneficiary  selection  for  uptake  grants,  and  matching  grants  for  commercialization—under one implementing agency, to reduce the risk of disruptive institutional change.   100. Project  effectiveness  can  be  accelerated  by  bringing  parliamentarians  on  board  during  the  preparation stage, in countries where parliamentary approval is required. In Uganda, similar to several  other countries, parliamentary approval is a condition for effectiveness. In the case of ATAAS, the planned  project effectiveness date was delayed by 12 months owing to a lengthy parliamentary ratification process  that requires approval of subsidiary agreements, an intervening national election campaign period, and  the  subsequent  period  before  the  constitution  of  a  new  parliament.  It  is  conceivable  that  early  communications  outreach  to  key  policy  makers  like  the  Uganda  Parliamentary  Agriculture  Committee  could have accelerated the ratification process. In future projects, communications outreach coupled with  study tours that illustrate proof of concept through similar World Bank projects in other countries could  be considered as a mechanism for accelerating effectiveness, reducing transaction costs, and shortening  project life cycles.   Page 36 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 101. Government commitment and leadership at both the national and local levels is critical for the  success  of  large  projects.  After  restructuring,  NARO,  MAAIF,  and  district  LGs  have  displayed  strong  leadership and coordination on the following dimensions of project management. First, all three entities  signed  a  tripartite  MoU  to  develop  a  common  framework  to  guide  development  and  operation  of  partnerships  with  relevant  stakeholders  such  as  ZARDIs  and  DARSTs  for  adaptive  research,  demonstrations, and technology scale‐up. Second, the DAES under the MAAIF has taken major steps to  building the Single Spine extension system by conducting capacity strengthening of 5,385 LG agricultural  extension staff from all Ugandan districts through 11 training courses on subjects such as livestock disease  control,  agronomy  and  fertilizer  optimization,  value  chain  development,  SLM,  and  extension.lxxxiv  This  rapid skills upgrade enabled newly hired extension staff to buy in to ATAAS interventions and deliver high‐ quality  advisory  services  tailored  to  community‐level  demands.  Third,  SLM  was  mainstreamed  rapidly  through joint NARO/MAAIF/LG interventions, as described in paragraphs 44 and 103.    102. The establishment of a single PCU can enhance coordination and administrative efficiency of  complex  projects  with  a  multiplicity  of  implementation  actors.  At  appraisal,  NARO  and  NAADS  were  jointly responsible for Component 2 and R&E interfaces and partnership arrangements were planned at  the national, zonal, and district levels. However, an explicit coordination unit was not created within the  MAAIF, to which both Secretariats would have reported independently. This oversight resulted in the slow  mobilization of Component 2 activities such as joint strategic planning, M&E, and SLM until restructuring,  when corrective action was taken and a PCU was established within the MAAIF. After this change, R&E  partnerships  between  ZARDIs,  DARSTs,  and  LG  extension  staff  have  accelerated  service  delivery,  as  evidenced by the rapid mobilization of SLM interventions. However, the M&E system was not able to fully  recover  from  early  setbacks  such  as  the  delayed  preparation  of  an  M&E  manual,  absence  of  a  comprehensive  baseline  survey,  and  loss  of  data  tracking  FGs  during  the  transfer  from  NAADS  to  the  MAAIF, leading to suboptimal utilization of the system for real‐time monitoring and ex post evaluation.  103. The mainstreaming of SLM at the local‐government level is a blueprint for success for future  projects focused on landscape management. The project has built capacities for SLM planning, expansion,  and maintenance at the lowest levels. After restructuring, ATAAS supported: a) the development and use  of  guidelines  for  integrating  SLM  into  the  joint  NARO/MAAIF/LG  technology  demonstrations,  b)  the  establishment of an SLM Technical Committee, and c) the recruitment of SLM specialists to strengthen  on‐the‐ground implementation capacity. By project closing, zonal SLM officers were integrated into the  zonal  R&E  liaison  offices.  Enterprise  SLM  platforms  built  around  large‐scale  interventions  were  consolidated  at  the  sub‐zonal  level  in  all  the  nine  ZARDIs  and  are  expected  to  sustain  these  activities  through community‐organized maintenance and repair in future agricultural seasons. In particular, LGs  have  taken  full  ownership  of  SLM  interventions,  ensuring  rapid  scale‐up  by  mobilizing  local  leaders,  identifying  local  trainers,  conducting  training  of  trainers,  and  supervising  on‐the‐ground  progress.  Coupled with inclusion in district budgets and development plans, LGs have ensured that the project’s  success on the SLM dimension is on strong footing for the future as well.    .    Page 37 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS               A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: The Project Development Objective (PDO) is to increase agricultural productivity and incomes of participating households by  improving the performance of agricultural research and advisory service syst  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Increase in average agricultural  Percentage  0.00  15.00  15.00  111.00  yields of participating  households    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2010  25‐Jun‐2018    Milk production  Percentage  3.00  20.00  20.00  120.00    31‐Dec‐2013      25‐Jun‐2018    Percentage increase in milk  Percentage  3.00  20.00  20.00  120.00  yield in litres    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018       Crops  Percentage  0.00  15.00  15.00  108.70    31‐Dec‐2013      25‐Jun‐2018    Maize  Percentage  1.30  15.00  15.00  80.50  Page 38 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)     31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018     Rice  Percentage  1.00  15.00  15.00  180.40    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018     Cassava  Percentage  1.70  15.00  15.00  126.30    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018     Beans  Percentage  0.50  15.00  15.00  47.60    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018      Comments (achievements against targets): 1) The targets for yield increases were 15% for all 4 crops and 20% for milk. Since there was no target  for "agricultural yields" in general and the completion value for this indicator cannot be left blank, a simple average of all 5 commodities is  computed and reported. 2) Since there was no general indicator for "Crop" and the completion value for this indicator cannot be left blank, a  simple average of all 4 crops is computed and reported. 3) To maintain consistency with ISR RFs, the units of measure for "Baseline" is MT/Ha  (crops) and Lt/day/animal (milk) for the commodities below. The percentage increases in "Actual Achieved at Completion" are calculated  using baseline and endline yield values reported in the main text of the ICR. 4) The dates for "Original Target" and "Actual Achieved at  Completion" reflect the dates for expected (at Board Approval) and actual Project closing. Since the targets for this indicator were not  revised, the dates for "Baseline" and "Formally Revised Target" are kept the same. The date for "Baseline" is recorded as 31 December 2013  for indicator values that were updated using the baseline survey.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Increase in agricultural income  Percentage  0.00  20.00  20.00  215.50  of participating households    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018    Male  Percentage  975730.00  20.00  20.00  204.80  Page 39 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)     31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018       Female  Percentage  698200.00  15.00  15.00  225.50    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018      Comments (achievements against targets): 1) The general indicator for "increase in agricultural income of participating households" was gender‐ disaggregated at restructuring and was no longer tracked. Since the completion value cannot be left blank, a beneficiary‐weighted average of  male and female increases is computed and reported here. 2) To remain consistent with ISRs, the "Baseline" value is reported in UGX. The  percentage values for gender‐disaggregated increase in agricultural income of participating households reported in "Actual Achieved at  Completion" are computed after adjusting nominal incomes at baseline and closing for inflation. 3) The dates for "Original Target" and "Actual  Achieved at Completion" reflect the dates for expected (at Board Approval) and actual Project closing. Since the targets for this indicator were  not revised, the dates for "Baseline" and "Formally Revised Target" are kept the same. The date for "Baseline" is recorded as 31 December  2013 for indicator values that were updated using the baseline survey.        Objective/Outcome: The Global Environmental Objective (GEO) is to enhance the environmental sustainability and resilience of agricultural production to  land degradation and climate risks.  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Additional land area with  Hectare(Ha)  0.00  11000.00  6000.00  20930.00  improved land and water  management practices    31‐Dec‐2010  30‐Jun‐2015  02‐Mar‐2015  25‐Jun‐2018    Comments (achievements against targets): 1) The unit of measure for first "additional land area" indicator in the RF is Hectare, is reported  above. The second indicator is in Kilometers, and is reported below in this table. 2) The date for "Baseline" is recorded as 31 December 2010  to correspond to the date for Board Approval of the PAD because this value was not updated during the baseline survey. The dates for  "Original Target" and "Actual Achieved at Completion" reflect the dates for expected (at Board Approval) and actual Project closing. The date  Page 40 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   for "Formally Revised Target" reflects the date for the first Level 2 Restructuring, when the target was reduced.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Additional land area with  Hectare(Ha)  0.00  11000.00  6000.00  20930.00  improved land and water  management practices (Ha)    31‐Dec‐2013  30‐Jun‐2015  02‐Mar‐2015  25‐Jun‐2018    Comments (achievements against targets): This indicator is reported twice and is redundant.         Unlinked Indicators  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Direct project beneficiaries  Number  1357900.00  1710000.00  1578000.00  1684959.00    31‐Dec‐2013  30‐Jun‐2015  02‐Mar‐2015  25‐Jun‐2018    Female beneficiaries  Percentage  47.00  49.00  49.00  51.50    31‐Dec‐2013  30‐Jun‐2015  02‐Mar‐2015  25‐Jun‐2018      Comments (achievements against targets): 1) The target was surpassed (106.8% achieved). 2) The dates for "Original Target" and "Actual  Achieved at Completion" reflect the dates for expected (at Board Approval) and actual Project closing. The date for "Formally Revised Target"  reflects the date for the first Level 2 Restructuring.        Page 41 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) A.2 Intermediate Results Indicators        Component: 1. Developing Agricultural Technologies and strengthening the National Agricultural Research System  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Increase in the number of  Number  600.00  720.00  800.00  888.00  technological innovations  generated for dissemination    26‐May‐2010  30‐Jun‐2015  02‐Mar‐2015  25‐Jun‐2018  (cumulative)    Comments (achievements against targets): The value for baseline value is taken from the PAD and the original target is computed using the 20%  increase that was targeted at appraisal.       Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of collaborative  Number  41.00  58.00  60.00  90.00  Research Projects  implemented (annual)    26‐May‐2010  30‐Jun‐2015  02‐Mar‐2015  25‐Jun‐2018    Comments (achievements against targets): This indicator is disaggregated as public (72) and private (18), when reported at closing.        Component: 2. Enhancing partnerships between agricultural research and other value chain stakeholders  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Technologies demonstrated in  Number  44.00  83.00  95.00  164.00  Page 42 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   the project areas (number)    31‐Dec‐2013  30‐Jun‐2015  02‐Mar‐2015  25‐Jun‐2018    Comments (achievements against targets): 1) The date for "Baseline" reflects the date for the baseline survey. The date for "Original Target"  also reflects the expected Project closing date at Board Approval.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Percentage of targeted  Percentage  0.00  0.00  0.00  0.00  beneficiaries using improved  agricultural technologies    25‐May‐2010  30‐Jun‐2015  25‐May‐2010  25‐Jun‐2018    Comments (achievements against targets): This indicator is disaggregated by type of improved technology (crop, livestock, SLM, fisheries) in the  RF and a general value was not tracked through the project duration. The disaggregated indicator values are reported in the ICR.        Component: 3. Strengthening Agricultural Support Services  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Proportion of men and women  Percentage  70.00  75.00  75.00  95.60  perceiving that there voice has  been taken into account in    26‐May‐2010  30‐Jun‐2015  26‐May‐2010  25‐Jun‐2018  decision making of the farmer  group    Comments (achievements against targets): This indicator is gender‐disaggregated in the RF. For women, the corresponding values are 15, 65, 65,  and 94.3.      Page 43 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of primary farmer  Number  100.00  0.00  225.00  42.00  organizations registered as  higher level farmer    31‐Dec‐2013  30‐Jun‐2015  31‐Dec‐2013  25‐Jun‐2018  organizations    Comments (achievements against targets): 1) The date for "Baseline" reflects the date for the baseline survey. The date for "Original Target"  also reflects the expected Project closing date at Board Approval.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  New Extension Strategy  Yes/No  N  Y  Y  Y  designed and approved    02‐Mar‐2015  29‐Dec‐2017  02‐Mar‐2015  25‐Jun‐2018    Comments (achievements against targets): 1) The date for "Baseline" reflects the date for the first Level 2 Restructuring, since this indicator was  introduced at that point. The date for "Original Target" also reflects the expected Project closing date at the first Level 2 Restructuring.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Targeted ICT initiatives scoped,  Number  0.00  5.00  5.00  1.00  piloted and ready for scale    02‐Mar‐2015  29‐Dec‐2017  02‐Mar‐2018  25‐Jun‐2018    Comments (achievements against targets): 1) 5 ICT initiatives are scoped but only 1 of them is also piloted and ready for scale (20% of target  Page 44 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   achieved). 2) The date for "Baseline" reflects the date for the first Level 2 Restructuring, since this indicator was introduced at that point. The  date for "Original Target" also reflects the expected Project closing date at the first Level 2 Restructuring.      Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Number of farmers reached  Number  0.00  440000.00  440000.00  4276.00  through ICT innovations  piloted.    02‐Mar‐2015  29‐Dec‐2017  02‐Mar‐2015  25‐Jun‐2018    Comments (achievements against targets): 1) 9.7 percent of target was achieved. 2) The date for "Baseline" reflects the date for the first Level 2  Restructuring, since this indicator was introduced at that point. The date for "Original Target" also reflects the expected Project closing date  at the first Level 2 Restructuring.        Component: Programme management and M&E  Unit of  Formally Revised   Actual Achieved at  Indicator Name  Baseline  Original Target  Measure  Target  Completion  Percentage of results  Percentage  85.00  100.00  100.00  93.80  monitoring indicators reported  on time as outlined in the M&E    02‐Mar‐2015  29‐Dec‐2017  02‐Mar‐2015  25‐Jun‐2018  plan    Comments (achievements against targets): 1) This is an annual target and not a cumulative one. The number of years of achievement of this  target was not tracked. 2) The date for "Baseline" reflects the date for the first Level 2 Restructuring, since this indicator was introduced at  that point. The date for "Original Target" also reflects the expected Project closing date at the first Level 2 Restructuring.      Indicator Name  Unit of  Baseline  Original Target  Formally Revised   Actual Achieved at  Page 45 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   Measure  Target  Completion  Annual audit recommendations  Percentage  100.00  100.00  100.00  85.00  implemented as a proportion  of all actions recommended    02‐Mar‐2015  29‐Dec‐2017  02‐Mar‐2015  25‐Jun‐2018    Comments (achievements against targets): 1) This is an annual target and not a cumulative one. The number of years of achievement of this  target was not tracked. 2) The date for "Baseline" reflects the date for the baseline survey. The date for "Original Target" also reflects the  expected Project closing date at the first Level 2 Restructuring.                     Page 46 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) B. KEY OUTPUTS BY COMPONENT    Objective/Outcome 1  1. Percentage increase in average agricultural yields of participating   Outcome Indicators  households (maize, beans, rice, cassava, milk)  1. Number of technological innovations generated for dissemination  (cumulative)  2. Number of collaborative research projects implemented  (cumulative)  Intermediate Results Indicators  3. Number of adaptive trials and demonstrations implemented by  ZARDIs and LGs annually   4. Number of technologies demonstrated in project areas  5. Percentage of target beneficiaries using improved technologies   1. The stock of agricultural technologies generated by the NARO  system grew from 600 to 888. 81 new technologies were developed  for the 5 tracked commodities   2. 72 public and 18 private collaborative research projects  implemented  Key Outputs by Component  3. 216 on‐station adaptive trials, 11,771 on‐farm demonstrations  (linked to the achievement of the Objective/Outcome 1)  (crop, livestock, fisheries), and 186 SLM community‐level  interventions were conducted nationwide  4. 164 technologies demonstrated in project areas (maize – 41, beans  – 34, cassava – 34, rice – 27, dairy – 28)    5. 78% of beneficiaries (crop – 95.3%, livestock – 63.3%, SLM –  31.7%) reported the use of improved technologies   Objective/Outcome 2  1. Percentage increase in agricultural income of participating   Outcome Indicators  households (men, women)  Page 47 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   1. Percentage of target beneficiaries using improved technologies (by  seeds, management technique, and SLM)   2. Proportion of men and women perceiving that there voice has  been taken into account in decision making of the farmer group   Intermediate Results Indicators  3. Number of primary farmer organizations registered as higher level  farmer organizations through assistance4. Number of targeted ICT  initiatives scoped, piloted and ready for scale  5. Number of farmers reached through ICT innovations piloted  1. 78% of beneficiaries (crop – 95.3%, livestock – 63.3%, SLM –  31.7%) reported the use of improved technologies  2. 95.7 percent of men and 94.3 percent of women perceived that  Key Outputs by Component  their voice was taken into account in decision making of the farmer  (linked to the achievement of the Objective/Outcome 2)  group  3. 42 farmer organizations were registered as HLFOs   4. 5 ICT initiatives were scoped; 1 was piloted and ready for scale.   5. 4,276 farmers reached through piloted ICT innovations  Objective/Outcome 3  Outcome Indicators  1. Direct project beneficiaries (number), of which female (%).    1. Number of farmers reached through ICT innovations piloted   Intermediate Results Indicators  2. Proportion of men and women perceiving that there voice has  been taken into account in decision making of the farmer group  1. 1.36 million farmers belonged to more than 54,000 FGs at MTR,  with 40,024 FGs being registered and trained in farmer institutional  Key Outputs by Component  development. 327,059 new direct beneficiaries were reached by  (linked to the achievement of the Objective/Outcome 3)  closing.  2. 4,276 farmers reached through piloted ICT innovations  Page 48 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) 3. 95.7 percent of men and 94.3 percent of women perceived that  their voice was taken into account in decision making of the farmer  group  Objective/Outcome 4  Outcome Indicators  1. Additional land area with improved land and water management    practices  1. Number of adaptive trials and demonstrations implemented by  Intermediate Results Indicators  ZARDIs and LGs annually   2. Percentage of target beneficiaries using improved technologies   1. 186 SLM community‐level SLM interventions were conducted  nationwide (40 districts, 77 sub‐counties, and 32 landscapes)  2. 31.7% of SLM beneficiaries reported the use of improved  Key Outputs by Component  technologies, innovations and management practices  (linked to the achievement of the Objective/Outcome 3)  3. 240 extension workers and 517 community‐based facilitators (53  percent women) across all nine ZARDIs were trained to organize local  groups and reinforce the sustainability of investments.      Page 49 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION    A. TASK TEAM MEMBERS    Name  Role  Preparation  Madhur Gautam                                                                   Task Team Leader  Sergiy Zorya Task                                                                  Co‐Task Team Leader  Christine Cornelius                                                               Program Coordinator  Nightingale Rukuba‐Ngaiza                                                Sr. Counsel  Luis Schwarz                                                                          Sr. Finance Officer  Wilson Onyang Odwongo                                                   Sr. Rural Dev. Specialist  Stephen Danyo                                                                     NRM Specialist  Sandra Sargent                                                                     ICT Operations Officer  Hermann Pfeiffer                                                                 Sr. Agricultural Officer  Lisa Paglieti                                                                           Economist  Anis Wan                                                                               Operations Officer  Moses Kibirige                                                                      Sr. PSD Specialist  Vildan Verbeek‐Demiraydin                                               Sr. Economist  Varun Kshirsagar                                                                  Economist  Martin Fodor                                                                        Sr. Environment Specialist  Mary Bitekerezo                                                                  Sr. Social Development Specialist  Howard Bariira Centenary                                                 Procurement Specialist  Michael Okuny                                                                     FM Specialist  Barbara Magezi Ndamira                                                   Public Sector Specialist  Harriet Kiwanuka                                                                Team Assistant  Hawanty Page                                                                      Sr. Program Assistant  Supervision/ICR  Rasit Pertev                                                                          Task Team Leader(s)  Joseph Oryokot  Task Team Leader(s)  Page 50 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Annet Tamale Katuramu, Rahmoune Essalhi,  Procurement Specialist(s)  Donald Paul Mneney  Edwin Nyamasege Moguche  FM Specialist  Marie Lolo Sow  Team Member  Kevin John Crockford  Team Member  Janet Christine Atiang  Team Member  Jeehye Kim  Team Member  Ashesh Prasann  Lead Author, ICR  James Muli Musinga  Team Member, ICR  Catherine Asekenye Barasa  Social Specialist  Herbert Oule  Environmental Specialist       B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY08  4.850  85,829.39  FY09  31.570  209,360.25  FY10  81.948  486,438.25  Total  118.37  781,627.89    Supervision/ICR  FY11  41.692  164,020.86  FY12  20.497  83,866.74  FY13  37.196  104,301.52  FY14  21.560  55,816.99  FY15  38.976  214,103.48  FY16  28.959  104,369.28  FY17  10.209  64,525.76  FY18  21.384  92,190.63  FY19  26.323  107,731.09  Page 51 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Total  246.80  990,926.35               Page 52 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) ANNEX 3. PROJECT COST BY COMPONENT     Actual at Project  Amount at Approval  Percentage of Approval  Components  Closing   (US$, millions)  (US$, millions)  (US$, millions)  Component 1: Developing Agricultural  137.8  115.5  83.9  Technologies and Strengthening the  National Agricultural Research System  Component 2: Enhancing  72.4  67.1  92.7  Partnerships between Agricultural  Research and Other Stakeholders  Component 3: Strengthening the  317.8  151.5  47.6  National Agricultural Advisory  Services  Component 4: Supporting  63.0  6.7  10.6  Agribusiness Services and Market  Linkages  Component 5: Program Management  74.5  53.6  71.9  Component 6: (NEW) Strengthening  0.0  26.9    Agricultural Support Services  Total   665.5  421.4   63.3          Page 53 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) ANNEX 4. EFFICIENCY ANALYSIS  Economic and Financial Analysis at Project Appraisal  1. The EFA undertaken at ATAAS project appraisal is based on cost‐benefit analysis (CBA), using 12  percent as the economic opportunity cost of capital in Uganda. The benefits considered in the calculations  stem from increased yields because of (a) more productive and resilient technologies developed by NARO  and disseminated by advisory and extension services, (b) a shift toward a more profitable commodity mix  as a result of strengthened market links, and (c) a higher share of farm‐gate prices into wholesale prices,  arising from strengthened integration of smallholders in the value chains. The economic internal rate of  return (EIRR) at appraisal was estimated at 33 percent while the NPV using a 12 percent discount rate  amounted to US$1.26 billion.  2. The analysis focused on several commodities promoted in Uganda under NAADS: sorghum, maize,  cassava, Irish and sweet potatoes, millet, simsim, groundnut, beans, bananas, coffee, and cotton. These  crops were grown on around 80 percent of Uganda’s total cultivated area. It was expected that yields will  increase  between  4  percent  (coffee)  and  50  percent  (groundnut),  while  the  income  of  participating  households will increase by 20 percent by the end of the project.  3. The analysis did not account for the benefits resulting from SLM activities which translate to a  reduction in GHG emissions. All project costs were considered in the analysis.   EFA at Project Closing  4. To  reestimate  the  project  profitability  at  its  completion,  the  EFA  at  appraisal  was  revisited  by  adjusting the key parameters including yield increases, adoption rate, and project annual cost streams  and considering benefits arising from SLM activities.  Methodology and Basic Assumptions  5. As at project appraisal, the methodology used is the CBA which is based on valuation in monetary  terms of project costs and benefits. It is predicated on the comparison of the with‐project situation to the  without‐project situation (counterfactual), the result arising from the project being the incremental net  benefits. The analysis has been carried out for a 20‐year period at 2018 prices in 2010 constant terms. The  exchange  rate  used  for  converting  local  currency  (Ugandan  shilling)  to  U.S.  dollar  is  the  official  real  effective exchange rate during the first quarter of 2018 in 2010 constant terms.1 As at project appraisal, a  12.0 percent discount rate has been used to reflect the social opportunity cost of capital in Uganda.  6. The economic benefits considered in the calculation of economic profitability indicators are those  that are readily quantifiable. They derive mainly from increases in the yields of tracked commodities. The  financial cost and benefit flows have been converted into economic values with specific conversion factors  calculated using import and  export  parity  prices. Based on the  World Bank  commodity  price data and  1 Source: The Central Bank of Uganda, https://www.bou.or.ug/bou/collateral/exchange_rates.html.   Page 54 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) forecasts,2  the  conversion  factor  stands  at  1.17  for  maize,  0.80  for  sorghum,  0.49  for  rice,  0.67  for  groundnuts, 2.10 for coffee, 1.61 for banana, and 3.64 for cotton.   7. The analysis  examines the combined impact of  R&E on yields3 which are  expected  to increase  because of TFP growth and intensive use of inputs. Project benefits would originate from the following  sources: (a) increased crop yields, (b) shift toward a more profitable commodity mix, (c) higher share of  farm‐gate  prices  in  wholesale  prices,  and  (d)  project  carbon  balance.  The  range  of  commodities  considered in the analysis has been expanded with the inclusion of rice.   8. The  project  environmental  impact  has  been  estimated  using  EX‐ACT  and  accounted  for  in  the  calculation  of  the  project  economic  return.  EX‐ACT  was  developed  by  the  FAO  for  estimating  project  impact on  GHG emission  and carbon sequestration. It allows to  assess a project’s net  carbon‐balance,  defined  as  the  net  balance  of  CO2  equivalent  GHG  emitted  or  sequestered  because  of  project  implementation  compared  to  the  without‐project  scenario.  It  estimates  the  carbon  stock  changes  (emissions or sinks), expressed in equivalent tons of CO2 per hectare and year. Over the analysis period of  20 years, ATAAS constitutes a carbon sink of 1,964,831 tCO2eq, equivalent to 1.2 tCO2eq sequestered per  hectare per year.  9. The model developed is based on the initial Excel model built at project appraisal, which had been  refined at the project MTR. It is worth noting that some formula errors identified at project MTR in the  initial Excel file have been corrected, leading the EIRR at appraisal to drop from 36 percent to 33 percent.   10. Farm budgets (by hectare) have been prepared for farms using existing traditional technologies  and  beneficiary  farms  using  improved  new  technologies  released  by  NARO.  The  gross  revenue  is  calculated based on yields per hectare and farm‐gate sale prices. Then, the gross margin is calculated by  deducting from the gross revenue the costs of inputs and labor. As at appraisal, it has been assumed that  labor  costs  account  for  80  percent  of  total  variable  costs.  The  assumptions  regarding  input  intensity  (amounts spent on input  purchase per hectare) remain also unchanged. The farm‐gate sale prices are  assumed to be 80 percent of the whole sales prices. Table 4.1 shows the financial wholesale prices in 2010  and 2018.  2 The Pink Sheet released on June 4, 2018, and the commodities price forecast released on April 24, 2018.  3 Their impacts are hardly dissociable.  Page 55 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Table 4.1. Wholesale Financial Prices (UGX per kg)  Crops Wholesale price in 2010 Wholesale price in 2018  Sorghum 736 1050 Maize 750 700 Cassava 400 1000 Irish Potato 630 1200 Sweet Potato 550 900 Millet 929 1800 Sim Sim  2450 4400 Ground Nut 2100 4350 Beans 1300 2100 Banana 450 1150 Coffee 2000 3500 Cotton 450 1150 Rice 1719 2900 CPI (price index) 100.00 165.00   11. Under Component 1, NARO has developed 288 new technologies and innovations for crop and  livestock production, fisheries, forestry, and farm mechanization. For tracked crop commodities, NARO  has  released  81  new  high‐yielding  crop  varieties  resistant  to  pests,  diseases,  and  drought.  The  Impact  Evaluation  (2018)  report  shows  that  yields  achieved  at  project  completion  for  the  four  tracked  crop  commodities are as follows: 2.3 t per ha for maize, 4.1 t per ha for cassava, 0.7 t per ha for beans, and 4.1  t per ha for rice. Despite the extremely long drought experienced in Uganda, these yields are higher than  those assumed in the EFA at appraisal for high‐performing farms: 1.8 t per ha for maize, 3.0 t per ha for  cassava, 0.7 t per ha for beans, and 2.8 t per ha for rice (included at project restructuring). This implies  that the yield growth considered in the EFA at appraisal was underestimated.   12. Based on the actual yields achieved, assumptions made at appraisal regarding the efficiency (TFP)  differential and the input intensity factor have been adjusted at project completion. The Impact Evaluation  (2018) endline data on non‐beneficiary yields was used to update the parameters for ‘low‐performing  farms’, that is, farms which did not adopt new TIMPs, and beneficiary yields computed in the weighted  endline  were  used  for  ‘high‐performing  farms’  (that  is,  farms  which  adopted  new  TIMPs).  Using  the  conservative UBoS survey estimate from 2013, an adoption rate of 49 percent has been factored in the  calculations.   13. The updated EFA at project closing was prepared valuing costs and benefits as at May 2018, at  2010 constant prices. All the project components have been accounted for in the computation of the total  economic  cost.  The  project  costs  were  valued  and  factored  in  the  calculation  according  to  the  actual  disbursements over the project implementation period. The actual project cost streams are much lower  than estimated at project appraisal, mainly due to the change in the Government's extension policy. The  number of beneficiary households is also smaller than the figures retained at appraisal (figure 4.1).   Page 56 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Figure 4.1. Comparison of Total Costs and Adopting Beneficiary Households    Results and Sensitivity Analysis  14. Accounting for all expected benefits listed above, the project would yield an EIRR of 37.5 percent  and an NPV of US$700 million at a 12 percent economic discount rate. The project is therefore profitable  from an economic standpoint. This result is better than the one estimated at project appraisal, mainly  because of considering higher than anticipated yields and additional environmental benefits.   Table 4.2. NPV and EIRR   Million USD PAD Completed Aggregate Aggregate Aggregate Aggregate Aggregate Aggregate Crop Net Crop Net Crop Net Crop Net Crop Net Env Net Benefit Benefit Benefit Benefit Benefit Benefit (without (with (with Investment Discounted (without (with (with Investment Discounted Net Year project) project) project) Costs Net benefit Net benefit project) project) project) Costs Net benefit benefit 2010 -2,037 2,037 0 -127 -127 -127 -2,356 2,356 0 0 0 0 2011 -2,147 2,188 0 -127 -86 -76 -2,393 2,394 0 -73 -71 -64 2012 -2,152 2,234 0 -127 -44 -35 -2,441 2,441 0 -84 -83 -66 2013 -2,157 2,281 0 -127 -3 -2 -2,500 2,499 0 -119 -120 -85 2014 -2,163 2,329 0 -127 39 25 -2,662 2,749 0 -25 62 40 2015 -2,168 2,377 0 -127 81 46 -2,869 3,081 0 -45 167 95 2016 -2,174 2,425 0 -96 154 78 -2,953 3,157 0 -52 151 77 2017 -2,180 2,473 0 -96 197 89 -3,053 3,247 0 -42 152 69 2018 -2,186 2,522 0 -96 240 97 -3,171 3,356 0 -42 144 58 2019 -2,192 2,571 0 -96 283 102 -3,202 3,404 0 -42 159 58 2020 -2,199 2,621 0 -96 326 105 -3,234 3,452 0 -42 176 57 2021 -2,205 2,671 0 -96 369 106 -3,267 3,500 0 -42 192 55 2022 -2,212 2,722 0 -96 413 106 -3,299 3,550 0 -42 209 54 2023 -2,219 2,773 0 -96 457 105 -3,332 3,600 0 -42 226 52 2024 -2,226 2,824 0 -96 501 103 -3,366 3,651 0 -42 243 50 2025 -2,234 2,876 0 -96 546 100 -3,399 3,702 0 -42 261 48 2026 -2,241 2,928 0 -96 591 96 -3,433 3,754 0 -42 279 45 2027 -2,249 2,981 0 -96 636 93 -3,468 3,807 0 -42 297 43 2028 -2,257 3,034 0 -96 681 89 -3,502 3,860 0 -42 316 41 2029 -2,265 3,090 0 -96 729 85 -3,537 3,914 0 -42 335 39 2030 -2,274 3,149 0 -96 778 81 -3,573 3,969 0 -42 354 37 NPV @ 12% 1,264 NPV @ 12% 700 Total ERR 33.9% Total ERR 37.5% Million beneficiaries 3.15 Million beneficiaries 2.26 NPV/beneficiary, USD 402 NPV/beneficiary, USD 309   15. The  results  were  tested  for  robustness  to  a  set  of  unobservable  exogenous  shocks:  an  elite  capture of advisory and NARO services, a change in output prices, and a change in transport costs arising  from lower fuel prices and better rural roads. All things being equal, an extreme elite capture (0.5 percent  households reached each year) would reduce the NPV to US$16 million and an EIRR of 13 percent. An  unexpected 50 percent decrease in agricultural prices would yield an NPV of US$359 million and EIRR of  32 percent. A 20 percent increase in transport costs would yield an NPV equivalent to US$511 million and  an EIRR of 32 percent. All these results are computed under the assumption of impact delays of 5 years  identified at the project MTR.   Page 57 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Table 4.3. Sensitivity Analysis Results  Completed Sensitivity Model Experiment % NPV Deviation NPV from the (million Baseline USD 2010) Extreme Elite Capture 0.5 % Households Reached each year + no spillovers -98% 16 Failure of the program to Induce TFP spillovers across No TFP Spillovers to members not receiving inputs -86% 100 Negative (Avg.) Weather Shock 50% Exogenous Yield Decrease -67% 231 Large (Unexpected) Decrease in Agricultural Prices 50 % Decrease in Real Prices (from the Baseline) -49% 359 Increase in Fuel Prices 20 % Increase in Transport Costs -27% 511 Small (Unexpected) Decrease in Agricultural Prices 25% Decrease in Real Prices (from the Baseline) -24% 529 Mild Elite Capture 1 % Households Reached each year -14% 603 Baseline Default Parameters 0% 700 Small (Unexpected) Increase in Agricultural Prices 25% Increase in Real Prices (from the Baseline) 24% 870 Decrease in Fuel Prices or Road Improvements 20 % decrease in Transport Costs 27% 889 Large (Unexpected) Increase in Agricultural Prices 50% Increase in Real Prices (from the Baseline) 49% 1,040 Positive (Avg.) Weather Shock 50% Exogenous Yield Increase 69% 1,181 Extreme(Unexpected) Increase in Agricultural Prices 100% Increase in Real Prices (from the Baseline) 97% 1,381     Figure 4.2. Sensitivity Analysis        Page 58 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) ANNEX 5. BORROWER, CO‐FINANCIER, AND OTHER PARTNER/STAKEHOLDER COMMENTS                      Page 59 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) ANNEX 6. SUPPORTING DOCUMENTS (IF ANY)  Project Documents   Project Appraisal Document on a Proposed Credit in the Amount of SDR 79.5 Million (US$120.0  million equivalent) and a Proposed Grant from the Global Environment Facility Trust Fund In the  amount of US$7.2 million to the Republic of Uganda for an Agricultural Technology and  Agribusiness Advisory Services Project, May 26, 2010   Financing Agreement, May 2010   Restructuring Datasheet, Report No. RES20476   Restructuring Paper on a Proposed Project Restructuring of Agricultural Technology and  Agribusiness Advisory Services Project, Credit No. 47690 ‐ UG, approved on March 2015 to the  Republic of Uganda, Report No.: RES16578   Restructuring Paper on a Proposed Project Restructuring of Agricultural Technology and  Agribusiness Advisory Services Project, to the Republic of Uganda, Report No.: RES29231  Aide Memoires   Implementation Support Mission, January 2012   Implementation Support Mission, August 2012   Implementation Support Mission, January 2013    Implementation Support Mission, August 2013   Implementation Support Mission, December 2014, Midterm review   Implementation Support Mission, August 2015   Implementation Support Mission, March 2016   Implementation Support Mission, November 2016   Implementation Support Mission, November 2017   Implementation Support Mission, June 2018  ISRs    November 2010   June 2011   February 2012   October 2012   June 2013   February 2014   November 2014   January 2015   August 2015   October 2015   May 2016   December 2016   June 2017  Page 60 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)  December 2017   June 2018  Documents from Borrower/Implementing Agency   Final Report on Impact Evaluation of Agricultural Technology & Agribusiness Advisory Services  Project, August 2018   The Republic of Uganda Agricultural Technology and Agribusiness Advisory Services (ATAAS)  Project Implementation Completion and Results Report, July 20, 2018   Competitive Grant Scheme Support to Collaborative Research and Development Projects, 2014‐ 2018, Completion Report, July 2018    Final Report on Process Evaluation of the Agricultural Technology & Agribusiness Advisory Services  Project, October 2017    National Agricultural Research Organization, Technology Compendium, October 2017   Other Documents   National Agricultural Advisory Services (NAADS) Final Report for Programme Implementation  Progress Survey, 2014   National Agricultural Advisory Services (NAADS) Agricultural Technology and Agribusiness Advisory  Services (ATAAS): Baseline Survey Report, 2015   UNPS Wave 3 Report   UNPS Wave 4 Report   UNPS Wave 5 Report      Page 61 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) ANNEX 7. SUPPORTING TABLES AND FIGURES    Table 4. Original and Revised Indicators  Indicators  Action per Restructuring  PDO INDICATORS  Percentage increase in average agricultural  Revised. Tracked commodities added cassava and dropped  yields of participating households  poultry.  Crops: Maize, beans, and rice  Definition of ‘participating households’ changed from  Livestock: Milk and poultry  ‘members of NAADS FGs’ to ‘members of FGs receiving support  from contracted project group promoters or district extension  workers under MAAIF’.   Percentage increase in agricultural income of  Revised. Indicator modified to disaggregate by gender.  participating households  Men: End target set to UGX 1,170,876.  Note: Baseline value of UGX 4,120,000 does  Women: End target set to UGX 802,930.  not correspond to its source (UNHS 2005/06)  Additional hectares and kilometers of land  Revised. End target decreased from 11,000 ha to 6,000 ha.   area with improved land and water  Indicator for kilometers dropped.  management practices (hectares)  Direct project beneficiaries (number), of  Upgraded. From IRI to PDO indicator  which female (%)  Revised. End target decreased from 1.71 million to 1.58 million  INTERMEDIATE RESULTS INDICATORS  Component 1: Developing Agricultural Technologies and Strengthening the NARS  1. Number of technological innovations  Revised. Indicator modified from percentage to number and  generated for dissemination (cumulative)  end target increased from 720 to 800.  2. Number of collaborative research projects  Revised. Public/private disaggregation added and end target  implemented (cumulative)   increased from 58 to 60.  Component 2: Enhancing Partnerships between Agricultural Research, and Other Stakeholders  3. Number of adaptive trials and  New indicator added  demonstrations implemented by ZARDIs and  LGs annually (by seeds, management  technique, and SLM)  4. Number of technologies demonstrated, by  Moved from old Component 3: Strengthening the NAADS  enterprise  Revised; definition of ‘enterprise’ changed to tracked  commodities  5. Percentage of target beneficiaries using  Moved from old Component 3: Strengthening the NAADS  improved technologies (by seeds,  management technique, and SLM)  Percentage of the same  Dropped  commodities in 10 top priorities for ZARDI  and NAADS (by AEZ)   Proportion of the districts with the  Dropped  operational District Adaptive Research  Support Teams   Page 62 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Indicators  Action per Restructuring  New Component 3: Strengthening Agricultural Support Services  6. Proportion of men and women perceiving  Unchanged   that their voice has been taken into account  in decision making of the FG  7. Number of primary farmer organizations  New indicator added  registered as higher‐level farmer  organizations through assistance  8. New extension strategy designed and  New indicator added  approved reflecting key principles of    agricultural extension services as articulated  in CAADP’s framework for Africa Agricultural  Productivity (AAP) and operational guidelines  published  9. Number of targeted ICT initiatives scoped,  New indicator added  piloted, and ready for scale  10. Number of farmers reached through ICT  New indicator added  innovations piloted  Share of farm production marketed by  Dropped from old Component 4: Supporting Agribusiness  targeted beneficiaries (in value terms, by  Services and Market Linkages  gender)   Number of operational PPPs for  Dropped from old Component 4: Supporting Agribusiness  agribusiness and market linkages   Services and Market Linkages  Percentage of targeted beneficiaries who are  Dropped from old Component 3: Strengthening the NAADS  satisfied with advisory services (by gender)    New Component 4: Programme Management and M&E  11. Percentage of result monitoring  New indicator added  indicators reported on time as outlined in the  M&E plan  12. Annual audit recommendations  New indicator added  implemented as a proportion of all actions  recommended  The Complaint Handling Mechanism for  Dropped  NAADS established and functional  Table 5. Performance on PDO 1 (PAD, MTR)    (1)  (2)  (3)  (4)  (5)  Performance %  Performance  Commodity  Baseline (PAD)  Baseline (MTR)  Endline  (PAD)  % (MTR)  Maize  1.5  2.4  3.4  126.7  41.7  Rice  1.3  2.3  2.9  123.1  26.1  Cassavaa    3.5  4.1    17.1  Beans  0.7  1.4  1.6  128.6  14.3  Page 63 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224)   (1)  (2)  (3)  (4)  (5)  Performance % Performance  Commodity  Baseline (PAD)  Baseline (MTR)  Endline  (PAD)  % (MTR)  Milk  3.0  1.2  7.4  146.7  516.7  Poultrya  200.0          Source  FAOSTAT (2006– FAOSTAT (2013)   Beneficiaries ‐ IE  Targets  Targets  2008 average)  (2018)  Crops: 15%  Crops: 10%  Livestock: 20% Livestock:  15%  Note: a. At MTR, the RF was changed on two dimensions: (a) cassava was added to and poultry subtracted from  the list of tracked commodities and (b) baseline year was changed to 2013 and targeted improvements were  revised downward for crops (from 15 percent to 10 percent), livestock (from 20 percent to 15 percent), and  agricultural incomes for women (from 20 percent to 15 percent). MT per ha is the unit for crop yield. Liters per  animal per day is the unit for milk yield. Eggs per bird per year is the unit for egg yield. Table 6. Endline Crop Yields, Impact Evaluation (2018)    Recall Method, 2017 (Season B)  Crop‐cut, 2018 (Season A)  Non‐ Percentage  Non‐ Percentage  Crop  Beneficiaries  Beneficiaries  beneficiaries  Difference  beneficiaries  Difference  Maize   3.0  3.4  13.3  1.6  3.6  125.0  Rice   2.1  2.9  38.1  2.4  6.1  154.1  Cassava   4.0  4.1  2.5  9.3  18.2  95.7  Beans   0.7  1.6  128.6  0.6  1.8  200.0  Table 7. Baseline Benchmarks for Agricultural Income  Year  Average Agricultural Income  Source, Methodology  2005  326,400  UNHS 2005‐06 (Cash income only)  2010  986,668  LSMS/UNPS 2010–2011 (Household survey)  2011  1,228,116  LSMS/UNPS 2011–2012 (Household survey)  2013  820,000  UBoS baseline (ATAAS beneficiaries)  Table 8. Agricultural Incomes, 2018 (Borrower's ICR)  Gross  Total  Net  % Difference in Net    Income/Farmer  Cost/Farmer  Income/Farmer  Incomes Beneficiary versus  (UGX)  (UGX)  (UGX)  Non‐beneficiary Farmers  Beneficiaries  Maize  1,018,517  552,600  465.917  74  Rice  4,738,500  1,611,620  3,126,880  1,170  Cassava  2,405,700  81,600  2,324,100  148  Beans  915,087  139,600  775,487  349  Milk  3,788,000  1,551,250  2,236,750  229  Non‐Beneficiaries  Maize  941,625  674,188  267,437    Rice  1,192,909  946,704  246,205    Cassava  964,103  25,775  938,328    Beans  313,991  141,354  172,637    Milk  1,227,000  547,500  679,500    Page 64 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Table 9. Results of the Assessment of ATAAS by Implementation Support Missions  Implementation Support Mission  Project Components  Before Restructuring  After Restructuring  1  2  3  4  5  6  7  8  9  10  PDO and GEO            MS  MS  MS  S    Component 1:  Technology        Developing  Development   Agricultural  NARO and ARSP        Technologies  Institutional  and  Strengthening   MS  S      S  S  S  Strengthening  the National  Agricultural  Research System  Component 2:  Joint Planning and        Enhancing  Adapt Research  Partnerships  SLM        between  Institutional and        Agricultural  Human Capacity  MS  MS      MS  MS  S  Research and  Building  Other  Joint Results        Stakeholders  Framework  Joint ICT        Component 3:  FID        Strengthening  Technology        the National  Promotion  UN              Agricultural  Technology        Advisory  Uptake Grants  Services  Farmer          Empowerment  Support New          Extension System  Development of          MU    MU  MS  MS  S  ICT Support  System  Start‐up for the          ACDP  Component 4:  Agriculture        Supporting  Business  Agribusiness  Development  MS              Services and  Services  Market Linkages  CCF        Component 5:  MAAIF/IST          Program  NARO          MS    MS  MS  MS  MS  Management    Procurement              MS    MU  MS   Financial Management        MS  MS      MS  MS  MS   Financial Management Risk        Sub  Sub          Sub  Page 65 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) Implementation Support Mission  Project Components  Before Restructuring  After Restructuring  1  2  3  4  5  6  7  8  9  10   Environmental Management      MU  MS  MS      MS  MS  MS   Social Safeguard                  MS  S  PROJECT IMPLEMENTATION          MS    MS  MS  MS  MS  Note: MS = Moderately Satisfactory; MU = Moderately Unsatisfactory; S = Satisfactory; Sub = Substantial; UN =  Unsatisfactory    i Author’s calculations using World Development Indicator (WDI) data from 2010.   ii Uganda National Panel Survey (UNPS) (2009–2010) Report – Wave I.  iii Source: Compiled from the USDA International Agricultural Productivity database, available at:  https://www.ers.usda.gov/data‐products/international‐agricultural‐productivity/. TFP is calculated as a residual obtained by  netting out from output growth all other measurable sources of growth at this level of data aggregation: examples are growth  in agricultural land expansion, increased numbers of workers living on farms, and increased use of purchased inputs such as  fertilizers.  iv  Alene, A. D., & Coulibaly, O. (2009). The impact of agricultural research on productivity and poverty in sub‐Saharan  Africa. Food policy, 34(2), 198‐209.  v  Fan, S., & Zhang, X. (2008). Public expenditure, growth and poverty reduction in rural Uganda. African Development  Review, 20(3), 466‐496.  vi In this literature, returns to research subsume investments in dissemination, because it is through dissemination that  adoption occurs.  vii  Benin, S., Nkonya, E., Okecho, G., Randriamamonjy, J., Kato, E., Lubade, G., & Kyotalimye, M. (2011). Returns to  spending on agricultural extension: the case of the National Agricultural Advisory Services (NAADS) program of  Uganda. Agricultural Economics, 42(2), 249‐267.  viii Table 5‐A: Project Costs by Component in Project Appraisal Document.  ix Project Appraisal Document.  x  World Bank. 2005. Uganda ‐ Joint assistance strategy ‐ 2005‐2009 (English). Report # 34310  xi At appraisal, IDA had invested US$50 million in NAADS over the last seven years, along with seven other DPs in a basket  funding arrangement totaling US$110 million. IDA had also invested US$64 million in NARO over the last 17 years through two  phases of the ARTP.  xii NAADS was designed as a component of the GoU’s Plan for Modernization of Agriculture (PMA)—the framework for  investments in the sector.  xiii Improved land and water management deliver a triple dividend in adaptation, mitigation, and productivity by accumulating  carbon in soil and biomass and by intensifying production to protect woodlands, tropical high forests, and bush from  agricultural expansion. The former three contracted by approximately 25 percent between 1990 and 2005, while the latter  expanded by 15 percent. Thus, interventions to promote SLM belong with the promotion of agricultural technology as  complementary actions.  xiv At appraisal, US$26.3 million was expected to be financed by EU and DANIDA but this financing did not materialize due to  policy changes in their aid programs, and the GoU committed to filling this gap.  xv Financing Agreement dated July 19, 2011.   xvi It was also assumed that each member of an FG was represented by one participating household.  xvii Component costs include contingency allocations (Annex 5, PAD).  xviii ATAAS expenditures at closing (data provided by the borrower).  xix MSIPs were intended to be platforms that improve knowledge sharing and coordination among different stakeholders to  achieve a common objective. Functional MSIPs were to drive joint demand‐driven needs assessments, implementation  coordination, as well as stakeholder reviews of activities within the farming systems and value chains. Platforms at the lower  levels would provide for relatively informal ad hoc interactions between FGs. More formal and sustained MSIPs would be  Page 66 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) established at zonal and national levels to achieve collaboration and learning in an innovative system context. The key actors or  stakeholders are comprehensively identified in the National Agricultural Research Program (NARP) proposal as (a) the farmers,  agricultural producers, and their organizations or fora; (b) agrodealers, market agents, traders, and agro‐processors; (c) the  policy makers of the MAAIF, the infrastructure service sector, the Ministry of Trade, and financial services; (d) the research and  knowledge generation sector; and (e) intermediaries, brokers, and extension organizations of all types (technical, financial, and  commercial). The actual composition of MSIPs would differ greatly depending on the level of their establishment.   xx ISR (November 10, 2010).  xxi OWC.  xxii Restructuring Paper (June 22, 2010).  xxiii Restructuring Paper (June 22, 2010).  xxiv The MAAIF was to contract the R&E link coordinators called technology‐linked officers to constitute, together with dedicated  NARO scientists, the R&E link units at the ZARDI‐level. This team was to be responsible for strengthening the DARSTs in  undertaking outreach activities and facilitating their links with various actors such as nongovernmental organizations and  farmer organizations, currently supporting extension in different districts. This team was also mandated to take lead  responsibility for agricultural extension content development in response to demands from farmers and other stakeholders.  xxv At the national level, an SLM coordinator was assigned to oversee implementation of the subcomponent across the  participating institutions and work in close collaboration with NARO, the MAAIF departments, and zonal SLM specialists  integrated into the zonal R&E liaison offices.  xxvi The responsibility for ensuring the development and implementation of the ICT subcomponent was determined to rest with  the MAAIF. An ICT specialist was assigned to provide the IT leadership at the MAAIF, with ICT officers to be mainstreamed at  NARO Secretariat, the MAAIF, and selected ZARDIs.  xxvii Vision 2040.  xxviii Under priorities of the plan, NDP ‐ II emphasizes continuity with the ATAAS approach: “In agriculture, emphasis will be  placed on investing in 12 enterprises (Cotton, Coffee, Tea, Maize, Rice, Cassava, Beans, Fish, Beef, Milk, Citrus and Bananas),  along the value chains. Focus will be on: Strengthening agricultural research; implementing the single spine extension system;  technology adaptation at the farm level; increasing access to and effective use of critical farm inputs; promoting sustainable  land use and soil management; increasing access to agricultural finance with specific options for women farmers; and  strengthening agricultural institutions for effective coordination and service delivery.”   xxix  World Bank. 2016. Uganda ‐ Country partnership framework for the period FY16‐21 (English). Washington, D.C.: World  Bank Group. Report # 101173  xxx Baseline = 600 (PAD). In the borrower’s ICR, the baseline value is 690, corresponding to 2013. Using the restructured  indicator and values, the performance of 888 generated technological innovations still exceeds the target of 800.  xxxi Impact Evaluation (2018).  xxxii Borrower’s ICR.  xxxiii Mid‐Term Review, Restructuring Paper, Closing mission ISR.  xxxiv Borrower’s ICR (2018).  xxxv Author’s calculation using rural population share and average household size for project beneficiaries.  xxxvi Borrower’s ICR (2018).  xxxvii The commodities covered included (a) crops: apples, banana, beans, cassava, coffee, cowpeas, green gram, groundnuts,  maize, potato, rice (upland and lowland varieties), finger millet, simsim, sorghum, soybeans, and sweet potatoes; (b) fish; (c)  livestock: cattle, dairy cattle, goats, and poultry; (c) apiary: agro‐machinery; (d) forestry: tree technologies; and (e ) soil and land  management technologies covering various crops and integrated farming system (Borrower’s ICR 2018).  xxxviii Author’s calculation using disaggregated adoption rates and shares of direct beneficiaries from the borrower’s ICR (2018).    xl Borrower’s ICR (2018).  xli The provisional baseline values for yields in the PAD were FAOSTAT (2006–2008) averages.  xlii The MTR baseline values in the RF at restructuring refer to a 2013 baseline but could not use the UBoS (2013) data as the  report was finalized after restructuring. Instead, the ATAAS M&E team used the FAOSTAT 2013 values as baseline for post‐ restructuring ISRs, which is the data source used in annex 7, table 5.  xliii FAOSTAT.  xliv NAADS Programme Implementation Progress Survey (2014).  xlv LSMS/UNPS Wave V Report (2016).  xlvi MAAIF presentations (eighth and ninth implementation support missions).  Page 67 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) xlvii Defined as average revenues of the participating households derived from crop and livestock activities net of variable inputs.   xlviii Only monthly cash income is reported by occupation in UNHS 2005–2006. This is annualized by multiplying by 12.  xlix Author’s calculations using raw data.  l Author’s calculation using rural population share and average household size for project beneficiaries.  li “Assessment of Functionality of Farmer Groups in Uganda” (NAADS/ATAAS 2014).  lii Impact Evaluation (2018), Borrower’s ICR (2018).  liii Uganda Cooperative Alliance (2017), Borrower’s ICR (2018).  liv Project Appraisal Document (2010).  lv Impact Evaluation (2018).  lvi Borrower’s ICR (2018), Closing Mission Aide Memoire (June 2018).  lvii Borrower’s ICR (2018).  lviii These parameters draw on the background spreadsheets used to conduct the EFA at appraisal.   lix At appraisal, the NAADS was retained to implement this component.  lx The project environmental impact has been estimated using EX‐ACT and accounted for in the calculation of the project  economic return. EX‐ACT was developed by the Food and Agriculture Organization of the United Nations (FAO) for estimating  project impact on GHG emission and carbon sequestration. It allows to assess a project’s net carbon balance, defined as the net  balance of CO2 equivalent GHG emitted or sequestered because of project implementation compared to the without‐project  scenario. It estimates the carbon stock changes (emissions or sinks), expressed in equivalent tons of CO2 per hectare and year.  Over the analysis period of 20 years, the ATAAS project constitutes a carbon sink of 1,964,831 tCO2eq, equivalent to 1.2 tCO2eq  sequestered per hectare per year.  lxi Their impacts are hardly dissociable.  lxii UBoS Baseline Survey (2015).  lxiii Impact Evaluation (2018).  lxiv Source: The Central Bank of Uganda, https://www.bou.or.ug/bou/collateral/exchange_rates.html.  lxv Results Framework in Impact Evaluation (2018).  lxvi Process Evaluation of ATAAS (October 2017).  lxvii Borrower’s ICR (2018).  lxviii Training areas included e‐procurement (36); leadership and change management (25); communication and dissemination of  research results (45); data analysis and reporting (22); project M&E (37); managing agricultural research for impact (75);  resource mobilization (70); project impact assessment (23); and environmental, gender, and social management systems. (136).  Source: Borrower’s ICR (2018).  lxix New districts were created after restructuring.  lxx The trainings targeted district production officers (DPOs) and subject matter specialists from 122 districts across the country,  production secretaries, farmer leaders, and district production and marketing officers (DPMOs). The trainings courses were on  (a) Livestock: Ticks and Tick‐borne Diseases Control; Infectious/Zoonotic Diseases/Avian Influenza, and Enhancing Livestock  Food Security (Dry Season Feeding) in Ruminants; (b) Crops: Agronomy; Fruit and Vegetable Production for Extension Link  Farmers; Handling of Agro‐Chemicals and Fertilizer Optimization; (c) Food Processing, Value Addition and Agribusiness:  Trainings on Fruit Value Chain and Production Techniques; Post‐harvest Handling Technologies; Agribusiness and Commodity  Value Chain Development for Crops (Maize, Beans, Coffee, Horticulture, Dairy and Beef); Nutrition and Family Life Education  (FLE); Agribusiness Development; (d) SLM: SLM practices; Soil Conservation and Micro Irrigation for Agricultural Extension  Officers; Agricultural Risk Management (ARM); (e) Extension: Training in Agricultural Extension Management; Mindset Change  in Agricultural Production; Agricultural Statistics.  lxxi Borrower’s ICR (2018).  lxxii FAO Report http://www.fao.org/news/story/en/item/1142085/icode/.   lxxiii FAW was first noticed in June 2016 and confirmed in February 2017. In response, the GoU rapidly constituted a national  taskforce and ATAAS supported the development of a national FAW Control Strategy and Action Plan. The project also carried  out the following studies: Socio‐Economic Impact, Distribution and Genetic Diversity, Yield Loss Assessment, Insecticide  Screening for Control, Germplasm Evaluation, Exploration of Biological Control, and Capacity Building and Dissemination.  Several recommendations have already been implemented to help farmers reduce their losses.  lxxiv Aide Memoire ‘Stocktaking Mission’ (November 2009).  lxxv Aide Memoire ‘Appraisal Mission’ (April 2010).  lxxvi Reported as of May 31, 2018.  lxxvii ISR (November 7, 2014).  Page 68 The World Bank Agricultural Technology and Agrribusiness Advisory Services (P109224) lxxviii Borrower’s ICR (2018).  lxxix Closing Mission Aide Memoire.  lxxx The political scrutiny on NAADS operations increased after Board approval. On July 6, 2010, President Museveni suspended  disbursement for NAADS, on account of allegations of corruption by its officials in the ‘Prosperity‐for‐All’ program, a  commercial agriculture and antipoverty program administered by the agency (New Vision, Uganda).  lxxxi (a) Enhancing agricultural production, productivity, and value addition through the provision of agricultural technology and  agribusiness advisory services; (b) enhancing strategic commodities productivity through the delivery of technical inputs; and  (c) developing and improving markets and commodity value chains focusing on the 12 priority strategic commodities that  include beans, cassava, rice, coffee, tea, and dairy.  lxxxii FAW was first noticed in June 2016 and confirmed in February 2017. In response, the GoU rapidly constituted a national  taskforce and ATAAS supported the development of a national FAW Control Strategy and Action Plan. The project also carried  out the following studies: Socioeconomic Impact, Distribution and Genetic Diversity, Yield Loss Assessment, Insecticide  Screening for Control, Germplasm Evaluation, Exploration of Biological Control, and Capacity Building and Dissemination.  Several recommendations have already been implemented to help farmers reduce their losses.  lxxxiii On July 6, 2010, President Museveni suspended disbursement for NAADS, on account of allegations of corruption by its  officials in the ‘Prosperity‐for‐All’ program, a commercial agriculture and anti‐poverty program administered by the agency  (New Vision, Uganda).   lxxxiv The trainings targeted DPOs and subject matter specialists from 122 districts across the country, production secretaries,  farmer leaders, and district production and marketing officers (DPMOs). The trainings courses were on (a) Livestock: Ticks and  Tick‐borne Diseases control; Infectious/Zoonotic Diseases/Avian Influenza, and Enhancing Livestock Food Security (Dry Season  Feeding) in Ruminants; (b) Crops: Agronomy; Fruit and Vegetable Production for Extension Link Farmers; Handling of  Agrochemicals and Fertiliser Optimisation; (c) Food Processing, Value Addition and Agribusiness: Trainings on Fruit Value Chain  and Production Techniques; Post‐harvest Handling Technologies; Agribusiness and Commodity Value Chain Development for  Crops (Maize, Beans, Coffee, Horticulture, Dairy and Beef); Nutrition and Family Life Education (FLE); Agribusiness  Development; (d) SLM: SLM practices; Soil Conservation and Micro Irrigation for Agricultural Extension Officers; Agricultural  Risk Management (ARM); (e) Extension: Training in Agricultural Extension Management; Mindset Change in Agricultural  Production; Agricultural Statistics.  Page 69