Document of  The World Bank  FOR OFFICIAL USE ONLY      Report No: ICR00003678        IMPLEMENTATION COMPLETION AND RESULTS REPORT  (SRF‐CTF GRANT TF014613)  ON A  GRANT    IN THE AMOUNT OF US$8 MILLION  TO THE   LAO PEOPLE’S DEMOCRATIC REPUBLIC     FOR A  LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT    September 21, 2018               Macroeconomics, Trade, And Investment Global Practice  East Asia And Pacific Region            CURRENCY EQUIVALENTS   (Exchange Rate Effective as of September 21, 2018)    Currency Unit =   Lao Kip (LAK)  US$1 =  LAK 8,523      FISCAL YEAR  July 1 ‐ June 30      ABBREVIATIONS AND ACRONYMS    ADB  Asian Development Bank  AHS  Annual Household Survey  BOL  Bank of Lao PDR  BOP   Balance of Payment  BPM  Balance of Payment Manual  CSTA  Consulting Service Technical Assistance  CPF  Country Partnership Framework  CPI  Consumer Price Index  CPS  Country Partnership Strategy  CSPro  Census and Survey Processing System  FDI  Foreign Direct Investment  GDP  Gross Domestic Product  GNI   Gross National Income  GOL  Government of Lao PDR   GVA  Gross Value Added  ICR  Implementation Completion and Results Report  ICT  Information and Communication Technology  IMF  International Monetary Fund  IIP  International Investment Position  IRR  Internal Rate of Return  ISR  Implementation Status and Results Report  IT  Information Technology  LAOSTAT  Lao PDR’s Strengthening the National Statistical System Project  LCPA  Lao Classification of Products by Activity   LECS  Household Expenditure and Consumption Survey  LSB  Lao Statistics Bureau  M&E  Monitoring and Evaluation   MDG  Millennium Development Goal  MEM  Ministry of Energy and Mines  MMFT  Macroeconomic Monitoring and Forecasting Team  MOIC  Ministry of Industry and Commerce  MOF  Ministry of Finance  MOLSW  Ministry of Labour and Social Welfare  MPI  Ministry of Planning and Investment   NIER  National Institute of Economic Research  NPV  Net Present Value  NSEDP   National Socio‐Economic Development Plan  NUOL  National University of Laos  PDO  Project Development Objective   PSC  Project Steering Committee   SCI  Statistical Capacity Index  SDNSS  Strategy for Development of the National Statistical System   SIDA  Swedish International Development Agency  SMA  Sectoral Ministry and Agency  SMS  Statistical Metadata System  SNA  System of National Accounts  SPSS  Statistical Package for the Social Sciences  SQL  Structured Query Language  SRF‐CF  Statistics for Results Facility Catalytic Fund   SUT  Supply and Use Table  SWG  Statistical Working Group     Regional Vice President: Victoria Kwakwa  Country Director: Ellen A. Goldstein  Senior Global Practice Director: John Panzer  Practice Manager: Deepak K. Mishra  Task Team Leader(s): Somneuk Davading  ICR Main Contributor: Konesawang Nghardsaysone          TABLE OF CONTENTS    DATA SHEET ............................................................................................................................ 1  I.   PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES ....................................................... 5  A.   CONTEXT AT APPRAISAL ....................................................................................................... 5  B.   SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE) ................................. 10  ...................................................................................................................... 10  II.   OUTCOME  A.   RELEVANCE OF PDOs .......................................................................................................... 10  B.   ACHIEVEMENT OF PDOs (EFFICACY) ................................................................................... 11  C.   EFFICIENCY ......................................................................................................................... 17  D.   JUSTIFICATION OF OVERALL OUTCOME RATING ................................................................. 18  E.   OTHER OUTCOMES AND IMPACTS (IF ANY) ........................................................................ 19  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME ................................ 19  A.   KEY FACTORS DURING PREPARATION ................................................................................ 19  B.   KEY FACTORS DURING IMPLEMENTATION .......................................................................... 20  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME .. 20  A.   QUALITY OF MONITORING AND EVALUATION (M&E) ......................................................... 20  B.   ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE ................................................. 22  C.   BANK PERFORMANCE ........................................................................................................ 22  D.   RISK TO DEVELOPMENT OUTCOME .................................................................................... 23  V.   LESSONS AND RECOMMENDATIONS .............................................................................. 24  ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS ............................................................ 25  ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION ......................... 35  ANNEX 3. PROJECT COST BY COMPONENT............................................................................. 37  ANNEX 4. EFFICIENCY ANALYSIS ............................................................................................ 38  ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS ... 41  ANNEX 6. SUPPORTING DOCUMENTS (IF ANY) ...................................................................... 48         The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)               DATA SHEET      BASIC INFORMATION   Product Information  Project ID  Project Name  LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL  P129825  SYSTEM PROJECT  Country  Financing Instrument  Lao People's Democratic Republic  Investment Project Financing  Original EA Category  Revised EA Category  Not Required (C)    Organizations  Borrower  Implementing Agency  Lao People's Democratic Republic  Lao Statistics Bureau (LSB)  Project Development Objective (PDO)    Original PDO  10.   The objective of the Project is to improve the capacity of the Recipient’s national statistical system to produce  and disseminate reliable and timely macroeconomic and poverty statistics in accordance with international  standards and in response to user needs.            Page 1 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      FINANCING      Original Amount (US$)   Revised Amount (US$)  Actual Disbursed (US$)  World Bank Financing          8,000,000  7,980,215  7,980,215  TF‐14613  Total    8,000,000  7,980,215  7,980,215  Non‐World Bank Financing        Borrower     0     0     0  Foreign Multilateral     0     0     0  Institutions (unidentified)  Total     0     0     0  Total Project Cost  8,000,000  7,980,215  7,980,215        KEY DATES      Approval  Effectiveness  MTR Review  Original Closing  Actual Closing  07‐May‐2013  05‐Jul‐2013    30‐Jun‐2017  28‐Feb‐2018       RESTRUCTURING AND/OR ADDITIONAL FINANCING      Date(s)  Amount Disbursed (US$M)  Key Revisions  06‐Jun‐2017  6.26  Change in Loan Closing Date(s)  Reallocation between Disbursement Categories      KEY RATINGS      Outcome  Bank Performance  M&E Quality  Moderately Satisfactory  Moderately Satisfactory  Modest          Page 2 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      RATINGS OF PROJECT PERFORMANCE IN ISRs      Actual  No.  Date ISR Archived  DO Rating  IP Rating  Disbursements  (US$M)  01  19‐Oct‐2013  Satisfactory  Satisfactory  .40  02  22‐Sep‐2014  Satisfactory  Moderately Satisfactory  .50  03  01‐May‐2015  Moderately Satisfactory  Moderately Satisfactory  1.25  04  30‐Dec‐2015  Moderately Satisfactory  Moderately Satisfactory  2.62  05  24‐Jun‐2016  Moderately Satisfactory  Moderately Satisfactory  3.87  Moderately  06  22‐Feb‐2017  Moderately Satisfactory  4.94  Unsatisfactory  07  25‐Jun‐2017  Satisfactory  Moderately Satisfactory  6.26  08  25‐Jan‐2018  Satisfactory  Moderately Satisfactory  7.21    SECTORS AND THEMES      Sectors  Major Sector/Sector  (%)    Public Administration   100  Central Government (Central Agencies)  100      Themes    Major Theme/ Theme (Level 2)/ Theme (Level 3)  (%)          Page 3 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      Economic Policy  0    Fiscal Policy  9    Fiscal sustainability  3    Public Expenditure Policy  3    Tax policy  3      Macro‐financial policies  9    External Finance  3    Monetary and Credit Policies  3    Macroeconomic Resilience  3        Public Sector Management  0    Public Administration  35    Administrative and Civil Service Reform  17    E‐Government, incl. e‐services  18      Data Development and Capacity Building  47    Data production, accessibility and use  47            ADM STAFF  Role  At Approval  At ICR  Regional Vice President:  Axel van Trotsenburg  Victoria Kwakwa  Country Director:  Annette Dixon  Ellen A. Goldstein  Senior Global Practice Director:  Sudhir Shetty  John Panzer  Practice Manager:  Mathew A. Verghis  Deepak K. Mishra  Task Team Leader(s):  Somneuk Davading  Somneuk Davading  ICR Contributing Author:    Konesawang Nghardsaysone                         Page 4 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      I.    PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES  A.    CONTEXT AT APPRAISAL  Context  1. At the time of appraisal, Lao People’s Democratic Republic (Lao PDR) was at an early stage of transition  from a centrally planned to a market‐oriented economy. The country’s output grew at an annual average rate  of  7.9  percent  between  2007  and  2012,  driven  primarily  by  mining  and  hydropower  sectors  and  moderate  contribution from light manufacturing, agriculture, tourism and services. With a gross national income (GNI) per  capita of US$1,380, Lao PDR graduate from a low‐income to a lower‐middle‐income economy in 2012. Poverty  incidence was halved from 46 percent in 1993 to 28 percent in 2008. Some economic reforms in the country had  focused on market‐oriented foundations that allowed the emergence of domestic private sector and inflows of  foreign direct investments (FDIs). Lao PDR also began to open the country to international trade and commenced  the  WTO  accession  process,  following  decades  of  isolation.  However,  with  a  growth  model  based  on  natural  resources, there were concerns on the inclusiveness and sustainability of the development process.   2. Against this context, the Government of Lao PDR (GOL) pursued a broad‐based growth strategy with  focus on poverty reduction in the Seventh National Socio‐Economic Development Plan (NSEDP) for 2011–2015.  The  NSEDP  emphasized the need for reducing social inequities and building stronger  capacity  to manage the  country’s rich natural resources. It emphasized informed policy making and evidence‐based economic policies.  Subsequently, the Strategy for Development of the National Statistical System (SDNSS) 2011–2020 was approved  in September 2010. The Strategy was meant to help the GOL take more informed decisions in formulating and  monitoring economic policies and public service delivery, supported by a statistical system that is credible, timely  and accessible. The country had made some progress in building the basic statistical foundation between the  1990s and 2000s, thereby producing statistics on population, sectoral, and economic census, as well as some  macroeconomic statistics, including national accounts by the production approach.  3. Lao PDR’s  national statistics  system, however,  lagged  countries  with  a similar  per capita  income  in  three important dimensions. First, there was a limited availability of statistics, on variables such as investment,  private consumption, labor force, business registry, manufacturing, and retailing statistics. Second, it suffered  from poor quality and timeliness of key statistics, including national accounts, international trade, balance of  payment (BOP), sectoral output, and investment. And, third, the available statistics were not accessible to public  since there was no central database containing consolidated macroeconomic and time‐series data within the  GOL. In addition, there was also a limited use of statistical data across government and limited independence of  the production process, conditioned by the legacy of a planned economy in Lao PDR.  4. The  GOL  requested  the  World  Bank’s  support  to  modernize  and  streamline  its  national  statistical  system. Specifically, the objectives were to improve human resource capacity, essential tools, and infrastructure  to effectively produce and disseminate reliable and good quality statistics. The Prime Minister’s Decree no.51/PM  (2011)  provided  the  legal  basis  for  upgrading  the  Department  of  Statistics  to  the  Lao  Statistics  Bureau  (LSB)  headed by a vice minister and included four newly created departments with a massive increase in new staff.  This created significant need for capacity building. These objectives were highlighted in the needs assessment  for the SDNSS and the evaluation of the statistical capacity support from the Swedish International Development  Agency (SIDA) to LSB at the Ministry of Planning and Investment (MPI). These objectives were also aligned with        Page 5 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      and  supported  by  the  NSEDP.  LSB  already  benefited  from  some  initial  supports  of  the  World  Bank  on  improvement of household expenditure and consumption survey (LECS) processes and some capacity building  activities by a technical assistance on statistical capacity building (STATCAP).  5. Major gaps in the national statistical system included the capacity to gather, analyze, and interpret,  data from both administrative and surveyed sources. While a Law on Statistics was enacted in 2010, Lao PDR’s  statistical  system  remained  highly  decentralized  with  limited  interagency  coordination  and  weak  statistical  capacity.  The  LSB  had  limited  statistical  capacity  that  delayed  complete  adoption  of  the  System  of  National  Accounts (SNA) 1993 and statistics production was still on a piecemeal basis. The limited analytical capacity of  LSB  constrained  the  use  of  statistics  from  both  administrative  and  surveyed  sources.  Many  specific  surveys,  including the population census, economic census, three rounds of LECSs were already conducted by the GOL  but survey methodologies required further optimization especially for questionnaire designs and sampling frame.  In  a  highly  decentralized  statistical  system,  the  lack  of  effective  and  timely  inter‐ministerial  coordination  and  communication led to delays in the production of national accounts every year. Poor statistical collection and  reporting at the provincial and district levels compromised the quality and timeliness of data. While the GOL had  a clear policy framework of the national statistical system, the lack of professional statisticians at all levels of  administrative structure prevented effective and efficient collection, analysis, and interpretation of statistics for  evidence‐based policy making.  6. The World Bank’s involvement in strengthening the national statistical system in Lao PDR was fully  aligned  with  the  2011–2015  Country  Partnership  Strategy  (CPS).  It  incorporated  the  IDA  15–16  Results  Measurement System and the Seventh NSEDP for the relevance of providing information and statistical support  to monitor development targets and performance indicators of these strategies as well as for formulating and  updating  development  policies.  In  addition,  the  World  Bank’s  support  was  also  in  line  with  the  Statistics  for  Results Facility Catalytic Fund (SRF‐CF) that provided support to developing countries,i including Lao PDR, to help  them improve their statistical capacity. It was a continued support building on capacity foundation made through  the past support of the STATCAP.  Theory of Change (Results Chain)  7. Lao  PDR’s  Strengthening  the  National  Statistical  System  Project  (LAOSTAT)  responded  to  the  GOL’s  request  to  improve  the  capacity  of  the  national  statistical  system.  It  aimed  at  producing  and  disseminating  reliable and timely macroeconomic and poverty statistics that follow international standards and respond to the  needs of users.  8. The project was expected to have significant economic impact. During the project’s lifetime, Lao PDR’s  was  expected  to  achieve  8  percent  annual  growth,  driven  by  expansionary  development  in  the  mining  and  hydropower sectors and improvements in manufacturing and services. Poverty incidence was expected to be  reduced by 9 percentage points from 28 percent in 2008 to 19 percent in 2015. Strengthening the production  and dissemination of macroeconomic and poverty statistics in the country was expected to help the GOL fulfill  its  commitments  to  improve  measurement  of  and  monitor  development  targets  and  result  indicators  in  the  Seventh  NSEDP.  The  national  statistical  system  of  Lao  PDR  could  be  strengthened  to  produce  quality  macroeconomic and poverty statistics on time, which could be widely disseminated to users and the public. The  project was expected to support LSB and to contribute to higher‐quality macroeconomic and poverty statistics  that  would  help  provide  more  accurate  and  consistent  measurement  and  monitoring  of  macroeconomic  performance and efforts in poverty reduction. Access to and availability of these statistics would also allow users        Page 6 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      to perform specific and high‐level economic assessment of macro and micro links for inclusiveness and poverty  reduction.   9. Improved  capacity  to  produce  macroeconomic  and  poverty  statistics  in  accordance  with  internationally accepted standards  was  to  be achieved  through  strengthening macroeconomic  and poverty  data  development  and  management.  Data  development  and  management  for  national  accounts,  relevant  macroeconomic statistics, and household surveys would be strengthened to generate quality statistics on time  to monitor macroeconomic health and risks. These statistics were also used for planning and evaluating of the  economic  and  social  development  program.  The  development  of  national  accounts  data  would  use  the  expenditure  approach.  Other  relevant  macroeconomic  statistics  would  be  compiled  in  line  with  international  standards. Poverty statistics would be improved through some adjustments in the LECS. Data analysis aimed at  macroeconomic  research  and  modeling  as  well  as  gender‐related  analysis.  The  LSB  and  sectoral  ministerial  agencies  (SMAs)ii  would  use  more  internationally  accepted  standards  and  methodologies  in  data  collection,  compilation, classification, and validation.  10. Improved dissemination of macroeconomic and poverty statistics in response to user needs was to be  achieved through improvements in data sharing and access. At the end of the project, the LSB and statistical  units of SMAs would implement an appropriate data sharing and access to information strategy with adequate  physical infrastructure and equipment. It would also upgrade the LSB web portal for improved dissemination. A  clear business processes and information management would be implemented by LSB through an adoption of  modernized information and communication technology (ICT) infrastructure and improved IT capacity. The staff  capacity of LSB and SMAs would be strengthened through training and technical assistance to vitalize the needs  of quality statistics in their respective  ministries. Statistical working  groups would be important to  elicit data  requirements  and  to  improve  confidence  to  share  and  use  the  available  data.  Duplication  of  responsibilities  among agencies would be removed. Compilation and analysis processes and workflows would be strengthened.  LSB  would  be  able  to  coordinate  with  SMAs  more  effectively  and  efficiently  to  compile  data,  especially  administrative data, and disseminate statistical products and services to these agencies.  11. The above‐mentioned cause‐effect links underlying the theory of changes for the project are illustrated  in figure 1.  Project Development Objectives (PDOs)  12. The  PDO  was  to  improve  the  capacity  of  the  Recipient’s  national  statistical  system  to  produce  and  disseminate reliable and timely macroeconomic and poverty statistics in accordance with international standards  and in responses to user needs.         Page 7 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      Figure 1. Theory of Changes  Inputs (Activities)  Outputs  Intermediate Outcome  PDO/Outcomes  Long‐term    results  PDO: To improve the capacity    Component A. Strengthening Macroeconomic  1. National SNA manual and methodology developed.  1. Macroeconomic statistics are  of the Recipient’s national  and Poverty Data Development and  2. Re‐benchmarking of the National Accounts to 2012.  produced in line with  statistical system to …  Management:  3. National  account  development  strategy  and  internationally accepted    1. Improvement of National Accounts (by  methodology was developed and implemented.  standards.  4. Generic  methods  and  tools  for  economic  surveys  2. Social and demographic statistics  expenditure) and other macroeconomic  (Sub‐PDO 1) … produce  were developed and used.  (particularly household and    statistics.  reliable and timely  1. Sustained  poverty data including sex‐ 2. Household survey and poverty‐ and gender  5. Supply and Use Table   macroeconomic and  capacity to  disaggregated data) are  ‐related analysis and dissemination.  6. Surveys  on  International  Investment  Position  and  poverty statistics in  measure the  produced in line with    3. Strengthening macroeconomic research  International Trade in Services were completed.  internationally accepted  accordance with  progress of and  and modeling capacity for the GOL.  7. Guidelines  and  measures  to  have  data  quality  standards.  international standards:  monitor results  4. Adaptation of international standards and  assurance for surveys and administrative data were  3. Internationally accepted    of NSEDP    methodologies in data collection,  developed and used.  standards, classifications, and  1. A comprehensive    compilation, and validation and  8. Training  on  National  Accounts,  economic  survey  methodologies in  macroeconomic  2. Sustained  improvement of questionnaires and  method, and data quality assurance was delivered.  macroeconomic and poverty  framework is developed  monitoring and    sampling frames.  9. Macroeconomic framework and modeling capacity  related data collection,  and used within the GOL  measurement of  was built and used by the GOL.  compilation, and validation are in  for policy making and  economic  place.  growth    planning process  2. Improved    macroeconomic and  3. Sustained focus  Component B. Improving Policies and  4. Interagency coordination    Strengthening Implementation Capacity:  mechanism (rules and  poverty‐related  and estimation  1. Institutional  capacity  plan  was  developed  and  statistical capacity score  of poverty  1. Strengthening the capacity of the LSB and  regulations) between the LSB  implemented.  and other agencies (SMAs) on  and disaggregated by:  reduction  SMAs’ Statistical Units to implement    Component A.  2. Human  resources  strategy  and  implementation  macroeconomic and poverty  a.  Methodology  2. Enforcing policy and regulations on  plan were developed and implemented.  statistics are in place and  b.  Source data  statistics and eliminating duplication of  3. Coordination of the National Statistical System was  operational.  c.  Periodicity and    strengthened.  5. Human resource management  timelines (average):  responsibilities between the LSB and SMAs  –reinforcing LSB’s role as a lead  4. Training  on  management  and  coordination  was  strategy is in place and the LSB   Survey data  and MDA SMAs staff trained and   Admin data    coordinating institution.  completed.  maintained their skills  6. Data user‐producer dialog  established and functional  (Sub‐PDO 2) … disseminate    Component C. Improving Data Access and  1. Data  dissemination  strategy  and  implementation  reliable and timely  Sharing:  plan were developed and implemented.  macroeconomic and  1. Development and implementation of a  2. Metadata development strategy.  poverty statistics in    macroeconomic and poverty data  3. ICT Plan for the National Statistical System.  7. Dissemination strategy is  response to user needs:  dissemination strategy for the LSB and  developed and implemented  4. ICT System established for the LSB.  8. IT plan for LSB and SMAs is  3. Improved user  SMAs.  5. Statistical  datasets  partially  migrated  to  the  new    developed and implemented  satisfaction with  2. Development of an ICT Plan.  server and LSB Web Portal.  9. LSB web portal improved with  macroeconomic and  3. Strengthening ICT infrastructure and  6. Manuals  on  contents  and  publication  design  and  increased number of data  poverty statistical  capacity of the LSB and SMAs.    4. Upgrading the LSB Web Portal for  maintenance.  available  products and services of  7. Training on dissemination, metadata, and ICT.  10. IT staff trained and retained  the National Statistical  improved data dissemination  their skills.  System.        Page 8 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      Key Expected Outcomes and Outcome Indicators  13. Key outcome indicators for the project were the following:   (a) User satisfaction with macroeconomic and poverty statistical products and services of the national  statistical system (disaggregated by LSB and SMAs) improved.  (b) Macroeconomic  and  poverty  related  statistical  capacity  score  improved  and  disaggregated  by  methodology, source data, and periodicity and timeliness.  (c) A  comprehensive  macroeconomic  framework  is  developed  and  used  within  the  GOL  for  policy  making and planning process.  Components  Component A. Strengthening Macroeconomic and Poverty Data Development and Management  14. This component was to improve production and dissemination of reliable and timely macroeconomic  and  poverty  statistics.  Lao  PDR  was  already  compliant  with  SNA  1993  during  project  appraisal  but  wanted  to  implement SNA 2008 in national account statistics and include the use of the expenditure approach. Lao PDR was  also committed to strengthening macroeconomic research and modelling capacity in key Government agencies. It  would help enhance survey methodologies by optimizing questionnaire design and sampling frame, to ensure that  surveys would be in line with international standards. This component intended to finance technical assistance,  training,  and  workshops  for  (a)  improvement  of  the  national  accounts  by  expenditure  and  other  key  macroeconomic statistics; (b) improvement of analysis and dissemination of LECS for poverty‐ and gender‐related  analysis;  (c)  strengthening  macroeconomic  research  and  modeling  capacity;  and  (d)  adapting  internationally  accepted standards and methodologies, including questionnaire designs and sampling frames in data collection,  compilation, and validation by the LSB and statistical units in the SMAs.  Component B. Improving Policies and Strengthening Implementation Capacity  15. This component was meant to enhance the institutional capacity for the LSB and statistical units in SMAs.  It aimed to remove duplicate responsibilities between agencies.  The national  statistical system in Lao PDR was  highly decentralized and not very well integrated by having several levels and agencies producing and disseminating  duplicate  statistics  as  well  as  conducting  surveys.  The  component  was  to  complement  the  GOL’s  decision,  by  following the approval of the Law on Statistics in June 2010, to rationalize the LSB as the lead agency in production,  management, coordination, and dissemination of national statistics in Lao PDR. To that end, the project intended  to finance technical assistances, training, and workshops on (a) capacity building for the LSB and statistical units in  SMAs  and  (b)  review  and  formulation  of  policy  and  regulations  on  statistics  aiming  at  eliminating  duplicate  responsibilities between the LSB and statistical units in SMAs.  Component C. Improving Data Access and Sharing  16. This component was to support data sharing and access to information strategy and increase efficiency  of data collection and processing through the establishment of cost‐effective ICT infrastructure and equipment.  While  the  LSB  already  had  a  series  of  datasets,  for  example  LECS  1–3  and  economic  censuses  that  were  at  a  disaggregate level, these data were not shared adequately and efficiently, often constrained by a lack of a clear  data sharing and access to information policy framework. The GOL was committed to enhance the access to data        Page 9 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      by stakeholders in policy making, planning, and monitoring of development programs by increasing the efficiency  and effectiveness in data collection, data processing, analysis, and timely dissemination. The project intended to  provide support for (a) development of a dissemination strategy, (b) development of an ICT plan, (c) procurement  of new ICT infrastructure for the LSB and statistical units in some SMAs, and (d) technical assistance to upgrade the  LSB web portal for improved data dissemination.  B.    SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE)  Revised PDOs and Outcome Targets  17. There  were  no  changes  to  the  PDOs  or  to  the  outcome  targets.  The  closing  date  of  the  project  was  extended  from  June  30,  2017,  to  February  28,  2018,  to  complete  some  delayed  outputs,  especially  the  implementation  of  Component  C,  which  was  caused  by  a  significant  delay  in  the  LSB’s  headquarters  building  construction.  Revised PDO Indicators  18. Not applicable.  Revised Components  19. Not applicable.  Other Changes  20. Not applicable.  Rationale for Changes and Their Implication on the Original Theory of Change  21. Not applicable.  II.   OUTCOME  A.    RELEVANCE OF PDOs  Assessment of Relevance of PDOs and Rating  22. The PDO was well‐aligned to the policy priorities of Lao PDR, as expressed in the SDNSS 2011–2020. The  latter aimed to achieve a “comprehensive, timely, transparent, and reliable supply of good quality socioeconomic  and environment statistics in meeting with an increasing demand of the Government and other statistics users. It  also  aimed  to  support  M&E  and  formulation  of  Lao  PDR’s  socioeconomic  development  programs,  Millennium  Development Goals (MDGs) by 2015, and its graduation from Least Developed Country status by 2020.” The SDNSS  was guided by the Seventh NSEDP 2011–2015 that focused on poverty reduction through a combination of broad‐ based  economic  growth  and  specific  policy  interventions.  An  improved  statistical  system  would  help  support  monitoring  and  evaluation  of  development  targets  and  results.  The  project  focused  on  an  improvement  of  institutional and staff capacity enabling the national statistical system to produce as well as disseminate reliable  and timely macroeconomic and poverty statistics. The availability of macroeconomic and poverty statistics would        Page 10 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      also allow Government researchers and academia to conduct more relevant researches to inform decision making  and planning of a wide variety of social and economic development programs.  23. The PDO remained highly relevant at the Implementation Completion and Results Report (ICR) stage.  The PDO continues to be highly relevant and aligned with the current Eighth NSEDP (2016–2020) aiming to reduce  the poverty incidence rate from 23.2 percent in 2012 to 10 percent in 2020 and to maintain an average annual  growth rate at 7–7.5 percent. The reliable and timely measurement of these targets and other targets is necessary  to  have  reliable  and  timely  statistics  by  the  national  statistical  system.  Furthermore,  the  World  Bank  Group’s  Country Partnership Framework1 (CPF) for Lao PDR identified the continued relevance of supporting the national  statistical  system  to  ensure  that  reliable  and  timely  data  are  available  to  assess  the  country’s  economic  performance and to formulate relevant development programs and instruments in support of Lao PDR’s social and  economic development.  Rating of Relevance of PDO: High  24. The  PDO  clearly  targeted  specific  constraints  of  Lao  PDR’s  national  statistical  system  to  produce  and  disseminate reliable and timely statistics. These constraints were identified, analyzed, and consulted extensively  by the LSB and statistical units in SMAs in the SDNSS. Lao PDR did not have a proper macroeconomic framework  that was developed and used within the GOL. The macroeconomic and poverty statistics were unreliable and were  unavailable on time. Credible measurement and estimates of economic performance or poverty reduction require  strong statistical evidence and data support. The focus of the PDO on production and dissemination of reliable and  timely macroeconomic and poverty statistics already stressed the high importance of trying to satisfy the huge  needs and increasing demand of statistics users. These two sets of statistics are highly relevant to measure and  monitor the NSEDP targets and indicators at the annual performance, at midterm review, and at final evaluation  of the plan. They are also highly relevant for formulation of the new follow‐on future NSEDPs.  B.    ACHIEVEMENT OF PDOs (EFFICACY)  25. The  efficacy  assessment  decomposes  the  PDO  into  two  outcome  objectives.  They  are  to  (a)  produce  reliable  and  timely  macroeconomic  and  poverty  statistics  in  accordance  with  international  standards;  and  (b)  disseminate macroeconomic and poverty statistics in response to user needs. The decomposition is in line with the  appraised  PDO  of  the  Project  Appraisal  Document  and  the  grant  agreement  of  the  project.  The  PDO  reads  “to  improve the capacity of the Recipient’s national statistical system to produce and disseminate reliable and timely  macroeconomic and poverty statistics in accordance with international standards and in responses to user needs.”  As  the  theory  of  change  in  figure  1  shows,  these  amplified  parts  of  the  PDO  were  intermediate  outcomes  and  activity outputs supported by the project. Key achievements of the PDO indicators were presented in Table 1.                                                              1 Report no. 110813.         Page 11 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      Table 1. Summary of Indicators and Achievements    Indicators  Unit  of  Baseline  End  Target  End  Actual  Achievement  Measure  Value  Value  Value  (%)  PDO level            Macroeconomic and poverty related  statistical capacity score2 improved  Number  61.00  75.00  65.00  87.8  and disaggregated by  a. Methodology  Number  50.00  65.00  50.00  78.1  b. Source data  Number  50.00  65.00  60.00  93.8  c. Periodicity and timeliness  Number  74.00  85.00  93.00  110.7  A comprehensive macroeconomic  None  is  The  The  framework is developed and used  available  framework  is  framework  is  within the GOL for policy making and  Text  produced and  produced and  100.0  planning process  used  by  the  used  by  the  GOL  GOL  User satisfaction3 with  macroeconomic and poverty statistical  products and services of the national  Percent  33.00  52.80  34.00  65.64  statistical system (disaggregated by  LSB and SMAs) improved.    Assessment of Achievement of Each Objective/Outcome  26. The  sub‐objectives  of  the  project  were  to  (a)  produce  reliable  and  timely  macroeconomic  and  poverty  statistics in accordance with international standards and (b) disseminate macroeconomic and poverty statistics in  response  to  user  needs.  The  achievements  of  each  sub‐objective  were  assessed  as  explained  in  the  following  paragraphs.   Objective 1: Produce reliable and timely macroeconomic and poverty statistics in accordance with international  standards  27. The  project  has  achieved  many  of  the  expected  outcomes  in  producing  macroeconomic  and  poverty  statistics. The achievements of this sub‐objective at both outputs and intermediate outcomes are significant. A  remarkable result was a significant improvement in the dimension of periodicity and timeliness of statistics. The                                                          2 Statistical capacity score is, also known as the Statistical Capacity Index (SCI), constructed by the World Bank in partnership with other  international organizations including the IMF, United Nations (UN), the United Nations Educational, Scientific and Cultural Organization  (UNESCO), and World Health Organization (WHO). The statistical score is measured in a scale from 1 to 100 points. A higher point refers to  a better capacity of the national statistical system. The latest available SCI for Laos which is used for this ICR was a bit outdated (based on  data from 2016 WDI/WEO) and it did not capture recent achievements made by the GOL with support from the project about rebase of  GDP and CPI, BOP and poverty update. By incorporating these changes, the score would certainly be higher.   3 User satisfaction is measured in percentage constructed from the user satisfaction survey. A higher percentage refers to higher  satisfaction of users. Two surveys were conducted. The first survey was completed in 2015 to establish the baseline of the indicator and  the second survey was completed in 2018 to provide the actual end‐result.        Page 12 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      main outputs of the project include (a) Lao PDR’s national accounts manual, (b) supply and use tables (SUT); (c)  rebase of gross domestic products (GDP) to 2012, (d) investment position survey, (e) new consumer price index  (CPI)  basket  to  improve  price  statistics,  (f)  poverty  analysis  and  report  based  on  LECS  5,  (g)  national  accounts  development strategy, (h) LSB’s human resource strategy, and (i) capacity building for sectoral statistics agencies.  Key  macroeconomic  and  poverty  statistics  as  well  as  population  census  data  were  produced  and  disseminated  much faster than before and with better quality and standards.   28. Lao  PDR’s  national  accounts  manual.  To  enable  the  LSB  to  transition  from  SNA  1993  to  SNA  2008,  a  supplementary customized manual of national accounts for Lao PDR was approved in May 2017. In line with SNA  2008  by  the  United  Nations,  the  manual  provides  procedures  and  guidelines  for  data  sources  and  compilation  methods to be used to estimate GDP at the national level. The manual is in line with good practices for a small  economy in adopting SNA 2008. The manual focuses mainly on the SUT and estimation processes of GDP at the  national  level,  not  suitable  at  the  provincial  level.  Broadly,  the  supplementary  national  account  manual  is  only  partially in line with the full SNA 2008 manual  iii. A complete transition toward a more robust use of SNA 2008  would require further upgrades of both institutional and staff capacity in LSB and improvement of data sources.  Currently, Lao PDR does not use the SNA 2008 methodology completely.   29. Supply and Use Tables (SUT). An update and expansionary data compilation was supported by the project  to finalize the construction of the 2012 SUTiv in support of the GDP rebase to 2012. Key datasets assembled include  (a) a series of annual household surveys (AHSs) and the 2015 Enterprise Survey (Establishments Survey); (b) data  on agriculture and informal businesses assembled from the LECS 2012–2013; and, (c) the 2012 Economic Census.  The constructionv of the 2012 SUT was completed in March 2017. Most componentsvi of the SUT framework were  compiled and completed except for Part C ‘Make or Supply Matrix’ because of lack of information from producers  in Lao PDR to compile the intermediate consumption matrix. Part E on ‘Further Details of gross value added (GVA)’  was  also  not  complete  because  information  for  disaggregate  income  details  was  not  available.  To  mitigate  the  shortfall of Part C, the LSB used estimated coefficients4 from a neighboring country as a starting point. The total by  products  for  Part  C  were  compared  to  the  initial  estimates  of  Part  B  on  ‘Balance  of  supply  and  demand  or  commodity flows accounts’ to produce an approximate balance through some adjustments by using the approach  of adjustment and updating of the technical coefficients, known as the RASvii method.  30. GDP  rebase  to  2012.  Based  on  the  SUT  completed  in  March  2017,  the  Lao  PDR’s  GDP  by  production  approach was estimated and rebased to 2012. The 2012 SUT framework generated new estimates of GDP at current  prices in 2012 at LAK 81.6 trillion, 8 percent higher than the GDP of the same year previously estimated at LAK 75.3  trillion  by  the  2002  SUT  framework.  The  GVA  of  some  economic  activities  was  much  higher  than  the  previous  estimates in the 2002 SUT framework. Based on the 2012 GDP rebase, GDP estimates from 2002 to 2011 were also  re‐estimated and aligned. New estimates of GDP from 2012 to 2016 were extrapolated. The next rebase year was  expected to be 2017 and a new 2017 SUT framework was to be compiled in 2019/2020. The LSB would need to  improve  the  quality  and  coverage  of  data  sources,  better  methodology,  and  institutional  and  staff  capacity  to  implement the task that would be very demanding in time, budget, and expertise.  31. International investment position (IIP) surveys. Two IIP surveys were conducted by the Bank of Lao PDR  (BOL) to collect investment data to adjust and improve the compilation of the BOP statistics and establish the IIP  and external statistics for Lao PDR. These statistics were critical for the estimation of GDP and GNI and to align Lao                                                          4 The coefficients from Thailand were used to combine and apply to Lao PDR’s estimates of intermediate demand by product at the 3‐digit  level of the Lao Classification of Products by Activity (LCPA).        Page 13 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      PDR’s  BOP  statistics  to  comply  with  international  standards.  The  first  IIP  survey  was  conducted  in  2016  (with  support from the project) to collect investment position data for 2014 and 2015. It was a joint effort between the  BOL, LSB, and the Ministry of Industry and Commerce (MOIC). The second survey to collect investment position  data for 2016 and 2017 was directly financed by the BOL and was completed in June 2018. The two surveys would  provide a series of adequate years of the investment position data that could help the BOL improve parts of IIP and  external debts in the BOP statistics. The IIP surveyviii was for the first time to provide total FDI estimates in Lao PDR.  In the 2016 survey for 2014 and 2015 data, the total FDI (excluding the banking sector) estimate was US$5.3 billion,  about 36 percent higher than the total FDI in 2014. The second survey was conducted during the first semester of  2018 and its result is being finalized.  32. New CPI baskets were used to improve price statistics. With the project’s support, Lao PDR had compiled  a monthly CPI with a new CPI basket and a new base year of 2015 (December 2015 = 100), started in July 2016.  Two major changes were made in the CPI estimation. They were (a) expanding items in the basket from 245 to 485  items and (b) including all 18 provinces instead of 12 previously. The weights were also updated based on the Lao  Social Indicator Survey in 2012.   33. Poverty analysis and report based on LECS 5. Lao PDR’s poverty analysis and report based on LECS 5 was  completed and published on time in October 2015. The poverty analysis was robust because of higher quality of  poverty data from the recent LECS 5 in 2012–2013 and detailed analysis of transition of poverty reduction by having  the  proper  panel  from  the  LECS  3–5  surveys.  A  2015  census‐based  poverty  incidence  mapping  was  jointly  conducted and completed between the LSB and the World Bank in June 2016. The questionnaire for LECS 6 was  improved with the project’s support to rationalize key principles in designing new questionnaires to enable data of  the upcoming LECSs 6 and 7 to meet data requirements of national accounts and poverty analysis. The AHSs 5 were  already conducted to fill data gaps, but there were some inconsistencies in methodologies between AHSs and LECS.  The new questionnaire of AHS was also improved to align with the LECS 6 questionnaires to reduce the difference.  The sample size of the 2014 AHS was smaller than 2,700 households. The suggested size should be increased to  about 50 percent of the LECS 6. The LSB started to conduct the LECS 6 in June 2018.   34. National accounts development strategy was developed in June 2017. For building capacity of the LSB  and statistical units in line ministries, the national accounts development strategy and methodology was developed  to  outline  the  priority  areas  that  need  improvement  and  need  to  comply  with  the  SNA  2008  methodology.  Following the use of the 2012 SUT framework and the GDP rebase to 2012, key priorities were to improve the  quality and standard of statistical data, increase the frequency of GDP estimates on a quarterly basis, and improve  methodology to exploit key datasets. Some error detection methodologies were developed to identify and correct  mistakes to obtain high‐quality national accounts. The Excel template used for compiling the 2012 SUT needed to  be  adapted  to  compile  new  data  sources  for  the  next  GDP  rebase  to  2017.  At  the  end  of  the  project,  the  implementation of the strategy was just at the beginning and has not yet yielded any significant changes.  35. LSB human resource strategy and Institutional Capacity Plan 2016–2020. In July 2016, a human resource  strategy was developed in preparation of the LSB staff to respond to the changing environment and to support  statistics  production  and  dissemination.  The  human  resource  strategy  outlined  a  clear  set  of  the  LSB’s  vision,  mission, and strategic priorities, where its (a) vision was to enable organizational change that delivers greater staff  performance  and  business  effectiveness;  (b)  mission  was  to  organize  Lao  PDR’s  statistics  to  make  them  more  globally accessible and provide Lao people with easy access to global information; and (c) strategic priorities were                                                          5 The AHS was conducted in 2003, 2004, 2005, 2008, 2011, and 2014 by the LSB. The AHS is a shortened version of the LECS.        Page 14 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      to have clear workforce planning, motivate great staff, and provide excellent processes. At the end of the project,  the LSB has only implemented some of the priorities.   36. The Institutional Capacity Plan 2016‐2025 (ICP) is a short and direct document, highlighting the areas that  needed to change, including a schedule of survey activities, and containing a matrix illustrating strategic pillars,  outcomes, objectives and activities. It provides the basis for LSB’s efforts to build capacity but also a template for  future resource mobilization. The four pillars of the ICP, which are cross‐referenced to SDNSS 2016‐2025, are: (i)  developing  the  LSB  leadership  role  in  the  coordination  of  the  National  Statistical  System;  (ii)  strengthening  organizational development; (iii) modernizing the statistical infrastructure; (iv) improving the service to users.  37. Capacity building for sectoral statistics agencies. Several key sectoral statistics agencies were supported  by  the  project  to  improve  their  statistical  capacity  and  communication  for  providing  economic  data  from  administrative  sources.  Key  support  included  methodology  skills  training  and  revision  of  the  sectoral  statistics  manuals, templates, and procedures. The beneficiary agencies included the MOIC’s Statistics Center, the Statistics  Office of the Ministry of Energy and Mines (MEM), BOL’s BOP Office, Tax Department of the Ministry of Finance  (MOF), the Faculty of Economics and Management of the National University of Laos (NOUL), and the National  Institute of Economic Research (NIER).  38. A comprehensive macroeconomic framework is developed and used. The project successfully achieved  targets in this indicator. A comprehensive macroeconomic framework and modelling was fully established in 2016  and was built on the earlier framework that had been already used by NIER since 2011. Such a framework was  delivered because of a strong macroeconomic monitoring and forecasting team (MMFTix), which was established  with the project’s support to compile the macroeconomic framework and modelling. Several rounds of workshops,  trainings, and consultations were organized for the MMFT. Since 2016, the MMFT, led by NIER, has been able to  make projections of key macroeconomic indicators until 2020. NIER’s annual economic review reports were issued  in the first quarter of each calendar year. The latest report was issued in March 2018.6 However, preparation of  quarterly  macroeconomic  updates  had  significant  challenges  because  of  limited  high  frequency  data  and  insufficient budget for conducting small quarterly surveys as needed.  Objective 2: Disseminate macroeconomic and poverty statistics in response to user needs  39. The  project  partially  achieved  the  expected  outcome  in  disseminating  macroeconomic  and  poverty  statistics in response to user needs. The targets in the PDO indicator were only partially achieved because of the  lag in translating outputs and intermediate results into outcomes and impact by the time when the end‐project  user  survey  was  conducted  (June  2017).  Despite  significant  improvements  in  production  and  dissemination  of  macro  and  poverty  statistics  through  hard  paper  publication,  online  data  access  and  sharing  have  not  been  improved  as  expected  because  data  interface  platforms  and  consolidated  website  for  data  sharing  were  not  completed  due  to  significant  delays  in  operational  and  technical  changes.    First,  there  was  a  long  delay  in  the  Government‐financed  construction  of  the  LSB  office  building  that  would  house  the  ICT  infrastructure.  The  construction of the LSB office building started late and the contractors were slow in conducting the civil works. The  LSB  office  building  was  only  completed  in  the  fourth  quarter  of  2017.  Second,  there  was  some  challenges  in  migration of various Microsoft Access datasets that were managed on various personal computers and were often  shifted from the server to local personal computers and vice versa to the new data warehouse platform and to be  uploaded  into  the  web  portal,  supported  by  the  project.  The  LSB  staff  still  lack  the  skills  to  use  the  relational                                                          6 Report of Lao PDR’s macroeconomic review for 2017 and its trend in 2018.        Page 15 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      database  management  system  (for  example,  Structured  Query  Language  [SQL]  server  and  MySQL)  from  data  acquisition to data dissemination. The LSB did not have a data warehouse platform before the project.   40. Despite limited improvements in online data access and sharing, it is essential to recognize the important  outputs supported by the project. The achievements of the expected outputs at the end of the project could be a  stepping  stone  for  the  LSB  to  enhance  future  dissemination  of  national  statistics.  Main  contributions  to  an  improved  policy  framework  on  data  sharing  and  access  to  information  and  an  improved  ICT  environment  in  facilitating data access in the following paragraphs.   41. LSB  ICT  plan  2016–2020.  The  ICT  plan  outlined  detailed  guidelines  for  the  use  of  ICT  to  support  the  modernization  of  statistical  processes  to  ensure  alignment  with  international  standards  and  supports  the  development  of  an  ICT  platform  and  the  strengthening  of  the  ICT  human  resource  capacity.  The  ICT  plan  was  prepared  with  the  project’s  support  and  was  approved  in  April  2016.  The  implementation  of  the  ICT  plan  has  started, including the key information technology (IT) infrastructure and capacity‐building support financed by the  project. The multiyear ICT plan was initially implemented by the LSB between 2016 and 2017. More outputs under  the ICT plan still need to be delivered during the remaining period of the plan. Currently, it is unclear whether the  LSB will be able to secure funding from the Government’s budget allocation to implement the plan.  42. Metadata  development  strategy  and  maintenance  manual.  In  July  2016,  a  metadata  development  strategy  was  developed,  with  the  project’s  support,  to  provide  the  LSB  some  concrete  steps  to  develop  and  implement a statistical metadata system (SMS) that would be in line with international standards. The SMS was to  improve the  efficiency of  data and metadata preparation, storage, access, management, and dissemination for  statistical  products  produced  across  the  GOL.  In  line  with  the  metadata  development  strategy,  a  metadata  development  and  maintenance  manual  was  also  prepared.  The  manual  helped  guide  the  LSB  to  define  key  components of a metadata management systemx. With the project’s support, an SMS was established in the new  data warehouse platform in the LSB and a metadata unit was assigned to lead this important priority, but it faced  several  constraints  to  maintain  and  further  develop  it.  Major  constraints  include  limited  ICT  and  database  development skills in the LSB. There are only two database developers who have the basic skills and they would  require significant training and skills upgrade to deliver an efficient metadata management system.  43. A  strategy  to  upgrade  the  microdata  management  system.  With  the  project’s  support,  a  strategy  to  upgrade the microdata management system was prepared and approved in December 2015. The strategy focused  on implementable technical and organizational changes as well as complex technical approaches, including data  integration and data warehousing. The strategy included (a) establishing a centralized storage and a centralized  control of microdata; (b) having a distributed access to microdata; (c) establishing a structured working procedures;  and  (d)  strengthening  staff  to  be  adequately  competent  in  the  following  roles:  system  architect,  system  administrator, ICT security, database administrator, database designer, Access, SQL, or Visual Studio developers,  and  statistical  software  professionals  (Statistical  Package  for  the  Social  Sciences  (SPSS),  Stata,  and  Census  and  Survey Processing System (CSPro)) to ensure connectivity between statistical software and rational database.   44. Data dissemination strategy. In March 2017, a data dissemination strategy was prepared and approved by  the LSB. The strategy attempted to set priorities for the LSB to adopt international good practices in improving (a)  the limited accessibility of statistics and metadata, (b) weak impartiality and objectivity; (c) the poor relevance of  statistics,  (d)  less  timeliness  and  periodicity  of  statistics;  and  (d)  weak  confidentiality  practices.  The  strategy  is  comprehensive to transform the LSB’s dissemination approach. The strategy defined clear dissemination principles  on  equal  access,  impartiality  and  transparency,  online  dissemination  database,  and  bilingual  publication  on  a        Page 16 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      centralized web portal. However, the strategy has not yet been implemented to fully realize all these important  priorities. At  the  time of  project closing, the LSB  has not been able to centralize and  upgrade the existing web  portals.  It  could  not  make  any  significant  organizational  and  technical  changes  to  adopt  a  new  approach  to  dissemination by launching the centralized web portal that was supported by the project. Significant efforts would  be needed in the coming year to achieve the target set in the strategy.  Justification of Overall Efficacy Rating  Rating: Substantial  45. The overall efficacy rating is Substantial. The project has achieved most of its outputs and significant parts  of its two sub‐objectives. At the end of the project, the production of macroeconomic and poverty statistics has  been improved with the LSB’s ability to have GDP estimates for the actual economic growth and projection for the  next  statistical  year.  Data  collection  from  surveys  sources  has  also  been  improved  with  enhanced  survey  questionnaires and methodologies and use of digital survey technology (tablets) through the project’s support.  Likewise,  data  collection  from  administrative  sources  has  also  been  gradually  efficient  because  of  clearer  coordination  and  communication  roles  between  the  LSB  and  sectoral  statistics  agencies  as  well  as  improved  manuals and templates. The project contributed to a stronger foundation for future improvements. The project  was behind expectation in producing a GDP by expenditure approach due to low quality and timeliness of some  sectoral data. It was also behind expectation in dissemination of statistics due to limited operational and technical  changes. The project‐supported LSB web portal has not yet been launched and upgraded to centralize all datasets  and statistics including macroeconomic and poverty data to allow greater access and improved outreach. Currently,  the LSB still maintains three different domains for data dissemination supported by different donors (Lao Info, Lao  Decide Info, and Lao PDR National Data Archive (LNADA)) and LSB is in the process of consolidating and streamlining  these websites to increase efficiency and improve online data dissemination.   C.    EFFICIENCY  Assessment of Efficiency and Rating  Rating: Substantial  46. The  project  had  some  broad  economic  benefits  and  welfare  gains  through  improvement  in  administrative efficiency. An economic analysis was performed at the ICR stage. The broad economic benefits are  derived from existence of improved quality and timely information and inputs for evidence‐based policy making  for the GOL and other users, and monitoring of overall economic performance and emerging risks, measurement  of  results  of  GOL  development  programs  and  improvement  in  budget  allocation.  Despite  the  delays  in  implementation  particularly  in  the  third  component,  which  showed  partial  achievement  of  results  on  data  dissemination, the project generated important cost savings and welfare gains. The economic and welfare analysis  focused in three ways: (a) timely production of macroeconomic and poverty statistics would increase cost saving  for the LSB and reduce waiting times for statistical users; (b) quality production of macroeconomic and poverty  statistics  would  minimize  efforts  of  users  to  further  verify  and  gather  more  evidence;  and  (c)  effective  dissemination  of  statistics  would  increase  data  sharing  and  reduce  the  time  that  users  take  to  access  statistics  (metadata,  administrative  data,  macrodata,  and  survey  data).  Because  this  project  was  not  to  generate  any  additional revenue for the LSB or the economy cost‐saving and value of time saved for the LSB and the economy  are key benefits gained through the project’s support. With some caution, these benefits are interpreted only in  the context of availability of and access to statistics. The analysis period is from 2013 to 2021, covering the project        Page 17 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      life and beyond with the assumption that some of the benefits require time to be gained as several strategies and  plans are being implemented. The discount rate was maintained at 5 percent. The expected economic benefits  were estimated based on the assumptions shown in table 1 in Annex 4. Efficiency Analysis.  47. Based on the assumptions, the project’s key benefits at the ICR stage included some cost savings and  marginal welfare gains. This project was not to generate any revenue flows for the LSB. The internal rate of return  (IRR) was estimated at 6 percent and the net present value (NPV) was estimated at US$6,149,508. First, the project  investments contributed to more timely production of statistics, especially macroeconomic and poverty statistics  that could save some administrative costs for the LSB in comparison with the baseline costs which the LSB would  have without the project. The incremental cost saving was estimated at US$214,478 or 7 percent of the LSB’s total  administrative costs. Likewise, the incremental value of time saved for the LSB was also estimated at US$526,863.  The value of time saved was translated to infer an incremental saving for the economy that was also estimated at  US$8,579,499 or about 0.01 percent of GDP.   Table 2. Estimated Economic Benefits  Description  At  At ICR  Appraisal  Estimated savings      Incremental administrative cost savings for the LSB (2013–2021)  —  US$214,478  Incremental saving for the value of time saved to the LSB (2013–2021)  —  US$526,863  Incremental savings for the value of time saved to the economy (2013–2021)  —  US$8,579,499  IRR and NPV estimation      IRR  —  6 %  NPV  —  US$6,149,508  D.    JUSTIFICATION OF OVERALL OUTCOME RATING  Rating: Moderately Satisfactory  48. The project achieved major parts of its objectives. All objectives of the LAOSTAT were highly relevant, as  they  were  aligned  to  the  government  policy  and  Bank  strategy  of  enhancing  the  national  statistical  system  in  support of Lao PDR’s social and economic development. Efficacy and efficiency were rated substantial. With the  project,  production  of  macroeconomic  and  poverty  statistics  has  been  improved  in  line  with  international  standards. Macroeconomic and poverty statistics are released faster than before and on time. Access to raw survey  data is still slow and remain challenging. Although the overall statistical score for Lao PDR has slightly improved  from  61  to  68  in  a  scale  from  1  to  100  points,  it  still  falls  short  of  the  end  target  of  75  points7.  Noticeable  improvements were made in the dimension of periodicity and timeliness of statistics by 6.67 points from 86.67 in  2011 to 93.33 in 2017. The actual end score of statistical methodologies has not changed from its baseline at 50  points. The score of statistical source data or data collection and compilation at the end of the project was at 60  points, 10 points higher than the baseline but it was still behind the end target of 65 points. Limited improvements                                                          7 The latest available SCI score is a bit outdated (based on data from 2016 WDI/WEO) and make it difficult to establish a complete picture  and have a full assessment of this PDO indicator at ICR stage. The new update is expected to be available by end‐2018 and it will likely  incorporate recent improvements made by the GOL (with support from the project), especially on GDP and CPI rebase, BOP and poverty  update. New score in the next update would surely be improved.        Page 18 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      in  the  scores  reflect  some  delays  in  translating  project  outputs  into  results  by  Lao  PDR  during  the  project  implementation. In addition, some improvements such as GDP rebase to 2012 were timely reflected in the updating  of the score.  E.    OTHER OUTCOMES AND IMPACTS (IF ANY)  Gender  49. The project co‐financed LECS 5 survey and Population and Housing Census 2015, which produced gender  disaggregated statistics on poverty, employment, education, health and intra‐household time use. These statistics  were further disaggregated at the province level, improving the understanding of gender gaps spatially too.  Institutional Strengthening  50. The  project  provided  significant  support  on  institutional  strengthening  for  LSB  and  several  related  ministries and agencies through: (i) a series of leadership, management and technical training for senior and young  statistical officials (about 100 training workshops and knowledge exchange visits were organized with support from  the project and nearly 1700 people were trained); (ii) development of a long term institutional capacity plan and  human resource strategy  for LSB; (iii) and modernization of ICT infrastructure for LSB and three pilot provinces.   Mobilizing Private Sector Financing  51. Not applicable.  Poverty Reduction and Shared Prosperity  52. The project provided support on poverty analysis for LECS5 and survey design for the next round of LECS  surveys and some poverty related training for LSB to strengthen their capacity to produce good dataset including  with  sex‐disaggregation  for  the  LECS,  population  census,  enterprise  surveys  and  economic  census  to  better  monitor economic performance and poverty reduction targets.  Other Unintended Outcomes and Impacts  53. Not applicable.  III.  KEY FACTORS THAT AFFECTED IMPLEMENTATION AND OUTCOME  A.    KEY FACTORS DURING PREPARATION  54. The project preparation was informed by extensive diagnostics conducted by the GOL, the World Bank,  and other development partners. The GOL’s needs assessment for the SDNSS and the final evaluation report of  SIDA’s statistical capacity support to the LSB at the MPI were the key documents that were considered as inputs  for the project design. Lao PDR had strong appetite for transitioning (a) from SNA 1993 to SNA 2008, (b) the national  accounts base year from 2002 to 2012, and (c) from the Fifth Edition of Balance of Payment Manual (BPM5) to the  Sixth Edition of BPM (BPM6). The GDP estimate was only performed by using the production approach, which was  in line with SNA 1993. It wanted to adopt the expenditure approach and produce quarterly GDP, but it was not        Page 19 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      possible at that time because of poor quality and lack of source data. The project design was based on extensive  consultations with the LSB, SMAs, academia, and development partners in Lao PDR. The preparation of the project  also  benefited  greatly  from  some  interventions  of  the  World  Bank  Group  through  the  Lao  statistics  capacity  technical  assistance  (STATCAP),  studies  and  policy  notes  of  the  development  partners,  including  the  Asian  Development Bank (ADB), the International Monetary Fund (IMF), and SIDA.  B.    KEY FACTORS DURING IMPLEMENTATION  55. The project experienced a classical U shape curve with a swift startup of implementation but later faced  some significant constraints in procurement before more tangible processes were made at the end of the project.  At the launch of the project, the LSB demonstrated strong ownership in implementing the project in preparing  work plans and initiating procurement of goods and consultants for project implementation. However, there were  some challenges in selecting a qualified procurement specialist at the first two years of the project. There was a  limited pool of qualified procurement consultants in the local market. The project, therefore, faced some significant  delays in having a technical assistance expert team to provide comprehensive consulting services to the LAOSTAT  on technical assessments and development of manuals and key operational strategies. The technical assistance  expert team was only on board during the midterm of the project. Most technical outputs and ICT‐related outputs  were delivered quite close to the end of the project, especially Component C on ICT infrastructure. Due to such  delays, LSB had only limited time to fully translate delivered outputs into actions and results.   56. LSB had a weak absorptive capacity to fully apply advanced statistical methodologies and international  standards in statistical production. Most of the junior staff had a limited statistical background and qualifications.  The already delayed implementation of ICT also faced further slowdown with a significant delay in the LSB’s new  headquarters building construction in Vientiane. The new headquarters building was not financed by the project,  but through the Government’s state budget, and was completed in the third quarter of 2017. The major ICT‐related  activities  (network  cabling  and  system  installation,  development  of  data  center,  installation  of  electricity  generators, and so on) were started in July 2017 and were only completed by the end of February 2018.  IV.  BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME  A.    QUALITY OF MONITORING AND EVALUATION (M&E)  M&E Design  57. The M&E design was relevant at the time of project preparation when the availability of information and  data  was  limited.  Two  of  the  three  PDO  indicators  were  considered  measurable  and  attributable  to  measure  improvements in the capacity of the Lao PDR’s national statistical system as whole but partially at specific project  levels and at ICR stage as it would take some time to see impacts after project completion. The first indicator was  to rely on two satisfaction surveys of statistical users in Lao PDR by the project. At design, there was no survey  being conducted to establish the baseline. The first satisfaction survey of statistical users was conducted in 2014.   58. The second PDO indicator was highly relevant for cross country comparisons because it measured scores  of national statistical capacities in three dimensions: statistical methodology, source data, and periodicity and  timeliness. This indicator is an internationally recognized indicator that is jointly constructed by the World Bank,  IMF, UN, UNESCO, and WHO, but this indicator source was not updated on a regular basis to reflect the progress  made in the field.        Page 20 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      59. The  third  PDO  indicator  was  important  to  measure  the  development  and  use  of  a  macroeconomic  framework by the Government. However, it was quite broad, and the means of verification appear quite limited  with  just  a  descriptive  narration  that  could  not  capture  tangible  results  and  its  quality.  Nearly  all  intermediate  outcome indicators were descriptive, but not quantitative. Likewise, the means of verification for these indicators  were also descriptive and were not in any references of an independent assessment of the targets. Such weakness  in  the  indicators  left  some  quality  gaps  that  the  project  should  focus  on  to  track  the  quality  of  progress  and  achievement in the intermediate and PDO results.  M&E Implementation  60. The  M&E  implementation  was  relatively  adequate  at  least  for  those  indicators  that  relied  on  administrative  and  project  data  sources.  These  included  the  third  PDO  indicator  and  almost  all  intermediate  outcome indicators. However, it was challenging for the LSB to keep track and obtain information or evidence to  track the progress and achievement of targets for PDO indicators 1 and 2.   61. For PDO indicator 1, the LSB was able to conduct two satisfaction surveys during the project life of four  years, but it also faced some delays in completing them on time. The baseline for this indicator was populated  quite late after the project started. The baseline was only established with the first satisfaction survey that was  conducted only in 2014 and completed in 2015. As consequence, the second satisfaction survey was subsequently  conducted in 2017, but it was completed in early 2018 to track achievements of the targets in this indicator. By  January 2018, the project had only one month toward the end date of the project. As such, the result of the survey  was not incorporated in the project M&E framework. The last Implementation Status and Results Report (ISR) was  submitted in December 2017 and was approved in January 2018.   62. Likewise, the project also faced some delays in updating the second PDO indicator because of time lags  for international organizations to reflect some of the improvements in Lao PDR’s statistical capacity score. There  were some gaps between reporting of in‐country improvements to the relevant partners that perform the update  of the statistical capacity score. The process of updating the SCIs has also been complex and time‐consuming.  M&E Utilization  63. The PDO indicators were useful not only to measure the achievements of the project targets, but LSB  also used it to keep track of the overall capacity of the national statistical system. Most notably, the second PDO  indicator was an indicator that the LSB could keep track of its performance in the future because it relies on an  open source that does not require much of an effort by the LSB to obtain the data and undertake verification for  the source. In addition, this indicator measures three main dimensions: methodology, source data, and periodicity  and timeliness. The LSB appeared to have more difficulty in using the first PDO indicator because it requires both  financial  and  human  resources  to  conduct  the  survey  on  a  periodical  basis.  It  was  assessed  that  it  would  be  challenging  for  the  LSB  to  conduct  any  follow‐up  satisfaction  surveys  without  project  support  after  the  project  closed  because  of  limited  capacity  and  lack  of  funding.  A  typical  satisfaction  survey  would  cost  the  LSB  about  US$50,000. The possibility that the LSB would be able to secure a sufficient budget to conduct such a survey in the  future would be limited unless it could be financed by external sources.  Justification of Overall Rating of Quality of M&E  Rating: Modest        Page 21 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      64. The design of the PDO indicators was broadly of acceptable quality, but the targets were not realistic  during project implementation. M&E implementation faced some shortcomings in obtaining realistic and relevant  data  and  evidence  to  update  targets  in  the  project’s  Results  Framework.  The  overall  statistical  score  was  not  reflected because of gaps in communication and time lags in the update of the score by international organizations.  The second follow‐up satisfaction survey was conducted late and there was also a delay in completing the survey  to  provide  the  required  data  on  time  for  updating  targets  in  the  indicator.  Only  the  second  PDO  indicator  on  statistical  capacity  score  would  remain  relevant  and  would  have  less  financial  burdens  on  the  LSB  to  continue  monitoring the overall capacity of the national statistical system. However, the LSB would still need to improve its  reports  and  communications  with  international  organizations  to  frequently  update  the  score  to  reflect  improvement of the overall capacity in the country.  B.    ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE  65. The project’s fiduciary performance was Moderately Satisfactory. The key fiduciary issues were delays in  project  procurement  and  weak  capacity  in  financial  management  in  the  LSB.  The  project  experienced  some  significant delays in procurement operation and there were not many project activities implemented during the  first and second year of the project. An experienced procurement officer was only on board in July 2014 to help  the LSB to expedite the large procurement packages, including (a) technical assistance on capacity building for the  LSB  in  which  the  technical  assistance  consultancy  contract  was  signed  in  July  2015  and  (b)  an  ICT  package  for  supplying and installing ICT equipment, software, and related services, for which the procurement contract was  signed in December 2016. With respect to financial management, the LSB also had limited experience in managing  any large project of this size. It faced some difficulties to familiarize and follow the project financial management  manual and procedures at the beginning of the project.  66. The environmental and social safeguards policies were not applied to this project as it was classified as  ‘Category C’ during project appraisal. No safeguards issue was triggered during project implementation.  C.    BANK PERFORMANCE  Quality at Entry  Rating: Satisfactory  67. The  project’s  theory  of  change  was  well  articulated.  The  World  Bank  benefited  significantly  from  the  existing diagnostics of Lao PDR’s national statistical system, including the final evaluation report of SIDA’s support  to build the LSB’s capacity, ADB’s technical assistance on SUT to improve macroeconomics statistics, and IMF’s  existing  assessment  of  statistical  issues.  During  project  preparation  and  appraisal,  the  World  Bank  conducted  several missions and carried out some extensive consultations with stakeholders in the Government, academia,  and development partners to validate the project design. It identified that strengthening the LSB’s overall capacity  in methodology, source data, and periodicity and timeliness would contribute to organizational, operational, and  technical changes in the LSB and SMAs to improve production and dissemination of economic and social statistics.   68. Project design was relevant by emphasizing on adopting international standards and methodology in  statistical  production  in  response  to  user  needs.  Because  of  the  competing  priorities  in  various  statistics,  the  project approach and design were selectively focusing on improvement of LSB’s core capacity in production and  dissemination of reliable and timely macroeconomic and poverty statistics. The project design was in line with the        Page 22 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      GOL’s priorities and action plan defined in the SDNSS (2011–2020) aiming at leveraging the LSB’s role as the leading  agency in national statistics. It also aimed at upgrading its overall statistical capacity to produce and disseminate  economic and social statistics in Lao PDR in accordance with international standards and in response to user needs.  Quality of Supervision  Rating: Moderately Satisfactory  69. Project implementation support by the World Bank was carried out through two main channels. First,  the World Bank task team was based in Vientiane and this helped the LSB obtain immediate access to advice and  technical backstopping for project implementation on a daily and weekly basis. Second, it benefited from formal  implementation support missions. Despite there were only four main project implementation support missions in  a five‐year project with formal Aide Mémoires submitted to MPI and LSB, the project was claimed to benefit from  many specific missions and visits by individual experts and consultants of the World Bank. The latter appeared to  provide specific and timely support to each implementing department within the LSB and in SMAs. The mission  notes and key steps for actions to be taken were discussed and agreed with the client.   70. Despite some delays in project procurement, the project rebounded at the second half of the project by  onboarding of the consulting team and a strong presence of a single Task Team Leader from the start to the end  of the project.   The project consultants had delivered all expected outputs to the LSB. The World Bank task team  provided regular reviews of these outputs and provided timely comments to the LSB and the project consultants.  The supervision task teams comprised members with an appropriate skill mix given the scope and status of the  project. Site visits to monitor implementation progress and quality of works were carried out jointly with the client  during  each  mission  and  visit.  Fiduciary  and  safeguards  monitoring,  and  guidance  were  sufficient,  helpful,  and  timely with local presence. A total of eight ISRs were candidly prepared. Issues were reported on time to the World  Bank management and they were communicated to LSB.   Justification of Overall Rating of Bank Performance  71. The  overall  rating  of  World  Bank  performance  is  Moderately  Satisfactory,  because  of  the  moderate  shortcomings in supervision.   D.    RISK TO DEVELOPMENT OUTCOME  72. There  are  some  clear  risks  likely  to  affect  the  LSB’s  ability  to  sustain  the  achieved  outcomes  and  to  translate some delayed outputs into future results that are critical for additional improvements of statistical  production and dissemination. Looking forward, the LSB would depend on timeliness and quality of source data  (administrative and surveyed sources) and qualified statisticians to apply international standards in its statistical  methodologies  in  statistical  production.  Unless  the  existing  gap  of  limited  qualified  statisticians  is  addressed  seriously by LSB, workloads for the existing qualified statisticians would compromise its capability in production of  statistics.   73. Dissemination  of  statistics  through  an  ICT‐based  data  platform  such  as  a  web  portal  will  require  significant upgrade in LSB’s ICT capability to maintain and update it. While the operation and maintenance of the  facilities was financed directly by the project, the risk that such facilities may not be used is high in the future, if  adequate financial and human resources are not allocated to support the initiative. At the end of the project, a  disaster recovery center has not been established to provide a back‐ up of the data platform. In addition, backup        Page 23 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      power provided (with two electrical generators) has not been fully connected to the entire building of IT equipment  and some lighting and devices. This poses some risks of disruption and business discontinuity.  V.   LESSONS AND RECOMMENDATIONS  74. A focused and simple project design, consistent with the client’s absorptive capacity, is key to producing  results.  Project  design  should  sequence  project  activities  to  match  the  client’s  absorptive  capacity.  During  the  appraisal, the detailed assessments of organizational and operational capacity was missing. The project design was  to  assume  that  a  large  package  of  international  technical  assistance  (twining  arrangement)  would  provide  the  required inputs and deliver outcomes on time. This arrangement has been useful for provide technical assistance  needed  during  the  implementation,  however  its  procurement  was  very  cumbersome  with  weak  procurement  capacity of the client. Because of the delays in procurement, several outputs were delivered late and the LSB had  limited absorptive technical capacity to translate technical recommendations and action plans into results. Most  deliverables were strategies, manuals, and action plans financed by the project. For instance, despite all outputs  delivered for statistical dissemination, the LSB could not centralize and launch the supported web portal, a main  public domain channel to disseminate statistics online.  75. While  adopting  international  standards  is  quite  straight  forward  for  macroeconomic  and  poverty  statistics, it was challenging for the LSB to collect source data with quality and timeliness from administrative  sources. The project relied intensively on the LSB for upgrading its capacity in methodology and survey processes,  but  efforts  by  the  project  and  the  LSB  were  limited  to  improving  quality  and  timeliness  of  source  data  from  administrative  sources.  Source  data  from  administrative  sources  in  line  ministries  and  sectors  are  still  too  aggregate, less well‐organized, and are not in time series. Future support should focus on making organizational  and operational changes to have good quality administrative sources.  76. Selection  of  project  indicators  must  be  carefully  assessed  regarding  data  sources,  frequency,  and  accessibility  to  ensure  timely  update  of  project  targets.  Using  the  World  Bank’s  SCIs  to  assess  the  national  statistical system’s capacity was relevant to track improvement in key dimensions of statistical capacity and provide  cross  country  comparisons.  However,  it  would  be  helpful  for  specific  statistical  projects  if  the  SCI  could  be  customized to suit the need at project or program levels. In this project, the SCI is used as one of three key PDO  result  indicators  but  updating  the  indicator  at  ICR  stage  was  challenging  because  the  SCI  was  not  updated  frequently. The process of updating the SCIs has also been complex and time‐consuming.   77. Further support to the LSB is highly recommended. The LSB will still need to optimize the use of its ICT  infrastructure,  network  system  and  data  center,  and  web  portal  to  further  improve  data  dissemination  and  management  and  strengthen  IT  capacity.  An  operation  team  should  be  created  to  provide  maintenance  and  upgrades of all ICT components. Specialized skills in data migration and system integration with other offices are  highly  required.  Data  dissemination  will  strongly  require  institutional  commitments  to  activate,  maintain,  and  update the web portal to enable easy access to data and sharing. In addition, future support to the implementation  of  key  strategic  Plans  adopted  by  the  GOL,  such  as  the  institutional  capacity  development  plan,  ICT  and  data  dissemination strategies, and human resource strategy under overall Strategy for the Development of National  Statistical System (2016‐2025) would be very critical to further strengthen the national statistical system’s capacity  to produce reliable and timely data to the GOL for evidence‐based policy making.    .  .        Page 24 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      ANNEX 1. RESULTS FRAMEWORK AND KEY OUTPUTS         A. RESULTS INDICATORS    A.1 PDO Indicators            Objective/Outcome: To produce reliable and timely macroeconomic and poverty statistics in accordance with international standards  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Macroeconomic and poverty  Number  61.00  75.00    65.00  related statistical capacity  score improved and    31‐Dec‐2011  30‐Jun‐2017    22‐Jun‐2017  disaggregated by:    (a)  Methodology  Number  50.00  65.00    50.00    31‐Dec‐2011  30‐Jun‐2017    22‐Jun‐2017       (b) Source Data  Number  50.00  65.00    60.00    31‐Dec‐2011  30‐Jun‐2017    22‐Jun‐2017       (c)  Periodicity &  Number  74.00  85.00    93.00  timeliness:    31‐Dec‐2011  30‐Jun‐2017    22‐Jun‐2017      Comments (achievements against targets):         Page 25 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)            Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  A comprehensive  Text  None is available.  Framework is    Framework is  macroeconomic framework is  institutionalized.  institutionalized.  developed and used within  the GOL for policy making    31‐Dec‐2012  30‐Jun‐2017    20‐Dec‐2017  and planning process.    Comments (achievements against targets): A macroeconomic framework was developed jointly by the Government's macroeconomic working group and  it has been used by the National Institute of Economic Research (NIER)‐‐the lead think thank of the Government of Lao PDR. By using the framework, NIER  has been able to produce annual macroeconomic review on a regular basis to inform decision making and economic policy formulation.         Objective/Outcome: To disseminate macroeconomic and poverty statistics in response to user needs.  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  User satisfaction with  Percentage  33.00  52.80    34.00  macroeconomic and poverty  statistical products and    28‐Mar‐2014  30‐Jun‐2017    28‐Feb‐2018  services of the NSS  (disaggregated by LBS and  SMAs) improved.    Comments (achievements against targets): The actual baseline from the LSB's satisfaction survey in 2014 was 33 percent instead of 49, previously  reported in the ISRs. Likewise, the formulation of the end target of this indicator was that there would be an improvement in user satisfaction by 60  percent at the end of the project. Based this formulation, the correct end target for this indicator was 54.78 percent. LBS should be LSB because LBS was  incorrectly entered in the indicator narrative. NSS refers to the national statistical system.        Page 26 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)              A.2 Intermediate Results Indicators        Component: A: Strengthening Macroeconomic and Poverty Data Development and Management  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Macroeconomic statistics  Text  Poor qualiy  Quality improved.    Quality improved.  (especially GDP and prices)  are produced in line with    28‐Dec‐2012  30‐Jun‐2017    27‐Oct‐2017  internationally accepted  standards.    Comments (achievements against targets):       Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Social and demographic  Text  Partially use of  International    International  statistics (particularly  international  standards fully  standards fully  household and poverty data  standards  applied.  applied.  including sex‐disaggregated  data) are produced in line    28‐Dec‐2012  30‐Jun‐2017    22‐Jun‐2017  with internationally accepted  standards.    Comments (achievements against targets):             Page 27 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)        Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Internationally accepted  Text  Partially in use,  International    International  standards, classifications and  especially data  standards applied.  standards mostly  methodologies in  collected from  applied except for  macroeconomic and poverty  administrative  some administrative  related data collection,  reporting system.  sources.  compilation, and validation  are in place.    28‐Dec‐2012  30‐Jun‐2016    22‐Jun‐2017    Comments (achievements against targets): International standards, classifications and methodologies were mostly applied in macroeconomic and  poverty related data. However, some sectoral economic data collection and compilation has not been fully in use of international standards, classifications  and methodologies in reality. This has been a major issue on the quality of source data and it has constrained the production of quarterly GDP and GDP by  expenditure and income approaches.        Component: B: Improving Policies and Strengthening Implementation Capacity  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Interagency coordination  Text  Project Steering  Inter‐agency    Inter‐agency  mechanism  Committee (PSC) and  coordination  coordination  Statistical Working  improved.  improved.  Group (SWG) will be in  place including  necessary regulations  should be prepared.    28‐Dec‐2012  30‐Jun‐2017    10‐Nov‐2017        Page 28 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)          Comments (achievements against targets): PSC and SWG were established in 2014. Inter‐agency coordination improved through a regular conduct of  relevant agencies meetings and consultations on statistical issues including data collection, compilation, analysis and dissemination.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Human resource  Text  No human resource  Human resource    Human resource  management strategy is in  strategy and training  strategy is  strategy is partially  place and LBS and SMA staff  program is in place  implemented.  implemented.  trained and maintained their  skills.    28‐Dec‐2012  30‐Jun‐2017    30‐Nov‐2017    Comments (achievements against targets): The human resource strategy was approved by LSB in 2016. However, the institutional capacity plan (ICP) was  finalized and formally approved by LSB by end‐Nov 2017. LBS should be LSB but it was entered incorrectly.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Data user‐producer dialog  Text  The dialogue is  Data user‐producer    Data user‐producer  established and functional  random and  dialogue improved.  dialogue improved.  infrequent    28‐Dec‐2012  30‐Jun‐2017    20‐Dec‐2017    Comments (achievements against targets): The annual data user‐producer forum (dialogue) was organized regularly. The last forum was conducted in  June 2017. LSB has continued to conduct the data user‐producer dialogue through various channels including the last one that was conducted on  International Statistics Day in October 2017.              Page 29 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)         Component: C: Improving Data Sharing and Access  Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  Dissemination strategy is  Text  No policy. Drafting  Dissemination    Dissemination  developed and  process started.  strategy in place.  strategy in place.  implementation plan is  prepared.    28‐Dec‐2012  30‐Jun‐2017    20‐Dec‐2017    Comments (achievements against targets): The dissemination strategy was prepared and approved in March 2017. A subsequent dissemination plan  were prepared and approved by LSB. The strategy has been only partially implemented.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  IT plan for LBS and SMAs is  Text  No plan  Good plans in place    Good plan in place but  developed and implemented.  and implemented.  partially implemented.    28‐Dec‐2012  30‐Jun‐2017    20‐Dec‐2017    Comments (achievements against targets): The ICT strategy and action plan were in place. The implementation of the ICT plan has started including the  key IT infrastructure and capacity building supports financed by the project. The multi‐year ICT Plan has been initially implemented by LSB between 2016  and 2017. More outputs under the ICT Plan still need to be delivered during the remaining period of the plan. As mentioned previously, LBS should be LSB.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  LSB web portal improved  Text  Needs significant  The web portal    The web portal  with increased number of  improvement.  improved.  improved.        Page 30 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)        data available.    28‐Dec‐2012  30‐Jun‐2017    20‐Dec‐2017    Comments (achievements against targets): The web portal improved but it has not been launched by LSB. It has some issues with migration of datasets  that are in various forms, most notably MS Access in different versions and there would need to be migrated into a newer version and the database  format. LSB still operates its data dissemination with three different domains namely Lao Info, Lao Decide Info and LNADA that were previously supported  by different donors. The new web portal supported by LAOSTAT project was to centralize and rationalize into a single public domain while various older  domains will remain for internal use. However, LSB has not decided to take action for launching the new web portal developed.      Formally Revised   Actual Achieved at  Indicator Name  Unit of Measure  Baseline  Original Target  Target  Completion  IT staff trained and retained  Text  Limited number of IT  Skills learned and    Skills learned and  their skills.  staff and skills.  applied.  applied.    28‐Dec‐2012  30‐Jun‐2017    20‐Dec‐2017    Comments (achievements against targets): The IT skills of LSB staff has been strengthened. Intensive workshops and training on key IT competency and  skills including database administration and development, system administration, ICT security, access/visual studio developers with SQL, application  software (CAPI/STATA/SPSS), networking and infrastructure maintenance were delivered to LSB ICT staff. However, key issue is the limited number of  qualified IT staff available for obtaining the required training. LSB would need to recruit more qualified IT staff.                                Page 31 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)             B. KEY OUTPUTS BY COMPONENT      Objective/Outcome 1: To produce reliable and timely macroeconomic and poverty statistics in accordance with international standards  1. Macroeconomic and poverty related statistical capacity score  improved and disaggregated by: methodology, source data,  and periodicity and timeliness   Outcome Indicators  2. A comprehensive macroeconomic framework is developed  and used within the GOL for policy making and planning  process  1. Macroeconomic statistics (especially GDP and prices) are  produced in line with internationally accepted standards  2. Social and demographic statistics (particularly household and  poverty data, including sex‐disaggregated data) are produced  Intermediate Results Indicators  in line with internationally accepted standards  3. Internationally accepted standards, classifications, and  methodologies in macroeconomic and poverty related data  collection, compilation, and validation are in place  1. National SNA manual and methodology developed.  2. Re‐benchmarking of the national accounts to 2012.  3. National account development strategy and methodology was  developed and implemented.  Key Outputs by Component  4. Generic methods and tools for economic surveys were  (linked to the achievement of the Objective/Outcome 1)  developed and used.  5. SUT.  6. Surveys on IIP and international trade in services were  completed.        Page 32 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      7. Guidelines and measures to have data quality assurance for  surveys and administrative data were developed and used.  8. Training on national accounts, economic survey method, and  data quality assurance was delivered.  9. Macroeconomic framework and modeling capacity was built  and used by the GOL.  Objective/Outcome 2: To disseminate macroeconomic and poverty statistics in response to user needs.  1. User satisfaction with macroeconomic and poverty statistical   Outcome Indicators  products and services of the national statistical system  (disaggregated by LSB and SMAs) improved.  1. Interagency coordination mechanism  2. Human resource management strategy is in place and LSB and  SMA staff trained and maintained their skills  3. Data user‐producer dialog established and functional  4. Dissemination strategy was developed, and implementation  Intermediate Results Indicators  plan is prepared  5. IT plan for LBS and SMAs is developed and implemented  6. LSB web portal improved with increased number of data  available  7. IT staff trained and retained their skills  1. Institutional capacity plan was developed and implemented.  2. Human resource strategy and implementation plan were  developed and implemented.  Key Outputs by Component  3. Coordination of the national statistical system was  (linked to the achievement of the Objective/Outcome 2)  strengthened.  4. Training on management and coordination was completed.  5. Data dissemination strategy and implementation plan were  developed and implemented.        Page 33 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      6. Metadata development strategy.  7. ICT plan for the national statistical system.  8. ICT system established for LSB.  9. Statistical datasets partially migrated to the new server and  LSB web portal.  10. Manuals on contents and publication design and  maintenance.  11. Training on dissemination, metadata, and ICT.            Page 34 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)        ANNEX 2. BANK LENDING AND IMPLEMENTATION SUPPORT/SUPERVISION  A. TASK TEAM MEMBERS    Name  Role  Preparation    Somneuk Davading  Senior Economist/Task Team Leader(s)  Mustafa Dinc  Senior Economist/Statistician  Genevieve F. Boyreau  Senior Country Economist  Carlos E. Sobrado  Senior Poverty Specialist  Naomi J. Halewood  ICT Policy Specialist  Richard Record  Senior Trade Specialist  Keomanivone Phimmahasay  Economist  Christopher Robert Fabling  Senior Financial Management Specialist  Siriphone Vanitsaveth  Financial Management Specialist  Souphanthachak Sisaleumsak  Procurement Specialist  Roch Levesque  Legal  Chau‐Ching Shen  Senior Finance Officer/Disbursement  Viengkeo Phetnavongxay  Environmental Safeguards Specialist  Kanitta Kaikittipoom  Trust Funds Operations Analyst  Vatthana Singharaj  Program Assistant      Supervision/ICR    Somneuk Davading  Senior Economist/Task Team Leader(s)  Latharo Lor  Procurement Specialist(s)  Siriphone Vanitsaveth  Financial Management Specialist  Sivaramen Ramasawmy  Senior IT Officer  Evgenij Najdov  Senior Country Economist  Naomi J. Halewood  Senior ICT Policy Specialist  Sybounheung Phandanouvong  Social Safeguards Specialist  Waraporn Hirunwatsiri  Environmental Safeguards Specialist  Viengsamay Srithirath  Country Officer        Page 35 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      Soulivong Chanthalangsy  IT Analyst  Konesawang Nghardsaysone  Economist/Primary ICR Author  Keomanivone Phimmahasay  Economist  Obert Pimhidzai  Senior Economist  Souksavanh Sombounkhanh  Program Assistant  Phet Udom Mainolath  Program Assistant  Alina Phonvisay  Program Assistant  Sourignahak Sakonhninhom  Program Assistant           B. STAFF TIME AND COST  Staff Time and Cost  Stage of Project Cycle  No. of staff weeks  US$ (including travel and consultant costs)  Preparation  FY13  1.000  3,835.20  Total  1.00  3,835.20    Supervision/ICR  FY12  21.016  79,957.90  FY13  7.165  13,566.02  FY14  25.530  41,708.82  FY15  33.950  43,864.74  FY16  52.240  123,763.57  FY17  50.173  134,544.78  FY18  41.265  111,727.29  FY19  11.602  25,435.68  Total  242.94  574,568.80                       Page 36 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      ANNEX 3. PROJECT COST BY COMPONENT    Actual at Project  Percentage of  Amount at Approval  Components  Closing (US$,  Approval (US$,  (US$, million)  million)  million)  A. Strengthening  Macroeconomic and  Poverty Data  3.13  3.13  100  Development and  Management  B. Improving Policies and  Strengthening  1.16  1.16  100  Implementation Capacity  C. Improving Data Access  2.69  2.68  100  and Sharing   D. Supporting LAOSTAT  0.80  0.80  100  Project Management  Unallocated budget  0.23  0.23  100  Total  8.00   8.00  100                Page 37 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      ANNEX 4. EFFICIENCY ANALYSIS      Introduction  1. An economic analysis was conducted at the ICR stage to assess the resource efficiency and cost‐ effectiveness of the project. The economic analysis is, however, constrained by the characteristics of the  project that are not amenable to a cost and benefit analysis as it was argued at the time of appraisal. In  such circumstance, the economic analysis at the ICR stage was also limited but was intended to assess  resource  efficiency  and  cost  effectiveness  by  looking  at  some  broad  economic  benefits  resulted  from  project investments.  Economic Analysis at Appraisal  2. At  the  appraisal  stage,  the  project  was  characterized  as  nonamenable  to  a  cost  and  benefit  analysis. However, at the time of appraisal, the economic benefits of the project were assumed  to be  derived from three main sources: First, existence of data would enhance the potential for evidence‐based  decision making, at policy, program, and project levels. Second, an improved statistical system in Lao PDR  would  enable  the  GOL  and  international  community  to  measure  and  track  the  results  of  national  development  programs  and  plans,  including  the  NSEDP  implementation,  MDGs,  and  the  GOL’s  vision  2020.  Third,  the  efficiency  would  be  improved  from  better  allocation  of  resources  and  more  effective  implementation of planned and ongoing development programs.  3. Likewise, there was not financial analysis at appraisal as the LSB does not operate on commercial  terms. Some general assumptions were highlighted as follows:  (a) National statistics are a public good and are generally financed from tax revenue and aid as  they have limited potential for cost recovery.  (b) Costs of statistical reports and data for sales are kept at minimum to foster demand and use  of statistics.  (c) Only  marginal  financial  returns  are  expected  from  the  project  because  reports  are  often  produced  on  the  basis  of  usefulness  to  the  whole  development  community,  but  not  to  generate any significant fiscal revenue.  Economic Analysis at ICR  4. At ICR, the economic analysis of the project focused on broad economic benefits and welfare gains  in three ways: (a) timely production of macroeconomic and poverty statistics would increase cost saving  for the LSB and reduce waiting times for statistical users; (b) quality production of macroeconomic and  poverty  statistics  would  minimize  efforts  of  users  to  further  verify  and  gather  more  evidence;  and  (c)  effective dissemination of statistics would increase data sharing and reduce the time that users take to  access to statistics (metadata, administrative data, macrodata, and survey data). Since this project was  not to generate any additional revenue for the LSB or the economy, cost savings, and value of time saved  for the LSB and the economy are key benefits gained through the project’s support. With some caution,        Page 38 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      these benefits are interpreted only in the context of availability of and access to statistics. The analysis  period is from 2013 to 2021, covering the project life and beyond with the assumption that some of the  benefits require time to be gained as several strategies and plans are being implemented. The discount  rate  was  maintained  at  5  percent.  The  expected  economic  benefits  were  estimated  based  on  the  assumptions shown in table 4.1.  Table 1. Key Assumptions for an Economic Analysis  KEY  Baseline  Unit  Targets  Description  Actual  Unit  ASSUMPTIONS  (back track  (%)  (2018)  to 2013)  GDP growth        7 a year           Cost saving because of efficiency improvement    Staff months  720  staff  10  Drops in year 3 of the  10  Percent  months  project forward  drop  because of efficiency  improvement in  statistical production  Waiting time between production and release    Macroeconomic  18  months  33  Drops  12  Months  statistics  Poverty  24  months  25  Drops  18  Months  statistics (LECS)   Economic  24  months  25  Drops  24  Months  census  AHS  18  months  25  Drops  24  Months  Time take to access to statistics    Macroeconomic  0.5  months  50  Drops because of  0.25  Months  statistics  improved  dissemination for data  access and sharing  Poverty  2  months  50  Drops  2  Months  statistics (LECS)   Economic  2  months  50  Drops  2  Months  census  AHS  2  months  50  Drops  2  Months  5. Based on these assumptions, the project’s key benefits at ICR are more cost savings and some  welfare gains. This project was not to generate any revenue flows for the LSB. The IRR was estimated at 6  percent and the NPV was estimated at US$6,149,508. First, the project investments contributed to more  timely  production  of  statistics  especially  macroeconomic  and  poverty  statistics  that  could  save  some  administrative costs for the LSB in comparison with the baseline costs which the LSB would have without  the  project.  The  incremental  cost  saving  was  estimated  at  US$214,478  or  7  percent  of  the  LSB’s  total  administrative  costs.  Likewise,  the  incremental  value  of  time  saved  for  the  LSB  was  also  estimated  at        Page 39 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      US$526,863. The value of time saved was translated to infer an incremental saving for the economy that  was also estimated at US$8,579,499 or about 0.01 percent of GDP.   Table 2. Estimated Economic Benefits  Description  At Appraisal  At ICR  Estimated savings      Incremental administrative cost savings for the LSB (2013– —  US$214,478  2021)  Incremental saving for the value of time saved to the LSB  —  US$526,863  (2013–2021)  Incremental savings for the value of time saved to the  —  US$8,579,499  economy (2013–2021)  IRR and NPV estimation      IRR  —  6 %  NPV  —  US$6,149,508                Page 40 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      ANNEX 5. BORROWER, CO‐FINANCIER AND OTHER PARTNER/STAKEHOLDER COMMENTS    CONSOLIDATED COMMENTS  from the LSB, LAOSTAT and CSTA team  on the  IMPLEMENTATION COMPLETION AND RESULTS REPORT  (SRF‐CTF GRANT TF014613)    We  would  like  to  thank  the  WB  for  giving  us  opportunity  to  provide  comments  on  the  draft  Implementation Completion and Results Report (ICR) dated 6 September 2018. After consultation with  the members of the National Implementation and Coordination Team (NICT), the LAOSTAT Consultancy  Services for a Twinning Arrangement (CSTA) as well as the respective departments of the LSB, we have  prepared  a  list  of  comments  and  suggestions  below  (general  and  specific  comments)  for  your  consideration.     General comments:    Overall, the ICR is well written and aligned with LSB’s Project Completion Report. We agree with most of  what has been assessed in the ICR. Nevertheless, we have three observations below:  − The assessment of the outcomes and the associated rating: considering the discussion on the limitations  of  the  PDO  indicators  selected,  the  team  considers  that  there  could  be  a  case  for  upgrading  the  Outcome rating to Satisfactory considering the outputs of the project as reflected in the achievement  against the Intermediary Results Indicators.  − The World Bank’s performance: In absence of evidence of shortcomings included in the ICR, again the  team considers that there could be a case for upgrading the Bank Performance’s rating to Satisfactory.  − The  lessons  learned:  It  would  be  helpful  to  include  more  discussion  in  the  ICR  on  the  efficacy  or  otherwise of the public‐private partnership approach adopted. Perhaps also, more emphasis on the  role of the twinning arrangement in the project could be put as most activities and outputs mentioned  have benefitted from significant contributions from the modality.  Specific comments:  The comments are organized following the ICR structure.                Page 41 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      I.  PROJECT CONTEXT AND DEVELOPMENT OBJECTIVES  A.  CONTEXT AT APPRAISAL  Context  §5 (paragraph 5)  Fully  using  the  1993  SNA  was  not  possible  partly  because  of  the  poor  quality  of  the  BOP  statistics  (compiled by the Central Bank).  It is extremely doubtful that a small country like Lao should or could fully  implement the SNA as in large sophisticated economies.  B.  SIGNIFICANT CHANGES DURING IMPLEMENTATION (IF APPLICABLE)  II.  OUTCOME  A.  RELEVANCE OF PDOs  B.  ACHIEVEMENT OF PDOs (EFFICACY)  Table 1. Summary of indicators and achievement  The percentages of achievement should not assume the base (starting) value to be zero.  If the calculation  is indeed to be made, it should be in the form ((End actual value minus base value) / (End target value  minus base value)) * 100.  But it is not clear how the calculation would add much to the analysis.    Assessment of Achievement of Each Objective/Outcome  Objective 1: Produce reliable and timely macroeconomic and poverty statistics in accordance with  international standards  §28  As mentioned earlier, transition from 1993 to 2008 SNA is one thing.  This was done for that part of the  SNA that was being compiled.  That Lao PDR is not fully using the 2008 SNA is another.  It was not fully  using the 1993 SNA.  The project did not extent the scope of the SNA use.  This was not possible partly  because of the poor quality of the BOP statistics (compiled by the Central Bank).  It is extremely doubtful  that  a  small  economy  like  Lao  should  or  could  fully  implement  the  SNA  as  in  large  sophisticated  economies.  But there is perhaps a need to focus on benchmarking the BOP as well as the GDP.  There  is  no  way  to  estimate  GDP  by  expenditure  reliably  without  high  quality  continuous  household  expenditure data.  Very costly in a small country.  Quarterly GDP covering all formal activities is not possible without access to VAT data.   Although access  to VAT data was not achieved until the very end of the project, this was a big breakthrough.  Enterprise surveys for this are costly and usually unreliable. In fact, successful comprehensive enterprise  surveys  yielding  reliable  financial  data  (including  cost  structures)  are  extremely  rare.   Focusing  on  a  particular economic activity at a time seems to be a better approach.        Page 42 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      The extrapolation system put in place would require additional specialist support to be sustainable.  Insert after §34  The development and promotion of generic methods and quality assurance (LOSQAF) should probably be  more  explicitly  mentioned  among  the  main  outputs  of  the  project.  Even  though  the  effective  implementation has been limited, this was an addition to the original requirements and a response to  needs expressed by LSB that have laid the basis for a more methodical and effective way of conducting  surveys and assessing their quality in the future.  Insert after §35  The ICP would also deserve a mention. At LSB’s request, priority was first given to the preparation of a  Human  Resources  Framework  and  HR  Strategy  and  Implementation  Plan,  which  also  necessitated  the  early drafting of a Training and Development Plan (including management and coordination training) on  the basis of a training needs analysis that had been conducted.  Although  the  development  of  the  Institutional  Capacity  Plan  (ICP)  commenced  later  than  originally  planned, it was noted that it could be viewed as the most important of the CSTA project deliverables, as  it provided not only the basis for LSB’s efforts to build capacity but also a template for future resource  mobilization.    Justification of Overall Efficacy Rating  Rating: Substantial  §44  The overall assessment “Substantial” seems reasonable.  Because of the nature of the SCI, it is uncertain whether it will reflect ‘recent achievements made by the  client’. See “Note on the World Bank Statistical Capacity Indicator” for more details.  Similarly, and as evoked earlier in the report, there is by nature a lag between eventual improvements in  the  dissemination  capacity  and  the  translation  into  improved  user  satisfaction  measurable  in  the  user  satisfaction survey.  C.  EFFICIENCY  D.  JUSTIFICATION OF OVERALL OUTCOME RATING  Rating: Moderately Satisfactory  §47  Based on the PDO indicators selected it is difficult to assess the overall outcome of the project.  Concerning the SCI, there may be delays or omissions by the country issuing the information, and/or on        Page 43 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      the part of the respective international organizations in updating their databases from which the Bank  compiles the SCI. The 2018 SCI figures which should be published shortly should help clarify the situation.  More generally and as mentioned earlier, an evaluation of statistical capacity based on the World Bank  Statistical  Capacity  Indicator  should  be  conducted  with  full  recognition  of  its  limitations.  The  SCI  is  considered useful as a broad indicator of statistical capacity. However, the SCI, with its preponderant use  of  statistical  activities  and  outputs  as  its  component  indicators,  is  a  better  measure  of  the  statistical  performance than statistical capacity. Even in this case using pluri‐annual moving averages rather than  single year figures would be more advisable. See “Note on the World Bank Statistical Capacity Indicator”  for more details.  Concerning  the  USS,  and  as  evoked  earlier  in  the  report,  there  is  by  nature  a  lag  between  eventual  improvements  in  the  dissemination  capacity  and  the  translation  into  improved  user  satisfaction  measurable in the user satisfaction survey. This limits the quality of the USS as PDO indicator.  In light of the achievements against the IRI and despite the mixed results against the PDO indicators, it is  considered that the project has permitted to make significant progress towards the achievement of the  stated  overall  objective  to  improve  the  capacity  of  the  Lao  national  statistical  system  to  produce  and  disseminate reliable and timely macroeconomic and poverty statistics in accordance with international  standards and in response to user needs. Hence there may be a case for upgrading the project Rating from  Moderately Satisfactory to Satisfactory.  IV.   BANK PERFORMANCE, COMPLIANCE ISSUES, AND RISK TO DEVELOPMENT OUTCOME  A.  QUALITY OF MONITORING AND EVALUATION (M&E)  M&E Design  §56  As  evoked  earlier  in  the  report,  there  is  by  nature  a  lag  between  eventual  improvements  in  the  dissemination  capacity  and  the  translation  into  improved  user  satisfaction  measurable  in  the  user  satisfaction survey. This limits the quality of the USS as PDO indicator.  §57  “this indicator source was not updated on a regular basis to reflect the progress made in the field”  The (published) SCI being updated annually, it is unclear what is meant by this statement. We agree  however that there may be delays or omissions by the country issuing the information, and/or on the  part of the respective international organizations in updating their databases from which the Bank  compiles the SCI.  More generally and as mentioned earlier, an evaluation of statistical capacity based on the World Bank  Statistical Capacity Indicator should be conducted with full recognition of its limitations. The SCI is  considered useful as a broad indicator of statistical capacity. However, the SCI, with its preponderant  use of statistical activities and outputs as its component indicators, is a better measure of the statistical  performance than statistical capacity. Even in this case using pluri‐annual moving averages rather than  single year figures would be more advisable. See “Note on the World Bank Statistical Capacity Indicator”  for more details.        Page 44 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      §58  “Nearly all intermediate outcome indicators were descriptive, but not quantitative. Likewise, the means  of verification for these indicators were also descriptive and were not in any references of an independent  assessment of the targets. Such weakness in the indicators left some quality gaps that the project should  focus on to track the quality of progress and achievement in the intermediate and PDO results.”  The team agrees with the statement but is simultaneously wondering whether anything could have  been specified that would be more quantitative and at the same time meaningful and realistic of  attainment.    M&E Implementation  §61  The  delays  in  updating  the  second  PDO  might  be  an  issue  but  it  is  doubtful  that  it  is  the  only  one  surrounding the SCI.  M&E Utilization  §62   “the second PDO indicator was an indicator that LSB could keep tracks of its performance in the future  because it relies on an open source that does not require much of an effort by LSB to undertake to obtain  the  data  and  verification  for  the  source.  In  addition,  this  indicator  measures  three  main  dimensions:  methodology, source data and periodicity and timeliness.”    True, but the SCI is quite a blunt instrument, especially over a relatively short time period.  See the 2016  “Note  on  the  World  Bank  Statistical  Capacity  Indicator”  for  the  IEG  for  some  of  the  strengths  and  limitations of the SCI.  Justification of Overall Rating of Quality of M&E  Rating: Modest  §63  “The overall statistical score was not reflected because of gaps in communication and time lags in the  update of the score by international organizations.”  Again, this is likely to be only part of the problem.  B.  ENVIRONMENTAL, SOCIAL, AND FIDUCIARY COMPLIANCE  C.  BANK PERFORMANCE        Page 45 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      Justification of Overall Rating of Bank Performance  “The  overall  rating  of  World  Bank  performance  is  Moderately  Satisfactory,  because  of  the  moderate  shortcomings in supervision.”  Having read paragraph 75 and 76, where no negative comments can be found, it can be  considered surprising that this rating is not higher. Without evidence of the ‘moderate  shortcomings in supervision’ to be provided in order to justify the rating given, a “Satisfactory”  rating would be considered more appropriate.  D.  RISK TO DEVELOPMENT OUTCOME  §71 and §72  The team agrees with the risks presented and much of them are reflected in the conclusions  and recommendations of the CSTA report  V.  LESSONS AND RECOMMENDATIONS  §73   “During the appraisal, the detailed assessments of organizational and operational capacity was missing.”  This was true to some extent at the design stage (the assessment was made in the PAD, arguably not  sufficiently), but this was compensated for (again to some extent) by the assessment activities at the start  of each of the 3 substantive components.  However, they would no doubt have been more useful if they  could have been conducted earlier in the LAOSTAT project as a whole.  “However, because of the delays in procurement and in LSB new building’s construction, several outputs  were  delivered  late  and  the  LSB  had  limited  absorptive  technical  capacity  to  translate  technical  recommendations and action plans into results within the timeframe of the project.”  More generally the team considers that the main factor explaining the delay in recruitment of the local  procurement and financial management consultants (and the consequent initial delays in procurement)  is the limited pool of fiduciary professionals in the Lao labor market. In addition, there was a mismatch  between the budget available and the salary expectation of some of the suitably experienced and qualified  consultants.  §74   “Future  support  should  focus  on  making  organizational  and  operational  changes  for  the  national  statistical system in order to have good quality of administrative sources in particular disaggregated data.”  §75  “Selection of project indicators must be carefully assessed with regard to data sources, frequency, and  accessibility to ensure timely update of project targets”        Page 46 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      The  project  M&E  framework  should  clearly  identify  project  expected  inputs,  outputs,  outcomes  and  eventually impacts (the latter being more appropriate for programme rather than project support).  “Using WB statistical capacity indicators (SCI) to assess capacity of national statistical systems was relevant  to  track  improvement  in  key  dimensions  of  statistical  capacity  but  they  have  not  been  updated  more  frequently in the expected reporting time intervals. In this project, the SCI is used as one of three key PDO  result indicators but updating the indicator was challenging because SCI has not updated frequently. The  process of updating the SCIs has also been complex and time consuming”  As  noted  earlier,  this  is  probably  only  part  of  the  problem  and  may  need  to  be  further  discussed.  As  mentioned  earlier,  an  evaluation  of  statistical  capacity  based  on  the  World  Bank  Statistical  Capacity  Indicator should be conducted with full recognition of its limitations. The SCI is considered useful as a  broad indicator of statistical capacity. However, the SCI, with its preponderant use of statistical activities  and outputs as its component indicators, is a better measure of the statistical performance than statistical  capacity. Even in this case using pluri‐annual moving averages rather than single year figures would be  more advisable.  §76  “Further support to the LSB is highly recommended.” ‐ It is even considered essential.  “Further  support  to  LSB  to  translate  some  outputs  and  key  strategy  documents  into  results  is  highly  recommended.”  ‐ The team fully agrees with this statement.  In addition to the lesson learned already mentioned in the report, the team proposes to add the following  one on the CSTA role:  The  Team  noted  that  the  burden  on  LSB  management  had  been  alleviated  through  the  adoption  of  a  twinning approach: The Bureau had to deal with only one implementing entity, relieving it of the necessity  of recruiting and managing many individual consultants and of monitoring their interventions. In addition  to  the  constant  presence  on‐site  of  the  project  team,  the  strengths  of  the  public‐private  partnership  arrangement adopted included continuous backstopping support, access to a vast pool of highly qualified  experts, the ability to finance their early mobilization and rapid deployment, the efficient coordination of  Team  members’  work,  flexibility  in  meeting  changing  priorities,  and  the  potential  to  ensure  the  sustainability of the project’s impact. However, the implementation of the twinning approach requires  timely availability of appropriate capacity for processing large procurement packages and availability of  the client to work effectively with the technical team from the twinning arrangement.  .              Page 47 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      ANNEX 6. SUPPORTING DOCUMENTS (IF ANY)    I. Lao PDR Policy and Strategy Documents  (a) Law on Statistics issued on June 30, 2010, National Assembly.  (b) Strategy for the Development of National Statistical System (SDNSS) 2010–2020, Lao PDR.  Lao Statistics Bureau (LSB), Ministry of Investment and Planning (MPI).  (c) Seventh National Socio‐Economic Development Plan (NSEDP) for 2011–2015, October 2011,  the Government of Lao PDR.  (d) Eighth National Socio‐Economic Development Plan (NSEDP) for 2016–2020.  II. World Bank Group Engagement Strategy Documents  (a) Lao  People's  Democratic  Republic  ‐  Country  Partnership  Strategy  for  the  Period  FY12– FY16, Report # 66692, dated January 25, 2012, World Bank.  (b) Country  Partnership  Framework  for  Lao  People's  Democratic  Republic  for  the  Period  FY2017–2021, Report # 110813, dated March 2, 2017, the World Bank Group.  III. Project and Financing Documents  (a) Aide Mémoires for Project Implementation Support Missions, World Bank, 2013–2018.  (b) Project Implementation Status and Results Reports (ISRs), World Bank, 2013–2018.  (c) Project Appraisal Document, Report No.: 74377, 2013.  (d) Statistics for Results Facility Catalytic Trust Fund Grant Agreement dated May 17, 2013.  IV. Other documents  (a) Consultants’ Deliverables financed under the LAOSTAT.  (b) Progress reports of the LAOSTAT from 2014–2018.  (c) Statistics for Results Facility Catalytic Fund: Annual Report 2017, dated May 2017.  (d) Report of Lao PDR’s macroeconomic review in 2017 and its trend in 2018, March 2018, NIER.  (e) Lao  People’s  Democratic  Republic:  Staff  Report  for  the  2002  Article  IV  Consultation  and  Second Review under the Poverty Reduction and Growth Facility, and Request for Waiver of  Performance Criteria, dated July 12, 2002, IMF.        Page 48 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)      (f) Lao  People’s  Democratic  Republic:  IMF  Executive  Board  Concludes  2016  Article  IV  Consultation with the Lao People's Democratic Republic, dated February 15, 2017, IMF.  (g) Lao  People’s  Democratic  Republic:  IMF  Executive  Board  Concludes  2017  Article  IV  Consultation with the Lao People's Democratic Republic, dated February 23, 2018, IMF.  (h) Technical  Assistance  Report:  Updating  and  Constructing  the  Supply  and  Use  Tables  for  Selected  Developing  Member  Countries,  Project  #  48387‐001  Regional—Capacity  Development Technical Assistance (RCDTA), December 2014.  End notes                                                          i  The SRF‐CF provides statistical capacity‐building support to several developing countries (pilot countries), such as  Afghanistan, the Democratic Republic of Congo (DRC), Ghana, Lao PDR, Nigeria, and Rwanda.  ii  SMAs include technical departments in the MPI, MOF, BOL, MOIC, and MEM.  iii  SNA 2008 is a statistical framework that provides a comprehensive, consistent, and flexible set of  macroeconomic accounts for policy making, analysis, and research purposes. The SNA 2008 manual was jointly  issued by the United Nations, the World Bank Group, IMF, Organisation for Economic Co‐operation and  Development, and European Commission in 2009 Further details can be accessed at  https://unstats.un.org/unsd/nationalaccount/docs/sna2008.pdf.  iv  SUT was first introduced for the GDP rebase to 1997 and 2002 at an aggregate level in line with the SNA 1993  Methodology or Manual. The 2012 SUT was initially supported by a technical assistance project of the ADB  focusing on procedures, training and workshops on how to compile required data to populate the SUT. The Lao  PDR Strengthening of the National Statistical System (LAOSTAT) was to fill the gaps and to assemble more datasets,  including some new surveys for the 2012 SUT finalization.  v  The 2012 SUT was constructed with two digits of the International Standard Industrial Classification Revision 4  and includes 215 products of the LCPA. Finalization of the SUT for Lao PDR was challenging because of (a) poor  quality of data collection from both surveys and administrative sources (for example, the LSB was not able to  exploit information on business turnover from value added taxes and other taxes) and (b) methodologies,  including questionnaires that were used for the annual enterprises survey and the AHS did not include details on  the costs of production.  vi  The 2012 SUT framework has five parts: Part A on Production Accounts, Part B on Balance of Supply and  Demand; Part C on An Intermediate Consumption Matrix; Part D on Make or Supply Matrix; and Part E on Further  Details of GVA. The SUT framework if all datasets are compiled could incorporate all three approaches to measure  GDP: Part A covers the Production Approach; Part B covers the Expenditure Approach; and Part E covers the  Income Approach.  vii  RAS method is a well‐known method for data reconciliation. Its aim is to achieve consistency between the  entries of some nonnegative matrix and pre‐specified row and column totals. The method was devised in a time  when powerful computers were not available. It is very easy to apply and to understand. However, it has a narrow  scope of applicability. It can only be applied to nonnegative matrices. Mathematically, the method is an iterative  scaling method.        Page 49 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)                                                                                                                                                                                      viii  Each survey covered 402 enterprises in 17 provinces and was stratified across the following sectors: (a)  agriculture, forestry, and fishing; (b) manufacturing; (c) mining and quarrying; (d) wholesale and retail trade; (e)  construction; and (f) electricity supply.  ix  The MMFT was represented by the MPI (Department of Planning and LSB), MOF, BOL, MOIC, MEM, NUOL, the  Ministry of Labor and Social Welfare (MOLSW), and NIER (which was then called the National Economic Research  Institute under the MPI).  x  The components of a metadata management system include (a) setting up a metadata unit in the LSB in charge of  metadata management and a working group represented by all statistical domains and cross‐cutting units; (b)  creating a repository to handle statistical concepts, classifications, and code lists; and (c) defining a common data  modelling system for statistical domains that facilitates statistical dissemination.          Page 50 of 51           The World Bank      LAOSTAT‐STRENGTHENING THE NATIONAL STATISTICAL SYSTEM PROJECT (P129825)                                                                                                                                                                                              Page 51 of 51