성과 달성을 위한 결과모형의 설계 지침 Designing A Results Framework For Achieving Results: A How-To Guide 2018.12 성과 달성을 위한 결과모형의 설계 지침 Designing A Results Framework For Achieving Results: A How-To Guide 2018.12. This work was originally published by The World Bank in English as Designing a results framework for achieving results: a how-to guide in 2012. This Korean translation was arranged by Korea International Cooperation Agency. Korea International Cooperation Agency is responsible for the quality of the translation. In case of any discrepancies, the original language will govern. 원저작물은 2012년 영문으로 출판된 ‘Designing a results framework for achieving results: a how-to guide'이며 원저작자는 세계은행입니다. 본 출판물의 번역은 KOICA에서 실시하였으며, 번역품질에 대한 책임도 KOICA에 있습니다. 번역상 오류가 있을 경우에는 원저작물이 우선합니다. 본 출판물의 연구결과, 해석 및 결론은 세계은행, 이사회 및 해당 각국 정부의 의견과 일치하지 않을 수 있습니다. 세계은행은 본 출판물의 자료의 정확성을 보장하지 않습니다. 본 출판물 지도에 표기된 국경, 국기, 교파 및 기타 정보는 해당 지역의 법적 지위, 국경 구분 여부와 관련하여 세계은행의 입장을 표명한 것이 아닙니다. 성과 달성을 위한 결과모형의 설계 지침 Designing A Results Framework For Achieving Results: A How-To Guide 발행 2018년 12월 발행인 이미경 발행처 한국국제협력단 편집인 평가실 주소 경기도 성남시 수정구 대왕판교로 825 전화 1588-0434 팩스 031-740-0914 홈페이지 http://www.koica.go.kr 인쇄 (사)한국장애인상생복지회 Designing a results framework for achieving results: a how-to guide Copyright © 2012 by International Bank for Reconstruction and Development / The World Bank 모니터링과 평가: 도구, 방법 및 접근방식 저작권 © 2018 국제부흥개발은행 / 세계은행 무단 복제를 금함 목 차 1. 서론 1 2. 결과모형이란? 3 3. 결과모형의 활용 9 4. 결과모형 설계의 필수 요건 14 1) 문제에 대한 이해와 수요 평가 15 2) 변화이론의 구체화 16 5. 단계별 가이드 19 1) 1단계: 문제 해결을 위한 전략목표의 설정 19 2) 2단계: 이해관계자 파악 및 협업 20 3) 3단계: 결과(산출물 및 성과)의 정의 21 4) 4단계: 중요 가정 및 위험요인 파악 21 5) 5단계: 데이터 출처 검토 및 성과 지표 설정 22 6) 6단계: 각 성과 준위별 지표 및 데이터 출처 설정 25 7) 7단계: 실적 모니터링 계획 수립 30 8) 8단계: 성과 공유 및 확산 계획 수립 31 6. 장애요인 32 7. 참고문헌 34 성과 달성을 위한 결과모형의 설계 지침 1 1. 서 론 프로젝트를 통해 기대하는 결과(results)가 분명히 설정되지 않았다면, 시행된 프로젝트의 성공 여부를 판단하기 어렵다. 기대 결과에 대한 명시적인 정의, 즉 프로젝트를 통해 특정 기한까지 달성해야 하는 기대 결과를 명확히 설정함으로써 측정 가능한 목표를 유지하고, 목표 달성도를 모니터링하고, 프로그램 관리를 지원할 수 있다. 성과기반 관리(Results-based management, RBM)는 개발 효과성을 도모하기 위한 핵심 수단이라고 할 수 있다. 최근 국가 전략, 프로그램 및 프로젝트를 통해 달성해야 하는 결과(성과outcome 및 영향impact)를 명확하게 구체화하려는 시도가 두드러지게 나타나며, 국제적으로 합의된 여러 원칙에 따라 결과를 강조하는 경향이 강화되고 있다. 특히, 2000년 UN 새천년 선언(UN Millennium Declaration)과 함께 채택된 새천년개발목표(Millennium Development Goals, MDGs)는 구체적인 목표, 목표치, 성과지표 설정을 통해 원조 효과성과 진전 상황을 측정할 수 있는 기반을 마련하였다. 또한, 몬테레이 컨센서스(2002), 원조 조화를 위한 로마선언(2003), 파리 선언(2005), 하노이 성과를 위한 관리 컨퍼런스(2007), 아크라 행동강령(2008), 부산 효과적 개발협력을 위한 파트너십(2011) 등과 같은 국제적 합의는 결과 달성에 대한 정부, 개발기구, 파트너 국가의 책무가 더욱 중요해지고 있다는 점을 보여준다. 결과모형은 개발협력의 핵심적 수단이라고 할 수 있다. 실무자는 결과모형을 통해 전략적 개발 목표를 설정하고, 이 목표와 프로젝트 활동, 중기 성과(intermediate outcomes), 결과(results)를 연계할 수 있다. 본 보고서는 결과모형 설계를 위한 가이드를 제시하며, 다음의 내용을 중심으로 논의를 이끌어가고자 한다. Designing A Results Framework For Achieving Results: A How-To Guide 2 The World Bank 결과모형의 정의 결과모형이란 무엇인가? 결과모형이 어떻게 기존의 전통적 모니터링 및 평가 논리모형과 차별화되며, 보완적 역할을 하는가? 결과모형의 활용 결과모형의 기능은 무엇인가? 어떤 수준에서 결과모형을 효과적으로 개발하고, 활용할 수 있는가? 결과모형 설계를 위한 필수 요건 프로젝트 설계와 실시 이전에 문제와 목표 성과를 파악하기 위한 진단 절차가 있는가? 프로젝트 담당자가 해당 프로젝트를 통해 해결해야 할 문제를 적절히 이해하고 있는가? 프로젝트 또는 프로그램의 논리가 명확히 정의되어 있는가? 결과모형 설계 단계 결과모형은 어떤 단계를 거쳐 구축되는가? 실무자는 어떻게 전략 목표와 기대 결과를 설정해야 하는가? 어떤 프로세스를 통해 산출물(output), 성과(outcome), 영향(impact) 등 각 준위에 해당하는 결과, 지표, 데이터 출처를 설정해야 하는가? 유용한 결과모형 설계를 위한 기준은 무엇인가? 결과모형 개발 및 활용에 누가 참여해야 하는가? 문제점 결과모형 구축에 있어 잠재적인 문제점은 무엇인가? 이러한 문제를 회피하기 위한 전략에는 어떤 것이 있는가? 본 보고서는 국가 단위, 프로젝트, 조직 등 다양한 준위의 결과모형 예시와 결과모형 설계 시 참고할 수 있는 다양한 자료를 제시한다. Binnendijk(2000) 및 OECD-DAC(2008)에서 더 많은 정보를 참고할 수 있다. 성과 달성을 위한 결과모형의 설계 지침 3 2. 결과모형(Results Framework)이란? 결과모형은 특정 프로젝트, 프로그램 또는 전략의 시행을 통해 기대되는 여러 차원(사슬)의 결과를 도식화한 모형(그래픽, 매트릭스, 요약표 등)이라 할 수 있다. 결과(results)는 장기적 목표(성과(outcomes) 또는 영향(impact)), 중기 성과(intermediate outcomes), 산출물(outputs) 을 포함한다. 세계은행은 지난 10년간 “결과모형”이라는 용어를 사용해왔으나, 여타 기관들은 논리모형(logical frameworks), 논리모델(logic models), 변화이론(theories of change), 결과사슬(results chain), 성과 매핑(outcome mapping) 등 다양한 도구를 활용해 성과와 결과에 대한 정보를 관리해왔다. 결과모형은 투입(inputs), 산출물(outputs), 중기 결과(intermediate results) 또는 성과(outcomes), 영향(impact) 간 논리적 인과관계를 제시한 모형이라고 할 수 있다. 산출물, 성과(outcomes), 영향을 어떻게 구분하느냐에 대해 많은 논란이 있는데, 산출물은 프로젝트를 통해 제공된 재화 또는 서비스(예: 영양제), 성과(outcomes)는 해당 재화 또는 서비스가 수혜자에게 창출한 효용(예: 개선된 영양 섭취), 영향은 성과(outcomes)가 수혜자의 행동 또는 보다 장기적인 여건을 변화시켰는지(예: 식습관 개선, 건강 증진된 인구)를 의미한다. 핵심적 차이는 바로 재화 또는 서비스의 제공(공급 차원)과 활용(수요 차원)이라고 할 수 있다. 결과모형의 기초를 마련하기 위해서는 프로젝트 활동과 기대 결과의 인과관계를 설정해야 하며, 양질의 결과모형을 구축하기 위해서는 명확한 변화이론(theory of change)이 필요하다. 즉, 해당 프로젝트가 어떻게 산출물을 도출하고, 이 산출물이 어떻게 단기 또는 중기 성과(immediate or intermediate outcomes)로 이어지고, 이 성과가 어떻게 장기 성과(longer-term outcomes) 또는 영향으로 이어지는지 명확해야 한다. 또한 변화이론은 프로그램 각 단계를 달성하는 데 소요되는 시간, 성과의 달성 정도에 대한 예측치를 포함해야 한다. 따라서, 프로젝트 활동과 기대 결과의 인과관계를 설정함으로써 결과모형의 기초를 구축할 수 있다. 결과모형의 주요 초점은 성과(outcomes)와 영향(impacts)이다. 투입물(inputs), 이행과정 (implementation processes)은 강조하지 않지만, 산출물(outputs) 역시 중요하게 강조된다. Designing A Results Framework For Achieving Results: A How-To Guide 4 The World Bank 결과사슬(results chain)은 산출물, 성과, 영향을 시기 별로 측정하여, 목표 달성에 이르기까지의 진전사항을 모니터링 하기 위한 구체적인 계획과 함께 수립한다. 결과(results)는 보통 지표를 통해 측정하는데, 지표는 종종 정량적이고, 측정 가능하고, 관찰 가능하다.1) (일부 지표는 정성적 지표인 경우도 있다.) 그리고 모니터링 계획은 일반적으로 산출물 및 성과에 대한 기초선 데이터(baseline data), 목표치(targets)를 포함하며, 데이터 수집/측정 방안을 제시한다. 이를 통해, 프로젝트 이행 주요 단계에서 확보한 정보로 결과모형을 업데이트하고, 의사결정에 활용할 수 있다. 또한, 결과모형은 프로젝트가 성공적으로 수행되어, 성과(outcomes)와 영향(impact)으로 이어지기 위해 필요한 중요 가정을 명시해야 한다. 표 1은 각 결과 수준의 성과 및 해당 지표를 포함한 국가 단위 결과모형의 예시이다 1) 기대 성과가 조직 또는 제도적 행동 변화를 포함하는 경우가 있는데, 이는 정성적 데이터를 통해 추적이 가능하다. 성과 달성을 위한 결과모형의 설계 지침 5 <표1> 결과모형의 개요 국가개발목표 문제/장애요인/핵심 기대성과 모니터링 Country 가정 산출물/마일스톤 Outcomes 활용계획 Development Issues/obstacles/critical Outputs/milestones expected Use of monitoring Goals assumptions 국가 목표 1 (국가 목표 달성에 있어 핵심 성과 1 결과모형 해당 기간 중 달성 모니터링 정보 활 지표 문제점 및 장애요인 기술) 지표 해야 할 산출물/마일스톤 1 용계획을 간략하 기초선: xxx (2005) 기초선: xxx (2005) 지표(정량지표의 경우) 게 기술 목표치: xxx (2010) 중간선: xxx (2007) 기초선: xxx (2005) 목표치: xxx (2010) 목표치: xxx (2006) 추가/대안 지표 Xxx (2007) 기초선: xxx (2005) 추가/대안 지표 Xxx (2008) 목표치: xxx (2010) 기초선: xxx (2005) Xxx (2009) 중간선: xxx (2007) Xxx (2010) (기타 추가 지표 목표치: xxx (2010) 있다면 기술하고, 추가/대안 지표 다음 목표로 넘어 (기타 추가지표 있 (기타 추가지표 있다면 기술 감) 다면 기술하고, 다 하고, 다음 마일스톤으로 넘 음 성과로 넘어감) 어감) 국가 목표 2 성과 2 산출물/마일스톤 2 지표 지표 (상기와 같이 계속 기술) 기초선: xxx (2005) 기초선: xxx (2005) 목표치: xxx (2010) 중간선: xxx (2007) 목표치: xxx (2010) 추가/대안 지표 기초선: xxx (2005) 추가/대안 지표 목표치: xxx (2010) 기초선: xxx (2005) 중간선: xxx (2007) (기타 추가지표 있 목표치: xxx (2010) 다면 기술하고, 다 음 성과로 넘어감) (기타 추가지표 있 다면 기술하고, 다 음 성과로 넘어감) 잘 구성된 결과모형은 다음과 같이 모니터링, 관리, 평가 측면에서 유용하다. Designing A Results Framework For Achieving Results: A How-To Guide 6 The World Bank 구체적 성과에 대한 초점 강화 잘 구성된 결과모형은 단순히 프로젝트 활동, 과정, 투입물만 제시하는 것이 아니라 프로젝트를 통해 궁극적으로 달성하고자 하는 목표를 명시한다. 즉, 구체적 기대 성과(outcomes)에 대한 초점을 강화한다. 해당 프로젝트를 뒷받침하는 변화이론의 구성요소 간 연계성 강조 단순하지만, 명료한 결과모형을 통해 변화이론을 명확하게 이해할 수 있다. 결과모형에 대해 논의할 때, 프로그램 담당자 및 수혜자 집단이 함께 가설을 파악해야 한다. 즉, 특정 프로젝트 활동이 어떻게 기대 산출물과 성과로 이어질 수 있는지, 이들이 어떻게 궁극적 목표로 연결되는지 논의해야 한다. 이러한 참여적 논의를 통해 공동의 목표에 대한 합의를 구축하고 주인의식을 배양하고, 가설의 여러 구성요소를 파악할 수 있다. 근거 기반 모니터링 및 평가 지원 장기 성과 및 영향에 대한 구체적인 지표와 기초선 데이터, 목표치 등을 통해 “프로젝트 활동의 성공 여부를 어떻게 판단할 수 있는가?”와 같은 질문에 답할 수 있다. 전략 목표에 대한 진전도 측정 프로젝트 활동의 이행 완료보다 성과의 달성 정도/여부에 초점을 강화함으로써, 프로젝트 수행기관은 핵심 성과를 모니터링하고, 필요 시 프로젝트 시행계획과 전략을 변경한다. 결과모형을 통해 프로젝트 이행이 어떻게 산출물/성과/영향으로 연계되는지 파악할 수 있으므로, 유용한 관리 수단이라 할 수 있다. 전략 목표 달성 지원 전략 목표는 프로젝트를 이끄는 궁극적인 원동력이다. 프로젝트 활동은 한 지역사회 내에서의 단순한 활동에서부터 국가적 수준에서 상호연계된 다수의 프로젝트 활동까지 그 종류가 다양하다. 다수의 프로젝트 또는 비프로젝트 활동이 전략 목표에 기여하는 구조인 경우, 이들의 기대 성과를 개별적으로 명시하여 관리하기보다, 해당 전략 목표의 결과모형에 포함시켜 관리할 수 있다. 전략 목표 달성을 위해 필요한 중기 결과(results)를 구체화하여, 다수 파트너가 조화롭게 활동하고, 추가적인 활동 영역을 파악할 수 있도록 해야한다. 성과 달성을 위한 결과모형의 설계 지침 7 결과모형의 양식 및 구체화 수준은 기관에 따라, 프로젝트 활동의 범위와 규모에 따라 다양하다. 그러나 이들 모두 프로젝트 수행자가 결과를 달성하고, 평가자가 프로젝트 결과를 평가하는 데 활용할 수 있도록 기본적인 구성요소를 공통적으로 갖추고 있다. 표 2 및 표 3은 세계은행 프로젝트 수준의 결과모형 예시이다. 결과모형에 관하여 더 많은 정보가 필요하면, Imas and Rist(2009)와 USAID(2000)를 참고하도록 한다. <표2> 프로젝트 수준의 결과모형 예시 프로젝트 목표 지표 프로젝트 목표 성과 모니터링 활용 계획 Project development objective Project development objective Use of outcome monitoring indicators 프로젝트 대상지 내, 소규모 생산자 대상 가치사슬 평균 생산량/수확량 프로젝트 목표 지표를 통해 대상 농 의 생산성 증가 및 특정 작물의 시장 (바나나, 쌀, 커피, 우유)(단위 면적 업 생산성 개선(수확량 증가) 및 잉여 접근성 개선 당 생산량, 젖소 우유 생산량 등) 생산물(마케팅 생산물 비중) 창출 측면에서 프로젝트의 효율성과 효과 성 평가 가능 중기 성과 성과 지표 성과 모니터링 활용 계획 Intermediate outcome Outcome indicators Use of outcome monitoring 요소 1: 농업기술이전 및 시장연계 신규 기술(생산, 수확 후, 가공 등) 도 동 지표를 통해 농가 기술 전수의 효 입한 농민 비율(남성/여성) 과성 확인 가능 사육, 축산 기술 도입한 생산자 비율 동 지표를 통해 지식 전수 및 자문 서비스의 효과성 확인 가능 마케팅 대리인과 계약 체결한 생산자 동 지표를 통해 생산자 집단/협회/조 집단/협회/조합 비율 합의 참여도 확인 가능 신규 기술 및 시장 연계의 직접 수혜 동 지표를 통해 프로젝트 대상지 거 자수 주민 생활에 미친 영향 확인 가능 신규 기술 및 시장 연계의 간접 수혜 동 지표를 통해 프로젝트 활동 요소 자수 의 전반적 효과성 확인 가능 Designing A Results Framework For Achieving Results: A How-To Guide 8 The World Bank <표3> 목표치 및 성과 데이터 포함한 프로젝트 수준의 결과모형 예시 목표치 데이터 수집 및 보고 Target values Data collection and reporting 데이터 수집 프로젝트 성과지표 기초선 데이터 수집 5차 주기 및 보고 담당 Project outcomes indicators Baseline 1차 2차 3차 4차 방법 년도 Frequency and Responsibility 년도 년도 년도 년도 Data collection (목표치) reports for data instruments collection 평균 수확량 쌀(t/ha) 2.5 2.8 3.3 3.8 4.0 4.0 작기 종료 시점 연간 생산자 조사 PCU 연간 마케팅 바나나(t/ha) 9.0 NA 12 13 16 16 연간 생산자 조사 PCU 종료시기 연간 마케팅 커피(t cherries/ha) 0.4 0.5 0.6 0.7 0.8 0.8 연간 생산자 조사 PCU 종료시점 연간 마케팅 우유(l/yr) 360 400 500 650 800 950 연간 생산자 조사 PCU 종료시점 참여 생산자 생산물 중 마케팅 실시 연간 마케팅 10 12 18 22 26 30 연간 생산자 조사 PCU 비율 종료시점 목표치(누적) 농업 생산성 및 시장 진입 지원 신규 기술(생산, 수확 후, 가공 등) 10 15 30 45 60 70 작기/연간 작기/연간 샘플조사 IPCU/PSP 도입한 농민 비중 (남/여) 사육, 축산 기술을 도입한 생산자 비율 10 15 30 45 60 70 연간 연간 샘플조사 IPCU/PSP 마케팅 대리인과 계약 체결한 생산자 0 2 5 10 15 20 연간 연간 샘플조사 IPCU/PSP 집단/협회/조합 비율 ※출처 : 세계은행, 브룬디 농업 축산업 생산성 및 시장 개발 프로젝트(2010) 결과모형을 수정함. ※비고 : PCU = 프로젝트조정실, IPC = 정부 조정국, PS = 민간 제공자 성과 달성을 위한 결과모형의 설계 지침 9 3. 결과모형의 활용 개발협력 분야 실무자는 결과모형을 다양한 영역에 적용할 수 있다. 계획 수립(Planning) 실무자는 결과모형을 통해 전략목표의 상위 목표부터 하위 목표까지 역순으로 검토해 전략을 기획하고, 대상 문제 해결에 가장 적합한 프로젝트 활동을 선정하는 체계적인 접근법을 도입할 수 있다. 결과모형 설계 과정에서 타당한 개발 목표(development objectives)를 설정하고, 이를 달성하기 위해 필요한 중기 성과(intermediate outcomes)와 산출물을 확인하고, 의도하는 인과관계 논리에 부합하도록 프로젝트 활동을 설계할 수 있다(“단계별 지침(Step-by-Step Guide)” 참고). 합의, 조정, 주인의식(Consensus, coordination and ownership) 결과모형을 기반으로 주요 프로젝트 수행자(기관, 본부, 프로젝트팀 등)와 핵심 이해관계자가 협업하여 프로젝트 수행 방안을 조정하고, 기대 결과에 대한 합의를 도출할 수 있다. 그리고 기대 결과의 달성을 위해 필요한 핵심 가정을 확인하고, 필요한 자원을 구체화할 수 있게 된다. 관리(Management) 실적 정보(performance data)를 프로젝트 의사결정에 활용해야 한다. 결과모형은 활동의 조정, 자원의 재분배, 목표 또는 가정을 재평가하기 위한 수단이다. 또한, 프로젝트의 의도하지 않은 영향(주로 부정적인 영향으로, 예를 들면 새로운 도로를 건설함에 따라 지역사회의 교통사고가 증가할 수 있다)을 파악하고, 이에 대한 의사결정에 도움이 된다. 따라서, 결과모형 구축의 담당자가 성과사슬 내 각 구성요소의 지표를 누가 활용할 것인가, 지표의 변화에 따라 누가, 어떤 의사결정을, 얼마나 자주 내릴 것인가 등에 대한 가정을 분명하게 밝히는 것이 중요하다. Designing A Results Framework For Achieving Results: A How-To Guide 10 The World Bank 소통 및 보고(Communication and reporting) 결과모형을 바탕으로 해당 프로그램의 소요 자원, 활동, 성과에 대해 프로젝트 관리자, 개발 파트너, 기타 이해관계자와 정보를 공유하고 소통할 수 있다. 또한, 결과모형을 통해 수혜자 및 수혜 지역사회에게 해당 프로젝트가 무엇을 달성하고자 하는지 설명하는 데 유용하다. 이러한 정보 공유를 위해, 지역사회 센터 내 포스터 설치, 프로그램 웹사이트 게시 등의 조치가 필요할 것이다. 평가(Evaluation) 각 단계별 결과(results)에 대한 지표 설정, 측정 방안의 정의, 목표치 설정 등을 통해, 프로젝트의 효과적인 모니터링 및 평가 프레임워크를 구축할 수 있다. 결과모형은 목표 달성도 측정 방안을 제시하고, 이를 통해 프로젝트 수행기관이 실적 모니터링 체계를 개발하고 활용하는 데 기반을 제공한다. 또한, 책무성 관점에서도 평가를 위한 기반이 될 수 있다. 조화(Harmonization) 결과모형의 계획 수립, 합의 도출, 소통 기능을 통해, 모든 개발 파트너(예를 들어, 정부, 공여 기관, NGO 등)가 성과 달성을 위한 책임과 역할을 명확하게 분담할 수 있다. 또한 관련 부서/담당자들은 목표한 중기 성과 달성을 위한 관련 활동(프로젝트 또는 비프로젝트성 활동)을 기획하고 조율할 수 있다. 그림 1은 이와 관련한 예시를 제시한다. 경험을 통한 학습(Learning from experience) 결과모형을 체계적으로 활용하여 실무자는 특정 개발 목표의 달성에 어떤 접근법 또는 어떤 프로그램이 가장 효과적으로 기여할 수 있는지 평가할 수 있다. 이를 통해 향후 확산을 위한 우수 사례를 발굴할 수 있다. 또한, 이러한 학습 노력을 통해 유사한 상황에서 어떤 지표, 측정 방식, 데이터 출처가 가장 적합한지 판단할 수 있는 지식 축적이 가능하다. 요약하자면, 결과모형은 합의의 구축과 주인의식의 배양, 보완 조치 유도, 다양한 개발 노력의 조정과 조율 촉진, 전략 목표 달성을 위한 로드맵 제시, 책무성 확보를 위한 수단으로 역할을 한다. 이런 측면에서 결과모형은 전략적 기획을 지원하는 관리 도구라 할 수 있다. 성과 달성을 위한 결과모형의 설계 지침 11 <그림1> 결과모형 예시(개발 노력의 조화) 기관 목표 농업개발 촉진 및 강화, 식량안보 달성 전략 목표 상류지역 농가의 선진 생산기술 활용도 증가(6년) 상업자본에 대한 농가 지역사회 자원에 대한 생산기술에 대한 농가 농가 교통비용 감소 (5년) 접근성 확대(5년) 통제력 강화( 5년) 지식개선(4년) 삼림기관 농가 투입/ 마을협회의 타농가의 농가 대출 마을협회의 역할을 친화적 산출물 지역 사회 새로운 현장 경험에 신청청 계약 협상 탈규제, 은행 대출 시장 자원 기술의 대한 역량 개선 역량 강화 아웃리치로 정책 확대 자유화 통제력 보급(4년) 노출 증가 (4년) (4년) 초점 전환 (3년) (3년) 강화(4년) (3년) (2년) 농가의 경영 의사결정 능력 향상(3년) 성인 문해율 개선(2년) USAID 주요사항 단독 책임사항 파트너 단독 USAID 및 파트너의 책임사항 공동 책임 사항 ※출처 : USAID 2000 예시 수정 ※비고 : 핵심 가정 (1) 농가 생산물의 시장 가격 현 수준 유지 혹은 상승, (2) 농업 생산 투입 요소(비료, 씨앗 등)의 가격 현 수준 유지 또는 하락, (3) 농가-시장 도로의 안정적 유지, (4) 안정적 강우 및 기타 기후 조건 유지 Designing A Results Framework For Achieving Results: A How-To Guide 12 The World Bank 결과모형은 여러 차원에서 다양한 기능을 수행한다. ① 개별 프로젝트가 상위 수준의 개발 목표에 어떻게 기여하는지 설명하는데 활용할 수 있다. ② 목표 달성을 위한 성과중심 접근법을 적용할 수 있다. ③ 조직 수준에서 결과모형을 활용하여, 조직 미션의 달성도를 파악하고 이끌어갈 수 있다. ④ 국가 수준의 결과모형 역시 많이 사용된다. 정부 및 개발 파트너는 결과모형을 국가 개발계획, 국가지원전략, 공동지원전략, 국가개발 프로그래밍 프레임워크 등 다양한 전략 계획에 반영할 수 있다. 표 4는 세계은행이 국가 수준의 목표 달성에 어떻게 기여하는지에 대한 예시를 보여준다. 결과모형의 활용에 대한 더 많은 정보는 OECD-DAC(2008)를 참고하도록 한다. 성과 달성을 위한 결과모형의 설계 지침 13 <표4> 결과 매트릭스 예시 국가 개발 목표 (NSDI) 문제점 및 장애 요인 WB 기대 성과 마일스톤 WB 수단 전략 목표 1: 경쟁력 향상을 통한 알바니아의 경제 회복 가속화 (1) 민간부문 기업 규제 개선 및 준법 비용 감소 • 기업환경 개혁 및 제도 개선 프 • 기업 운용비용의 감소 근거 • 규제검토 교육훈련 이수한 공무 로젝트 - 2013년까지 매년 실시된 규제영 원 수 증가(현황 2008년 3명, 목 알바니아는 행정 부패로 기업 운 • 토지행정 및 관리 프로젝트 향평가 보고서 2종 표 2011년 375명) 용비용이 높다. 알바니아의 투자 • 거버넌스 파트너십 기금 민간기업 활성화 및 해외투자 유 - 연간 기업별 감사 건수 감소(현 • 감사제도 개정 및 적용 환경은 부적절한 자산 행정 및 취 • 세이프가드 TA 치 위한 기업 친화적 환경 조성 황: 2009년 32건, 목표: 2011년 • 도시지역 허가 건수 증가(현황: 약한 도시 토지관리 문제를 겪고 • IFC 무역 지원 프로그램 12건) 2009년 130,000건, 목표: 2011년 있다. • IFC 조세 단순화 프로젝트 - 건축 승인 소요기간 감소(현황: 말 320,000) • IFC 경쟁력 강화 프로그램 2007년 180일, 2011년말 100일) • 고정자산등록사무소 완전 전산화 • SEE 기업 지원 프로그램 전략 목표 2: 알바니아 사회적 효용의 확대 및 지속 (2) 중고등 교육에 대한 접근성 확대 및 교육 품질 개선 • 중등교육의 품질 향상 및 접근 • 중등교육 전 교육과정의 개혁 알바니아는 인적 자본에 대한 효 성 개선 • 전문성 개발 프로그램에 참여하 과적 투자 확대를 통해 생산성 - 중등교육 등록률 향상(현황: 는 교사 수 증가(현황: 2009년 및 고용 성장의 원천을 확대해 나 2009년 60%, 목표: 2014년말 시장 수요에 대응할 수 있도록 양 25%, 목표: 2010년말 70%) 가야 한다. 중등교육의 경우, 품질 100%) • 교육, 우수성, 평등 프로젝트 질의, 포용적, 유연한 교육 시스 • 2013년까지 12개 학교 건설, 8개 이 낮고, 교육 성과가 낮아 등록률 - 2014년까지 중등학교 내 3교대 • 교육 프로젝트 (FY14) 템 구축 학교 증설, 10개 학교 리모델링 이 낮고, 고등교육은 시장 수요에 폐지, 2교대 감소 완료 대한 대응력을 강화해야 한다. • 고등교육 기관 개혁 실시 • 2014년까지 11개 공립대학 대상 - 고등교육에 대한 품질보증 시스 성과기반 재원 지급 제도 실시 템 구축 ※출처 : 세계은행 ※비고 : NSDI = 개발 및 통화 국가 전략, IFC = 국제금융공사, TA = 기술 지원 Designing A Results Framework For Achieving Results: A How-To Guide 14 The World Bank 4. 결과모형 설계의 필수 요건 결과모형의 설계는 목표 및 프로젝트 활동을 기초로 이루어지고, 설계된 결과모형 초안을 바탕으로 목표 및 프로젝트 활동을 다시 구체화하는 반복적인 과정이다. 결과모형은 프로젝트의 변화이론을 바탕으로 설계되는 동시에 결과모형을 통해 계획된 프로젝트 활동이 어떻게 성과목표로 이어지는지 인과관계를 보여줌으로써 변화이론을 구체화한다. 결과모형 구축은 해결해야 할 문제와 성과목표에 대해 이해하고, 프로그램 논리를 구체화하고, 해당 변화이론에 대한 이해관계자의 합의를 도출하는 것으로 시작한다. 이러한 합의가 도출된 이후에는 이해관계자들이 산출물 및 성과의 달성 정도 측정을 위해 적절한 성과지표의 선정, 기초선 확보, 목표치 설정, 활용 가능한 데이터 및 데이터 수집 방안 마련 등에 집중할 수 있다. 이러한 결과모형 개발을 위해 실무자는 아래 4가지 정보를 숙지해야 한다. ① 개발 프로젝트 활동을 통해 해결하고자 하는 문제에 대한 이해 또는 수요 평가 ② 프로젝트의 최초의 변화이론. ③ 의도한 성과(outcomes) 및 영향을 측정하고, 평가하기 위한 지식과 정보 ④ 해당 프로젝트 환경에 가장 적합한 데이터 출처 및 데이터 수집 방법 → 이러한 요소는 결과모형 설계에 필요한 기초를 마련한다. 성과 달성을 위한 결과모형의 설계 지침 15 문제에 대한 이해와 수요 평가(Understanding of problems and needs assessment) 수요 또는 문제 분석을 통해 각 프로젝트 목표 달성에 필요한 과정과 산출물, 중기 성과를 파악할 수 있다. 이에 개발 실무자는 다음의 질문을 고려해야 한다. ① 해당 이슈와 관련해 현재 달성한 성과는 무엇이며, 목표한 성과는 무엇인가? 즉, 현재 달성된 목표와 기대 목표 간의 간극은 무엇이고, 이러한 간극을 좁히기 위한 전망은 어떠한가? ② 이해관계자의 개발 목표 달성을 제한하는 문제점 또는 장애 요인은 무엇인가? 예를 들어, 열악한 도로 사정 또는 무역 규제와 같은 요인이 농부 및 제조업자의 시장 접근을 제한하고 있는가? ③ 어떤 상황이 프로젝트 대상지, 프로젝트 수혜자의 개발 목표 달성을 저해 또는 촉진하는가? 성과의 간극을 좁히기 위해 어떠한 노력(예: 프로젝트, 지역사회 차원의 노력 등)이 전개되고 있는가? ④ 현재의 상황에서 목표한 성과를 달성하는 데 필요한 초석은 무엇인가? 산출물과 중기 성과가 어떻게 목표 달성에 기여할 수 있는가? ⑤ 프로그램 외적인 차원에서 위험 요인은 무엇인가? ⑥ 프로젝트팀의 전략 목표 달성 방안에 대해 이해를 높이는 데 도움이 되는 해당 지역 또는 분야의 과거 경험이 있는가? ⑦ 프로젝트 활동에 잠재적으로 누가 영향을 받는가? 수요 평가 과정에서 이들의 의견을 파악하고 반영할 수 있는가? → 이러한 질문에 답을 모색함으로써 프로그램 기획, 수행, 평가 시 어떤 이해관계자가 참여해야 하는지, 프로젝트의 성공을 위해 어떤 중기 목표가 핵심적인지 확인할 수 있다. Designing A Results Framework For Achieving Results: A How-To Guide 16 The World Bank 변화이론의 구체화(Specifying the theory of change) 결과모형은 계획된 프로젝트가 어떻게 성과(outcome)의 달성으로 이어질 수 있을지에 대한 명확한 이해를 바탕으로 수립해야 한다. 변화이론 모델을 통해 이해관계자는 프로젝트 활동의 논리와, 투입물, 활동, 산출물, 성과 간의 인과관계를 파악할 수 있다. 그림 2는 국가 수준의 개발목표를 달성하기 위한 논리적 단계의 예시를 보여준다. 다양한 양식과 접근법을 활용해 인과관계 사슬을 설명할 수 있는데, 이를 통해 실무자는 프로그램의 의도한 성과뿐 아니라 성과 달성을 위해 필요한 투입물과 활동 역시 이해할 수 있다. 투입물에서 결과로의 전환 과정을 정확하게 예측하고 설명하기 위해 고려해야 하는 요소에는 4가지가 있다. ① 전반적 배경: 의도한 성과 달성에 긍정적 또는 부정적 영향을 미칠 수 있는 다양한 요인들이 복잡하게 얽힌 상황 속에서 개발 활동이 수행된다. 거시 경제 환경, 사회적 규범, 정책 환경, 정부 및 개발 기관의 이니셔티브, 정치적 환경, 심지어는 날씨까지도 성과에 영향을 미치는 요인이다. ② 선행 연구 및 평가: 기존 연구에 대한 문헌 검토를 통해 효과적인 프로젝트 활동이 어떤 것인지 확인할 수 있다. 학습된 교훈과 데이터를 기반으로 구성된 이론이 타당성이 높다. ③ 위험 가정의 수준: 프로그램의 변화이론을 설명하는 시각적 모형은 성과 달성을 위해 선형적인 논리사슬을 제시하지만, 실제 인과관계는 그렇게 단순하지 않은 경우가 많다. 따라서, (전반적 맥락 및 선행 연구 검토를 통해) 변화과정의 각 단계에 영향을 미치는 다수의 요인을 분석해, 프로젝트 논리를 뒷받침하는 가정이 무엇인지 파악해야 한다. ④ 변화 관리자(change agents): 개발 프로젝트 활동의 성공을 위해서는 이해관계자의 행동 변화가 수반되어야 한다. 의도한 성과에 따라, 프로젝트 활동을 통해 제공한 재화 또는 서비스를 이용하는 수혜자, 서비스 전달의 개선 또는 차별화를 추진하는 정부 당국, 체계적 지원을 위해 원조 조화를 추진하는 공여 기관 등이 이해관계자에 포함될 수 있다. 전반적인 배경 고려, 선행 연구 검토, 가정에 대한 평가가 이루어진 이후, 실무자는 다양한 형태로 인과관계 사슬을 구성할 수 있다. 개발 활동의 설계를 뒷받침하는 가정을 명시적으로 보여주는 다양한 형태의 논리사슬을 활용해, 포괄적 결과모형을 위한 기초 작업을 마무리할 수 있다. 그림 3은 이에 대한 예시를 보여준다. 변화이론에 대한 더 많은 정보는 W.K. Kellog Foundation(2004), Imas and Rist(2009), Weiss(1997)을 참고하도록 한다. 성과 달성을 위한 결과모형의 설계 지침 17 <그림2> 경구 수분 보충 요법 활용을 통한 아동 사망률 감소 프로그램 논리 예시 목표 5세 미만 아동의 사망률 감소 Goal 결과 성과 아동 설사 관리를 위한 ORT 개선 Outcome - 인지 제고 미디어 캠페인 15회 산출물 - 교육과정 이수한 보건 전문가 100명 Outputs - ORT서비스 관련 엄마의 인지제고 - ORT접근성 향상 수행 활동 - 엄마 인지제고 위한 미디어 캠페인 실시 Activities - ORT 보건 전문가 훈련 - 교육훈련 담당자 투입물 - ORT 물품 Inputs - 재원 - 참가자 ※출처 : Kusek and Rist 2004 및 Binnendijk 2000 예시 수정 ※비고 : ORT = 경구수분보충요법 Designing A Results Framework For Achieving Results: A How-To Guide 18 The World Bank <그림3> 목표된 변화에 대한 기저의 가정 가정 투입 활동 산출물 성과 영향 • 보건은 지역사회의 지역사회 전체에 대한 접근성 소비자 지역사회 주요 이슈로, 보건 확보 및 보장 문제 해결을 위한 개혁 보건 지역사회 파트너 과정적극 자원의 건강 증진 쉽을 구축할 것임. 참여 효과적 • 지역사회는 지역, 서비스 배분 포괄적, 통합적 전달 주, 국가 차원 정책 제공자 시스템 형성에 영향을 미 칠 수 있음. • 지역사회 파견 외 부 전문가가 변화 납부인 의 촉매제 역할을 수행. • 예방 및 1차 진료에 대한 자원 투입 확 대 및 인센티브 실 보건 직원 지역사회 보건 평가 시를 통해 전반적 데이터, 건강 증진에 기여. 개혁 정책, • 현명한 의사 결정 보건 시스템 과정적극 어드보커 을 위한 건강 및 보 효율성 강화 참여 시 등을 건 체계에 대한 정 위한 지역사회 보건 정보 외부 기술 보 필요. 행정절차 시스템 시작점 계획된 활동 목표된 성과 ※출처 : W.K. Kellogg Foundation 2004로부터 수정 성과 달성을 위한 결과모형의 설계 지침 19 5. 단계별 가이드 결과모형의 설계는 신규 프로젝트의 착수 시점, 전략적 계획수립 과정의 일환으로 추진하는 것이 좋다. 그러나, 진행 중인 프로젝트나 최근 종료된 프로그램을 토대로 후속 프로젝트 또는 포트폴리오의 결과모형을 설계하는 경우도 많다. 어떤 방식이든, 결과모형 설계를 위한 필요 요건이 다 확보되어 있는 한, 개발 실무자는 아래 8개 단계에 따라 효과적으로 결과모형을 마련할 수 있다. 1단계: 문제 해결을 위한 전략목표의 설정 결과모형은 단일 또는 복수의 전략목표(strategic objective)를 중심으로 구성된다. 전략목표 는 해당 프로젝트를 통해 도모할 수 있을 것이라 예측되는 영향(impact)이다. 적절한 전략목표는 다음과 같다. ① 시스템, 지역사회 또는 조직 등 상위의 변화를 의미함. ② “주어진 시간과 자원의 한도 내에서 수행기관이 현실적으로 달성이 가능한 것으로 판단한 사항”을 반영해야 함(USAID 2000). ③ 객관적 측정이 용이하도록 명확하고, 정확하게 명시되어야 함. 요약하자면, 전략목표는 문제를 해결하기 위해 설계한 대응책이라고 할 수 있다. 이러한 대응책은 근거를 기반으로 해야 하며(선행 연구, 요구 분석), 해결해야 할 문제의 중요성이 높을수록 해당 근거의 품질과 양도 역시 충분해야 한다. 통상적으로, 문제가 단순하고, 중요도가 낮을수록 요구되는 근거의 수준은 낮다. 반면, 복잡하거나 새로운 문제의 경우, 의사결정을 위해 더 높은 수준의 근거가 요구된다. 따라서, 목표를 작성함에 있어 명확하고 구체적인 단어와 의도를 선택해야 한다. 이를 통해 상자 1에 명시된 것과 같이, 개발 실무자는 명확하게 언제 그 목표가 달성 되었는지 파악할 수 있어야 한다. Designing A Results Framework For Achieving Results: A How-To Guide 20 The World Bank 효과적 전략 목표 설정을 위한 팁 ㆍ활동 그 자체에 초점을 맞추는 것이 아니라 활동을 통한 성과에 집중하라. 예를 들어, “HIV/AIDS 감염 감소”보다는 “감소된 HIV/AIDS 감염”와 같이 명기하는 것이 좋다. 또한, “농가 대상 신용 융자 기회 확대”보다 “확대된 농가 대상 신용 융자”와 같이 쓰는 것이 좋다. ㆍ한 개 목표에 초점을 맞춰라. 다수의 구성요소를 갖춘 다수의 목표는 관리나 성과의 측정이 어렵다. ㆍ검증을 통해 모호함을 방지하라. 다수의 이해관계자와의 협의를 통해 전략목표의 각 단어의 의미를 검증함으로써 모두가 목표에 대해 동일하게 이해할 수 있도록 해야 한다. ㆍ시간을 구체화하라. 가용한 시간을 명확히 함으로써 현실적이고 타당한 전략 목표를 설정할 수 있다. 2단계: 이해관계자 파악 및 협업 이 단계에 도달할 때면 다양한 핵심 이해관계자(예: 정부 당국, 개발 파트너)가 이미 계획의 수립 및 시행 단계에 참여했을 것이다. 그러나, 결과모형 설계를 담당하는 팀은 주요 이해관계자가 프로젝트의 계획수립 및 시행과정에 참여하고, 프로젝트에 내용에 대해 합의하고 주인의식을 배양해 왔는지 확인해야 한다. 또한, 결과모형을 설계할 때, 예상 수혜자 및 프로젝트 대상 집단의 이해도와 관점을 적극 고려해야 한다. 수요 분석 단계에서는 프로젝트 활동의 성과에 영향을 미칠 수 있는 여러 주체에 초점을 맞춘다. 특히, 아래의 집단을 파악하고 포함시키도록 노력해야 한다. ① 대상 수혜자 또는 행동의 변화가 기대되는 기타 집단: 도로가 새로 개설된다면, 농부 또는 제조업자가 시장에 상품 공급을 위하여 해당 도로를 사용할 것인가? 보건 서비스를 제공한다면, 자격 요건을 갖춘 수혜자가 필요한 서비스를 이용할 것인가? ② 프로젝트 활동의 부정적 결과에 영향을 받을 수 있는 집단: 제조 공장 설립은 지역사회의 새로운 일자리 창출에 기여하기도 하지만, 대기 오염, 폐수배출, 소음발생으로 인한 부정적 영향을 미칠 가능성이 있다는 점을 고려해야 한다. 댐 건설 시, 강 하류 어업 종사자 및 지역주민에게 어떤 영향이 있을 것인가? ③ 관련 프로젝트 활동 또는 활동에 추가로 자원을 투입할 것으로 기대되는 집단: 기타 기관이 라디오 보급 활동을 시행할 것으로 기대하고, 인지제고 캠페인을 실시할 계획인가? 계획된 교과서 및 교육 물품 제공이 기타 공여 기관이 시행하는 교사 훈련 프로그램으로 보완될 수 있을 것인가? 성과 달성을 위한 결과모형의 설계 지침 21 ③ 관련 프로젝트 활동 또는 활동에 추가로 자원을 투입할 것으로 기대되는 집단: 기타 기관이 라디오 보급 활동을 시행할 것으로 기대하고, 인지제고 캠페인을 실시할 계획인가? 계획된 교과서 및 교육 물품 제공이 기타 공여 기관이 시행하는 교사 훈련 프로그램으로 보완될 수 있을 것인가? ④ 상충되는 개발 프로젝트를 시행할 것으로 예상되는 기관: 교통 개선 프로젝트 활동이 HIV/AIDS 감염 감소 프로젝트에 부정적 영향을 미칠 것인가? ⑤ 의사결정 기관: 전략 목표 달성을 위해 프로젝트 수행 기간 중 정책 변화가 필요한가? 핵심 이해관계자 집단의 대표자와 프로젝트의 초기 기획 단계부터 협력할 경우, 중기 성과(intermediate outcome)가 현실적으로 설정되고, 목표를 계획대로 달성할 가능성이 높다. 3단계: 결과(산출물 및 성과)의 정의 수요 분석 또는 문제 분석 과정, 핵심 이해관계자 분석을 통해 프로젝트 팀 또는 시행기관은 프로젝트의 궁극적 전략 목표 달성을 위해 어떠한 산출물 및 성과가 창출되어야 하는지 확인할 수 있다. 통상적으로, 프로젝트 팀은 다수의 중기 결과(intermediate results), 즉 산출물과 성과(outputs and outcomes)를 파악할 수 있다. 그러나, 결과모형을 설계할 때 중요한 것은 소수의 중요 성과(outcomes)에 집중하고 이에 대한 합의를 도출하는 것이다. 산출물 및 성과(outcomes)는 현재 상황과 상위 수준의 목표(결과) 간극을 잇는 결과사슬 (results chain)의 인과관계를 나타낸다고 할 수 있다. 먼저, 최종 전략목표에서 시작해서, 거꾸로 단기, 중기 성과를 설정하면서 프로그램의 논리를 구성할 수 있다. 그림 4와 그림 5는 결과사슬 각 준위에서의 성과를 구체화함으로써 어떻게 모니터링 및 평가 체계가 구축되는지 예시를 보여준다. 중기 성과의 정확성을 기하기 위하여, 각 성과를 검토할 때, 어느 성과가 가장 적합한지(즉, 해당 프로젝트의 범위 내 또는 밖의 성과인지), 어떻게 성과가 효과적으로 측정될 수 있는지에 대하여 검토할 필요가 있다. 4단계: 중요 가정 및 위험요인 파악 개발 프로젝트는 기획자와 시행기관이 통제할 수 없는 요인에 대한 가정을 바탕으로 설계될 수밖에 없다. 결과모형은 프로젝트 시행 기간에 걸쳐 발생할 확률이 낮은 중요가정을 바탕으로 Designing A Results Framework For Achieving Results: A How-To Guide 22 The World Bank 설계되서는 안된다. 만약 위험이 너무 크다면, 프로젝트 자체를 재검토해야 할 필요가 있다. 결과사슬의 중요한 산출물 및 성과 별로, 결과모형 설계자는 위험 가능성이 있는 외부 요인에 대한 가정을 명시해야 한다(예: 정치 환경, 경제, 기후변화 등). 위험이 상당한 것으로 판단될 경우, 실무자는 보통 개발 전략을 조정하고, 위기 대응 계획을 마련하며, 필요 시 상황을 모니터링하고 해소할 수 있도록 위험 관리계획을 수립한다. 5단계: 데이터 출처 검토 및 지표 설정 가능하다면 현존하는 데이터 출처 및 검증된 데이터 수집 방법론을 기반으로 측정 전략을 수립해야 한다. 행정 데이터베이스 또는 인구조사 등 이미 존재하는 출처를 통해 정보를 확보할 수 있을 것이다. 목표 성과 측정을 위한 구체적인 지표를 설정하기 이전에, 실무자는 목표한 변화를 측정하는 데 활용할 수 있는 데이터 출처가 있는지 확인해야 한다. 많은 경우, 정부는 부처 데이터 시스템을 활용하는 모니터링 및 평가 체계를 마련하고 있다. 그러나 데이터 시스템에 대한 검토 및 역량 진단 등이 필요하다. 데이터 출처 및 데이터 시스템의 존재 여부를 확인하는 것에서 더 나아가, 프로젝트 수행기관 또는 평가자는 관련 정부 부처의 데이터 및 보고서를 정기적으로 확보하기를 희망할 것이다. 결과모형을 구축하는 과정에서 결과모형에 필요한 정보를 확보할 수 없다는 점을 발견하게 되는 경우가 종종 있다. 따라서 결과모형의 설계 초기과정에서 정보의 이용 가능성, 타당성, 신뢰도 향상을 염두에 두는 것이 매우 유용하다. 데이터 확보는 기존 데이터베이스나 기타 프로젝트의 데이터를 활용하거나 또는 새로운 데이터를 수집(설문조사, 초점집단인터뷰, 관찰 등)하는 방법이 있으며, 각 방법은 장점과 단점이 있다. 데이터를 파악 또는 수집할 때 아래 사항을 고려하도록 한다. ■ 기존 데이터 활용 ① 분야별, 지역별 데이터 출처: 가계 재무 조사, 인구 보건 조사, 기타 정기적으로 수집되는 데이터를 통해 분야별 데이터 베이스가 구축된다. 프로젝트팀 내 분야별, 지역별 전문가는 타당한 성과 측정을 위해 데이터 출처를 확인할 수 있도록 관련 지식과 전문성을 보유해야 한다. ② 기타 개발 데이터: 세계개발지표(World Development Indicators) 데이터베이스 (www.wo rldbank.org/data)및 기타 국제개발기구의 데이터 베이스가 포함된다. 성과 달성을 위한 결과모형의 설계 지침 23 ■ 새로운 데이터 수집 ㆍ검증된 데이터 수집 방법론: 기존 데이터를 활용해 의도한 변화의 정도를 효과적으로 측정할 수 없는 경우, 기타 유사 프로젝트의 교훈을 활용해야 한다. 예를 들어, 실무자가 이전에 유사한 상황에서 수행한 사례가 있다면, 지역사회 지도자와의 초점집단 인터뷰 또는 트럭 운전자 조사 등을 계획해볼 수 있다 새로운 데이터 수집 전략을 설계하는 것은 프로젝트팀 또는 평가팀에 추가적인 부담과 위험을 가중시키므로, 이는 최후의 선택지로 남겨두어야 한다. <그림4> IDA 부르키나파소 프로그램의 성과 요약 빈곤 감소 성장 가속화ㆍ상생 발전ㆍ빈곤감소ㆍ사회복지 개선 전략 중점 전략 목표 1 전략 목표 2 전략 목표 3 전략 목표 4 국가 성장 가속화 및 상생 기초 사회서비스에 빈곤층 고용 및 소득 분권화에 따른 발전 대한 접근성 강화 창출 기회 확대 거버넌스 향상 성과 1.1. 지역 통합 강화 2.1. 기초교육 3.1. 노동시장 유연성 4.1. 상업 분야 CAS 1.2. 수출 확대 및 품질개선 및 강화 사건에 대한 관련 접근성 확대 법제 효율화 다변화 3.2. 여성의 경제 국가 2.2. 보건 및 HIV/AIDS 활동 기회 확대 4.2. 분권화 통한 1.3. 투자 환경 개선 성과 서비스에 대한 공공자원 관리 1.4. 효율적 경제 3.3. 위험요인 경감 빈곤층 접근성 및 농가 수입 향상 인프라 개선 증대 4.3. 공공정책 관련 2.3. 휴대용 식수 및 3.4. 지역사회 기반 지역사회 역량 위생에 대한 천연자원 관리 강화 및 참여 접근성 확대 확대 3.5. 농업 인프라에 2.4. 맞춤형 사회 대한 접근성 보장 강화 확대 ※출처 : 셰계은행 ※비고 : CAS = 국가지원전략 Designing A Results Framework For Achieving Results: A How-To Guide 24 The World Bank <그림5> 전략목표 및 모니터링/평가 지표 예시 - 2004년 이후, 1인당 소득 4% 성장 - 최빈층 1인당 소득 성장률이 평균 소득 성장 률에 상응하는 수준으로 상승 - 빈곤층이 2003년 46%에서 2006년 41%, 상위 수준 지속적인 친빈곤 성장 2015년 35%로 감소 국가 성과 빈곤감소 및 사회복지 개선 - 5세 미만 아동 사망률이 2003년 184명에서 2009년 150명으로 감소 - 5세 미만 아동 영양실조 아동이 2003년 38% 에서 2009년 30% 미만으로 감소 CAS 기여 성장 가속화 및 상생 기초 사회 서비스에 빈곤층 고용 및 소득 분권화에 따른 성과 발전 대한 접근성 강화 창출 기회 확대 거버넌스 향상 - 2004년 이후, 非면 - 초등학교 등록률이 - 핵심 非면화 작물의 -상업법정의 연간판 화 수출 수집이 연 2003년 52%에서 연간 평균 생산량 결 건수의 지속적 간 최소 8% 증가 2007년 60%, 2009 이 최소 5% 상승 인 증가 년 70%로 상승 - 기업등록 소요기간 - 면화 수확률이 2004 - 13개 지역 내, 예산 이 2004년 45일에 - 초등교육 졸업률이 년 수준과 비교하 집행이 완전한 수 서 2009년 20일 이 2003년 26%에서 여 최소 10% 상승 준으로 분권화 하로 감소 2009년 35%로 상 - 6개 시범 프로젝트 - 인적자원 정보 시스 승, 숙련된 보건 인 - 고용 경직성 지수 90 대상지 재산 소유 템의 완전한 구현 력에 의한 출산률 에서 2009년 50 이 권 발행 건수가 지 이2002년 36%에서 - 농촌 지역사회의 책 하로 하락 속적으로 상승 2009년 50%로 상승 임 및 자원 관리 등 - 송금 소요 기간이 - 지역사회 주도 개발 을 규정한 규제의 - DTC3 백신율이 2003 2004년 10일에서 2 을 위한 26개 대상 발효 년 57%에서 2009년 일로 단축 州 내 여성 문해율 87%로 상승 - 외부 감시자에 의한 이 최소 50%까지 - 연간 전력 생산이 대규모 공공 계약 - 남성 콘돔 사용률이 상승 70% 가동률에 대상 보고서 발행 2003년 69%에서 86GWh 달성 - 사계절용 도로 2km 비율 50% 2009년 80%로 상승 반경에 사는 농촌 - 공식 도로 네트워크 - 농촌 및 준도시지 역 인구의 비율이 증 에 대한 유지 보수 내 안전한 음용수 가 100% 달성 접근율이 2003년 88%에서 2009년 92%로 상승 ※출처 : 세계은행 ※비고 : CAS = 국자지원전략 성과 달성을 위한 결과모형의 설계 지침 25 6단계: 각 성과 준위별 지표 및 데이터 출처 설정 전략목표 및 중기 성과(intermediate outcomes)는 측정을 위해 구체적으로 정의해야 한다. 즉, 일련의 측정가능한 지표를 설정하여 성과 달성 여부를 확인할 필요가 있다. 또한 성과와 연계된 지표를 설정하기 위해서는 성과의 특성에 초점을 맞춰야 한다. 상자 2가 보여주듯 지표를 SMART 기준을 활용해 설정하고, 지표 값은 정량적 또는 정성적으로 표현할 수 있다. 투입물, 활동, 산출물, 성과, 영향, 각 요소에 따라 지표를 설정할 수 있다. 결과모형은 개발협력 프로젝트의 효과에 집중해야 하므로, 단기, 중기 성과(short- and long-term outcomes)와 영향을 측정해야 한다. 핵심 이해관계자는 결과사슬의 단계별로 설정된 지표와 및 측정방안에 대한 합의를 도출하고, 전략 목표의 달성 정도에 대한 평가방안을 명확히 해야 한다. 표 5와 표 6의 예시를 참고하자. 효과적 지표의 특성(SMART) ① 구체성(Specific) - 지표를 통해 수집한 정보는 구체적이고 단순해야 한다. 즉, 지표 정보를 쉽게 이해할 수 있고, 공유할 수 있어야 한다. ② 측정가능성(Measurable) - 객관적으로 증명 가능한 변화인가? ㆍ학생의 학업 성취도 ㆍ토지의 가치(총 면적 단위x면적 당 가격) ㆍ수자원 및 전력 이용에 만족하는 고객 비율 ③ 달성가능성(Achievable) - 지표에 대한 정보가 확보 가능해야 한다. ④ 적절성(Relevant) - 지표를 통해 수집한 정보는 중요성이 있어야 하고, 대상 프로젝트 관리 또는 분석에 활용 가능해야 한다. ⑤ 시한이 있음(Time-bound) - 특정 기간 안에 일정 주기로 진전사항을 추적할 수 있어야 한다. ※출처: 세계은행(World Bank Group) Designing A Results Framework For Achieving Results: A How-To Guide 26 The World Bank <표5> 프로젝트 성과에 대한 지표 예시 프로젝트의 개발 목표(PDO) 페루 농촌지역의 효율적이고 지속가능한 전력 접근성 향상 목표치(누적) 데이터 데이터 PDO 수준의 결과 지표 측정 단위 기초선 주기 출처/방법 수집 주체 1년 2년 3년 4년 지표1: 장기적으로 농가에 전력 서비스 제공 잠재적인 전력 연 전력 서비스 0 0 20,000 42,500 반기 PU 이 가능하도록 구축된 인프라 결 건수 제공기관 지표2: 프로젝트 기간 중, 실제 전력 이용이 전력 서비스 신규 연결 건수 0 0 15,500 34,000 반기 PU 가능해진 가구 및 업체의 수 제공기관 지표3: 태양열 발전 설치 통해 전력 이용이 신규 재생 가능한 전력 서비스 0 0 반기 PU 가능해진 가구 및 업체의 수 에너지 연결 건수 제공기관 전력 서비스 전기 기자재 도입 지표4: 전력 사용 기자재를 도입한 생산 시설 0 0 1,000 3,000 5,000 반기 제공기관 및 PU 시설 수 계약업체 ※출처 : 세계은행 2011b. ※비고 : PDO = 프로젝트 개발 목표, PU = 프로젝트 추진반 성과 달성을 위한 결과모형의 설계 지침 27 <표6> 목표치가 부여된 프로젝트 개발 목표 예시 프로젝트의 개발 목표(PDO) 보건 체계 강화 및 특히 빈곤층 대상의 보건 서비스 개선을 위한 방글라데시 정부 보건 역량 강화 측정 목표치(누적) 데이터 데이터 설명 PDO 수준의 결과 지표 기초선 주기 단위 1년 2년 3년 4년 5년 출처/방법 수집 주체 (지표 정의 등) BDHS SBA는 의료 빈곤계층 여성 중 숙련된 조산 11.5% 3년, 교육훈련을 % 15% BDHS, UESD NIPORT 사의 도움을 받아 분만한 비율 UESD 2010 UESD 받은 제공자 2년 로 정의됨 Sylhet 35.7% BDHS Sylhet& Sylhet 및 Chittagong 취약 지역 Chittagong 3년, % Chittagong BDHS, UESD NIPORT 의 현대적 피임 보급률 46.8% UESD 50% UESD 2010 2년 빈곤계층 아 동체중 중 빈곤계층 5세 미만 아동 중 저체 48.3% BDHS % 43.3% BDHS NIPORT 위값에서 ≤ 중 아동의 비중 BDHS 2007 3년 2SD 수준의 아동 비중 중기 결과: 서비스 전달 개선 BDHS 23.7% 3년, 시설 분만 비율 % 40% BDHS, UESD NIPORT UESD 2012 UESD 2년 CC 기능하고 있는 보건소 수 수 Project 201 11,000 12,000 13,500 매년 행정 기록 Project/MIS/ MOHFW Designing A Results Framework For Achieving Results: A How-To Guide 28 The World Bank 프로젝트의 개발 목표(PDO) 보건 체계 강화 및 특히 빈곤층 대상의 보건 서비스 개선을 위한 방글라데시 정부 보건 역량 강화 측정 목표치(누적) 데이터 데이터 설명 PDO 수준의 결과 지표 기초선 주기 단위 1년 2년 3년 4년 5년 출처/방법 수집 주체 (지표 정의 등) 82.4% 기능하고 있는 보건소 수 % 90% 매년 CES EPI CES 2009 12개월 미만 아동 중 홍역 예방 43% % 50% 3년 BDHS NIPORT 접종 아동 비중 BDHS 2007 BDHS 생후 6개월간 모유 수유 받은 아 20.9% 3년, % 50% BDHS, UESD NIPORT 동 비중 UESD 2010 UESD 2년 ※출처 : 세계은행 2011a. ※비고 : CC = 지역사회보건소, CES = 보장성 평가 조사, BDHS = 방글라데시 인구보건조사, EPI: 예방접종 확대 프로그램, MOHFW: 보건가족복지부, NIPORT: 국가 인구 연구 훈련 연구소, PDO = 프로젝트 개발 목표, UESD = 필수 서비스 전달 활용 조사 PDO 수준의 성과 지표 정의 빈곤계층 여성 중 숙련된 조산사의 도움을 받아 분만한 비율: 빈곤계층(소득수준 기준 10개그룹 중 하위 2개그룹) 15-49세 여성 중 본 조사 이전 5년 기간 중 숙련된 의료 서비스 제공자의 도움을 받아 출산을 한 비율/분자: 자격을 갖추고 훈련을 받은 의료인(의사, 간호사, 산파, 의료요원, 복지사, 지역사회 조산사)의 지원을 받은 출산 건 수/분모: 지난 4년간 출생 건 수 Sylhet 및 Chittagong 내 취약지역 중, 현대적 피임 보급률: 현재, 현대적 피임 방법을 활용하고 있는 기혼 여성 비중/분자: 조사 시점에서 다음의 피임 방법을 사용하고 있다고 응답한 여성의 수: 여성 불임, 남성 불임, 피임약, 남성 콘돔, IUD (낙태, 월경조절 등은 포함되지 않음)/분모: 15-49세 기혼 여성 빈곤계층 5세 미만 아동 중 체중 미달 아동의 비중: 조사 당시, 빈곤계층(소득수준 기준 10개그룹 중 하위 2개그룹) 5세 미만 아동 중 저체중 5세 미만 아동/분자: WHO 아동발달기준의 중위 값에서 -2SD에 미달한 아동의 수/분모: 5세 미만의 아동 수 성과 달성을 위한 결과모형의 설계 지침 29 상기 과정을 수행함에 있어, 다음 사항을 고려하는 게 도움이 될 수 있을 것이다. ① 개발목표(objective) 또는 중기 성과(intermediate outcome)의 정성, 정량적 특성을 측정하기 위해 1개 이상의 지표가 필요할 수 있다. ② 지표를 최소한의 개수로 설정해야 한다. 성과 정보가 많다고 해서 항상 좋은 것이 아니다. 결과모형과 실적 측정 체계가 겪는 공통적 문제는 다수의 지표가 설정되어, 각 지표 정보 추적에 부담이 발생할 수 있다는 것이다. 각 성과(outcome)마다 정확히 몇 개의 지표가 설정되어야 하는지 정해진 바는 없다. 그러나, 지표의 개수를 결정할 때 다음의 질문이 도움이 될 수 있다. “전략 목표 달성도를 측정하기 위해 해당 지표가 절대적으로 필요한가?”, “데이터를 수집하는 담당자 또는 설문 응답자 등에 추가적인 부담이 더해지지 않는가?”, “해당 지표가 모니터링, 관리, 평가 측면에서 어떻게 도움이 될 것인가?”. 결과모형 설계에 대한 다수 이해관계자의 의견을 청취함으로써 어떤 측정 지표를 설정하고, 몇 개의 지표를 설정하는 것이 적절한지에 대하여 이해관계자 모두가 합의하는 기회로 삼을 수 있다. ③ 성과 달성도를 직접 측정하기 어려울 때에는, 대체 지표를 활용하여 간접적으로 측정할 수 있다. 예를 들어, 학생 학업 성취도 시험이 체계적으로 실시되지 않은 경우, 교육의 품질을 평가하기 위해 학생 수료비율을 대체 지표로 활용할 수 있다. 다만, 대체 지표의 설정은 세심한 접근이 필요하다. 부적절한 대체 지표를 설정하는 경우, 성과 측정의 타당성이 훼손될 위험이 있다(예: 학생 자체적으로 수학 과목 성취도를 보고하도록 하는 것). 프로젝트 이행 도중 데이터의 양이 증가하고, 새로운 데이터가 활용 가능해짐에 따라, 결과모형에 반영된 성과 지표를 수정해야 할 수도 있다. Designing A Results Framework For Achieving Results: A How-To Guide 30 The World Bank 7단계: 실적 모니터링 계획 수립 결과모형 설계의 다음 단계는 성과 달성도를 모니터링하고 평가할 수 있도록 결과모형의 이행 방안을 계획하는 것이다. 실적 모니터링 계획에는 아래 사항을 포함해야 한다. ① 기초선과 목표치를 확보하여, 지표를 통해 변화를 측정하고 성과를 증명할 수 있다. 기초선은 2차 데이터를 활용해 확보할 수 있고, 향후 별도 작업을 통해 개선 또는 보완될 수 있다.“완벽한”기초선 값이 나오기 전까지 프로젝트 착수를 연기하는 것은 바람직 하지 않다. 반면, 기초선 데이터가 없다는 것은 프로젝트 기획 시 문제분석 단계가 과거의 통념이나, 증명되지 않은 가정을 바탕으로 했다는 것을 의미한다고 볼 수 있다. ② 데이터 출처 또는 데이터 수집 방안 ③ 데이터 수집 담당자(예: 독립 평가팀, 프로젝트 담당자 등) ④ 데이터 수집 주기 ⑤ 지표 또는 정보 수집 관련 가정 및 위험요소(예: 수혜자로부터 데이터를 수집할 수 있을 것이라는 가정 등) 계획 수립 과정에서 정보관리 시스템 구축, 데이터 입력, 데이터 품질, 효율적 데이터 통합 관리, 데이터 활용 가이드라인 개발의 중요성이 간과되는 경향이 있다. 다수의 인력이 데이터 또는 보고서를 제출하는 경우(예: 현지 고용인력이 본부에 보고하는 경우), 프로젝트 계획 담당자에게 어떻게 데이터를 전달하고, 그 데이터를 의사 결정에 어떻게 활용할 것인지를 검토해봐야 한다. 특히, 프로그램 차원에서 다수의 프로젝트 정보를 종합할 때, 보다 중요한 문제이다. 오늘날 웹 기반의 모니터링 계획이 보편화되고 있다. 인터넷 접속기회와 높은 속도가 보장되고, 적절한 데이터 입력 및 전송 가이드라인이 존재하는 경우, 웹 기반 모니터링 계획을 통해 더욱 신속하게 데이터를 보고할 수 있고, 이를 활용해 의사결정을 개선할 수 있다. 물론, 인터넷과 ICT가 정보수집의 비용과 난이도를 상당 부분 감소시킬 수 있으나, 프로젝트 의사 결정과정에 대한 명확한 이해를 기반으로 설계되어야, 유용하게 활용할 수 있다. 웹 기반 데이터 입력 및 보고가 불가할 경우, 차선책으로 이메일이나 하드카피로 전송이 가능한 엑셀 양식 활용 등을 고려해야 할 것이다. 이행 과정에서 성과를 일관적이고, 체계적으로 측정할 수 있고, 필요 시 활동내용을 수정할 수 있도록 지침을 제시하는 구체적 결과 매트릭스(results matrix)와 결과모형이 직접적으로 연계되어 성과 달성을 위한 결과모형의 설계 지침 31 있어야 유용하다. 표 6은 실제 모니터링에서 어떻게 상위 성과부터 실적 지표까지 추적을 하는지 예시를 보여준다. 8단계: 성과 공유 및 확산 계획 수립 마지막 단계는 결과모형을 활용해 프로젝트 활동의 목표 달성 정도와 결과에 대해 소통하고 확산하는 방안을 수립하는 것이다. 가장 보편적인 방법은 상황판(dashboard)에 결과를 도입하는 것이다. 기획 및 검토 회의 시, 이를 통해 상위의 목표, 성과/산출물 달성 여부를 바로 확인할 수 있다(각 지표의 현 상황을 표시). 따라서, 적절한 지표를 설정(예: HIV 감염률의 변화)하고 이를 핵심 산출물(HIV 감염에 관한 인지 제고 캠페인 실시 횟수)과 연계시켜 성과를 보여줌으로써, 핵심 이해관계자와 적극 소통하고, 이들의 지지 기반을 확보할 수 있다. USAID(2000), AusAid(2005), Gorgens and Kusek(2009)에서 결과모형 구축을 위한 단계별 접근 관련 더 많은 관련 정보를 확인할 수 있다. Designing A Results Framework For Achieving Results: A How-To Guide 32 The World Bank 6. 장애 요인 결과모형은 개발 결과 달성을 위해 업무를 수행 중인 실무자 및 기타 이해관계자에게 여러 측면에서 유용하다. 그럼에도 불구하고 결과모형을 적용하는 데 있어 잠재적인 장애 요인이 존재한다. ① 프로젝트 착수단계부터 시간 및 자원 투입이 필요하다. 의도한 결과에 대한 합의 도출, 관련 지표 설정, 데이터 출처 확인 과정은 상당한 노력을 필요로 한다. 그러나 이러한 과정을 통해 주요 이해관계자들이 주인의식을 갖고 보다 활발하게 협력할 수 있으며, 프로젝트 중간·종료 평가 수행에 필요한 예산과 시간을 경감시킬 수 있다. ② 프로젝트의 효과를 정확히 측정하는 것이 어려울 수 있다. 일련의 지표를 선정하고 측정해 성과의 달성 정도를 정확히 파악하는 것이 어려울 수 있고, 의도하지 않은 결과를 간과하는 위험이 발생할 수 있다. 이에 따라 핵심 이해관계자가 함께 협력하여 결과모형을 개발하고, 이에 합의하는 것이 필요하며, 시행기관은 결과모형에 대한 책임의식을 갖게 된다. ③ 결과모형이 과도하게 복잡해질 수 있다. 복잡한 변화의 과정을 정량ㆍ정성적 지표를 통해 파악하려고 하면서, 모니터링이 불가능한 지표가 설정되는 경우가 많다. 실무자는 각 지표가 비용을 수반한다는 점을 유념해야 할 것이다. 따라서 지표를 설정할 때, 지표의 적절성, 비용, 시의성, 유용성 등을 중점적으로 고려해야 한다. ④ 프로젝트 담당자가 평가과정에 참여하는 것은 결과 측정의 편향을 조장할 수 있다. 시행기관은 프로젝트 성과에 대해 긍정적 데이터를 수집하고자 하는 유인을 갖고 있다. 프로젝트 전 주기에 걸쳐 결과 중심 접근을 도입하더라도, 평가자와 적절한 협업을 통해 평가과정을 철저히 감독하고 모니터링하고, 데이터를 분리 및 분석하여, 결과모형에 나타나지 않은 사항까지도 파악할 수 있어야 한다. Toffolon-Weiss, Bertrand, and Terrell(1999)와 OECD-DAC(2008)을 통해 장애 요인과 관련된 더 많은 정보를 확인할 수 있다. 궁극적으로, 결과모형은 결과기반관리(results-based management)의 기초를 마련함과 동시에, 담당팀이 전략 목표 달성 여부를 지속적으로 확인하고 이에 주력할 수 있도록 한다. 목표 성과를 성과 달성을 위한 결과모형의 설계 지침 33 정의하는 데 시간과 노력의 투입, 철저한 분석을 기반으로 한 성과 지표 설정, 데이터 출처 및 수집 전략 설정, 모니터링 계획 구축을 통해 포괄적이고, 효과적으로 개발 결과를 촉진하고 평가할 수 있을 것이다. Designing A Results Framework For Achieving Results: A How-To Guide 34 The World Bank 7. 참고 문헌 출판물 AusAid (Australian Agency for International Development). 2005. “Using the Results Framework Approach.” AusGuideline. http://www.ausaid.gov/au/ausguide/pdf/ausguideline2.2.pdf. Binnendijk, Annette. 2000. “Results Based Management in the Development Cooperation Agencies: A Review of Experience.” Paper prepared for OECD-DAC Working Party on Aid Evaluation, February 10–11. Paris. Canadian Department of Foreign Affairs and International Trade. 2005. “Six Easy Steps to Managing for Results: A Guide for Managers.” Evaluation Division, Ottawa. Canadian International Development Agency. 2004. CIDA Evaluation Guide. Evaluation Division, Performance and Knowledge Management Branch, Ottawa. Department for International Development. 2002. DFID Tools for Development—LogFrame. London. Gorgens, Marelize, and Jody Zall Kusek. 2010. Making Monitoring and Evaluation Systems Work: A Toolkit for Development Practitioners. Washington, DC: World Bank. IEG (Independent Evaluation Group). 2007. How to Build M&E Systems to Support Better Government. Washington, DC: World Bank. Imas, Linda G. Morra, and Ray Rist. 2009. The Road to Results: Designing and Conducting Effective Development Evaluations. Washington, DC: World Bank. 성과 달성을 위한 결과모형의 설계 지침 35 Khan, M. Adil. 2001. A Guidebook on Results-Based Monitoring and Evaluation: Key Concepts, Issues and Applications. Monitoring and Progress Review Division, Ministry of Plan Implementation. Colombo, Sri Lanka: Government of Sri Lanka. Kusek, Jody Zall, and Ray C. Rist. 2004. Ten Steps to a Results-Based Monitoring and Evaluation System. Washington, DC: World Bank. OECD-DAC Joint Venture on Managing for Development Results. 2008. Managing for Development Results Principles in Action: Sourcebook on EmergingGood Practice, 3rd ed. Paris: OECD. Otoo, Samuel, Natalia Agapitova, and Joy Behrens. 2009. The Capacity Development Results Framework: A Strategic and Results-Oriented Approach to Learning for Capacity Development. Washington, DC: World Bank Institute. Scott, Alison. 2006. “Emerging Practices of Results-Based Country Programming among Aid Agencies.” Managing for Development Results Principles in Action: Sourcebook on Emerging Good Practice, 1st ed. Paris: OECD-DAC Joint Venture on Managing for Development Results. Toffolon-Weiss, Melissa M., Jane T. Bertrand, and Stanley S. Terrell. 1999. “The Results Framework—An Innovative Tool for Program Planning and Evaluation.” Evaluation Review 23 (3): 336–59. USAID (United States Agency for International Development). 1996. “Selecting Performance Indicators.” Performance Monitoring and Evaluation Tips. Washington, DC: Center for Development Information and Evaluation. ———. 2000. “Building a Results Framework.” Performance Monitoring and Evaluation Tips. Washington, DC: Center for Development Information and Evaluation. Valdez, Joseph, and Michael Bamberger. 1994. Monitoring and Evaluation Social Programs Designing A Results Framework For Achieving Results: A How-To Guide 36 The World Bank in Developing Countries: A Handbook for Policymakers, Managers, and Researchers. Washington, DC: World Bank. W.K. Kellogg Foundation. 2004. Logic Model Development Guide. Battle Creek, MI. Weiss, Carol H. 1007. Evaluation, 2nd ed. Upper Saddle River, NJ: Prentice Hall. World Bank. 2005a. “Burkina Faso—Country Assistance Strategy.” Report No. 32187, Washington, DC. ———. 2005b. “The LogFrame Handbook: A Logical Framework Approach to Project Cycle Management.” Working Paper No. 31240, World Bank, Washington, DC. ———. 2006. “Lesotho—Country Assistance Strategy.” Report No. 35621, Washington, DC. ———. 2007. Healthy Development: World Bank Strategy for Health, Nutrition, and Population Results. Washington, DC: World Bank. ———. 2011a. “Proposed Credit in the Amount of SDR226.40 Million to the People’s Republic of Bangladesh for a Health Sector Development Program.” Project Appraisal Document No. 59979-BD, World Bank, Washington, DC. ———. 2011b. “Proposed Loan in the Amount of US$50 Million to the Republic of Peru for a Second Rural Electrification Project.” Project Appraisal Document No. 60154-PE, World Bank, Washington, DC. 웹사이트 Asian Development Bank. Results Framework. http://www.adb.org/ Documents/Policies/ADB-Results-Framework/r166-08.pdf 성과 달성을 위한 결과모형의 설계 지침 37 AusAid (Australian Agency for International Development). 2005. Using the Results Framework Approach. AusGuideline. http://www.ausaid.gov.au/ausguide/pdf/ausguideline2.2.pdf Independent Evaluation Group Monitoring and Evaluation Capacity Development. http://www.worldbank.org/ieg/ecd/ OECD Development Assistance Committee Working Party on Aid Evaluation. http://www.oecd.org/home/ OECD/DAC Joint Venture on Managing for Results. Sourcebook on Managing for Development Results. http://www.mfdr.org University of Wisconsin-Extension. Logic Model. http://www.uwex.edu/ces/pdande/evaluation/evallogicmodel.html USAID Center for Development Information and Evaluation. http://www.usaid.gov/pubs/usaid_eval/ W.K. Kellogg Foundation. Evaluation Resources. http://www.wkkf.org/ World Food Programme. Strategic Results Framework. http://www.wfp.org/content/strategic-results-framework Designing A Results Framework For Achieving Results: A How-To Guide 교육자료 ISBN : 978-89-6469-502-9 93330 2018-02-264 13449 경기도 성남시 수정구 대왕판교로 825 Tel. 1588-0434, Fax. 031)7400-247 http://www.koica.go.kr