공적개발원조 통합평가 활용에 영향을 미치는 요인 분석
초록
본 연구는 한국의 ODA 통합평가제도가 평가활용에 미치는 영향에 더하여, 평가수용의 매개변수 역할을 분석하였다. 이러한 연구목적을 수행하기 위해 기존의 평가활용의 영향요인에 대한 선행연구검토, 매개회귀분석, 구조방정식모형 등의 분석방법을 활용하였다.
분석결과 첫째, 평가제도의 과정참여가 평가활용(수단활용)간에는 통계적으로 유의한 관계가 있는 것으로 나타났다. 아울러, 평가제도의 평가조직, 평가방법, 과정참여가 평가활용(설득활용)간에는 통계적으로 유의한 관계가 있는 것으로 나타났다 둘째, 평가제도 중 평가계획, 과정참여가 평가수용 간에는 통계적으로 유의한 관계가 있는 것으로 나타났다. 셋째, 평가수용이라는 매개변수를 사용하여 평가계획, 과정참여가 설득활용 통계적으로 유의한 관계가 있는 것으로 나타났다.
본 연구의 의의는 기존의 평가활용에 관한 연구에서 상대적으로 부족했던 평가수용을 포함하여 평가제도와 평가활용간의 관계를 실증적으로 검증해낸 것이다. 본 연구의 한계는 사업 및 평가 담당자만을 대상으로 하여 설문표본이 적어 분석결과를 도출하는데 제한적이었다. 향후 연구에서는 심층면접조사 등의 질적인 방법을 병행하여야 할 것이다.
Abstract
This study analyzed the role of parameters of evaluation acceptance in addition to the effect of Korea's ODA integrated evaluation system on evaluation utilization. To carry out these research objectives, analysis methods such as review of previous studies, mediated regression analysis, and structural equation model were used for the factors influencing existing evaluation applications.
As a result of the analysis, first, it was found that there was a statistically significant relationship between the evaluation and utilization of evaluation system participation in the process. In addition, it was found that there was a statistically significant relationship between the evaluation organization, evaluation method, and evaluation use (persuasion use) of the evaluation system. Second, among the evaluation systems, there was a statistically significant relationship between evaluation plan and process participation evaluation acceptance. Appeared to be. Third, it was found that there was a statistically significant relationship between the evaluation plan and process participation using the parameter of evaluation acceptance.
The significance of this study is to empirically verify the relationship between the evaluation system and evaluation use, including evaluation acceptance, which was relatively insufficient in previous studies on evaluation utilization. The limitation of this study was limited in deriving the analysis results as there were few questionnaire samples for the project and evaluation personnel only. In future research, qualitative methods such as in-depth interviews will be used.
Keywords:
Utilization of Evaluation, ODA Evaluation, ODA Integrated Evaluation System, PLS Structural Equation Model, Mediating Regression Analysis키워드:
평가활용, 공적개발원조(ODA)평가, ODA 통합평가체계, PLS구조방정식모형, 매개회귀분석Ⅰ. 서 론
정부는 제공하고 있는 모든 공공서비스에 대해서 그 가치를 국민 및 이해당사자들에게 책임을 져야하는 엄격한 의무를 가지고 있다. 이러한 책무는 공적개발원조(Official Development Assistance: ODA)를 수행하고 있는 공여국과 원조기관에도 직면한 문제이다. 특히 1990년대부터 등장한 공적개발원조 패러다임의 변화에 의해서 국제사회는 책무성 강화와 학습이라는 평가의 역할을 더욱 강조하게 되었다(Sean Conlin & Roderick, 2008; Robert, 2007). 따라서 대부분의 공여국과 원조기관은 ODA의 성과를 제고하고 성과를 정확하게 평가하기 위해서 노력하고 있다. 특히 공여국의 납세자인 국민들은 ODA 대한 공공지출의 신뢰성과 공정한 평가를 요구하기 시작했고 결국 ODA 지원에 대한 모니터닝과 평가의 강화로 이어졌다. 또한 1990년대 후반부터 국제사회에서 ODA 지원의 양적규모가 다시 증가되면서, ODA 사업 및 관리체제의 질적 향상을 도모하고 투명성과 책임성을 높이기 위한 공정하고 객관적인 평가제도에 대한 관심이 매우 높아지고 있다. 평가는 정부와 조직의 성과를 향상시키는 강력한 도구로서 정착해오고 있으며(Marra & Rist, 2009; Picciotto 2007; Vinod 2011), 성과중심 관리, 상호 책무성 등이 더욱 강조되고 있는 ODA 정책 환경의 현실에서 평가는 더욱 중요하게 되었다. 평가는 정책 결정자에게 의사 결정의 기반이 되는 신뢰할 만한 정보를 주고 협력 파트너들이 ODA 성과에 대한 상호 책임성을 증명하는데 매우 중요한 역할을 하고 있기 때문이다(국제개발협력단, 2012: 198).
2008년 한국은 OECD DAC의 회원국으로 가입하기 위해서 ODA 정책 전반에 대한 특별동료평가에서는 평가제도에 대한 문제점이 지적되었다. 특별동료평가에서 한국의 ODA 평가는 ODA 사업이 진행되는 동안에 모니터링과 평가가 지속적으로 이루어지지 않으며, ODA 성과 측정이 미약하다고 지적하였다. 또한 보고서에서는 평가결과의 환류체계가 잘 이루어지지 않고 있으며, 모니터링과 평가 과정에 시민사회 참여가 적다는 문제점을 지적하고 있다. 그러므로 OECD DAC는 한국의 ODA 평가는 성과중심의 평가제도를 수립하고 ODA 정책에 대한 총괄적인 관리를 목적으로 하는 통합적이고 일원화된 평가체계가 필요하다고 권고하였다. 한국 정부는 ODA 평가에 대한 문제점을 해결하고 권고사항 이행을 위해서 국무조정실 산하 국제개발협력위원회 중심의 통합평가제도를 도입하였다. 그러나 통합평가제도를 도입하고 ODA 평가를 수행하고 있음에도 불구하고 여전히 국내 ODA 평가에 대해서는 많은 문제점이 지적되고 있다.
우선, 통합평가의 특수한 목적이 무엇인지가 명확하지 않다. 통합평가지침이나 매뉴얼에도 통합평가의 본래 취지와 목적이 무엇인지 제대로 명시하고 있지 않았다는 지적을 받고 있다. 평가라는 일반적인 목적을 제시하고는 있지만 통합평가가 실시되는 배경에 대해서도 충분한 설명을 하고 있지 않아 평가의 중요성에 대한 공감대를 충분히 만들어내지 못하고 있다. 둘째, 평가소위원회와 수행기관의 역할이 명확하지 않다는 문제점이다. 평가 범위와 대상이 점차 확대되는 상황에서 평가소위원회와 원조기관별로 프로젝트, 프로그램, 정책수준 등에서 다양하게 추진되는 다양한 평가에서 기관 간의 역할 분담은 어떻게 해야 하는 것인가? 셋째, 평가에 대한 신뢰성과 평가 결과에 대한 타당성, 평가의 전문성에 대한 의문이다. 넷째, 활용할 수 있는 구체적인 평가 지침과 평가 매뉴얼이 부재한 상태이다. 또한 통합평가의 중요한 목적 중에 하나인 정부부처들과 공공기관의 ODA의 평가 관리도 제대로 이루어지고 있지 않다. 통합평가제도에 대한 이러한 많은 문제점과 실효성에 대한 의문에도 불구하고, 통합평가제도가 국내 ODA 평가에 대한 종합적인 평가와 심의, 조정 기능을 수행하며 중심적인 역할을 해 줄 것을 바라는 기대는 큰 편이다.
ODA 통합평가제도 도입의 목적은 적은 예산으로 분절적으로 관리되어오고 있던 사업의 효율적 관리를 위해 통합평가제도의 활용은 매우 중요하다고 할 것이다. 그 동안의 선행연구는 평가결과 활용과 개별적 요인들을 단편적으로 제시하고 있었으며 평가활용을 설명하는데 어느 요인이 적합한 요인인지 판단하기 어려움이 있었다. 빈도 분석 및 기술통계, 카이검증 등의 분석을 활용하여 평가활용을 이해하는데 어느 정도 기여하였다. 하지만 평가활용에 관련된 중요한 영향 요인이 무엇인지, 중요 요인들 간의 인과관계는 어떻게 형성되는지 함께 파악해 볼 필요성이 제기된다. 기존 연구를 보면, 평가활용과정이 원인과 결과가 상호 의존하는 관계로, 어느 영향요인이 더욱 중요한지, 영향요인들 간의 인과관계가 어떻게 형성되는지를 명확하게 설명해주지 못하고 있었다(이봉락·강근복, 2009). 이러한 측면에서 ODA 평가에서 정책의 효율성, 사업 관리와 개선, 예산의 효율성을 위해서는 평가활용이 더욱 중요하다고 할 것이다. 또한 한국의 ODA 정책집행체계에 의해서 여러 사업 기관이 있으므로 평가참여도 중요할 것이다. 향후에는 관리 수단으로 앞서 언급한 평가활용을 높이기 위한 실제적인 방안이 제시되어져야 할 것이다.
이에 본 연구에서는 한국의 ODA 통합평가의 평가활용에 미치는 영향요인을 분석해보고 ODA 통합평가 활용 증대를 위한 실효성 있는 방안을 제시하고자 한다. 이러한 연구목적을 위해서, ODA 통합평가제도가 평가활용에 미치는 영향요인에 대한 기본 연구모형을 바탕으로 평가수용을 추가하여 평가제도와 평가활용 간의 관계와 그 관계에서 평가수용의 매개변수 역할을 분석하였다.
Ⅱ. 이론적 배경 및 선행연구 검토
1. 공적개발원조평가의 특성과 발전
공적개발원조(Official Development Assistance: ODA)는 일반적인 정책과는 구별되는 속성이 있다. 첫째, 세금 납세자와 정책 수혜자가 지역적으로 다르다. 예산을 제공하고 정책집행의 권한을 정책결정자들에게 준 납세자는 공여국의 국민이며, 공여국의 국민들은 정책의 효과를 직접적으로 받을 수 없다. 그러므로 공여국 국민과 수원국 국민 사이에는 지역적·경제적·정치적·사회적·문화적 격차에 의해서 정책 수혜에는 상당한 차이가 있다. 둘째, 원조서비스를 제공하는 과정에 다양한 조직들이 관여되어 있다. 그러므로 공여국의 국민들은 수원국과 직접 접촉할 가능성이 거의 없다. 셋째, 정책 수혜자들이 유권자와 일치하지 않는다. 즉 ODA 정책의 수혜를 받는 수원국의 국민들은 공여국에 대한 투표권을 행사할 수 없다. 그러므로 공여국 정치인들에게 전혀 영향력을 줄 수 없다. 이러한 특성에 의해서 성과 피드백의 연결고리에 단절이 생기게 되며, 이것은 정책의 성과와 정보에 영향을 줄 수 있다(Marten et al., 2002: 154-155). 한편, ODA는 정책-프로그램-프로젝트의 다차원적 특성이 잘 드러내고 있다. 공여국과 원조기관에 따라 프로그램과 프로젝트의 접근은 약간씩 다르지만 대체적으로 공통된 합의에 따라서 정의할 수 있다. 따라서 프로젝트 및 프로그램 지원 형태, 수원국에 따라서 관련된 정책 결정자 및 집행 담당자, 관리 담당자, 국제기구 등 국·내외의 다양한 참여자와 이해관계자들이 복잡하게 관련되어 있다.
일반적으로 ODA 평가는 평가를 완료되었거나 또는 진행 중인 프로젝트, 프로그램 또는 정책에 대해서 체계적이고 객관적인 사정(assessment)라고 정의내리고 있다(OECD DAC, 2002: 21). 아울러, 평가의 목적은 개발의 객관성, 효율성, 효과성, 영향력의 적절성과 달성을 결정하는데 있다고 설명하고 있다. 평가는 성과와 목표를 달성하였는데 달성하지 못하였는지에 대한 설명을 해주는 방법으로 프로그램과 프로젝트에 대한 성공과 실패에 대한 설명을 해준다. 또한 평가는 성공한 프로그램에 대한 함의를 제공함으로써 조직에 대한 학습을 할 수 있다. 공여국과 원조기관은 ODA 평가를 통해서 사업에 대한 성과관리와 책무성을 확보하고자 하는 목적으로 사용한다. 반면, 수원국은 ODA 평가를 통해서 획득되는 정보를 가지고 복지향상, 빈곤 축소, 삶의 질을 높일 수 있는 기회에 대한 니즈 확보를 목적으로 사용한다. ODA 평가를 통해서 공여국, 수원국 정부, 시민단체 원조기관, 국제기구를 포함한 공여주체들은 ODA 정책 또는 사업 집행에 영향을 받을 수 있다(OECD, 2010).
ODA 정책의 패러다임 변화는 ODA 평가에 영향을 주었다. ODA 지원 목적 및 방향, 지원형태 등은 ODA 평가활용, 평가방법론, 평가목적에 영향을 주었다(Clements, 1996; Sasaki R., 2008).
1960년대부터 서구 선진국들은 양자원조 기관을 창설하기 시작하였으며 원조 기관을 통해서 공여국들은 기술원조와 재정지원을 하였다. 반면에 국제원조기구는 수원국의 대규모 프로젝트를 지원하였다. 이 시기부터 미국을 비롯한 공여국과 국제기구들은 프로젝트의 관리를 위해서 평가를 의무화 하고 평가정보를 활용하기 시작하였다(Cracknell, 2000: 4). 1980년대 세계경제의 불황속에서 공여국들은 ODA의 효과성과 영향력에 대한 관심을 갖고 강조하기 하였다. 따라서, 공여국 정부와 원조기관들은 ODA 정책의 효과성과 효율성을 측정하기 위해서 ODA 평가의 중요성을 인식하여 평가제도를 도입하고 체계적으로 수행하기 시작하였다. 공여국가들은 평가예산과 평가인력을 확대하였고 ODA 평가방법에서도 전문가 리뷰 및 체계적이며 공식적인 방법인 실험설계 등으로 다양해졌다(Kumer, 1989). 이 때부터 ODA 평가가 활발하게 수행되기 시작했으며 양적 증가와 질적 제고로 이어졌다. ODA 평가에 대한 연구와 평가보고서가 발간되고 개별 프로젝트에 대한 평가뿐 만 아니라 정책과 프로그램의 평가, 분야별, 국별, 섹터별 평가 및 모니터링 시스템을 도입하기 시작했다. OECD DAC는 개발원조평가전문가그룹(Experts Group on Aid Evaluation)을 구성하고 「공여국별 원조평가 관행에 대한 개요서」를 발간하여 공여국의 ODA 평가가 체계적으로 수행될 수 있도록 하였다. 공여국의 원조기관과 국제기구에는 모니터링과 평가에 대한 전담 조직의 신설이 증가하기 시작했다. 한편, EC 등의 주도로 다수의 공여국들 간의 공동평가가 처음 시도되었다. 1991년 OECD DAC 평가그룹은 다섯 가지 평가기준을 정하고 국제기구와 공여국의 원조기관, 특히 유럽 공여국들 사이에서 널리 채택되었다. 또한 대부분의 원조기관들은 평가관리 도구로 PCM(Project Cycle Management)를 도입하였다. 이후 1997년 아시아 국가들은 심각한 경제위기를 맞게 되어 개발도상국의 경제개발은 심각한 타격을 받게 되었다. 아시아 경제쇼크로 인해서 국제사회는 다시금 ODA 효과성에 대한 의문을 제기하게 되었고 ODA 기본철학과 접근을 재고하였다. 결과적으로 국제사회는 ODA 지원의 목적을 개발도상국의 빈곤감소로 방향이 재설정하였고, 공여국들은 투명한 시장 매커니즘과 효과적인 거버넌스 연계라는 관점에서 접근하기 시작하였다(Wolfenson, 1998).
ODA 정책 방향과 패러다임의 변화에 따라서, 공여국의 ODA 평가에는 새로운 접근과 시도되었다(DAC Development Partnership Forum Report, 2002; Van denBerg, 2005). 첫째, ODA 평가범위의 확대이다. ODA는 정책목적, 집행형태, 관련 행위자들에서 변화의 과정을 겪고 있다. 또한 ODA 평가는 수원국의 개발과정에서 특정한 영향력을 주는 무역, 금융 등 다른 정책들에 대한 효과를 어떻게 측정해야 하는지에 대한 이슈가 발생하였다. 특히 공여국들은 ODA 평가를 통해서 프로젝트 뿐 만 아니라 특정분야, 범분야이슈(Cross-Cutting Issue), 국가 및 지역 프로그램의 우선순위를 고려하고 ODA의 성과 및 효과에 대한 증거를 제시해야하는 압력을 받고 있다(Lawson & Booth, 2003). 이러한 ODA 정책변화에 의해서 평가제도가 변화하고 있으며 평가범주가 확대되고 있다. 한편으로 원조 기관 내부의 성과를 측정할 뿐 만 아니라 NGO 에 대한 평가가 확대되었다. 공여국 내의 ODA 평가부서 또는 평가 조직은 다자원조기관의 경로와 분담금과 같은 재원의 사용에 대한 평가를 통해서 자국 내 ODA 정책에 대한 전략을 위해 사용한다. 동시에 ODA 관련 NGO 단체들에 대한 평가를 확대하고 강화하기 시작하였다. 둘째, ODA 정책에 대한 성과관리를 위한 평가제도의 도입이다. 내부학습과 외부 책무성과의 올바른 균형을 위해서 성과중심관리의 도입이 중요하게 되었으며 이것은 평가와 함께 상호작용하고 있다. 성과중심관리에 대한 부상으로 ODA 평가는 효과성과 영향력을 강조하게 되었다. 따라서 ODA 평가모형은 기존의 프로젝트 중심의 논리프레임워크에서 성과 프레임워크로 이동했다. 셋째, 외부 책무성과 내부의 조직 학습의 강조로 인해 ODA 평가에서 외부 책무성 확보에 대한 압력이 증가하였다(Liverini & Hans, 2007: 244). 점차 의회와 국민들이 ODA 성과에 대한 객관적인 정보의 필요성을 강조하기 시작하였다. 따라서 공여국은 ODA의 영향력에 대한 정기적인 평가를 실시하게 되고 양적인 평가의 숫자도 증가하였다. 넷째, 국제사회가 새천년개발목표의 달성을 강조하면서 국제사회는 ODA 정책이 이러한 목표달성에 적합해야 한다는 방향을 설정되게 되었다. 새천년 목표에 대한 강조는 빈곤률과 문맹률을 낮추고, 영아사망률을 감소시키는 것과 같이 목표달성을 정확하게 측정할 수 있는 평가지표 설정과 평가방법에 대해 논의하게 되었다. 다섯째, 공동평가 수행과 평가에 대한 지식의 공유와 확산이다. 공여국들은 ODA 평가 지식과 학습 공유에 대한 중요성을 인식하고 상호보완적으로 평가활동 및 평가결과를 검토하게 되었다.
2. 한국의 공적개발원조 통합평가제도
한국은 OECD DAC 회원 공여국으로 가입하기 위해서 2008년에 특별 동료검토를 받았다. 동 평가에서는 국내 공적개발원조 조직 및 관리와 운영에서 평가제도 대한 문제점과 개선권고 요청을 하였다. 문제점으로는 유·무상 사업에 대해 다른 평가지침으로 평가가 수행되고 있으며, KOICA 이외의 무상원조 시행기관에서는 평가체계가 거의 부재하고 각 기관마다 개별적인 기준에 의해서 평가를 진행하고 있다고 지적하였다. 또한 국내의 모든 개발원조 시행기관에 공통적으로 적용 가능한 평가 가이드라인이 부재하고 평가의 독립성과 결과에 대한 활용이 제도적으로 정착되지 않아 개발원조의 효과성을 향상시키기 어렵다고 지적했다. 구체적으로 유·무상 사업에 대한 통합평가체계를 구축하고 독립적인 평가문화 수립을 권고하였다. 정부는 OECD DAC 특별검토의 권고사항에 대한 이행과 국내 개발원조사업의 선진화를 목표로 국제개발협력위원회 중심의 통합평가제도를 수립하였다. 국제개발협력에 대한 평가는 「국제개발협력기본법」제 13조에 명시된 내용을 바탕으로 2009년 11월 「국제개발협력 평가지침」을 제정하였다. 평가지침에는 국제개발협력사업의 효율성을 제고하며 사업의 책임 있는 이행과 국민의 지지기반 확보를 목적으로 평가에 관한 기본적인 사항을 명시하였다. 같은 해 12월에는 「통합평가매뉴얼」을 제정하였으며, 2010년에 평가소위원회가 유·무상 시범통합평가를 실시함으로써 ODA 정책의 통합평가제도가 최초로 시행되었다.
국제개발협력위원회의 평가는 대표성 있는 공적개발원조 사업을 평가하며 공적개발원조 시행 기관의 자체평가 결과를 심의하는 역할을 한다. 국제개발협력위원회는 평가결과를 매년 국회에 보고하며 평가의 기준·방법·국회의 보고 등에 관한 사항은 대통령령으로 정하도록 국제개발협력기본법에 명시되어 있다. 국제개발협력위원회는 정책이 종합적·체계적으로 추진될 수 있도록 심의·조정하며 국제개발협력 사업의 평가를 관리하고 심의하는 책임을 맡고 있다. 동 위원회는 국제개발협력 평가지침을 마련하고 관련 정책 및 사업의 추진실적을 평가하여 매년 국회에 보고해야 한다. 이에 따라서 동 위원회에 평가에 대한 위임사항을 위한 실무위원회인 통합평가소위원회가 2009년 8월에 구성되었다. 평가소위원회는 국제개발협력 사업의 평가에 대한 사전 협의를 진행·조정하는 실무위원회로 위원장 1인 및 간사위원 1명을 포함한 25명 이내의 위원으로 구성한다. 평가소위원회는 총리실 국정운영실장을 위원장 1인 포함하여 정부·민간위원 15인 이내로 구성된다. 정무위원은 국무총리실 외교안보정책관, 기획재정부 대외경제국장, 외교부 개발국장, KOICA 이사, EDCF의 경제협력본부장 등으로 구성한다. 정부부처는 국장급, 실시기관은 이사급이 위원으로 참석하며 민간위원은 국제개발협력 관련시민사회단체, 학계, 경제계 전문가 7인으로 구성된다(국제개발협력위원회, 2009).
평가소위원회의 역할은 국제개발협력 관련 통합평가정책 수립, 국제개발협력 통합 정책, 전략 및 국별 평가, 연간통합평가계획 수립, 사업수행기관 평가계획 및 평가결과 심의, 평가결과에 대한 환류 및 점검, 기타 위원회가 평가와 관련하여 정하는 사항이다(국제개발협력위원회, 2009).
ODA 통합평가체계 운영
3. 평가활용의 유형 및 영향요인
학자마다 평가활용(evaluation utilization)의 개념을 다양하게 정의내리고 있다. Leviton & Hughes(1981)는 평가활용이란 평가과정 전반을 통하여 얻은 정보들을 현재 진행 중이거나 향후 추진할 정책·사업과 관련한 의사결정에 사용하는 것이라고 정의하였다. 이것은 평가정보에 의하여 대상·정책 사업과 관련한 의사결정이 이루어지는 것만을 평가활용이라고 규정하고 있다(노유진, 2005). Mark & Henry(2004)는 평가활용을 일상적인 평가 업무와 정책·사업과 관련된 참여자의 삶과 사회를 개선시키고자 하는 활동 간의 연계노력으로, Alkin & Taut(2003)은 평가 및 평가로부터 도출된 정보가 평가대상 정책/사업에 영향을 미치는 방식이라 정의하였다. 김현구(2006)는 “평가활용이 평가과정과 평가목적 달성에 대한 기여를 의미한다”고 하였다.
평가활용은 다양한 기준에 의해서 여러 유형으로 분류될 수 있다. Weiss et al.(2005)은 1970년대부터 1980년대 초 학자들 간에는 평가 활용이 수단적 활용, 개념적 활용, 설득적 활용으로 분류될 수 있다는 것에 대한 일반적인 합의가 형성되어 왔으며 이 시기까지의 분류는 주로 평가를 통해 도출된 결과의 활용(use of evaluation finding)에 대해서 논의하고 있다. 그러나 1990년대를 전후하여 평가과정 전반에 있어서 활용자 참여의 정당성과 유용성을 강조하는 참여적 평가(participatory evaluation) 또는 협력적 평가(collaborative evaluation)의 개념이 강조되면서 평가과정의 활용(use of evaluation process)에 대한 중요성이 부각되기 시작했다(유승현, 2008).
현재까지 연구자들 평가활용 유형을 분류하면 ① 수단적 활용(instrumental use) ② 개념적 활용(conceptual use) ③ 설득적 활용(persuasive use) ④ 과정 활용(process use)으로 나눌 수 있다. 우선 수단적 활용은 평가정보가 의사결정자의 행동에 직접적인 영향을 미치는 것을 말하며(Alkin & Taut, 2003: 5), 구체적으로 해당 정책/사업의 존폐 또는 수정, 신규 정책/사업의 개발, 정책/사업 담당자의 책무성 확보, 관리개선 등과 관련된 의사결정에 평가 정보가 직접적으로 활용되는 것을 의미한다(유승현, 2008). 둘째, 개념적 활용은 평가 정보가 의사결정자의 현상에 대한 이해 또는 인식 등의 변화를 가져오며, 보다 장기적으로 관련사항에 대한 의사결정에 보다 미묘한 방식으로 영향을 주는 것이다(Weiss et al., 2005: 14). 즉, 평가정보는 평가와 관련된 다양한 문제인식 및 접근 방법을 활용자들에게 교육 또는 훈련시키는데 활용된다(송희준 외, 2005: 3). 셋째, 설득적 활용은 평가정보가 활용자들의 정치적 입지를 강화시키는데 활용되는 것을 의미한다(Johnson, 1998: 94). 설득적 활용은 구체적으로 평가 정보가 기존의 정보를 정당화하거나 의사결정자들의 입지를 강화하는데 활용되는 것을 의미한다(Alkin & Taut, 2005: 5). 마지막으로, 과정활용은 평가과정 중에 유발되는 학습적 결과로 평가에 참여자들 사이에 나타나는 개인적 사고방식 및 행태의 변화, 그리고 정책·사업 또는 조직의 절차 및 문화의 변화를 의미한다(Patton, 1997: 90). 과정활용은 시점상 평가가 완료되기 전에 이루어지는 것이 일반적이며 평가 결과와는 상관없이 평가과정을 통해 이루어지는 개인 또는 조직 학습의 결과이다.
이러한 평가활용은 정책·사업의 문제를 해결하거나 방향설정에 유익한 정보를 제공하는 것이 평가의 근본 목적이라고 하면 평가는 일반적인 연구와 다르게 실천적인 속성을 가진 것이므로 활용과 효과적으로 연계되지 못한 평가는 효용의 가치가 심각하게 하락할 것이다(유승현, 2008). 그러므로 평가의 실효성을 높이고자 하면 평가활용의 제고 방안에 대해서 심도 있게 논의하는 것이 평가의 목적을 달성하는데 매우 중요할 것이다.
평가에 대한 활용은 정책평가과정 전체를 통하여 얻은 정보들을 정책이나 프로그램의 개발과 집행을 포함한 정부업무 전반의 추진 활동에 사용하는 것이다(Levition & Hughes, 1981, 노유진, 2005 재인용). 평가정보의 활용자는 정책결정자, 정책집행자 뿐 만 아니라 정책집행대상자 등을 모두 포함한다(Alkin, Daillak & White, 1979: 230-231).
정책평가에 대한 활용은 평가보고서에 제시된 정보에 따라 정책결정자가 즉각적으로 해당되는 정책이나 사업의 존폐, 수정, 보완, 축소, 확대 등 여러 가지 결정을 내리는 것이라고 할 수 있다(노유진, 2005: 229).
평가활용에 관한 선행연구는 국내의 평가활용의 영향요인에 관한 연구를 검토하면, 정명주(2000)는 정보화사업평가활용의 영향요인으로 관련성, 의사소통, 결과처리과정, 신뢰성, 활용자 관여와 옹호를 제시하였다. 김현구 외(2003)는 광역자치단체 합동평가의 실증분석에서 결과 활용요인으로 효과성·공개성·환류성·발전성에 대한 분석을 통해서 평가결과의 환류성을 높이기 위한 방안으로 행·재정적 인센티브를 강화하는 방안을 제시하였다. 이윤식·이기식(2003)은 평가결과의 활용요인 3가지, ①개인적 요인측면에서 평가자에 대한 신뢰성, 개인적 특성 및 욕구, 평가대상 정책관련자들과의 의사소통, 정책담당자의 동기, ② 평가여건 측면에서 평가보고서의 이해성, 평가결과의 현실적합성, ③ 평가결과의 질적인 측면에서 평가보고서의 이해성, 평가결과의 현실적합성, 평가결과 보고를 제시하였다. 김명수(2003)는 평가활용 요인으로 적절성, 적시성, 평가연구 방법의 질, 의사소통, 개인적 요인으로 제시하였다. 정정길(2004)는 평가결과의 적실성과 신뢰성을 활용자의 저항과 타성, 결과의 표현과 의사전달 요인을 평가활용요인으로 제시하였다. 노유진(2005)은 평가활용 영향요인을 ① 평가수행이전에 존재하는 제약 측면에서 평가방침, 평가대상 및 과제 선정, 평가시기 및 평가기간, 평가기준, ② 평가투입 측면에서 평가예산, 평가자의 정책전문성, 평가자의 평가철학, 평가자의 권한, ③ 평가활동 측면에서 평가절차, 평가접근방법, 성과지표, 의사소통 ④ 평가의 산출측면에서 평가정보의 내용과 질, 보고서 양식, ⑤ 평가결과활용에서는 개인적 특성으로 관여도, ⑥ 산출결과 측면에서 평가정보에 대한 인지, 동기 유발 의 6가지 요인을 제시하였다. 노화준(2006)은 적절성, 평가자와 활용자 사이의 커뮤니케이션, 활용자에 의한 정보처리, 평가결과의 사실성, 활용자의 관여 또는 창도라는 요인을 제시하였다. 이봉락(2007)은 평가활용의 영향요인으로 내용분석 결과 ① 활용자 측면에 활용자 동기, 활용자 개인적 특성, ② 활용자 상호작용 측면에서 의사소통과 평가과정 참여, 저항을 ③ 평가정보 내용 측면에 평가정보 적절성 경쟁적 정보 존재 유무, ④ 평가정보 표현 측면에서 평가보고서 표현방식, 평가보고서 적시성, 평가정보 공개, ⑤ 평가자 측면에 평가자 신뢰성, 평가자 인식, ⑥ 평가제도 측면에 평가방법론, 평가예산, 평가지침, ⑦ 환경, 맥락측면에서 정치맥락과 조직맥락을 제시하였다. 이봉락(2005)의 다른 연구에서는 4개의 요인을 제시하고 세분화하였다. ① 환경적 요인에 사회적·정치적 조직적 요인, ② 평가적 요인에 평가기획, 평가의 물적/인적자원, 평가방법, 평가수행, 평가결과발표, 평가결과 내용 ③ 활용자 요인에 활용자, ④ 상호작용 요인에 의사소통, 참여, 수용성을 제시하였다.
유승현(2008)은 관리역량(평가자의 전문성, 평가자 신뢰성, 평가자 객관성), 평가자원에 평가인력, 평가인력, 평가예산, 평가시간), 상호작용(평가설계단계 참여, 평가실행단계참여, 평가결과 확정 단계 참여), 평가설득(평가목적 부합성, 평가정보 구체성, 평가정보 실현가능성, 평가정보 조작가능성, 평가정보 적시성), 평가호응(평가정보 확산정도, 인센티브 구축정도, 최고의사결정권자의 활용 관심, 정부의 성과관리 의지)를 제시하였다. 강영철(2010)은 정부업무평가제도를 구성하고 있는 특정과제평가제도에 대한 설문분석을 통해서 제도의 문제점과 발전방안을 제시하였다. 동 연구에 있어서는 평가제도의 유용성 제고를 위한 평가정보의 활용에 영향을 미치는 요인을 ① 정책결정자(policy maker's needs)의 수요와 사업당사자의 수요(program managers' need)가 얼마나 일치하느냐의 정도와 그러한 수요가 평가과정에서 얼마나 반영되었는지, ② 평가결과의 사용자(평가대상사업의 담당자 혹은 책임자)가 평가과정에서 평가자와 직접적인 의사소통이 높을수록 활용이 촉진될 수 있는지, ③ 평가결과를 처리하는 방법과 관련된 변수로서 평가결과보고서 전체를 공개하는지, 혹은 요약본만을 제시하는가에 따라 평가결과 활용이 달라질 수 있다는 것을 의미하는 파급(dissemination), ④ 공무원(해당 정책이나 사업담당자)들과 전문가인 평가자 사이의 방법론에 대한 선호도 차이나 평가를 통해 얻고자 하는 정보가 다를 때, 평가정보 활용에 영향을 줄 수 있다고 설명하고 있다.
송수종 외(2012)의 연구에서 고용영향평가제도의 평가활용 요인은 평가결과의 공개, 평가결과의 환류성과 평가결과의 확산성으로 나누어 제시되었다. 평가결과의 공개에는 ① 평가결과 공개의 제도화 여부 ② 평가결과 공개시기의 적절성 ③ 평가결과 공개 범위 및 수준의 적절성을 분석했다. 평가의 환류성에 있어서는 ① 평가결과 환류시스템의 제도화 여부 ② 평가활용에 대한 법·제도적 근거 여부 ③ 평가결과 정책반영장치의 적절성 ④ 평가결과 사후조치 확인제도의 적정성 ⑤ 예산편성, 심의, 결과 과정의 연계 여부 ⑥ 평가결과 정책제언에 따른 개선조치의 적절성을 이해자 설문조사를 통해 분석하고 있다. 이형우(2005)는 국가연구개발사업 평가의 평가결과 활용을 평가등급 산정의 합리성과 평가 결과 활용의 적절성 등을 분석하였다. 평가 등급 산정의 합리성에 있어서는 등급기준이 상대평가와 절대평가 간에 조정이 되어왔는데 등급을 결정할 경우에 인위적인 경우가 많았다고 제시한다. 평가 결과의 활용에 있어서는 평가결과는 관련 사업의 추진 및 관리의 개선 등에 활용하고 예산 배분·조정과정에 적극 반영하도록 되어 있다고 분석하였다. 국가연구개발사업을 평가 대상으로 하고 있기 때문에 공통적인 평가 정보를 필요로 하는 경우가 많은데 현재의 평가제도들은 평가를 통해 획득한 정보를 공유하거나 연계하여 활용하는 것이 부족한 것으로 나타났다. 그러므로 평가결과의 활용이 적극적으로 필요하며 평가의 결과가 제대로 반영되어 환류 되지 않는다면 인력·예산 등의 낭비며 어떤 평가도 실질적인 활용보다는 형식적인 요건이 된다고 주장한다. 제갈돈 외(2008) 연구에서는 자체평가결과의 활용이란, 평가준비단계에서부터 평가 종료 후 평가결과 조치단계까지의 평가과정 전체를 통해 얻은 정보 등을 프로그램의 개발 및 집행을 포함한 정부 업무 전반의 추진활동으로 사용하는 것으로, 평가과정을 제외한 평가결과만을 고려한 평가결과 활용 및 사용을 규명한다. 동 연구에서는 자체평가의 활용을 위해서는, ① 자체평가의 결과는 내부적으로 사업 개선에 반영하거나 인사 및 조직 관리에 반영 및 개인적 보상과 연계 ② 평가 결과가 예산에 반영될 수 있도록 적극적으로 활용 ③ 자체평가결과를 나타난 성과를 중심으로 인사배치, 승진, 성과급 지급 등의 판단자료로 유용하게 활용 ④ 평가결과를 조직관리와 연계 ⑤ 자체평가 결과를 정책 및 사업추진 등에 활용 ⑥ 평가결과에 따른 보상 등을 제시하였다. 그동안 자체평가는 평가결과를 예산과 인사 등에 실질적으로 활용하지 못하여 평가의 실효성이 크지 않았다고 본다. 통합평가제도에서는 평가결과의 활용을 강제하는 규정을 법적으로 명시하고 정부업무평가기본법에 의한 평가결과 활용을 의무화하고 있다고 본다.
또한 부처 단위에서 개인에 이르기까지 체계적으로 성과관리가 이루어지도록 설계되어 있으며, 평가결과는 정책개선, 예산편성, 인사관리 및 성과급 지급, 조직관리 등에 의무적으로 반영토록 조치함으로써, 정무업무 추진의 효율성을 추구하고 있다고 제시한다.
송건섭 외(2006) 연구에서는 자체평가의 활용 방안으로는 자체평가 결과의 환류측면에서 평가결과를 피평가자에게 정확하게 전달하는 과정이 필요하다고 주장한다. 자체평가를 통해 중앙정부 및 지방자치단체의 관련 정책이나 사업을 개선하는데 활용 될 수 있어야 하는데 이를 위해서는 ① 자체평가결과를 공개해야 하여 투명성을 확보하고, ② 자체평가는 정책·사업의 집행과정보다는 결과와 성과에 초점을 맞추어야 하며, ③ 자체평가 계획을 조직·인사 운영의 활용을 제안하고 있다.
Alkin(2003)은 평가활용 요인을 ① 개인적 요인, ② 활용 맥락 ③ 평가의 품질로 제시하였다. 개인적 요인은 활용의 영향을 결정하는 가장 중요한 요인으로, 평가의 품질은 평가활용을 예측하는데 가장 중요한 요인으로 제시하였다. Perskil & Caracedi(1997)은 평가활용의 영향요인으로 ① 평가초기의 활용의 기획 ② 의도적 활용자의 식별과 중시, ③ 제한된 자원 내에서 평가설계, ④ 평가의 의도적 활용 식별과 중시, ⑤ 평가 과정에 이해관계자 참여, ⑥ 평가과정에 이해관계자들의 평가결과에 대한 의사소통, ⑦ 평가결과의 보고 계획 수립의 요인을 제시하였다.
이와 같이, 선행연구의 평가활용에 관한 연구는 문헌연구와 사례연구, 단순 회귀 분석을 사용하여 연구방법론의 한계를 보이고 있다. 또한 평가활용에 영향요인 간의 인과관계를 분석한 연구는 적은 것으로 나타나고 있다(오철호, 2002; 유승현, 2008; 이봉락, 2009).
평가활용에 관한 선행연구
Ⅲ. 연구설계
1. 연구모형과 가설의 설정
본 연구는 ODA 통합평가활용의 영향요인의 인과관계를 기존의 선행연구를 바탕으로 설정하였다. 첫째, 평가과정에 따라서 영향요인 간의 시간의 선행이 있음을 가정하였다. 그러므로 평가결과의 활용은 평가조직의 역량(평가투입)과 평가계획과 평가방법(평가실행)에 영향을 직접적으로 받는 것으로 가정한다(노유진, 2005; 이봉락, 2009) 둘째, 의사소통 관점을 바탕으로 평가방법의 설득력이 확보되고 평가기관이 수용이 수반되기 위해서는 평가자와 활용자 사이에 상호작용이 촉진되어야 한다는 것을 가정한다. 즉, 평가자와 평가결과 활용자간의 활발한 상호작용을 통해 평가자에게 평가결과 활용자의 현실적인 여건에 대한 정보를 투입함으로써 평가과정 및 결과의 설득력을 확보할 수 있다. 평가제도에서 활용자와 평가자의 상호작용인 평가계획과 평가과정에서 참여수준이 결정된다(이봉락, 2009). 평가계획과 평가과정에서 활용자와 평가자 사이에 상호작용 정도가 결정된다고 할 수 있다(노유진, 2005; 이봉락, 2009). 평가제도는 상호작용에 영향을 미치고 상호작용을 통해서 평가활용에 간접적으로 영향을 미칠 것이다. 동시에 평가자가 평가결과 활용자에게 평가의 필요성과 유용성을 인식시켜 평가대상기관의 수용을 촉진시킬 수 있다(유승현, 2007). 한편으로는 평가자와 활용자간 상호작용은 집단간의 문화적 차이를 감소시키고 평가활용자에 대한 주의의식을 고취시켜 평가활용을 촉진시킬 수 있다. 또한 동시에 평가자와 평가활용자 간의 활발한 상호작용은 평가의 필요성과 유용성을 인식하여 평가수용을 촉진시킬 수 있다(유승현, 2008: 210). 상호작용을 통해서 평가결과에 대한 합의를 이르고 본인의 관심을 반영한 결과를 얻을 수 있으며 그 결과 평가결과에 대한 수용성이 증가된다. 평가과정의 참여와 상호작용을 통해서 평가결과에 대한 우호적인 태도가 형성되고 상호작용은 수용성을 통해서 활용에 직접적으로 영향을 주고 활용에 간접적으로 영향을 줄 수 있다. 그러므로 평가자와 활용자 사이에 상호작용이 작용한다고 보고 평가제도와 평가활용의 매개변수 역할을 한다고 가정한다. 정책평가의 활용에 관한 선행연구에서는 평가제도 순응이 높으면 평가활용은 증가한다고 제시하고 있다. 평가활용자의 평가정보가 충족되고 평가대상에 대한 유용한 정보가 제공되면 활용은 증가할 것이라고 설명한다(오철호, 2002; 이봉락, 2009). 위와 같이 논의한 내용을 바탕으로 연구모형을 제시하면 다음 <그림 2>와 같다.
연구모형
ODA 통합평가를 담당하고 있는 평가조직, 평가계획, 과정참여를 포함한 평가의 제도적 요인들은 평가활용에 유의한 정(+)의 영향을 미칠 것이라는 것을 가정한다. ODA 통합평가제도와 평가활용 간에 다음의 가설을 설정할 수 있다.
가설 1 평가제도는 평가활용에 유의한 정(+)의 영향을 미칠 것이다.
가설 1-1 평가제도는 수단활용간에는 유의한 정(+)의 영향을 미칠 것이다.
가설 1-2 평가제도와 설득활용간에는 유의한 정(+)의 영향을 미칠 것이다.
통합평가의 활용은 KOICA, EDCF, 중앙 제도를 얼마나, 어떻게 수용하느냐가 중요한 요인이다. 통합평가제도는 다각적인 경로로 추진되고 있는 개발원조 사업에 대한 결과 중심 관리를 목적으로 도입되었으므로 수행기관이 어떻게 제도를 받아들이고 평가소위와 연계하며, 평가결과의 반영 문제는 제도의 성공적 정착의 중요한 요소라고 할 수 있다. 기존의 연구에서는 평가자의 역량, 즉 평가자의 권한, 평가자의 전문성이 정책 수용도에 미치는 결과 평가자의 권한에 대한 법제적 장치가 정비가 되어 있을수록, 평가자이 업무수행에 대한 독립성이 보장될수록, 평가자가 평가활동에 대한 근무 경험이 많을 수록 평가에 대한 수용도가 높은 것으로 나타났다.
이와 같은 논의를 바탕으로 ODA 수행기관의 통합평가에 대한 수용은 평가활용에 있어서 매개효과가 있을 것을 가정한다. 그러므로 다음과 같은 가설을 설정할 수 있다.
가설 2 평가수용의 매개효과가 있을 것이다.
가설 2-1 평가제도와 평가활용(수단활용)간에는 평가수용의 매개효과가 있을 것이다.
가설 2-2 평가제도와 평가활용(설득활용)간에는 평가수용의 매개효과가 있을 것이다.
2. 자료수집 및 변수의 측정
본 연구의 설문조사는 한국수출입은행 ODA통계자료 제출기관과 무상원조를 수행하는 사업기관의 현황 자료를 근거로 표본대상을 선정하였다. 국내 ODA 사업 수행기관은 ODA 사업 통계자료를 한국수출입은행에 제출하고 수출입은행은 통계를 취합하여 공개해야하는 의무가 있다.
설문지 배부 및 회수 현황
통계자료를 제출한 국내 사업수행기관 부·처·청·위원회 및 산하기관 50개 기관 중 통합평가제도에 직접적으로 포합되어 있지 않은 16개 광역지자체를 제외한 34개 기관을 표본대상으로 선정하였다. 구체적인 설문대상은 34개의 정부기관 및 산하기관에서 ODA 사업 담당자와 평가 담당자로 한정하였다. 이들을 설문대상으로 선정한 이유는 ODA 사업 및 평가 전 과정을 담당하고 있기 때문에 ODA 통합평가 결과의 실질적인 평가활용주체이기 때문이다. 이와 같은 기준과 과정으로 설문 대상을 선정한 후 10월부터 약 30여일 동안 조사가 진행됐다. 설문지 배부 및 회수는 직접 방문과 E-mail, 우편을 활용하여 진행되었다. 설문지는 총 140부가 배포되었고 127부가 취합되어 회수율 90%를 보였다.
설문 응답자의 특성을 구체적으로 살펴보면, 소속기관별로 기획재정부 6명(4.7%), 외교부 9명(7.1%), EDCF 16명(12.6%), KOICA 21명(16.5%), 기타 정부부처 69명(54.3%), 산하공공기관이 6명(4.7%)이 설문에 참여했다. ODA 평가참여 여부에서는 평가참여가 33명(26%), 94명(74%)으로 나타났으며 평가참여 유형별로는 자체평가 23명(70%), 상위평가 3명(9%), 공동평가 7명(21%)으로 조사되었다. 기본적으로 설문조사는 양적인 부분이 다량 확보되어야 하나, ODA 정책의 특성, 즉, 유·무상 전담집행기관을 제외하고는 작은 예산으로 ODA 사업을 진행하고 있어 소수의 사업담당자 가 사업을 담당하고 있어 다량의 설문확보가 어렵다. 그러나 연구문제의 해결과 현실적인 정책적 함의를 도출하기 위해서 사업담당자와 평가담당자에 대한 설문을 시도하였다.
설문 응답자 특성
본 연구는 ODA 통합평제도 대한 인식정도를 분석할 수 있도록 다음과 같이 설문지를 구성하였다. 설문문항은 문헌연구 및 선행연구를 바탕으로 이론적 근거에 의해 구성되었으며, 평가제도(평가조직역량, 평가계획, 과정참여) 9문항, 평가수용 4문항, 평가활용(수단활용, 설득활용) 7문항 등 총 20문항으로 구성되었다. 척도는 설문 대상의 일반적 현황에 대한 질문을 제외하고 모두 ‘매우 아니다’에서 ‘매우 그렇다’까지의 LIkert 5점 척도로 구성하였다. 구체적인 설문항목 구성은 다음 〈표 4〉와 같다.
설문항목의 구성
3. 분석방법
이 연구의 목적은 평가제도가 평가활용에 미치는 영향을 살펴보고 매개변수로 설정한 평가수용의 영향력을 분석하기 위한 것이기 때문에 이에 대한 검증을 위해 매개회귀분석방법을 사용하였다. 각 변수의 타당성과 신뢰성을 검증을 위한 탐색적 요인분석 및 문항 간 내적일관성(크론바하 α)을 검토하였으며, 변수들간의 상관관계 확인하였다. 분석은 SPSS 23.0, Smart PLS 3.0을 통한 PLS 구조방정식모형(pls structural equation modeling)1)을 활용하였다.
매개변수의 매개효과를 검증하는 방법을 간단히 소개한다. 이는 3단계 회귀분석을 통해 매개역할의 여부를 판단하게 된다. 먼저 1단계에서 독립변수와 매개변수의 회귀를, 2단계에서는 독립변수와 종속변수의 회귀를, 마지막 3단계에서는 독립변수와 매개변수의 종속변수에 대해 동시회귀를 한다. 이때 완전매개(full mediating effect)냐 부분매개(partial mediating effect)냐의 판단은 3단계 회귀분석에서 매개변수가 통제되었을 때 독립변수가 종속변수에 대해 갖는 효과가 유의하지 않으면 완전매개이고, 유의적이면 부분매개인 것으로 판단한다(Van Dyne et al, 1994).
Ⅳ. 분석결과
1. 타당도와 신뢰도 분석
평가활용(설득활용, 수단활용)에 미치는 평가수용과 평가제도 하위요인(평가조직, 평가계획, 평가수용)들의 영향력을 도출하기 위해 127개의 표본에 대해 요인분석(factor analysis)과 신뢰도분석(reliability analysis)을 실시하였다. 우선, 탐색적 요인분석을 실시하였다. 문항들 간의 상관계수 및 유의확률을 분석한 결과 kaiser-meyer-olkin 측도가 0.772이고, Bartlett 구형성검정결과 카이제곱이 1755.751(유의확률이 0.000)으로 분석되어 요인분석을 실시할 수 있었다. 요인별 변수구성은 요인적재치 0.5이상의 항목만을 포함하였다. 최종 도출된 요인들은 묶여진 문항들의 공통적인 속성을 고려하여 각각 ‘ 평가조직’, ‘평가계획’, ‘과정참여(상호작용)’, ‘평가수용’, ‘설득활용’, ‘수단활용’으로 명명하였다. (<표 6> 참고).
탐색적 요인분석 및 신뢰성 분석
다음으로 확인적 요인분석을 실시하였으며, 분석결과는 <표 7>과 같다. 독립변수인 ‘평가조직’, ‘평가계획’, ‘과정참여(상호작용)’와 매개변수 ‘평가수용’, 그리고 종속변수인 ‘설득활용’, ‘수단활용’의 신뢰도 등을 확보하기 위해 복합신뢰도(CR), 평균분산추출값(AVE), Cronbachs Alpha값을 분석하였다. 대표적으로 Cronbachs Alpha값을 살펴보면 평가조직이 0.890으로 측정되었으며, 평가계획이 0.841, 그리고 과정참여가 0.809로 나타났다. 평가수용은 0.807로 분석되었다. 평가활용의 수단활용이 0.879, 설득활용이 0.842로 측정되었다. 본 연구의 척도는 전반적으로 신뢰성을 만족할 만한 것으로 파악할 수 있다.
확인적 요인분석 결과
측정변수의 평균, 표준편차, 상관관계분석의 구체적인 결과는 <표 8>과 같다. 독립변수인 평가제도의 하위변수 평가조직, 평가계획, 과정참여들 간의 상관관계를 살펴보면, 평가조직과 과정참여간의 관련성을 제외하고 변수들간에는 유의미한 상관관계가 있는 것으로 나타났다. 아울러 독립변수와 매개변수간의 관련성을 살펴보면 평가계획과 평가수용이 .201(p<.05)로 유의미한 상관관계가 있으며, 과정참여와 평가수용이 .232(p<.01)로 유의미한 상관관계가 있는 것으로 분석되었다.
측정변수의 기술통계(평균, 표준편차), 상관관계분석
독립변수와 종속변수간의 관련성을 살펴보면, 유의수준 0.05에서 과정참여와 수단활용, 평가조직과 설득활용, 평가계획과 설득활용, 과정참여와 설득활용에서 유의미한 상관관계가 있는 것으로 나타났다.
2. 가설검증
<표 9>는 가설 1-1을 검증 결과로 평가제도가 평가활용(수단활용)에 미치는 영향에 대하여 검증하였다. 분석결과를 살펴보면, 과정참여만 평가활용(수단활용)에 미치는 영향력을 살펴보면 t값 4.830(p<.001)으로 통계적으로 유의한 영향을 미치는 것으로 분석되었다. 회귀모형은 F값이 8.718(p<.001)의 수치를 보이고 있으며, R2=.175으로 약 17.5%의 설명력을 보이고 있다. Durbin-Watson2)는 2.050으로 잔차들 간에 상관관계가 없어 회귀모형이 적합한 것으로 나타나고 있다. 따라서 가설 1-1의 ODA 평가제도가 평가활용(수단활용)에 정(+)의 영향을 미칠 것이라는 가설은 부분채택되었다.
측정변수의 기술통계(평균, 표준편차), 상관관계분석
<표 10>은 가설 1-2의 검증 결과로 평가제도가 평가활용(설득활용)에 미치는 영향에 대하여 검증하였다. 분석결과를 살펴보면, 평가활용(설득활용)에 대한 평가조직의 영향력은 t값은 3.853(p<.001)로 통계적으로 유의한 영향을 미치고, 평가활용(설득활용)에 대한 과정참여의 영향력은 t값은 3.374(p<.01)로 통계적으로 유의한 영향을 미친다. 회귀모형은 F값이 15.368(p<.001)의 수치를 보이고 있으며, R2=.273으로 약 27.3%의 설명력을 보이고 있다. Durbin-Watson는 1.565으로 잔차들 간에 상관관계가 없어 회귀모형이 적합한 것으로 나타나고 있다. 따라서 가설 1-2의 ODA 평가제도가 평가활용(수단활용)에 정(+)의 영향을 미칠 것이라는 가설은 부분채택되었다.
평가제도가 평가활용(설득활용)에 미치는 효과 검증
가설 1 평가제도(조직구조, 평가계획, 과정참여)가 평가활용(수단활용, 설득활용)에 미치는 효과를 검증하기 위해 PLS 구조방정식분석을 활용하였다. 본 연구모형의 적합도3)는 <표 6>과 같다. 모형1(가설 1-1 평가제도가 수단활용에 미치는 영향)에 대한 적합도를 살펴보면 f2가 0.230, GOF가 0.381로 나타났다. 이와 더불어, 모형2(가설 1-2 평가제도가 설득활용에 미치는 영향)에 대한 적합도를 살펴보면 는 f2가 0.502, GOF가 0.504으로 나타났으며, 모형 3은 f2가 0.623, GOF가 0.718로 나타났다. f2, GOF값을 고려해 보았을 때 모형2가 모형1 보다 상대적으로 더 적합한 것으로 보인다(<각주 표> 참고).
<그림 3>의 모형1(평가제도가 수단활용에 미치는 영향)의 경로분석결과를 살펴보면 과정참여가 수단활용에 미치는 영향력이 0.365(t값=4.40, p<.01)로 통계적으로 유의하였다. 따라서 <가설 1-1>(평가제도가 수단활용에 영향을 미칠 것이다)은 부분적으로 채택할 수 있을 것이다. 이와 더불어, 모형2의 결과를 살펴보면, 평가조직이 설득활용에 미치는 영향이 0.287(t값=3.45, p<.01), 과정참여가 설득활용에 미치는 영향이 0.215(t값=2.95, p<.01)로 나타나 통계적으로 유의하였다. 따라서 <가설 1-2>(평가제도는 설득활용에 영향을 미칠 것이다)는 부분 채택되었다.
PLS 구조방정식에 의한 평가제도가 평가활용에 미치는 효과 검증
가설 1 평가제도(조직구조, 평가계획, 과정참여)가 평가활용(수단활용, 설득활용)에 미치는 효과를 검증하기 위해 다중회귀분석과 PLS구조방정식모형을 활용하였으며, 두 가지 분석방법에서 모두 동일하게 가설 1은 부분 채택(과정참여와 수단활용, 평가조직과 설득활용, 과정참여와 설득활용)되었다.
본 연구에서는 평가제도가 평가활용에 미치는 관계에 있어서 평가수용의 매개효과가 있다는 가설을 설정하였다. 이를 검증하기 위해, 매개회귀분석을 실시하였다4). 첫째, 1단계의 회귀분석 즉 독립변수(예를 들면, 평가제도)가 매개변수(예를 들면, 평가수용)에 유의미한 영향을 주어야 한다. 둘째, 2단계의 회귀분석 즉 독립변수가 종속변수(평가활용)에 유의미한 영향을 주어야 한다. 셋째, 3단계 회귀분석 즉 독립변수에 매개변수를 포함시켜(독립변수와 매개변수를 한꺼번에 투입함을 의미) 종속변수에 유의미한 영향을 주어야 한다. 넷째, 독립변수의 효과가 3단계의 회귀계수의 값보다 2단계 회귀계수의 값보다 높아야 한다는 일련의 조건을 충족할 때, 독립변수와 종속변수간의 매개변수의 매개효과가 있음이 충족하게 된다. 이때 완전매개(full mediating effect)냐 부분매개(partial mediating effect)냐의 판단은 3단계 회귀분석에서 매개변수가 통제되었을 때 독립변수가 종속변수에 대해 갖는 효과가 유의하지 않으면 완전매개이고, 유의적이면 부분매개인 것으로 판단한다(Van Dyne et al, 1994).
<표 11>과 같이, 평가조직, 평가계획, 과정참여가 평가수용을 통하여 평가활용(수단활용, 설득활용)에 영향을 준 간접효과를 살펴보면, 평가계획→평가수용→설득활용은 정(+)의 부분매개효과가 있는 것으로 나타났다. 이와 더불어 과정참여→평가수용→설득활용은 정(+)의 부분매개효과가 있는 것으로 나타났다. 마지막으로 평가제도(평가조직, 평가계획, 과정참여)→평가수용→수단활용은 매개효과가 없는 것으로 나타났다. 따라서 가설 2-1는 기각되었고, 가설 2-2 평가수용의 매개효과를 통한 평가계획, 과정참여가 평가활용(설득활용)간의 관계는 통계적으로 유의미하여 부분 채택되었다.
매개회귀분석 결과
Ⅴ. 결 론
ODA 평가는 사업의 효율성, 사업 관리 및 개선, 책무성 향상 등 정책관리 도구로서 평가활용의 중요성이 더욱 강조되고 있다. 특히 ODA 평가의 유용성에서 평가활용은 매우 중요하다. 본 연구는 한국의 ODA 통합평가의 평가활용에 미치는 영향요인을 분석해보고 ODA 통합평가 활용 증대를 위한 실효성 있는 방안을 제시하고자 한다. 이러한 연구목적을 위해서, ODA 통합평가제도가 평가활용에 미치는 영향요인에 대한 기본 연구모형을 바탕으로 평가수용을 추가하여 평가제도와 평가활용 간의 관계와 그 관계에서 평가수용의 매개변수역할을 분석하였다. 분석을 통해 얻어진 가설검증 결과를 요약하면 다음과 같다.
첫째, 평가제도와 평가활용 간의 관계에 있어, 과정참여가 평가활용(수단활용)간에는 통계적으로 유의한 관계가 있는 것으로 나타났다(가설 1-1 부분채택). 아울러, 평가제도의 평가조직, 과정참여가 평가활용(설득활용)간에는 통계적으로 유의한 관계가 있는 것으로 나타났다(가설 1-2 부분채택).
둘째, 평가제도와 평가수용의 관계를 살펴보면, 평가제도 중 평가계획, 과정참여가 평가수용 간에는 통계적으로 유의한 관계가 있는 것으로 나타났다.
셋째, 평가수용이라는 매개변수를 사용하여 평가조직, 평가계획, 과정참여가 평가활용(수단활용, 설득활용)에 미치는 영향을 분석한 결과는 다음과 같다. 평가수용의 매개효과를 통한 과정참여와 평가활용(수단활용), 평가계획과 평가활용(수단활용)간의 관계는 통계적으로 유의미한 수준의 정(+)의 관계를 갖는다(가설 2-2 부분채택).
본 연구는 평가제도와 평가활용에 미치는 영향에 있어 평가수용의 매개효과를 실증분석 한 것으로, 연구의 시사점과 한계점을 갖고 있다. 첫째, 본 연구는 기존의 평가활용 관한 연구에서 원인변수로서 평가제도 이외에 평가수용에 대한 영향에 대한 연구는 부족한 편이었다. 더욱이 본 연구에서 매개변수로 다루었던 평가수용을 포함한 연구는 거의 없다. 따라서 본 연구에서 평가제도와 평가활용간의 관계에서 평가수용의 매개효과를 실증적으로 검증해낸 것은, 기존의 연구에서 제시하지 못하였던 관계들을 다룬 것으로 이론적으로 더욱 확장한 것이라고 볼 수 있다.
둘째, 본 연구는 설문표본의 한계로 인해서 분석결과를 도출하는데 한계를 보였다. 이론적으로 평가수용이 평가제도와 평가활용의 매개효과를 보이나 표본의 양적 한계로 명확한 검증에 한계가 있었다. 정부기관 및 산하기관에서 ODA 사업 담당자와 평가 담당자로 한정하였다. 이러한 이유로 기관 당 설문에 응답할 수 있는 응답자의 수가 제한적이며 기관별로 응답자의 수도 상이하였다. 한편 본 연구는 ODA 사업 담당자와 평가 담당자들에게 설문조사를 했다는 점에서 의의가 있어, 향후 연구수행 과정에서 설문조사에만 의존할 것이 아니라, 심층면접조사 등의 질적인 방법을 병행하여 보다 입체적인 분석을 해야 할 것이다.
연구모형의 적합도 지수
매개회귀분석 단계
References
- 강황선·권용수(2004), “조직성과평가결과에 관한 공무원의 수용성 제고방안: 성과평가 체제의 제도적 요인을 중심으로”, 『한국행정논집』, 16(4) : 789-811.
- 구동모(2013), 『연구방법론』, 학현사.
- 구본장·강준의·김인동(2004), “BSC에 의한 성과평가제도의 인식정도가 조직성과에 미치는 영향”. 『창업정보학회지』, 7(3) : 15-43.
- 국제개발협력단(2012), “개발평가의 품질보증방안”, 『국제개발협력』, No. 3 : 197.
- 국제개발협력 통합평가매뉴얼. 2009.12.31. 제정
- 김명수(2003), “중앙행정기관 평가제도의 운영에 대한 비판적 검토”, 『정책분석평가학회보』, 13(2) : 1-21.
- 김희규·김경윤(2011), “교원성과상여금제도의 정책수용도에 관한 연구”, 『교원정치학연구』, 18(1) : 35-59.
- 김현구(2006), “정부업무평가 기본 논리와 자세: 평가성공의 제도적 요인 분석”, 『정책분석평가학회보』, 16(4) : 1-28.
- 김형진·한인섭(2011), “평가결과 활용의 영향요인 탐색”, 『정책분석평가학회보』, 21(2) : 129-157.
- 남창우·이명숙(2008), “공공부문의 BSC 수용성 및 조직성과의 영향요인분석: 조직구성원의 인식을 중심으로”, 『한국행정학보』, 42(3) : 165-190.
- 류은영(2014), “PLS 구조방정식모형을 활용한 리더십과 혁신행동간의 관계에서 집단주의 조절효과: 공기업 구성원을 대상으로”, 『한국인사행정학회보』, 13(1) : 233-264.
- 류은영·류은숙(2016), “체면행동이 경력만족, 직무만족에 미치는 영향: 자기효능감의 매개효과를 중심으로”, 『한국조직학회보』, 12(4) : 65-94.
- 류은영·유민봉(2008), “변혁적·거래적 리더십이 혁신행동에 미치는 영향에 있어 리더 감성지능의 매개효과. 『한국행정학보』, 42(4) : 151-177.
- 송수종·홍준현(2012), “고용영향평가제도에 대한 메타평가모형의 설계 및 적용”, 『정책분석평가학회보』, 22(3) : 259-293.
- 이미애·류은영(2015), 지방자치단체 복지재정 지출결정요인과 지출효과간의 관계: 재정 지출구조의 매개효과를 중심으로, 『한국정책과학학회보』, 19(3) : 33-55.
- 이경호·류은영·류은숙(2016), PLS 구조방정식모형을 활용한 조직 내 협업의 영향요인에 관한 연구: 소방행정조직을 중심으로. 『한국인사행정학회보』, 15(3) : 25-46.
- 이석환·조주연(2010), “성과평가제도의 수용성에 영향을 미치는 요인에 대한 연구: 평가체계요인과 내부동기요인을 중심으로”, 『한국사회와 행정연구』, 20(4) : 269-291.
- 이윤식(2002), “기관평가 결과 활용의 개선방안에 관한 연구: ICT 활용과 평가결과 활용의 관계를 중심으로”, 『정책분석평가학회보』, 12(2) : 53-83.
- 이봉락·강근복(2009), “지방자치단체 자체평가활용의 영향요인 분석 : 대전광역시와 충청잠도를 대상으로”, 『지방행정연구』, 23(3) : 45-79.
- 윤수재(2005), “공공부문의 정책평가 수용도 제고에 대한 영향요인: 중앙정부 중심으로”, 『한국공공관리학보』, 19(2) : 63-89.
- 제갈돈·제갈욱(2008), “새로운 정부업무평가제도의 발전을 위한 개선방안 모색”, 『정책분석평가학회보』, 18(1) : 65-99.
-
Baron, R M. & Kenny, D. A(1986). “The Moderator-mediator variable distinction in social psychological research”, Journal of Personality and Social Psychology, 52: 1173-1182.
[https://doi.org/10.1037/0022-3514.51.6.1173]
- Boyle, R., Lemaire, D. & R. Rist(1999). “Introduction: Building Evaluation Capacity”, in R. Boyle and D. Lemaire(eds.), Building Effective Evaluation Capacity: Lessons From Practice, New Brunswick, N.J. : Transaction Publishers.
-
Chin, W.W(2010). How to Write Up and Report PLS Analyses. In: Esposito Vinzi, V., Chin, W.W., Henseler, J. & Wang, H., Eds., Handbook of Partial Least Squares: Concepts, Methods and Applications, Springer, Heidelberg, Dordrecht, London, New York, 655-690.
[https://doi.org/10.1007/978-3-540-32827-8_29]
- Cohen, J., & Cohen, P(1983). Applied Multiple Regression/Correlation Analysis for the Behavioral Sciences. Hillsdale, NJ: Erlbaum.
-
Conlin, S. & Stirrat, L. R(2002). “Current Challenge in Development Evaluation”, Evaluation, 14(2): 193-208.
[https://doi.org/10.1177/1356389007087539]
- Hatry, H(2010). Key Steps to Design and Implement M&E for Individual Country Service Agencies. OECD research paper.
- Hansen, H & Trap, F(1999). The Effectiveness of Foreign Aid, Processed, Development Economics Research Group, Institute of Economics, University of Copenhagen.
-
Hudson, J.(2004). “Introduction: aid and development”, Economic Journal vol. 114: 185-190.
[https://doi.org/10.1111/j.1468-0297.2004.00218.x]
- Kiyoshi Yamaya(2009). ODA Evaluation and Policy Evaluation: Status of Accountability and Transparency in Japan.
-
Lopez-Acevedo, Gladys; Krause, Philipp; Mackay, Keith(2012). Building better policies : the nuts and bolts of monitoring and evaluation systems. OECD.
[https://doi.org/10.1596/978-0-8213-8777-1]
- Sasaki, R(2008). Meta-evaluation by formal evaluation theory of aid evaluation work. Western Michigan University.
- Sonnichchsen, R. C(1999). Building Evaluation Capacity Within Organizations. In Richard Boyle & Donald Lemaire(eds). Effectiveness Evaluation Capacity: Lessons from Practice.
-
Trochim, W. M. K(2009). “Evaluation Policy and evaluation Practice”, New Directions for Evaluation, Vol 2009: 13-32.
[https://doi.org/10.1002/ev.303]
- World Bank(1998). Assessing Aid : What Works, What Doesn't, and Why. Oxford : Oxford University Press(for the World Bank).
- Weiss, C. H(1998). Evaluation : Methods for studying program & policies. New York : Prentice-Hall, Inc.
-
Wetzels, M., Odekerken-Schroder, G. & Van Oppen, C(2009). Using PLS Path Modeling for Assessing Hierarchical Construct Models: Guidelines and Empirical Illustration. MIS Quarterly, 33, 177-195.
[https://doi.org/10.2307/20650284]
- Wiesnere, E(1998). Introduction. in Picciotto, R. & Wiesner E.(eds).Evaluation & Development : The Institutional Dimension.
- UNDP(1998). Capacity Assesment and Development.
2014년 성균관대학교에서 행정학 박사학위를 받았다. 현재 한국산업기술진흥원 선임연구원으로 재직중이다. 논문으로는 “미래사회 과학기술인력의 역량모델 개발에 관한 연구”(2017), “여가 활동이 국민 행복에 미치는 영향”(2016), “문화예술향유에 영향을 미치는 결정요인에 관한 연구”(2015), “지방자치단체 순세계잉여금과 재정 효율성에 관한 연구”(2015) 등 다수 논문을 발표하였다. 주요 관심분야는 정책평가, 정책분석, ODA, 규제혁신 등이다.
1989년 Harvard University에서 사회학 박사학위를 받았다. 현재 성균관대학교 국정관리대학원 교수로 재직중이다. 논문으로는 “공공임대주택 거주민의 사회자본이 자기효능감에 미치는 영향”(2020), “사회자본이 비제도적 정치참여에 미치는 영향”(2020), “청소년의 문화예술활동이 다문화수용성에 미치는 영향”(2019), “초기 연결망의 연결강도 증가 요인에 관한 연구”(2019) 등을 다수 발표하였다. 주요 관심분야는 한국의 민주주의, 국제관계/협력, 시민사회, 여론 등이다.
2008년 성균관대학교에서 행정학 박사학위를 받았다. 현재 동아대학교 행정학과 부교수로 재직중이다. 논문으로는 “해운경기가 항만지역경제에 미치는 영향: 부산과 인천지역 비교를 중심으로”(2020), “한국과 일본의 리더십 유형이 조직효과성에 미치는 영향”(2019), “한국·중국 공기업의 신뢰가 조직효과성에 미치는 영향: 조직몰입의 매개효과”(2017) “PLS 구조방정식모형을 활용한 조직 내 협업의 영향요인에 관한 연구: 소방행정조직을 중심으로”(2016) 등을 다수 발표하였다. 주요 관심분야는 행정조직관리, 리더십, 인적자원개발, 행정계량분석 등이다.
