경기연구원 학술지홈페이지
[ Article ]
GRI REVIEW - Vol. 25, No. 2, pp.127-156
ISSN: 2005-8349 (Print)
Print publication date 31 May 2023
Received 10 Apr 2023 Revised 19 May 2023 Accepted 22 May 2023

시범사업 운영개선방안 : 경기도 시범사례를 중심으로

이학연** ; 김필*** ; 이준석****
**경기연구원 연구위원(제1저자)
***한국지방행정연구원 부연구위원(제2저자)
****중앙대학교 공공인재학부 연구전담교수(교신저자)
Improvement Methods for the Pilot Project System : A focus on Gyeonggi-do province
Lee, Hakyeon** ; Kim, Phil*** ; Lee, Junseok****
**Research fellow, Department of Local Governance, Gyeonggi Research Institute(First Author)
***Associate Research Fellow, Korea Research Institute for Local Administration(Second Author)
****Research Professor, School of Public Service, Chung-Ang University(Corresponding Author)

초록

본 연구는 경기도 시범사업과 관련한 조례와 시범사업 평가위원회 자료를 바탕으로 시범사업과 관련한 운영체계 개선 방안을 제시하고자 하였다. 선행연구들을 바탕으로 시범사업과 관련한 이론적 논의를 진행하였고, 이와 함께 관련한 현황분석을 실시하였다. 기존 연구들과 차별화하기 위해 해외의 시범사례 제시, 증거기반정책이론 적용, 사업담당자들과 직접 인터뷰 방식을 사용하였다. 이러한 기존 연구들과 차별화된 방식을 통해 현재 이론적 논의에 머물던 선행연구와 다르게 실제 시범사업 실무에서 활용할 수 있는 시범사업 개선방안과 관련한 매뉴얼을 제시하였다. 본 연구는 분석과정을 통해 시범사업과 관련한 조례 구체성이 부족한 점을 찾아내었고, 시범사업의 평가지표의 적절성 부족, 평가위원회의 역할에 대한 구체성 부족 등을 진단하였다. 또한 경기도의 시범사업이 사회적 갈등 수준이 낮고, 과학적으로 증명하기 쉬운 사업에 많이 진행되고 있어, 이러한 경향은 시범사업 본래의 목적과는 배치된다고 지적하였다. 따라서 본 연구에서는 관련한 문제들을 개선하기 위한 방안으로 다음과 같은 대안을 제시하였다. 첫 번째로 시범사업을 갈등 수준이 높고, 과학적인 데이터와 자료를 획득하기 어려운 사업에서 적극적인 활용을 할 필요가 있다. 두 번째로 기초자치단체와 협력하여 시범사업을 진행할 경우 광역자치단체는 기초자치단체들에게 충분한 검토 기간을 부여하고, 재정적 지원을 해야 한다. 세 번째로는 시범사업의 원활한 진행을 위해서 신규사업과 시범사업을 쉽게 구분할 수 있는 매뉴얼을 제시하였다. 네 번째로는 시범사업 평가위원회가 적절한 사업평가를 위해서 필요한 계획평가와 성과평가에 필요한 기준과 매뉴얼을 제시하였다. 마지막으로 시범사업의 본래의 목적에 맞게 사업 종료 이후 시범사업평가위원회가 선택할 수 있는 결정안들을 세분화하여 실무영역에 기여하고자 하였다.

Abstract

This study aimed to propose improvements to the operational system related to pilot projects based on the ordinances and data from the pilot project evaluation committee in Gyeonggi Province. Theoretical discussions on pilot projects were conducted based on previous studies, along with an analysis of the current situation. To differentiate from existing research, an analysis of overseas pilot cases, application of evidence-based policy theory, and direct interviews with project managers were employed. Through this differentiated approach, a manual presenting pilot project improvement strategies that can be practically utilized in pilot project operations was provided, departing from previous studies that remained in theoretical discussions. Through the analysis process, this study identified the lack of specificity in the ordinances related to pilot projects and diagnosed inadequacies in the appropriateness of evaluation indicators and the specificity of the evaluation committee’s role. Furthermore, it pointed out that pilot projects in Gyeonggi Province are being conducted more on projects with low levels of social conflict and easy scientific validation, which deviates from the original purpose of pilot projects. Therefore, this study proposed the following alternatives as solutions to address these issues.

The study results suggest that Gyeonggi-do province should provide enough time for local governments to apply the pilot projects because these governments need time to review and analyze the necessity of the pilot projects. Gyeonggi-do province should also provide sufficient financial support to local governments when the province conducts joint pilot projects with local governments. Second, Gyeonggi-do province should proceed with priority pilot projects that address the high levels of uncertainty and social conflict. Third, Gyeonggi-do province should develop the manuals suggested in this study to ensure efficient operations and effective evaluations are performed. Lastly, we provided a detailed breakdown of decision options that the pilot project evaluation committee can consider after the completion of the project to align with the original purpose of the pilot project.

Keywords:

Pilot project, New government projects, Evidence-based theory, Performance evaluation

키워드:

시범사업, 신규사업, 증거기반이론, 사전평가(계획평가), 사후평가(성과평가), 성과지표

Ⅰ. 서 론

경기도는 우리나라에서 가장 큰 도농복합 광역자치단체로써 31개의 다양한 기초자치단체로 구성된 동시에 약 1천 4백만 명이 현재 거주하고 있어 대한민국의 축소판이라 불리고 있다. 최근 현황에 따르면 경기도는 매년 약 500건이 넘는 신규사업이 새롭게 실시되고 있다. 구체적으로 보면 2019년부터 2021년까지 3년간 약 522건의 신규사업이 실시되었다. 즉, 매년 경기도에서는 많은 재원과 인력이 새롭게 새로운 사업에 투입되고 있는 실정이다. 경기도의 예산편성 지침에 따르면 신규사업이 새롭게 시작되면 기존사업들을 감축하고, 새롭게 확보해야 할 소요 재원에 대해 구체적으로 밝혀야 한다고 언급하고 있다. 그러나 매년 새롭게 집행되는 지방정부의 신규사업들이 철저하게 예산편성 지침에 의거하여 통제되고 사업에 대한 타당성이 면밀하게 검증된다고 말하기는 어렵다.

신규사업의 가장 이상적인 결과는 적은 예산 또는 재원이 투입되는 동시에 의도한 목적대로 높은 정책효과를 동반하는 경우라 할 수 있다. 앞서 제시한 바와 같이 매년 500여 개 넘는 신규사업이 추진되는 사업 중에는 본 사업으로 곧바로 실시할 경우 사업실패에 대한 회복이 어렵거나 취소가 불가능한 경우도 발생할 가능성이 매우 높다. 이와 더불어 사업의 효과성이 불확실한 사업들이 추진될 경우도 많을 것으로 판단된다. 다시 말해 이러한 경향은 사회문제를 해결하거나 완화하기 위해 투입된 정부의 재원이 비효율적이거나 비효과적으로 사용될 수 있음을 의미한다. 이러한 상황을 감안할 때 경기도 및 여타 다른 지자체들은 효율적이면서 동시에 효과적인 신규사업을 실시 및 운영 하기 위해서 사업을 사전에 검증하고, 효과성에 대해 분석할 수 있는 시범사업 운영을 적극적으로 활용할 필요가 있다.

앞서 제시한 행정환경과 여건을 고려할 때 이를 극복할 수 있는 가장 현실적인 대안은 시범사업이라고 할 수 있다. 정부의 예산을 효율적으로 사용할 수 있고, 현재 우리사회의 불확실성과 복잡성을 극복할 수 있는 방법은 사전에 정부의 사업과 프로그램에 대하여 면밀하게 검증할 수 있는 시범사업이다. 이러한 시범사업을 효율적으로 운영하기 위해서는 시범사업이 갖고 있는 개념적인 특성과 현재 우리 행정영역에서 시범사업이 어떻게 작동되는지를 분석하고, 문제점을 진단해 개선방안을 제시하는 것이 필요하다. 이에 본 연구는 경기도를 선정하여 시범사업 시스템을 점검하였다. 경기도를 선택한 이유는 앞서 언급한 대로 우리나라에서 가장 큰 규모의 광역자치단체이면서, 31개 시·군 기초자치단체와 함께 시범사업을 활발하게 진행하고 있는 곳이기 때문이다. 또한 최근에 경기도는 2019년 시범사업에 관한 조례와 규칙을 제정하여 시범사업에 관한 시스템을 구축한 자치단체이다. 이러한 점을 고려하여 본 연구는 시범사업에 대한 이론적 논의와 함께 경기도 시범사업 체계에 대한 분석과 함께 개선방안을 제시하고자 한다.

이 연구의 구성은 다음과 같다. 우선 2장에서는 시범사업과 관련한 선행연구 검토 및 이론적 논의와 더불어 증거기반 이론을 현재 시범사업 운영현황에 적용하여 시사점을 도출하였다. 3장에서는 연구의 분석틀과 흐름도를 통해 연구방법에 대하여 설명하였다. 4장에서는 현재 경기도 시범사업 운영체계에 대한 분석을 통해 문제점들을 찾아냈고, 이와 동시에 개선방안을 제시하였다.


Ⅱ. 선행연구 및 이론적 논의

1. 시범사업의 개념

시범사업의 개념을 이해하고, 다른 사업들과 명확하게 구별하기 위해서는 가장 흔히 혼동이 될 수 있는 개념인 신규사업에 대한 정확한 이해가 필요하다. 신규사업은 제로 베이스에서 시작한다는 점에서 우선 기존의 계속사업들과는 구별된다. 신규사업은 사업성과, 외부지적사항, 집행상황에 대한 관련 자료가 없기 때문에 신규사업 체크리스트, 질의 답변서, 기획보고서 작성 등을 통해 사업 타당성에 대한 검토가 이루어진다(정미진·박노언, 2018).

이와 달리. 시범사업은 우리사회의 다양한 사회영역에서 활발하게 사용되는 사업방식 중 하나이다. 구체적으로 기업으로 대표되는 민간영역과 세계기구, 중앙정부, 지방정부 등에서 적극적으로 활용되고 있다. 실무영역에서 시범사업은 많이 활용되고 있지만, 학술적으로 시범사업에 대한 이론적인 접근 및 분석은 많이 부족한 실정이다. 우리나라의 시범사업을 연구한 대표적인 논문은 이삼열 외(2009)이다. 해당연구에서는 시범사업을 다음과 같이 정의하고 있다. 시범사업은 “불확실한 행정상황에서 사업의 전면적인 시행 전에 사업의 효과성을 검증하고 공공재원의 낭비를 줄이고 사업의 효율성을 높이는 것을 주 목적으로 하는 정책 또는 사업으로, 특정사업의 작동기제나 효과를 관찰 또는 사전에 측정하기 위한 사전설계를 기반으로 하는 상대적 작은 규모의 정책 또는 사업임”(이삼열 외, 2009: 285). 선행연구에서 제시한 시범사업에 대한 정의를 통해 앞서 언급한 신규사업 차이를 명확히 할 수 있다.

시범사업은 신규사업과 다른 고유한 사업목적이 있다. 시범사업의 목적은 불확실하고, 예측이 어려운 정책환경에서 프로그램 또는 사업의 효과성과 효율성을 확인하는 동시에 높이고자 한다. 즉, 시범사업은 정책 또는 사업의 운영체계에 대한 점검과 효과성에 대한 사전적 검토를 주된 목적으로 한다. 이와 동시에 시범사업의 또 다른 목적은 본사업으로 추진하기에 앞서 사업을 통해 발생하는 결과가 의도하지 않은 효과나 역효과를 생산하는지에 대한 검증이라 할 수 있다.

시범사업의 또 다른 개념적인 특징은 다른 종류들의 사업들에 비해 엄격한 사전설계를 바탕하고 있다는 점이다. 사회과학에서 말하는 무작위 할당에 기반한 엄격한 실험설계만을 의미하는 것이 아닌 시범사업을 통해 사업의 타당성을 확인할 수 있는 형태의 설계까지 포함한다. 그리고 시범사업은 일반사업들이나 본사업들과 비교하여 예산규모가 상대적으로 작고, 동시에 시기적으로 앞서 시행된다는 특징을 가진다. 사업 또는 프로그램들에 대한 기존 데이터 또는 자료가 존재하지 않을 경우 사업의 효과성에 대한 예측을 어렵기 때문에 사업의 전면적 실시 이전에 통상적으로 시범사업을 실시한다. 그리고 공공재원의 효율성을 높이기 위해 시범사업은 본사업에 비해 인력 및 예산규모가 축소되어 운영된다는 특징을 갖고 있다.

앞서 제시한 시범사업의 개념 및 특징을 고려할 때 시범사업은 합리적인 동시에 객관적인 정책결정에 기여하는 대표적인 정책도구(Policy Instrument)라 할 수 있다.

실제로 시범사업을 집행하고, 실시하는 정부의 영역에서는 학술적으로 정의한 시범사업과는 다소 다르게 인식되고 있다. 본 연구에서는 대표적인 지방정부인 서울특별시와 경기도가 정의하고 있는 시범사업에 대한 실무적인 개념을 검토하였다. 서울시와 경기도의 시범사업 운영 및 평가에 자료를 살펴보면 다음과 같이 시범사업을 정의하고 있다. 시범사업이란 “사업의 전면적인 시행 전에 정책이나 사업의 효과성을 검증하기 위해 규모, 기간, 지역 등을 제한하여 운영하는 사업1)” 이라고 정의한다. 서울시의 경우 경기도가 제시한 개념과 비슷하지만, “사전설계”와 “기술의 성능”에 대한 개념적인 부분을 포함한 것이 두 광역자치단체 간의 차이라 할 수 있다.

시범사업의 분류 및 유형

시범사업은 본사업 간의 비교를 통해서도 시범사업이 가지는 특성을 정확하게 이해할 수 있다. 첫 번째 시범사업과 본사업 간의 차이는 사업 또는 정책 도입방식의 차이이다. 본사업의 경우 특정한 시점을 기준으로 전면적으로 실시되는 특징을 가지는 반면에 시범사업은 단계적으로 도입된다는 특징을 가진다. 이러한 단계적 도입을 통해 시범사업의 본래 목적인 사업 또는 정책의 주요 효과와 부수적으로 발생할 수 있는 문제점과 이슈를 확인할 수 있다. 두 번째는 본사업은 시범사업에 비해 상대적으로 높은 보수적인 경향을 보여준다(이삼열 외, 2009). 본사업으로 집행되는 프로그램의 경우 시범사업에 비해 상대적으로 많은 예산과 인력이 투입되기 때문에 효과성이 검증이 안된 방식으로 집행되기 어렵다. 이와달리 시범사업의 경우는 소규모 형태로 진행되기 때문에 기존방식과 다른 방법으로 많이 집행된다. 이러한 경향 때문에 시범사업은 본사업에 비해 상대적으로 높은 실험정신에 기반해 집행될 확률이 높다고 평가된다.

<표 2>와 같이 본사업은 사업이 실시되거나 집행되는 범위와 관련해 시범사업과 구분된다. 본사업의 경우 전국적으로 실시되거나, 해당자치단체 전체구역에 실시되는 경우가 많다. 반면 시범사업의 경우 해당 지방자치단체의 특정지역에 제한하여 사업이 실시되는 특징을 가진다.

본사업과 시범사업 비교

시범사업은 소규모 실시를 통해 정책과 사업에 대한 행정적 부담을 줄이는 동시에 사업의 타당성에 대해 사전적으로 검증한다. 네 번째 본사업의 특징은 독립성이 상대적으로 적을 수 있다고 평가된다. 앞서 설명한 바와 같이 본사업의 경우 많은 인력과 예산이 사용되기 때문에 사업성과에 대한 압박이 상대적으로 높아 재량범위가 줄어든다. 반면 시범사업의 경우는 실패할 수 있는 전제로 시작하는 사업이기 때문에 상대적으로 높은 재량을 가지며, 상위 및 감독부서를 상대로 높은 독립성을 갖을 수 있다.

2. 증거기반정책(Evidence-based Policy)

1) 증거기반 이론(Evidence-Based)의 개념

현재 정책환경(Policy environment)은 지속적으로 정부기관들에게 최적정보(Best information)에 기반하여 정책과 프로그램들의 효율적인 운영 및 집행을 요구하고 있다(Jennings and Hall, 2012). 미국의 경우는 이미 연방, 주, 지방정부에서 성과관리와 성과평가가 하나의 정부운영 표준으로 자리잡았다(Julnes and Holzer, 2001). 이러한 성과평가의 기원은 정부를 계속적으로 합리적으로 운영하고자 하는 노력의 결과물이다(Stone, 2002). 또한 연방정부와 주 정부들은 단순한 성과관리에서 한 걸음 더 나아가 정부기관들에게 증거기반한 운영(Evidence-based practice: EBP)와 증거기반(Evidence-based: EB)을 통한 정책결정을 요구하고 있다. 이러한 흐름은 우리나라도 마찬가지다. 2010년대 이전부터 정부와 공공기관들의 조직에 대한 성과관리가 중요하게 논의되었고, 이를 위해 실무자들과 학자들은 성과측정 및 평가에 대한 연구가 활발하게 진행되고 있다(이석환·조주연, 2010). 하지만 우리나라에서 아직까지 증거기반 및 운영에 대한 논의는 미비한 실정이다. 이런 의미에 본 연구는 시범사업과 증거기반 이론에 관하여 논의하고자 한다.

증거기반 이론은 정부기관이 정책과 프로그램의 비효율성 및 비효과성을 개선하기 위한 해결책을 과학적인 분석에서 찾고 있고, 그러한 과학적인 운영이 해당 정부기관에 얼마나 중요한지에 대한 이해를 바탕으로 시작한다고 볼 수 있다. 증거기반 이론의 실례로는 정부기관들의 대표적인 과학적인 방법인 비용효과분석 분석방법에 기반하여 유의미하고 적절한 정책결정을 하는 것이 있다(Oregon Department of Health Serivice, n.d). 증거기반한 운영 역시 이와 유사한 개념으로 볼 수 있다. 이 두 가지 이론의 근본적인 목적은 정부 및 공공기관 프로그램의 효과적인 성과물 생산이다. 효과적인 성과라는 목표를 달성하기 위해서 증거기반이론은 기존의 성과평가에 비해 보다 더 엄격한 과학적인 방법을 추구한다. 구체적으로 증거기반이론과 증거기반운영의 경우는 기본적으로 양적정보(quantitative information)를 추구하고, 진실험(experimental research)을 통한 정책의 효과를 분석하고자 한다. 미국의 예산관리국 (Office of Management and Budget: OMB) 경우도 증거기반이론을 위해서 과학적이고 엄격한 기준에 의한 운영을 연방정부기관들에게 독려하고 있다(Colation for Evidence-Based Policy, 2006). 정책결정을 위한 증거 및 근거의 경우는 정부기관에 속해있는 공무원들에 의해서 찾아질 수 있고 전문가의 판단에 의해서 생성될 수 있다고 보고 있다(Jennings and Hall, 2012). 설령 그 과정 속에서 다소 간의 주관적인 해석이 가능할 지라도 기본적으로 사업과 성과 간에 객관적인 관계가 존재하여야 한다. 이때 어느 정도의 증거와 근거의 신뢰성과 타당도가 있어야 증거기반이론의 적용이 가능하다고 보고 있다(Hall and Jeninings, 2008). 정책결정에 사용되는 증거 또는 근거들의 타당성과 신뢰성이 정부기관에 따라 다양할 수 있기 때문에 증거기반이론에 바탕한 정부의 효율적인 운영을 하기 위해서는 정책결정자들은 해당 전문가들과 논의와 검토가 필요하다 할 수 있다.

이처럼 이론적으로 증거기반이론과 증거기반운영이 요구하는 바는 명확하다고 볼 수 있다. 하지만 Heinrich(2007)는 정책결정의 근거하는 증거(evidence)에 대한 개념정립은 되었지만 아직까지 구체적으로 무엇을 증거와 근거로 보아야 할지, 어떻게 우리가 유효한 데이터를 수집하고, 어느 정도 정책결정에 반영할지에 대한 합의는 이루어지지 않았다고 평가했다. 즉, 증거기반한 운영(EBP)와 증거기반이론(EB)의 분야의 경우는 아직 발전하고 있는 동시에 아직 완전히 체계적으로 자리 잡지는 않았다고 평가받는다 (Jennings and Hall, 2012).

2) 증거기반 이론의 현실적인 제약

증거기반이론과 증거기반운영은 다수의 정부에서 채택되는 성과평가 및 정부의 성과관리 강조라는 정책방향의 연장선에 있다고 볼 수 있다. 따라서 증거기반 이론과 운영은 성과관리 및 평가와 밀접한 관계를 가진다. 이러한 밀접한 관계가 증거기반이론 도입을 제약하는 원인이 된다. 기본적으로 정부기관들은 정부 프로그램과 관련한 많은 정보를 가지고 있고, 이러한 정보들은 다양한 형태와 맥락에 따라 다르게 해석될 가능성을 가지고 있다. Moynihan(2008)의 주장에 따르면 성과평가 데이터는 애매모호하기 때문에 의견차이의 원인이 되고, 이해관계자들에 의해 여러 가지 의미로 해석이 가능하다. 이러한 경우는 증거기반이론과 관련한 데이터를 수집하기 어려운 구조가 된다. 또한 현실적으로 모든 정부운영에 있어서 진실험을 통한 증명된 데이터(High-quality evidence)를 기반으로 정책결정을 할 수 있지는 않다(Cabinet Office and Strategic Policymaking Team, 2009). Greenberg et al(2006) 및 여러 연구들에 의하면 증거기반이론의 경우 정책결정에 필요한 증거 및 근거가 단순히 존재한다고 해서 증거기반이론 및 운영이 보장되지는 않는다고 주장한다(Greenberg et al., 2006). 예를 들면 정부기관들은 정책결정이라는 기술적인 검토에 앞서서 감독기관 및 직속상관(political principal)의 선호를 고려해야 하는 동시에 시민, 이익단체, 고객 등의 요구를 고려해야 하기 때문이다. Maynard(2006)의 경우도 증거기반이론에 기반한 행정운영이 쉽지 않다고 주장하고 있다. 구체적으로 정책결정을 위한 어떠한 증거와 근거가 필요한지에 대한 정확한 판단이 어렵다고 지적하고, 이와 동시에 시대와 상황에 따라 정책결정에 필요한 증거 및 근거가 달라질 수 있다고 보고있다. 마지막으로 공공부분에서 강하게 작용하고 있는 점증주의적인 경향(Incrementalims)이 합리적인 의사결정을 위한 증거기반이론 채택과 이에 기반한 운영을 어렵게 할 수 있다. 따라서 우리나라가 시범사업 운영을 통한 증거기반이론과 운영을 실행하고자 한다면 이러한 현실적인 제약을 극복하고 혼란을 최소화 할 수 있는 매뉴얼 정립과 가이드 라인이 필요하다고 할 수 있다.

증거기반이론의 여러 가지의 현실적인 제약을 극복하기 위한 연구가 계속적으로 진행 중이고, 그 중에서 Jennings and Hall(2012)는 의미 있는 진전을 이루어 내었다. Jennings and Hall(2012)이 밝혀낸 첫 번째는 조직이 가지고 있는 내부적인 환경이 증거기반이론 적용에 영향을 준다는 점이다. 그들이 주장한 바에 따르면 조직을 구성하는 문화와 내부인력의 구성이 증거기반정책 형성에 영향을 준다는 점이다. 구체적으로 조직이 변화에 우호적이며 정책을 위한 과학적인 증거와 근거를 중요시 할 경우는 증거기반정책이 쉽게 자리잡을 수 있다는 점이다. 또한 조직이 과학적인 분석과 전문적인 지식을 보유한 구성원이 많을수록 쉽게 증거기반이론을 채택할 수 있다는 점이다. 둘째, Jennings and Hall(2012)은 조직 내부의 갈등의 수준(Degree of Conflict)과 조직의 과학적인 능력수준(Scientific capacity)에 따라 조직의 유형을 4가지로 나누었다. 제시된 조직의 유형은 <표 3>와 같다.

조직의 과학적 능력과 갈등의 정도에 따른 증거기반 이론의 조직분류

증거기반이론 기관(Evidence-based agency)의 경우 증거기반이론을 가장 채택할 확률이 높다고 설명을 하고 있다. 미국의 식품의약국(Food and Drug Administration)이 이 유형이 포함된다고 할 수 있다. 우리나라도 미국사례와 같이 식품의약품안전처가 증거기반이론 기관에 속한다고 할 수 있다. 두 번째로 미국 환경보호국(Environmental Protection Agency:EPA)의 경우가 증거기반 채택이 어려운 기관 유형에 속한다. 그 이유로는 정책결정에 있어서 과학적인 데이터와 증거를 기반으로 하지만 이를 둘러싼 다양한 이슈와 정치적 갈등 존재한다. 예를 들어 기후변화(협약)에 대한 대응이 트럼프 행정부와 바이든 행정부에 따라 대조적인 선택한 것을 들 수 있다. 세 번째로는 관행적인 기관(Experiential Agency)이다. 이러한 유형에 속하는 정부기관은 경제개발 담당부서(Economic development agency)들이다. 경제개발에 대한 목표를 둘러싼 갈등은 적지만 개발에 투입되는 비용과 효과에 대한 정확한 측정이 어렵다. 따라서 해당기관에서는 관행적으로 성공한 사례를 들거나 이론적인 가설을 통해 정책결정이 이루어진다. 마지막 유형은 상징적인 기관(Symbolic agency)이다. 구체적인 해당기관으로는 문화지원 관련 정책기관들이다. 정부의 지원을 둘러싼 갈등의 정도는 크나 이에 대한 객관적이고 과학적인 효과분석이 어렵기 때문이다. 이처럼 증거기반이론은 정부 조직의 성격에 따라 채택의 정도가 상이할 수 있다. 따라서 증거기반이론을 정부조직에 일률적으로 적용하기보다는 명확하고 객관적인 자료와 증거를 찾을 수 없는 조직과 부서부터 시범사업을 적극활용할 필요가 있다.

3) 증거기반(Evidence-Based) 이론의 경기도 적용과 해외 시범사업 사례

우리나라 시범사업의 경우 정책 또는 프로그램을 집행하면서 나타난 결과를 바탕으로 성과평가 영역에 있어서 많이 사용되고 있지만 학술적 접근과 이론적인 분석은 부족한 실정이다. 그러므로 본 연구에서는 증거기반이론을 활용하여 경기도 시범사업에 대한 분석 및 시사점을 제시하고, 해외 시범사업 사례에 대한 소개를 하고자 한다. 우선 Jennings and Hall(2012)이 제시한 조직유형에 따른 증거기반이론 관계를 최근 경기도에서 시범사업을 실시한 실무부서에 적용해, 실제 시범사업이 어느 특징을 가진 조직유형에서 많이 실시되었는지를 분석하였다. 본 연구에서는 이러한 분석을 통해 경기도 시범사업과 관련한 문제점을 진단하고, 개선방안을 제시하고자 한다. <표 4>에 제시된 바와 같이 2020년과 2021년에서 걸쳐 경기도 시범사업 평가위원회를 통해 시범사업을 실시한 부서는 총 16개의 부서이다. 구체적으로 보면 총 16개의 부서가 23개의 시범사업을 실시하였다. 미세먼지과가 2년 총 4개로 가장 많았고, 도시재생과가 3개의 시범사업을 2년 동안 실시하였다.

경기도 부서별 시범사업 현황(2020-2021년)

증거기반이론을 적용한 결과 지난 2년간 경기도 시범사업은 과학적인 능력이 상대적으로 높은 부서와 정책과 관련한 갈등수준이 상대적으로 낮은 정책들이 시범사업으로 선정되어 실시되었다. 앞서 제시한 Jennings and Hall(2012)의 유형에 따르면 <그림 1>에 나타난 바와 같이 주로 증거기반이론기관에서 시범사업이 실시된 것을 확인할 수 있다.

<그림 1>

증거기반이론에 따른 시법사업 집행부서 분류

이와 반대로 정책을 둘러싼 갈등 수준이 상대적으로 높고 관련 부서가 과학적인 능력이 낮은 수준의 부서에서는 시범사업이 실시되지 않았다. 이를 종합하면 경기도에서는 사업을 실시하기가 상대적으로 수월하고, 사업결과를 쉽게 확인할 수 있는 부서에서 많이 시범사업을 실시하는 것으로 나타났다. 예를 들면 미세먼지과의 경우 부서가 과학적인 능력이 높은 동시에 사업의 결과를 가시적으로 쉽게 확인할 수 있을 뿐 아니라 정책을 둘러싼 갈등수준이 상대적으로 낮다. 경기도 시범사업 결과를 보면 미세먼지과의 경우 경기도에서 가장 활발히 시범사업을 실시한 부서이다.

최근 경기도 시범사업의 실시현황을 살펴보면 시범사업이 가지는 개념적인 특성 및 본래 목적과는 배치되어 운영되고 있음을 확인할 수 있다. 시범사업의 목적은 정책의 결과를 예측하기 힘들고, 결과가 가시적으로 확인할 수 없는 사업의 결과를 사전에 검증하고 확인하는 것이다. 따라서 향후 경기도는 시범사업의 운영은 본래 목적에 맞게 사업을 둘러싼 이해관계자의 갈등 수준이 높고, 부서에서 과학적이고 객관적인 결과물을 생산하기 어려운 부서에서 적극적으로 활용할 필요가 있다.

국외의 사례를 보면, 미국·영국 등 선진국을 중심으로 주요 정부 정책 프로그램을 단계적으로 도입하여 시험·평가·조정 이후 전국적으로 적용하는 시범사업의 개념이 이미 보편화되어있다. 미국의 경우, 1960년대 의회에서 증거에 기반하여 정책평가를 실시하라는 요구 이후 임의할당(random assignment)을 통한 정책실험(Randomized Controlled Trial, RCT)이 활발히 이뤄져 왔으며, 꼭 정책실험의 형식이 아니더라도 시범사업을 통해 사업의 타당성을 증명해야 한다는 정책적 합의가 존재하고 있다. 정책혁신을 위한 시범사업 아이디어를 모색하는 파트너십기금은 2012년 기준 3,250만 달러 규모를 기록한 바 있다.

이 기금은 투자수익률, 신속한 정책 결과 구현 및 정책 효과 입증, 예산 지급 정확도의 향상, 행정 효율성 및 서비스 제공, 적격 수혜자에 대한 접근 장벽 감소 등 다양한 기준에 따라서 잠재적인 시범사업을 체계적으로 평가하는 데 쓰인다. 영국의 경우, 2001년 노동당 정권에서 내무부에 소속된 성과혁신부서(Performance and Innovation Unit)가 주도적으로 전국 규모의 사업에 대해 시범사업을 사용할 것을 권장하며 확산되어 왔다.

영국의 시범사업은 해당 정책에 대해 정부가 직접 시행할 것인지 혹은 아웃소싱할것인지를 정하던 과거의 ‘Make or Buy’ 의사결정의 진화된 버전으로서, 정책효과에 대한 통찰력과 증거를 제공하는 역할을 하고 있다. 초기 결과를 측정하거나 평가하여 새로운 정책의 가능한 영향에 대한 테스트를 실시하는 효과성 검증과 특정 방법 또는 특정 경로로 정책을 구현하는 실용성을 탐색하여 어떤 전달 방법이 가장 효과적 혹은 가장 비용효율적인지 평가하도록 설계하는 과정 검증으로 나뉘어 세분화되고 객관적인 기준에 부합하는지 체계적으로 검토되고 있다는 특징이 있다.


Ⅲ. 연구방법

본 연구의 공간적범위는 경기도 및 경기도의 31개 기초자치단체를 포함하고, 시간적 범위는 2020년과 2021년이다. 연구의 내용적인 범위는 시범사업 및 신규사업과 관련한 현황 및 이론적 분석과 시범사업과 연관된 정책이론 검토 및 적용이다. 증거기반이론을 본 연구에서는 적용하였다. 이러한 분석을 통해 현재 경기도의 시범사업 운영시스템에 대한 검토를 통해 개선방안을 제시하고자 한다.

이를 위해 본 연구에서는 우선적으로 경기도 시범사업 조례 및 규칙을 검토하였고, 시범사업들과 관련한 문헌조사 및 선행연구를 검토하였다. 또한 증거기반이론과 관련한 선행연구를 분석하고, 시범사업에 적용가능성을 검토하였다. 그리고 경기도 시범사업 평가위원회에 제출된 2년간 경기도 시범사업과 관련한 자료를 통해 신규사업 및 시범사업 운영현황에 대한 조사를 실시하고, 실제 시범사업을 실시한 담당자들과 인터뷰를 실시하여 시범사업과 관련한 이슈와 문제점을 분석하였다. 이러한 연구방법 및 흐름을 도식화하면 <그림 2>와 같다.

<그림 2>

연구분석틀 및 흐름도

시범사업의 효율적인 운영을 위해 본 연구에서는 현재 경기도의 시범사업 운영현황에 대한 분석을 한 후, 이를 바탕으로 시범사업을 운영함에 있어 문제점을 파악하고, 이를 해결하기 위한 개선방안을 제시하는 것을 주 목적으로 하였다. 이러한 연구목적을 선택한 첫 번째 이유는 합리적인 시범사업 운영을 위한 매뉴얼이 부족하다는 실무진들의 평가 때문이다. 두 번째 이유는 시범사업과 관련한 매뉴얼이 부족한 상황에서 관련 부서의 자의적인 판단에 따라 사업이 집행된다고 평가됨으로서 시범사업의 평가에 대한 타당성 및 적정성이 논란이 되고 있기 때문이다. 세 번째 이유는 시범사업 자체에 대한 평가는 해당사업을 본사업으로 시행여부를 판가름 하는 중요한 부분이기 때문에 시범사업에 대한 구체적인 평가기준 및 평가과정에 대한 지침이 있어야 함에도 불구하고, 실무영역에서는 그렇지 못하기 때문이다. 따라서 1차적으로 경기도의 시범사업의 조례 및 실제 운영과정을 분석하여 문제점을 찾아냈다. 또한 시범사업을 실제로 담당한 부서 책임자들과 인터뷰를 통해 시범사업 운영 및 평가와 관련한 이슈들을 검토하였다. 이러한 과정을 통해 본 연구는 시범사업의 평가와 관련한 명확하고 구체적인 기준을 제시하고, 효율적인 시범사업 운영을 위한 구체적인 매뉴얼을 제시하였다.


Ⅳ. 경기도 시범사업 문제 및 개선방안

1. 경기도 시범사업 운영현황 및 문제점

경기도는 시범사업의 효율적인 운영과 추진을 위해 2019년 시범사업과 관련한 조례를 제정하였다. 시범사업 운영 및 평가에 관한 조례 「제1조 목적」을 살펴보면, 시범사업 조례는 사업의 시행 및 평가 과정의 책임성과 효율성을 높이기 위해 제정하였다고 명시하고 있다. 조례 내용의 구체성을 <표 5>를 통해 살펴보면 다음과 같다.

시범사업 운영 평가에 관한 경기도 조례

시범사업의 조례와 관련한 대표적인 이슈는 시범사업과 관련한 운영 및 평가와 관련한 내용이 명확하지 않다는 점이다. 즉, 문제는 사업과 관련한 사전(계획)·사후(성과)평가는 그 특성과 목적이 상이함에도 불구하고 시범사업의 조레를 살펴보면 시범사업과 관련한 사전·사후평가 구분이 모호하다는 점이다.

선행연구에 따르면 사전평가는 “의사결정에서 활용될 수 있는 정보를 도출하여 대안을 평가하는 데 초점이 맞춰져 있는 것”(이준석 외, 2021:226)이다. 그리고 사후평가는 “ 사업의 결과물을 그것이 최초 설정한 목표와 비교함으로써 실제 달성 수준을 확인”(이준석 외, 2021:226) 하는 것으로 정의한다.

그러나 조례에서는 사전·사후평가에 대한 명확한 구분이 없이 사업에 대한 평가를 포괄적으로 ‘시범사업의 계획수립과 과정 결과를 점검·분석’ 하는 과정으로 규정하고 있다. 사전평가와 사후평가를 비교할 때 시범사업이 주된 목적인 정책실험으로 운영되기 위해서는 사후평가의 중요성이 매우 크다고 할 수 있다. 그러나 이러한 중요성에도 불구하고 시범사업의 사후평가와 관련한 구체적인 내용이 적시되지 않은 점은 현재 시범사업 운영시스템상의 주요 문제라 할 수 있다. 비록 사업평가 방법과 환류파트에 대한 부분은 간략하게 제시되어 있지만 ‘사후평가’ 자체에 특화되지 않을 뿐더라 그 내용 또한 모호하다. 따라서 앞서 제시한 바와 같이 두 평가가 서로 다른 목적을 가지고 있기 때문에 이를 분류하고, 평가목적에 맞게 평가가 될 수 있는 세부적인 사항들이 제시되어야 할 필요가 있다.

두 번째 문제는 시범사업과 관련한 평가지표 구성이 명확하지 않다는 점이다. 앞서 제기한 시범사업 평가과정 별 명확히 분류가 되지 않기 때문에 이를 뒷받침하는 평가지표 또한 모호하다는 평가를 받고 있다. 하지만 평가지표의 적절한 구성은 사업의 평가 및 결과를 다르게 할 수 있을 정도로 매우 중요한 사항이다(Forsund, 2017; Van Thiel and Leeuw, 2002). 구체적으로 사전단계에서는 ‘다양한 대안들 중 적절한 안을 확인’ 할 수 있는 지표로 구성되어야 한다. 사후평가에서는 사업의 실제 결과와 성과를 측정할 수 있게 하는 지표가 제시되어야 한다. 시범사업의 평가지표는 사업의 목적인 새로운 정책 또는 사업의 효과를 검증하고, 본사업으로 추진여부를 결정하는 과정에서 핵심적인 역할을 하기 때문에 매우 중요하다. 특히 사전·사후 평가의 목적에 맞는 적절한 지표구성이 필수적이다. 현재 시범사업의 조례에서는 사전 및 사후 평가 분류가 명확하지 않고, 각 과정에서 활용될 지표와 관련한 정의가 제시되지 않았다. 구체적으로 평가지표와 관련한 시범사업의 조례 제8조 1항과 2항에 따르면 ‘가능한 계량화된 평가지표에 의한 측정을 통하여 시범사업에 대한 평가를 실시하여야 한다’ 와 ‘특성을 반영할 수 있는 평가방법, 평가기준 및 평가지표를 개발하여 시범사업 평가에 활용’ 할 수 있다고 규정하고 있다. 평가지표에 관해서는 일반론적인 수준에 머물고 있음을 알 수 있다.

경기도는 시범사업 조례 이외에도 평가추진 매뉴얼을 통해 사업과 관련한 지표를 제시하고 있지만, 매뉴얼 또한 명확하지 않는다고 평가를 받고 있다. 경기도 시범사업 운영 및 평가 추진 매뉴얼에 관련한 내용은 <표 6> 에 제시되어 있다. 시범사업 운영 매뉴얼의 경우 시범사업으로 선정되기 위한 특징 또는 자격과 관련한 내용이기 때문에 사전평가와 연관성이 높다는 특징을 갖고 있다. 구체적으로 시범사업이 기존 계획의 연계성이나 정합성이 있어야 하고, 사업규모의 필요성과 적정성이 존재해야 한다는 점은 사전평가이자 계획과정에 대한 평가로 볼 수 있다.

경기도 시범사업 운영 및 평가추진 매뉴얼

그리고 사업비 확보방안과 실현 가능성을 기준으로 제시하고 있는 점 또한 시범사업의 사후평가와는 관련성이 적다. 이를 종합하면, 현재 경기도 시범사업 매뉴얼이 제시하는 평가기준은 사전평가와 관련성이 높으므로, 중요한 사업의 폐지 또는 확대 결정을 위한 기준과 지표를 내포하지 않고 있음을 확인할 수 있다. 물론 ‘주민 수혜도’ ‘이행실적’ 등과 같은 기준도 일부 제시하고 있지만 사후평가의 주 목적은 새로운 정책시도가 현실화 되었을 경우 결과와 성과를 확인하는 데 있기 때문에 평가 기준이 모호한 수준이라 할 수 있다.

세 번째는 평가위원회와 관련된 문제이다. 현재 시범사업 조례에 따르면, 평가위원회는 시범사업과 관련한 운영 및 평가에서 핵심적인 역할을 수행을 하고 있음을 알 수 있다. 시범사업 조례 제10조에 따르면 평가위원회는 시범사업의 사전평가와 사후평가를 담당하고 있을 뿐 아니라, 사업운영과 관련한 계획을 수립, 평가지표 개발, 사업의 중단 및 확산에 관한 의결과정 등과 관련한 업무를 담당하고 있다. 하지만 평가위원회의 포괄적인 담당업무는 역할을 모호하게 만들고 있다. 앞서 언급한 바와 같이 시범사업과 관련한 평가 단계의 분류나 각 단계에서 활용될 지표들이 명확하지 않은 상황에서 평가위원회가 포괄적 업무를 담당함에 따라 사업운영의 자의성이 커질 우려가 있다. 구체적으로 평가과정에서 활용되는 지표가 가져야 할 기준의 불명확성은 결국 사업평가의 자의성과 연결되고, 결국 평가위원회가 사업목적을 효과적으로 검증하는 데 장애물이 될 수 있다. 그리고 시범사업을 담당하는 부서의 사람이 위원회에 포함되기도 하는데, 이 과정에서 상대적으로 달성하기 쉬운 지표를 구성하여 평가를 진행할 가능성이 존재한다. 따라서 효율적인 시범사업의 운영을 위해서는 평가과정에 발생할 수 있는 자의성을 줄일 수 있는 개선방안이 필요하다고 할 수 있다.

본 연구는 시범사업의 현황과 관련한 이슈를 실제로 분석하기 위해서 2020년과 2021년에 시범사업을 실시한 부서 담당자들을 대상으로 2022년 5월에 인터뷰를 실시하였다. 부서별 인터뷰를 실시한 가장 큰 목적은 단순히 문서상 혹은 데이터상으로 나타난 시범사업 현황보다는 실제 업무를 담당하였던 실무자분들이 시범사업과 관련한 이슈를 가장 정확하게 알고 있다고 가정해서 진행했다. 또한 인터뷰를 통해 나온 이슈 시범사업 또는 문제에 대한 해결방안들을 본 연구에 포함하여 시범사업과 관련한 실무영역에 도움이 되고자 인터뷰를 진행하였다. 본 연구 연구진들은 해당 인터뷰를 계량화하여 분석을 하면 더 나은 분석 결과가 될 수 있다고 판단하였으나, 시범사업을 실시한 부서별 특성과 각각의 시범사업의 성격들이 다양하기 때문에 이를 표준화하기 어렵다고 판단해 인터뷰 결과를 계량화하지 않았다.

첫 번째로 시범사업과 관련한 이슈는 경기도가 기초자치단체들인 경기도 시·군에게 주어지는 시범사업과 관련한 신청기간 또는 공모기간이 짧다는 점이다. 구체적으로 향후 진행될 시범사업에 대한 개선방안을 묻는 질문에서 나온 답변들을 정리하면 경기도가 시범사업을 실시하려고 할 경우 보통 시·군의 공모신청을 실시하여 사업지역을 선정하는 경우가 있는데 이때 기초자치단체 담당자들에게 주어지는 기간이 짧다는 점이 지적되었다. 기초자치단체게 새로운 시범사업에 참가하기 위해서는 해당지역의 투입 가능한 인력과 재원을 충분하게 검토하여야 함에도 불구하고, 신청기간 짧아 ‘신청하고 보자’라는 경향이 존재한다고 밝혔다. 이러한 경향으로 인해 추후 시범사업을 실제 실시하는 과정에서 중도 포기하는 시·군이 발생해 사업운영을 어렵게 한다고 지적하였다.

두 번째 이슈는 시범사업 평가지표와 관련해 질의하면서 담당자분들이 공통적으로 지적한 사안들인 시범사업에 대한 성공압박이다. 시범사업의 경우 특성상 어느정도의 실패를 수용하거나 용인해야 함에도 불구하고, 실무에서는 성공에 대한 압박이 존재한다고 한다. 시범사업은 다른 일반사업들에 비해 높은 불확실성을 가지고 있기 때문에 실패확률이 상대적으로 높다고 할 수 있다. 이러한 특징에도 불구하고 담당자들은 실패에 대한 부담이 존재하며, 결국 이러한 압박은 평가지표의 구성에 영향을 주기도 한다고 지적하였다. 시범사업의 목적에 적합한 평가지표를 구성하기보다는 쉽게 달성하는 성과지표를 활용하기도 한다고 밝혔다.

세 번째 이슈는 담당자의 잦은 교체가 효율적인 시범사업의 운영을 어렵게 한다는 점이다. 순환보직 시스템상 시범사업 실시 중간에 담당자가 교체되는 경우가 빈번하여 새롭게 업무를 맡은 담당자의 경우 관련 시범사업에 대한 경험과 지식이 부족한 경우가 많이 발생한다고 언급하였다. 결국 담당자의 잦은 교체 및 변경은 효과적인 시범사업 운영의 장애물이 되고 있다.

마지막 이슈는 시범사업 추진방식에 대한 적절성에 대해 질의하면서 많이 제시된 사항 중 하나인 시범사업과 관련한 재원이다. 보통 경기도에 실시하는 시범사업의 경우 도에서 일정부분 지원하고, 해당지방자치단체에서 나머지 부분을 부담하는 형태로 많이 진행된다. 하지만 기초자치단체로서는 이러한 재정투입 부분도 많은 부담으로 작용하고 있다고 지적한다. 따라서 경기도가 주도하고, 기획하여 실시하는 시범사업의 경우 도에서 적극적으로 사업과 관련한 재정적인 지원할 필요가 있다고 언급하였다.

2. 경기도 시범사업의 계획평가(사전평가) 및 사후평가(성과평가)의 실제 사례

본 연구에서는 전술한 시범사업과 관련한 문제인식을 바탕으로 실제 경기도에서 실시한 시범사업들의 운영사례를 분석하였다. 대표적인 시범사업 중 하나인 경기조류충돌 예방정책 사업2)의 계획평가(사전평가) 및 성과평가(사후평가)를 분석하였다. 이를 사례로 선정한 이유는 해당 사업 시행 중 「야생조류 충돌 예방조례」가 공표될 정도로3) 사업이 큰 관심을 받았지만, 그 평가체계에 있어서는 많은 한계를 관찰할 수 있었기 때문이었다.

조류충돌과 관련한 경기도 시범사업은 미관과 편의를 때문에 증가한 투명한 시설물로 인해 충돌하여 폐사하는 조류가 증가하자 이를 해결하기 위해 사업을 실시하였다. 즉, 시설물에 충돌해 폐사하는 조류의 수를 줄이고자 하는 것이 사업의 목적이다. 이를 위해 시범사업에 직접 경기도민이 참여하여 시범사업이 필요한 지역을 선정하고, 조류들이 많이 충돌하는 투명방음벽 위주로 충돌방지시설을 설치하였다. 또한 해당사업이 시범사업으로 추진하게 된 계기는 투명한 시설물에 맹금류 동물 스티커를 붙이는 사업의 효과가 크지 않자, 이를 대체할 수 있는 정책을 시행하되, 사전적으로 효과를 검증함으로써 기존과 같은 사업실패를 미연에 방지하고자 하였다. 하지만 시범사업의 사전평가에 관한 결과를 살펴보면 시범사업의 심의 과정에 대한 자의성과 모호성을 확인할 수 있었다. 앞서 제시한 시범사업의 조례에 따르면 시범사업의 사전 평가의 경우 ‘사업규모’, ‘사업비 확보’, ‘기존계획과의 연계성’ 등을 중심으로 실시되어야 한다. 그러나 실제 시범사업의 심의에서는 설치된 방음벽의 미관 및 기능 저해 가능성 검토, 홍보 효과 높은 시설물에 설치여부, 기존사업 검토 필요성4) 등이 명시되었다. 이를 분석하면 현재 시범사업의 사전평가 또는 계획평가와 관련한 지표의 개념과 적절성이 부족함에도 불구하고, 현재 제시된 지표와 매뉴얼 조차 지켜지지 않는 상황이라 할 수 있다.

사전평가(계획평가)와 더불어 사후평가(성과평가)에서 활용될 지표들을 살펴보면 지표의 적절성이 부족하고, 모호성이 높음을 알 수 있다. <표 7>에 제시된 평가지표는 조류충돌 예방정책의 사후평가에 활용될 지표들이다.

조류충돌 예방정책 시범사업에 대한 평가지표

시범사업의 사후평가를 위한 평가지표는 단순하게 성과를 검토하는 것이 아닌 것을 고려할 때 현재 사업의 평가지표는 일정부분 긍정적이다라고 평가할 수 있다. 예를 들어 제시된 지표들은 사업의 시작에서 집행, 평가에 이르기까지, 전 과정에서 계속적으로 확인해야 할 정보가 어느 것인지에 대한 방향을 제시하는 것이 지표한다는 점은 긍정적이라 할 수 있다. 즉, 해당지표는 사업 초기에 집행이 원활하게 이루어졌는지, 그리고 사업결과를 지속적으로 관리하고 추적할 수 있는 지표들로 구성되어 있어 시범사업 전 과정에 걸쳐 효율성과 효과성을 담보할 수 있게 구성되어 있다. 이러한 지표들로 성과평가가 이루어졌다면, 지표가 사업 전과정에 걸쳐 긍정적인 영향을 주었을 것으로 판단된다.

하지만 현재의 지표도 몇 가지 문제를 가지고 있다. 사업이 ‘시범’ 형태로 집행되는 이유는 관련 사업을 전면적으로 실시하기 이전에 사업의 성과와 결과를 확인하기 위함이다. 다시 말해 단순하게 ‘계획에 따른 시설물 설치’하는 것이 시범사업의 적절한 목적이 될 수는 없다. 사업을 통해 설치한 새로운 시설물이 의도한 ‘효과’를 만들어 냈는지를 확인해야 한다. 해당사업의 지표는 사업의 목적 자체가 ‘설치’에 많이 치중되어 있다. 해당사업의 사업계획서에 따르면 사업의 목적으로 “모든 생명과의 공존” 과 “결자해지 원칙”을 제시하기 때문에 예방시설 설치가 목적을 달성하기 위해서는 ‘폐사하는 조류의 수 감소’라는 결과를 이끌어 내야 하는 것이다. 물론 이러한 결과는 다양한 외생변수에 의해 달라질 수 있지만 시범사업이기 때문에 견고한 모델을 통해 외생변수를 통제한 후 설치물 효과를 확인할 필요가 있다. 실제 해당사업의 계획서에는 이런 부분이 제시되어 있지만 평가지표에 반영되지 못한 부분은 중요한 문제라 할 수 있다.

3. 시범사업 시스템 개선안 및 매뉴얼 제시

1) 시범사업 평가기준 제시

지금까지의 내용을 토대로 보면, 시범사업에 대한 평가는 집행이 결정된 사업에 대한 성과를 측정하는 것을 주된 목적으로 해야한다는 사실이 시범사업 성과지표 구성에 있어서 중요하게 인식되어야 한다. 따라서 시범사업의 합리적인 성과평가를 위한 지표는 ‘시범사업의 도입 필요성을 발생시킨 사회문제의 해결 또는 완화’ 했는지와 긴밀히 결부될 필요가 있다. 다시 말해 ‘시범사업으로 인해 어떻게 해당문제가 변화했는지’에 집중해야 한다. 실제 시범사업 중 하나인 미세먼지 신호등 설치를 통해 미세먼지에 대한 주민들의 대응성을 높이고자 하였다면, 성과지표를 주민의 만족도 측정이 아니라 ‘미세먼지에 대한 주민의 대응성 수준’이 미세먼지 신호등 설치 전후로 어떻게 변화하였는지에 대한 성과평가가 이루어져야 할 필요가 있다. 이러한 논의는 시범사업의 성과평가가 사업의 도입 필요성 및 배경과 연계된 내러티브(narrative evaluation)가 되어야 함을 의미한다. 내러티브한 평가체계가 된다는 것은 성과평가 전체 사업진행 흐름과 면밀하게 연계되는 것을 의미한다. 따라서 현재의 포괄적이거나 전체 사업과정과 맥락성이 부족한 성과지표는 사용하기 힘들어진다. 이러한 내러티브한 평가방식의 도입은 시범사업이 본래목적과 적합한 ‘정책실험’으로서 역할을 할 수 있게 기여할 것으로 판단된다.

또한 시범사업 평가를 위한 지표는 측정범위가 제한적일 필요가 있다. 시범사업과 관련한 지표는 새로운 아이디어의 도입 목적에 맞게 설계되고 고려되어야 할 뿐 아니라 아이디어 내용에 한정된 형태로 구성될 필요가 있다. 물론 이러한 내용은 개념적으로 이해하기 쉽지만 실제 수행하기에는 내생성(endogenenity) 문제 때문에 어려울 수 있다. 그렇다고 해서 현재의 포괄적 수준의 사업성과 측정은 정당화되기 어렵다. 즉 ‘어려운 길’ 이더라도, ‘지향해야 할 길’ 이라면 최대한 달성할 수 있는 방안을 마련할 필요가 있다. 따라서 성과측정방식 구성은 사업을 계획하고 설계하는 과정에서부터 심도있게 논의될 필요가 있다.

시범사업 평가에 활용될 지표는 투입·산출·결과를 포괄할 수 있어야 한다. 일반적으로 정부의 성과측정에서 많이 활용되는 투입지표는 인력과 재원과 관련한 항목이다(박경귀, 2004). 그러나 이러한 투입지표만을 가지고는 충분하지 않기 때문에 산출 및 결과에 대한 부분까지 측정하여야 한다. 정부 성과에 있어 산출지표는 ‘사업에 단기적·즉각적 결과물’ 이며, 계량적인 수치로 나타난다는 점이 특징이다(박경귀, 2004; 한국과학기술평가원, 2020). 결과지표는 장기적인 사업의 성과이므로 “사업 시행을 통해 궁극적으로 도출하고자 했던 성과의 달성 여부”(이준석, 2021:30)을 주요한 측정 대상으로 한다. 하지만 결과지표의 경우 중·장기적인 성과측정으로 요구하는 지표이고, 외생변수의 영향을 많이 받기 때문에 측정과정에서 정확하지 않다는 지적이 많다(Forsund, 2017:101; 이준석 외, 2021:232). 따라서 시범사업에 대한 지표는 투입, 산출, 결과로 분류하되 결과지표의 경우 기간에 따른 구분이 필요하다.

시범사업의 성과지표는 내용적으로도 적절성을 유지할 필요가 있다. 만약 지표가 내생성을 통제하기 어려운 상태이거나 자의적으로 구성되면 사업의 성과를 적절하게 측정하기 어려워진다. 따라서 <표 8>에 제시된 바와 같이 시범사업의 지표는 검토기준을 고려하여 만들어질 필요가 있다. 우선 지표는 자의적으로 설계되어서는 안된다.

성과지표의 적절성 검토 기준

지표가 포함하는 인과관계가 실제 통상적 관념이나 근거 등에 바탕하고 있어야 한다. 자의적으로 해당지표의 변화는 사업의 성공을 의미한다라는 형태로 지표를 구성하는 행위는 지양될 필요가 있다. 그리고 지표는 도전성을 가지고 있어야 한다.

만약 설정된 목표가 ‘쉽게’ 달성될 수 있는 수준인지에 대한 면밀한 검토가 필요하다. 세 번째 지표는 포화수준에 도달하지 않는 사항들을 측정할 필요가 있다. 예를 들어 시범사업 집행이전에도 90% 정도의 만족도를 보인 사항이 시범사업 실시 후 몇 퍼센트 증가하였다 하더라도 이를 사업의 성과로 보기는 어렵다. 네 번째 지표는 외생변수의 영향력을 최소화하기 위한 노력을 병행해야 한다. 만약 외생변수를 전혀 통제하지 않으면 시범사업이 긍정적인 효과의 원인이라고 보기 어렵기 때문에 이를 줄일 수 있는 노력이 필요하다.

마지막으로 성과지표는 서로 중첩되어서는 안된다. 시범사업의 평가를 할 때 다양한 지표가 활용된다면 해당지표들은 서로 독립적인 관계를 유지하여야 한다. 만약 A와 B라는 지표가 활용되지만 지표 간 관계가 B⊃A라면 두 지표들을 하나로 통합할 필요가 있다.

2) 시범사업 운영체계 개선안

시범사업 운영체계 개선을 위한 첫 번째 과업은 시범사업과 신규사업의 구분이다. 현재 경기도는 매년 평균적으로 500여개의 신규사업이 새롭게 착수되고 있다. 모든 사업의 필요성이 상당하더라도 재원을 효율적으로 활용하고, 불확실성이 높은 사업을 사전에 검토한다는 측면에서 시범사업을 적극적으로 활용할 필요는 있다.

그리고 시범사업을 계획하고 기획하는 실무영역에서 애매하고 어려워 하는 부분이 신규사업과 시범사업의 분류기준이다. 이렇게 실무영역에서 신규사업과 시범사업의 분류가 중요한 이유는 각각의 사업진행 절차가 다르기 때문이다. 따라서 본 연구에서는 <그림 3>에서 시범사업과 신규사업이 가지는 특성을 고려하여 분류 매뉴얼을 제시하였다.

<그림 3>

시범사업 및 신규사업 분류 매뉴얼

신규사업에 해당되는 사업들은 정책 또는 사업이 재원확보가 쉽지 않아 계획적으로 단계적으로 확대되는 경우에 신규사업에 해당된다. 그리고 사업이나 정책을 전면적으로 실시할 경우 시민들의 수용하기 어렵다고 판단되어 단계적으로 실시를 결정한 사업의 경우는 신규사업에 해당된다. 세 번째로 만약 사업이 단순히 단년도 사업일 경우는 신규사업에 해당한다. 마지막으로 사업 또는 정책이 주민들의 일상 생활에 직접적인 연관성이 없을 경우 신규사업에 해당된다.

시범사업이 가지는 특성을 통해 시범사업 분류 매뉴얼을 만들 수 있다. 첫 번째 분류 매뉴얼은 새롭게 착수하는 사업의 목적이 정책 효과성 및 효율성 검토에 초점이 맞춰져 있는지를 검토하는 것이다. 두 번째 매뉴얼 분류방법은 해당사업을 전면실시 할 경우 회복 불가능한 피해가 예상되거나 취소가 불가능한지를 확인하는 것이다. 세 번째 요건은 정책 또는 사업의 결과 또는 성과에 따라 해당사업이 폐지 또는 확대 가능성이 존재하면 시범사업이 되는 것이다. 네 번째 검토사항은 해당사업의 사전설계 포함여부이다. 만약 해당사업이 사회과학에서 말하는 엄격한 실험설계 수준은 아니더라도 집행과정에 대한 모니터링 또는 참여를 통해 결과를 검증을 하고자 한다면 시범사업으로 간주해야 한다. 마지막 검토요건은 사업 또는 정책에 일정수준 이상의 재원이 투입되는 동시에 결과에 대한 불확실성이 클 경우 시범사업으로 분류하고 사업에 대해 사전적으로 검증할 필요가 있다.

두 번째는 시범사업의 단계별 분류이다. 경기도 시범사업의 조례와 시범사업 평가위원회 운영현황을 살펴보면 평가를 계획평가(사전평가)와 성과평가(사후평가)로 구분하는 것을 확인 할 수 있다. 앞서 제기한 바와 같이 시범사업을 실제 운영함에 있어 명확한 기준이 없는 동시에 모호하기 때문에 <그림 4>에 제시된 바와 같이 평가기준을 혼용해서 사용할 것이 아니라 명확하게 구별하여 사용할 필요가 있다. 향후 시범사업 평가위원회는 시범사업의 계획평가와 성과평가의 각각의 목적에 맞게 평가기준과 계획이 적절한가를 자세히 검토할 필요가 있다.

<그림 4>

시범사업의 계획평가 및 성과평가 분류

또한 시범사업도 사업별 각각의 특성과 상황이 다르기 때문에 시범사업 실시 이전에 외부 학술용역을 통해 관련한 사업을 검토할 필요가 있다. 예를 들어 사업과 관련한 선행연구 및 데이터가 충분해, 사업의 목표, 집행기관, 지역, 최선의 집행 방법 및 평가 방법 등에 대한 정보가 충분히 있으면 시범사업으로 추진할 필요가 있다. 이와 달리 완전히 새롭게 도입하는 시범사업으로서 관련한 데이터 또는 정보가 많이 부족할 경우 사전에 외부용역 및 전문가 자문을 통해 시범사업의 운영에 필요한 사항들을 검토하고 확인할 필요가 있다. 경기도 시범사업 중 도랑 복원사업의 경우 시범사업을 실시하기 전에 사전에 학술용역을 통해 관련한 정보 및 데이터를 수집한 다음 시범사업을 실시하였다.

세 번째는 시범사업 결과의 활용안 마련이다. 시범사업이 종료된 후 사업자체에 대한 평가결과를 어떻게 반영할지가 중요한 사항인 것이다. 경기도 시범사업의 조례의 경우 시범사업평가위원회에서 시범사업의 확산 또는 중단 결정을 하게 되어있다.

하지만 단순하게 이분법적으로 결정해야 하는 시스템보다는 영국의 사례와 같이 시범사업의 결과에 따른 세분화된 결정을 할 필요가 있다. 우선 시범사업을 확산(본사업으로 추진)하기로 한 결정도 두 가지 유형으로 분류할 수 있다.

첫 번째는 시범사업의 별 다른 문제와 이슈가 나타나지 않고, 성과수준도 탁월하여 곧바로 본사업으로 추진하는 경우이다. 두 번째는 사업결과를 반영하여 사업의 계획을 수정해 본사업으로 추진하는 것이다. 확산과 중단의 결정이 아닌 재검토 결정도 시범사업 평가위원회는 고려할 필요가 있다. 이러한 재검토 단계는 일차적으로 시범사업에 대한 수정작업이 선행되어야 하고, 시범사업평가위원회는 제출된 자료를 토대로 시범사업의 재실시, 연장, 취소 등과 같은 세분화된 결정을 할 필요가 있다. 마지막으로 중단 결정도 좀 더 세분화 할 필요가 있다.

우선 사업자체가 타당성이 현저히 떨어질 경우 기존과 같은 중단 결정을 할 수 있다. 하지만 <그림 5>에 제시된 바와 같이 시범사업의 상당 부분을 수정하면 개선할 가능성이 있을 경우 시범사업 형태로 재실시 할 수 있는 기회를 줄 필요가 있다. 이처럼 시범사업 평가위원회는 사업자체에 대한 적정성 검토 및 평가에 대한 검증도 필요하지만 평가 결과를 토대로 사안별로 적절한 맞춤형 결정을 할 필요가 있다.

<그림 5>

시범사업의 계획평가 및 성과평가 분류


V. 맺음말

경기도는 우리나라 최대 광역자치단체로써 매년 500여 개가 넘는 신규사업을 실시하고 있어, 이를 체계적으로 검토하고 관리할 시스템이 필요하다고 할 수 있다. 정부가 새롭게 신규사업을 실시한다는 의미는 개별 사업이 자체적으로 타당성이 있어야 함을 의미한다. 정부가 최근에 추진하는 사업들을 살펴보면 내용적으로 또는 기술적으로 정책 및 사업 결과에 대한 정확한 예측이 어렵다. 과학 및 기술이 발전하면서 행정 분야에서의 예측력도 높아졌다고 평가받지만, 동시에 결과 예측에 대한 어려움도 크게 증가하였다. 이와 더불어 사업에 투입되는 재원규모는 정부 사업들이 고도화됨에 따라 빠르게 증가하고 있다. 이러한 행정적인 여건을 고려할 때 경기도 및 타 지자체들 경우 신규사업에 대한 효과적인 관리를 위해서 시범사업을 적극적으로 활용할 필요가 있다. 시범사업은 효과성이 불확실하고 많은 재원이 투입되는 신규사업들에 사전적으로 검토할 수 있는 장점이 있는 제도이기 때문에 현재 행정환경에 대한 적절한 대안이 될 수 있다.

국외의 사례를 보면 우리나라 시범사업이 나아가야 할 방향에 대해 제시해 준다. 미국의 경우 객관적인 증거에 기반해 정책평가를 하려고 하고 있으며, 정책실험 또는 임의 할당 방식을 적극적으로 활용하고 있다. 엄격한 정책실험의 방식이 아니더라도 시범사업을 통해 정책 및 사업에 대한 객관적인 평가를 하고자 한다. 영국 또한 시범사업을 전국 규모의 사업이나 대규모 사업을 진행하기 전에 시범사업을 통해 사업에 대한 효과성 검증을 사전에 실시해 검토하고 있다. 특히 시범사업 관련 분석을 효과성 검증과 비용효율적 측면으로 세분화하면서 진행하는 점은 우리나라 시범사업 영역에서 도입 필요성이 높다고 할 수 있다.

하지만 경기도 시범사업 운영의 사례를 살펴보면, 시범사업의 객관적인 운영기준이 아직 부족한 상태이다. 따라서 본 연구에서는 시범사업의 현황, 의미, 이슈들에 대한 분석을 통해 시범사업 운영체계 개선방안을 제시하였다. 증거기반 이론을 현재 경기도 시범사업 현황에 적용한 결과 시범사업 관련 부서의 과학적 능력이 높고, 사업과 관련한 갈등 수준이 낮은 부서에서 주로 시범사업을 실시한 것으로 나타났다. 경기도 시범사업 운영시스템을 분석한 결과 시스템상의 여러 가지 문제점을 찾을 수 있었다. 첫째, 시범사업의 조례와 규칙의 구체성이 부족하다는 점이다. 두 번째는 시범사업의 평가지표 구성이 명확하지 않다는 점이다. 세 번째는 시범사업 평가위원회 역할이 분명하지 않다는 점이다. 또한 본 연구는 시범사업의 실제 담당자들과 인터뷰 조사를 통해 문서상 제시되지 않는 시범사업 운영과 관련한 이슈와 문제점을 찾았다. 우선 기초자치단체들에게 시범사업을 참여할지 여부에 대한 충분한 시간이 주어지지 않았다. 그리고 시범사업의 특성상 실패에 대한 가능성을 인정해야 함에도 불구하고, 사업성공에 대한 압박은 여타 다른 사업과 다르지 않았다. 마지막으로 시범사업의 담당자의 잦은 교체는 사업의 지속성 측면에서 바람직하지 않은 결과를 생산했다.

앞서 제시한 시범사업 시스템 전반에 대한 분석 및 검토를 통해 본 연구에서는 효율적이고 효과적인 시범사업 운영을 위한 대안을 제시하였다. 첫째 시범사업은 본래의 목적과 의도에 맞게 정책을 둘러싼 갈등 수준이 높고, 계량적이고 과학적인 증거를 찾기 힘든 사업과 정책위주로 실시할 필요가 있다. 두번째로 광역자치단체는 기초자치단체와 시범사업을 실시할 때 시·군에게 충분한 시간을 부여하고, 재정적인 지원을 해야 할 필요가 있다. 광역자치단체는 기초자치단체를 정책파트너로 인식을 하고, 원활한 시범사업 집행을 위한 적극적인 지원을 아끼지 않아야 한다. 세 번째로는 제시한 시범사업과 관련한 매뉴얼을 적극적으로 활용해야 한다. 제시된 매뉴얼을 통해 신규사업과 시범사업을 명확히 분류하여 행정처리 절차를 효율적으로 할 필요가 있다. 시범사업 평가위원회는 평가단계를 매뉴얼을 통해 정확하게 분류하여 단계별 목적에 맞는 적절한 평가를 진행할 필요가 있다. 또한 시범사업을 최종적으로 평가함에 있어 단순한 이분법적인 결정이 아닌 사안별 세분화된 결정을 할 필요가 있다.

본 논문은 분명한 한계를 지니고 있다. 무엇보다 단일한 사업만을 사례로 선정하여 개선방안을 도출했다는 점에서, 분석 결과의 일반화 가능성에 한계가 있는 것이 사실이다. 하지만 시범사업은 현재 우리 행정영역에서 중요한 역할을 하고 있고, 앞으로 중요도는 점점 커질 것으로 보인다. 정책과 사업의 규모가 계속적으로 커지는 동시에 결과에 대한 불확실성이 높아지는 현재의 상황을 고려할 때 시범사업은 활용도는 점점 높아질 것으로 예측된다. 따라서 본 연구를 계기로 시범사업 시스템이 조금 더 효율적으로 운영되기 바라며, 향후 추가적인 연구를 통해 다른 지역의 시범사업 시스템을 공유하고, 논의를 하는 시범사업 관련 연구가 계속적으로 진행되기를 바란다.

Acknowledgments

본 연구는 경기연구원에서 정책보고서로 발간된 “경기도 시범사업 운영체계 개선방안”의 내용을 수정·보완하여 작성하였습니다.

Notes
1) 시범사업의 실무적인 개념은 “경기도 시범사업 운영 및 평가 추진 매뉴얼” 매뉴얼을 참고함
2) 조류충돌 예방정책 시범사업과 관련한 내용은 시범사업평가위원회 자료(2021년 제2차 위원회)를 기반해 작성하였고, 본문에 별도의 인용 표기는 생략하였다.
3) 한겨레(202107.15). “경기도, 새들 죽음 막는 ‘야생조류 충돌 예방조례 공포’” (2021.07.15.). https://www.hani.co.kr/arti/area/capital/1003694.html, (검색일: 2023.05.18.)
4) 다른 지방자치단체나 환경부에서 조류충돌 사업과 관련한 사업실시 여부에 대한 검토여부 임.

References

  • 경기도(2019). 『경기도 시범사업 운영 및 평가 추진 매뉴얼』, 기획조정실
  • 경기도(2021). 『2020-2021 경기도 시범사업 평가위원회 심의자료』.
  • 경기도(2021). 『2022년 경기도 예산편성 세부지침』.
  • 박경귀(2004). 『성과지표의 개념과 유형』, 한국정책평가연구원.
  • 서울특별시(2018). 『서울특별시 시범사업 운영 및 평가 지침』.
  • 이삼열·정의룡·이은하(2009). “시범사업에 관한 탐색적 연구: 보건복지가족부 사업을 중심으로”, 『행정논총』, 47(4): 279-305.
  • 이석환·조주연(2010). “성과평가제도의 수용성에 영향을 미치는 요인에 대한 연구: 평가체계요인과 내부동기 요인을 중심으로”, 『한국사회와 행정연구』, 20(4): 269-291.
  • 이준석·이학연·김정해(2021). “신규인력 성과평가제도에 대한 제언: 공무원 규모는 ‘어떻게’ 변화해야 할까?”, 『한국행정연구』, 30(4): 209-244.
  • 정미진·박노언(2018). “정부 R&D 예산 20조 시대, 중소규모 신규사업의 예산배분·조정 고도화 방향”, 『예산정책연구』, 7(2): 1-27.
  • 한국과학기술평가원(2020). 『국가연구개발사업 표준 성과지표(5차)』. 과학기술정보통신부.
  • Cabinet Office and Strategic Policy Making Team(2009). Professional policy making for the twenty first century, London: Cabinet Office.
  • Coalition for Evidence-Based Policy(2006). What works and what doesn’t in social policy?:Finding from well-designed randomized controlled trials.
  • http://www.evidenceaseprograms.org/, (검색일: 2022.12.25.)
  • Forsund, F. R.(2017). “Measuring effectiveness of production in the public sector”, Omega, 73: 93-103. [https://doi.org/10.1016/j.omega.2016.12.007]
  • Greenberg, D. H., Michalopoulous, C., & Robin, P. K.(2006). “Do experimental and nonexperimental evaluations give different answers about the effectiveness of government-funded training programs?”, Journal of Policy Analysis and Management, 25(3): 523-552. [https://doi.org/10.1002/pam.20190]
  • Hall, J. L. & Jennings, E. T.(2008). “Taking changes: Evaluating risk as a guide to better use of best practices”, Public Administration Review, 68(4): 695-705. [https://doi.org/10.1111/j.1540-6210.2008.00908.x]
  • Heinrich C. J.(2007). “Evidence-based policy and performance management: Challenges and prospects in two parallel movements”, The American Review of Public Administration, 37(3):255-277. [https://doi.org/10.1177/0275074007301957]
  • Jennings, E. T. & Hall, J. L.(2012). “Evidence-based practice and the use of information in state agency decision making”, Journal of Public Administrtive Review, 22(2): 245-266. [https://doi.org/10.1093/jopart/mur040]
  • Julnes, P. D. L. & Holzer, M.(2001). “Promoting the utilization of performance measures in public organizations: An empirical study of factors affecting adoption and implementation”, Public Administration Review, 61(6): 693-708. [https://doi.org/10.1111/0033-3352.00140]
  • Maynard, R.(2006). “Presidential address: Evidence-based decision making: What will it take for decision makers to decide”, Journal of Public Administration Research and Theory, 5: 145-174.
  • Moynihan, D. P.(2008). The dynamics of performance management: Constructing information and reform, Washington, DC: Georgetown Univ. Press. [https://doi.org/10.1353/book13015]
  • Oregon Department of Health Service. n.d. Senate Bill 267 summary. http://www.oregon.gov/DHS/mentalhealth/ebp/sb267summary.pdf?ga=t, (검색일: 2022.12.29.)
  • Stone, D.(2002). Policy paradox: The art of political decision-making. Revised edition, New York: W.W. Norton.
  • Van Thiel, & Leeuw, F. L.(2002). “The performance paradox in the public sector”, Public Performance & Management Review, 25(3): 267-281. [https://doi.org/10.1080/15309576.2002.11643661]
  • https://www.law.go.kr, 법제처 국가법령센터.
  • 한겨레(202107.15). “경기도, 새들 죽음 막는 ‘야생조류 충돌 예방조례 공포’” (2021.07.15.). https://www.hani.co.kr/arti/area/capital/1003694.html, , (검색일: 2023.05.18.)
이학연 cauhak1983@gmail.com

2020년 켄터키 대학에서 행정학 박사학위를 받았다. 현재 경기연구원 자치행정연구실에서 연구위원으로 재직중이다. 주요 관심 분야는 지방세, 지방재정, 조세관련 정책 등이며 최근 논문으로는 “Form of government and municipal financial performance(2023)” “세수추계 개선방안: 경기도 도세를 중심으로(2022)” 등이 있다.

김 필 kimfeel2022@gmail.com

2021년 서울대학교 행정대학원에서 정책학 박사학위를 취득하고 현재 한국지방행정연구원 자치분권제도실 부연구위원으로 재직중이다. 관심분야는 지방행정, 인사행정, 정부신뢰, 비교행정 등이다. 최근 주요 논문으로 “데이터기반행정을 위한 지방행정통계 현황 및 정책 활용성 제고 방안 연구(2023)”,“비교행정의 새로운 국가분류기준: 사회통합과 정치-행정 관계(2022)”, “Workplace Disruption in the Public Sector and HRM Practices to Enhance Employee Resilience(2022)” 등이 있다.

이준석 steppingstonez@outlook.com

2020년 중앙대학교에서 행정학 박사학위를 취득하고 현재 동 대학에서 연구전담교수로 재직중이다. 주요 관심 분야는 노동 및 교육 불평등, 인사행정, 네트워크 분석이며, 최근 논문으로는 “Knowledge Poor, 지식을 추구하기 위해 가난해지는 사람들(2016)”, “실업급여 수급자 특성에 관한 연구(2022)”, “교육과 노동시장을 중심으로 한 한국 사회의 구조적 기회불평등 논의(2023)” 등이 있다.

<그림 1>

<그림 1>
증거기반이론에 따른 시법사업 집행부서 분류

<그림 2>

<그림 2>
연구분석틀 및 흐름도

<그림 3>

<그림 3>
시범사업 및 신규사업 분류 매뉴얼

<그림 4>

<그림 4>
시범사업의 계획평가 및 성과평가 분류

<그림 5>

<그림 5>
시범사업의 계획평가 및 성과평가 분류

<표 1>

시범사업의 분류 및 유형

구 분 내 용
자료 : 서울특별시 시범사업 운영 및 평가지침(2018)
사업
성격
신기술
시범사업
새로운 기술의 성능, 편의성, 효과를 검증하는데 초점을 둠
정책 도입
시범사업
새로운 정책이나 사업도입 이전에 특정 행정영역에서 규모, 지역, 기간을 한정하여 실시하는 사업임
사업
주체
중앙정부
시범사업
지방정부의 보조금 지원을 통해 집행되며 법령에 바탕한다는 특징을 지님
지방정부
시범사업
해당 자치단체의 주민을 위해 지방자치단체가 조례에 기반해 사업을 도입함
민간사업 민간이 해당지역 지방정부에게 시범사업 지원을 요청해 재원 또는 운영비를 받는 사업을 의미함

<표 2>

본사업과 시범사업 비교

구분 시범사업 본사업
자료 : 이삼열 · 정의룡 · 이은하(2009 : 291)
사전
조건
사업결과가 불확실한 상황에서 실험정신에 기반함 많은 인력과 재원이 사용되기 때문에 명확한 근거와 사실에 기반하는 특징을 지님
혁신성 혁신적인 방법과 기술에 대한 검토를 통해 본 사업의 성공에 기여함 시범사업 규모에 비해 많은 인원과 예산 투입이 혁신수준에 장애가 되는 측면이 존재함
도입
방식
단계적 도입 본격적인 도입 또는 전면실시
사업
범위
부분적 형태, 소규모 실시를 선택 대규모 또는 전면적 방식을 취함
독립성 상대적으로 성과에 대한 압박수준이 낮음 재량범위가 적고, 독립성이 낮다고 평가됨

<표 3>

조직의 과학적 능력과 갈등의 정도에 따른 증거기반 이론의 조직분류

과학적인능력
(Scientific Capacity)
갈등(Conflict)
구 분 낮음(Low) 높음(High)
높음(High) 증거기반이론 기관(Evidence-Based Agency) 증거기반 채택이 어려운 기관(Challenged Evidenced-Based Agency)
낮음(Low) 관행적기관(Experiential Agency) 상징적인 기관(Symbolic 기관)

<표 4>

경기도 부서별 시범사업 현황(2020-2021년)

연번 실과 사업명
1 미세먼지과(4) 미세먼지 신호등 설치 시범사업
미세먼지 안심 차단벽 시범사업
IOT활용 다중이용시설 실내공기질 상시측정 및 자동관제 시범사업
미세먼지 안심 차단벽 시범사업
2 도시재생과(3) 경기도 빈집정비 시범사업
공동주택 리모델링 컨설팅 시범사업
단독주택집수리 지원사업
3 지역정책과(2) "쉼이 있는 도시공간, 경기 평상조성" 시범사업
경기 조류충돌 예방정책 시범사업
4 자연재난과(2) 폭염저감시설 설치사업
풍수해 안전지킴이 시범사업
5 산업정책과(1) 경기 YES산단 육성사업
6 환경정책과(1) 녹색제품 사용표시제 시행
7 친환경농업과(1) 농업용수 처리기지원 시범사업
8 자연순환과(1) 농업부산물 파쇄 시범사업
9 장애인자립지원과(1) 발달장애인 평생교육지원센터 시범사업
10 농업정책과(1) 경기도 농촌기본소득 사회실험
11 친환경급식지원센터( 어린이집 환경친화형 급식지원
12 광역교통정책과(1) 개인형 이동장치 활성화 시범지구 조성
13 재난종합지휘센터(1) 안산청소년 수련원 3d 스마트 화재감시 시스템구축
14 수질정책과(1) 도랑 복원 사업
15 토지정보과(1) 주소기반 이동경로 정보 시범구축사업
16 군관협력담당관(1) 군장병 이용평의시설 조성사업

<표 5>

시범사업 운영 평가에 관한 경기도 조례

구 분 내용
정의 시범사업
(제2조의 1)
사업의 전면적인 시행에 앞서 사업의 효과성을 검증하기 위하여 지역·기간·규모 등을 제한하여
운영하는 사업
시범사업의 평가
(제2조의 2)
시범사업의 계획수립과 집행과정 및 결과 등을 점검·분석하는 행위
실시 및 계획(제4조) 사업의 효과성을 미리 검증할 필요가 있는 경우 시범사업을 실시하며, 시범사업 실시를 위해서는
사업계획수립이 필요시범사업 계획에는 아래와 같은 사항이 포함되어야 함
1. 시범사업의 목표·전략
2. 소요예산 및 재원조달
3. 시범지역 선정
4. 시범사업평가 결과의 활용
5. 그 밖에 도지사가 시범사업의 원활한 시행을 위하여 필요하다고 인정하는 사항
평가 평가 방식(제8조) 가능한 한 계량화된 평가지표에 의한 측정을 통하여 시범사업에 대한 평가를 실시(도지사)
시범사업의 특성을 반영할 수 있는 평가방법, 평가기준 및 평가지표를 개발하여 시범사업평가에
활용(도지사)
위원회(제9조) 시범사업평가를 위하여 시범사업평가위원회를 구성하여 운영할 수 있는데(도지사), 이들은
아래와 같은 개인들로 구성
1. 해당 시범사업 업무를 담당하는 부서의 과장급 이상 공무원
2. 관련 분야 전문가
3. 도민
환류(제11조) 시범사업평가의 결과를 해당 사업시행의 기초자료로 활용(도지사)

<표 6>

경기도 시범사업 운영 및 평가추진 매뉴얼

구분 내용
자료 : 경기도 시범사업 운영 및 평가 추진 매뉴얼, 6쪽
평가
기준
1. 연계된 사업의 중장기 계획 및 기존 계획과의 부합성
- 국토종합개발계획 등 법정계획과 중앙부처가 추진하는 역점시책사업과의 연계성
- 중장기 지역(개발)계획 및 지방재정계획과의 연계성 등
2. 사업의 규모 적정성과 필요성, 타당성 확인
- 사업의 성격과 사업비 적정성, 도민의 직접 수혜 규모, 향후 발전 가능성 등
- 시범사업 추진에 따른 승인·허가 등 내부 선행절차 이행 여부 등
- 시범사업 후 사업 축소 시 문제점 및 대응 방안
3. 사업비 확보 방안 및 실현 가능성
- 국비 및 지방비 등 투자계획의 구체성 및 타당성, 재원확보 능력 등
평가
지표
사업의 목표 대비 이행 실적에 관한 사항
사업의 예산 및 재원 조달 및 집행에 관한 사항
법령 등 관련 규정에 관한 사항
비용 대비 효과, 주민 수혜도, 사업 타당성에 관한 사항
사업 시행 시기 및 규모의 적정성
시범사업 시행 과정의 문제점 분석 및 개선방안에 관한 사항
시범사업의 활용에 관한 사항 등

<표 7>

조류충돌 예방정책 시범사업에 대한 평가지표

사업명 평가지표
조류충돌
예방정책
시범사업
<계획>
•사업목적의 명확성 및 목표 달성 수준: 조류 충돌 방지시설 설치 등
• 사업내용의 적정성 및 추진방식의 효율성: 조류충돌 사례가 많은(혹은 많을 것으로 예상되는)
지역 대상 시설 설치 / 공모방식 추진 및 유지보수비·공사비 등을 활용한 사업 추진
• 기존 시설과의 연계성: 방음벽 등 기존 시설의 기능을 저하시키지 않고,
미관에 부정적 영향을 끼치지 않은 조류 충돌 방지시설 설치

<관리>
•예산의 계획에 따른 집행: 계획에 의거한 특별조정교부금 지원이 가능하도록 관리
•사업추진상황의 모니터링: 공모사업의 추진 상황에 대한 정기적 관리를 통해
기간 내 완료가 가능하도록 관리
• 사업추진 중 발생한 문제의 해결: 사업 추진과정에서 문제를 야기할 수 있는 요인의
사전 제거 및 기 발생한 문제의 조속한 해결 노력

<성과 및 환류>
•계획된 목표 달성 노력: 시범사업 관리계획 수립 및 그에 따른 관리
• 사업 효과성 점검을 위한 평가 실시 여부: 사업의 적정성, 이용률, 경제성 등
평가 계획을 공모 시 사전 통보하여 적절한 사업 수행을 유도
•민관협치 노력 여부: 주민 의견 수렴 노력 등
•사업 결과의 정책 반영 여부: 시범사업 결과의 정책 반영 및 보완 노력

<표 8>

성과지표의 적절성 검토 기준

구 분 내 용
자료 : Van Thiel and Leewu(2002:271-6), 한국과학기술평가원(2020)의 논의 내용을 토대로 한 이준석 외(2021:235)의 논의를 요약 및 재정리
지표의
자의성
• 지표가 목표로 한 사항이 실제 근거(이론 등)를 토대로 측정되는 것인지를 검토.
이를 통해 시범사업의 성과를 자의적으로 판단하는 위험성을 최소화할 수 있어야 함
지표의
도전성
•지표가 설정한 목표가 '당연히' 달성될 수밖에 없는 수준이 되는 것을 지양
•지표의 산식을 검토하여 도전성 수준을 확인해야 함
• 예를 들어 시설물 1개가 10 만큼의 산출로 연결되고 있었다면,
이와 유사한 9개의 새로운 시설을 추가로 설치할 경우 최종 산출은 당연히 100이 될 수밖에 없으며,
만약 100을 목표치로 설정할 경우 이는 도전성이 떨어지는 지표로 볼 수 있음
지표의
포화수준
•지표가 설정한 목표가 '포화상태'(saturation)에 이른 것은 아닌지에 대한 검토
•지표가 포화수준에 다다른 경우, 수치의 증감은 사업의 효과를 보여주기 어려움
•따라서 지표가 사용하고자 하는 수치의 이전 상황과 변화 추이 등을 분석할 필요가 있음
지표의
독립성
•지표가 설정한 목표가 사업 이외의 외생적 요인에 의해 영향받는지에 대한 검토
• 외생변수의 영향은 최소화해야 할 필요가 있는데, 예를 들어 '미세먼지와 관련하여 제공되는 정보에 대한 만족도'는
'미세먼지 수준 그 자체'에도 영향을 받을 수밖에 없음
• 만약 지표의 독립성이 일정 수준 이하라면, 외생변수의 영향력을
최소화할 수 있는 지표로의 대체 혹은 보완이 필요
지표의
중첩성
•다수의 지표 간 중첩 수준을 검토
• 예를 들어 A와 B 두 지표가 사용되지만, 실질적 수준에서는 그 내용이 A⊃B의 관계라면
이들을 하나의 지표로 통합하는 등의 변경이 필요