한국항공우주연구원

1. 개요

지난 2015년 8월 영국 우주청(UK Space Agency)에서는 우주개발 투자 파급효과 평가를 더욱 정교화하기 위해서 우주개발 평가 전략 보고서를 발표하였다. 정확한 평가는 향후 우주개발 투자에 대한 최대한의 사회·경제적 편익을 담보하기 위해서 신뢰성 있고 견실한 증거들에 기반 한 의사결정을 할 수 있도록 해 준다. 본 보고서에서는 새로운 우주개발사업 및 활동의 시작 단계에서부터 평가를 위한 계획이 포함되어서 사업의 종료 후 성과 증거 수집을 강화할 수 있는 프로세스가 제시되었다. 한편, 본 보고서는 영국 정부의 정책 평가를 위해서 영국 재무부(HM Treasury)에서 발간한 지침서인 “The Magenta Book”의 모범사례(bset practice)를 어떻게 우주분야에 적용할 것인지에 대한 고민을 담고 있다. 따라서 본 원고에서는 이러한 내용이 반영된 영국의 우주개발 프로그램 평가 전략을 살펴보고 우리나라 우주개발에 주는 시사점을 간략히 정리하였다.

2. 영국 우주청의 우주개발 프로그램 평가 계획 및 프로세스

영국 우주청의 프로젝트 및 프로그램에 대한 평가 프로세스는 Magenta Book에 기초하고 있다. 영국 우주청은 <그림 1>과 같은 프로세스로 Research Councils, 대학, Satellite Applications Catapult, 산업체 및 국제 파트너들(예, ESA, Euromean Commission, OECD)과 협력하여 우주활동에 대한 효과 분석을 수행한다. 평가 전략의 핵심은 프로그램 초기에 평가를 고려하지 않으면 평가의 옵션과, 획득된 자료의 신뢰성에 제약을 받게 된다는 것이다. 따라서 모든 새로운 프로그램에 대해서 초기에 <그림 1>의 8개 단계에 대한 계획을 세워서 제출한다. 이는 Project Inception Document에 기록된다.

3. 평가의 종류(Type of evaluation) 

평가는 세 가지 레벨로 나누어서 프로그램의 특성에 맞는 레벨의 평가를 하도록 한다. 일반적으로 높은 위험도와 불확실성이 있는 정책이나 프로그램에 대해서는 그 결과물이 실질적으로 잘 작동하는지, 예상한 효과를 보이고 있는지를 파악하기 위해서 더욱 종합적인 평가가 요구된다. 또한 대규모의 주목받는 정책에 대해서는 공공 예산이 잘 사용되었는지를 보여주기 위해서 견실한 평가가 요구된다. 소규모 또는 정기적인 정책에 대해서는 간단한 모니터링이나 예산이 적절하게 사용되었는지를 체크하는 정도의 간단한 평가면 충분하다. <그림 2>는 예산, 위험도 및 불확실성에 따른 평가의 레벨을 보여준다.

제대로 된 평가를 위해서는 적절한 예산이 배정되어야 한다. 평가를 위해서 필요한 자원의 정도는 대상 프로그램의 중요도나 위험도 등에 따라서 달라지겠지만 일반적으로 총 프로그램 예산의 1~5% 범위에서 책정한다. 그리고 평가의 질을 담보하기 위해서는 프로그램 수행 주체와 평가 주체가 동일함으로써 발생하는 왜곡을 방지하기 위해서 평가의 독립성을 확보해야 한다. 따라서 소규모이거나 관심도가 낮은 프로그램에 대한 평가는 내부적으로 하더라도, 대부분의 주요 평가는 외부적으로 감독을 받게 된다. 또한 평가는 다학제적으로 이루어져야 하므로 공학, 과학, 경제학, 통계학, 사회학 등 서로 다른 분야의 관련 전문가들이 참여하고, 관련된 이해관계자들도 모두 참여하도록 한다. 한편, 평가는 평가 전문가들에게만 맡겨지는 것이 아니다. 평가를 위한 적절한 질문과 프로그램이 하고 있는 것을 정확하게 평가에 반영하기 위해서는 프로그램 담당자들이 데이터 및 자신들의 경험과 관찰에 대한 기록을 수집하는데 적극적인 역할을 하도록 해야 한다.

평가는 두 가지 종류로 구분할 수 있다. 하나는 프로세스 평가이고 다른 하나는 파급효과 평가이다. 먼저, 프로세스 평가는 정책이나 프로그램이 어떻게 추진되는지에 관한 것이다. 영국 우주청은 이와 관련해서 정책이나 프로그램이 어떻게 가장 잘 기획될 수 있는지에 대한 이해 증진을 위해서 계속해서 노력하고 있다. 일반적으로 프로세스 평가와 관련된 질문들은 의도적으로 기술하는 형식으로 답하도록 되어있다. 우주청의 프로젝트 책임자 또는 독립된 평가자는 정성적 및 정량적 데이터를 서로 다른 이해관계자들로부터 인터뷰나 설문을 통해서 수집한다. 다음으로 파급효과 평가는 특정 정책이나 프로그램이 창출한 차이에 관한 것이며 성과(outcome)에 초점을 둔다. 성과는 측정 가능한 성취들이며, 정책의 목표이거나 정책이 창출한 편익이다. 파급효과 평가는 정책 개입에 의해서 발생하는 의도적/비의도적, 직접/간접 효과들을 체계적이면서 실증적으로 파악하는 것이다. <그림 3>은 우주 투자의 결과로 발생할 수 있는 6가지 성장 경로를 보여준다.

파급효과 평가의 주요 목표는 정책이 구현된 이후에 어떤 변화가 발생했는지를 평가하는 것이다. 따라서 파급효과 평가는 해당 정책에 사용된 자원을 집계하고, 정책에 의해서 발생한 편익을 정량화하여 보여주며, 그 결과를 통해서 향후 자원 배분을 위한 의사결정에 도움을 제공한다. <그림 4>는 상업 생산단계에 근접한 기술을 상업화 단계로 준비시키는 혁신 프로그램으로부터 발생하는 잠재적 파급효과를 보여준다.

특정 프로그램에 대한 평가를 수행할 때 견실한 결과를 얻기 위해서는 시나리오의 전후 비교만으로는 충분하지 않다. 해당 정책(프로그램)이 없을 경우(이를 반사실 또는 베이스라인이라 칭함) 어떤 상황이 발생하는 지를 이해하는 것이 필수적이다. 반사실(counterfactual)은 정의상 관측이 가능하지 않기 때문에 이를 추정하는 것은 쉬운 일이 아니다. 평가의 설계 및 데이터의 질과 입수 가능성 등이 반사실이 얼마만큼 견실하게 구축될 수 있는지를 결정한다.

4. 시사점

국가 우주개발 프로그램들은 대부분 위험도가 높고, 대규모 예산이 투입되며, 국민적 관심을 받는 프로그램들이다. 따라서 종료된 우주개발 프로그램에 대한 정확한 평가는 향후 우주개발 프로그램 기획의 의사결정에 있어서 상당한 도움을 줄 수 있을 것이다. 현재 우리 정부는 연구개발 프로그램에 대해서 사후 평가를 수행하고 있으며, 우주분야 프로그램들도 예외가 아니다. 하지만 현재의 평가는 프로그램의 기획 단계에서부터 고려된 것이 아니라 프로그램 종료 후 별도로 기획되어 진행되고 있어 관련 자료 수집에 대한 어려움과 별도의 예산 편성 등의 문제가 있다. 이로 인해 평가의 질적 수준에 대한 한계가 있을 수밖에 없는 실정이다. 따라서 우리도 프로그램의 시작 시점부터 평가를 위한 계획과 예산을 반영하는 프로세스를 구축하여 프로그램 진행 과정에서부터 평가를 위한 자료를 수집하고 모니터링하여 프로그램 종료 후 보다 견실한 평가가 이루어 질 수 있도록 할 필요가 있다.