기술영향평가의 메타평가 모형 개발 및 적용

Abstract

본 연구는 기술영향평가의 메타평가 모형을 개발하고 이를 적용함으로써 그 동안 실시된 우리나라 기술영향평가에 대해 종합적으로 분석·평가하는데 목적이 있다. 이를 위하여 이론적 검토를 거쳐 기술영향평가의 메타평가 모형을 설계하고 메타평가 모형에 따른 평가지표들을 개발하여 검증하였으며, 나노생명정보융합기술, 나노기술, 비접촉무선인식기술, 나노소재기술, 유비쿼터스컴퓨팅기술, 줄기세포기술 등 6개 기술분야에 적용하였다. 기술영향평가의 본질을 규명하는 과정에서, 기술영향평가의 패러다임이 정보제공에 초점을 둔 전통적 의미의 기술영향평가에서 일반대중의 참여를 강조하는 구성적 의미의 기술영향평가로 변모하고 있음을 알 수 있었다. 그리고 그 속성상 광의의 정책평가의 유형으로 인식할 수 있으나 협의의 개념을 적용할 경우 정책평가와 구분되는 정책분석에 근접한다고 할 수 있다. 메타평가에 관한 선행연구를 검토한 결과, 메타평가란 평가의 질적 개선을 통한 평가결과의 활용도를 제고하기 위하여 감독자의 입장에서 최초평가에 대해 그 타당성을 규명하는 일련의 작업으로서 그 대상은 평가수행뿐만 아니라 전반적인 평가시스템을 포함한다. 그리고 이를 평가결과의 활용도를 제고하기 위한 수단으로서 평가의 가치와 장점을 확인하는 총괄적 메타평가로 인식하였다. 공공정책의 입장에서 메타평가의 기본모형을 도출하고 이를 기반으로 기술영향평가의 메타평가 모형 즉, PIPOU 메타평가 모형을 설정하였는데, 기획(planning), 투입(input), 수행(process), 결과(output), 활용(utilization)의 순환과정으로 파악할 수 있다. 이는 메타평가를 체계론적 관점에서 파악한 것으로 평가결과의 환류를 통한 평가시스템 개선이라는 메타평가의 고유목적에 보다 용이하게 접근할 수 있을 것이다. 주요관점으로서, 평가기획요소에는 평가목표의 적합성, 평가설계의 타당성, 대상기술의 적정성 등을, 평가투입요소에는 대중참여의 적절성, 평가인력의 적정성, 평가조직의 적합성, 평가예산의 적절성, 평가자료의 충실성 등을, 평가수행요소에는 평가방법의 적합성, 평가과정의 적절성 등을, 평가결과요소에는 평가결과의 신뢰성, 평가결과보고의 충실성 등을, 평가활용요소에는 평가결과의 활용성, 평가결과의 확산성 등을 제시하였다. 그리고 기술영향평가의 메타평가를 위한 평가지표 54개를 개발하였다. 이론적 논의를 통해 설정한 메타평가 모형 및 평가지표에 대한 타당도 검증을 위해 델파이(Delphi)법을 적용하였다. 델파이 조사는 정부출연연구소 및 대학 소속의 기술영향평가, 메타평가, 정책평가 전문가 12명으로 구성하였으며 총 3회에 걸쳐 이루어졌다. 그 결과 평가투입요소의 대중참여의 적절성이 삭제되고, 평가결과요소의 평가결과의 유용성이 새롭게 추가되었다. 최종적으로 48개의 평가지표가 확정되었는데, 평가기획요소 12개, 평가투입요소 11개, 평가수행요소 9개, 평가결과요소 9개, 평가활용요소 7개이다. 그리고 평가요소별 가중치를 설정하고 해당 평가요소내의 14개 평가항목별로 가중치를 부여하였다. 다음으로 기술영향평가의 대상기술선정위원회 및 기술영향평가위원회 위원들을 대상으로 신뢰도 검증을 실시하였다. 총 26명의 설문답변 결과 Cronbach's α값이 평가항목 및 평가요소에서 .60이상이었으며, 전체적으로는 .9448로 신뢰도가 높은 것으로 나타났다. 평가지표들에 대한 중요도의 평정값 또한 48개 평가지표 모두 중앙값 3.0보다 높게 나타나 타당한 것으로 검증되었다. 메타평가 방법으로서, 평가항목별 점수는 매우우수(5점), 우수(4점), 보통(3점), 미흡(2점), 불량(1점) 등 5점 척도로 이루어진 하위 평가지표들의 평균값으로 하였으며, 평가요소별 평가는 가중치를 반영한 각 평가항목별 점수를 100점 만점으로 환산하였다. 그리고 이들 평가요소별 점수의 평균값을 종합점수로 도출하였다. 평가요소별 점수 및 종합점수는 매우우수(84점이상), 우수(67점이상-84점미만), 보통(50점이상-67점미만), 미흡(25점이상-50점미만), 불량(25점미만) 등의 5단계로 평가하였다. 기술영향평가에 대한 메타평가는 6개 기술분야의 평가위원들을 대상으로 하였으며, 총 52개의 설문지를 분석하였다. 메타평가 결과, 종합적으로 ‘우수’한 것으로 나타났으나 70.26으로서 동일 영역 내에서는 낮은 수준이었다. 평가요소별로는 평가기획(74.37), 평가투입(71.81), 평가수행(71.64), 평가결과(73.84) 등에서는 ‘우수’한 반면, 평가활용(59.63)은 ‘보통’인 것으로 나타났다. 한편, 연구집단과 대중집단간 차이분석 결과(t-test), 평가기획요소의 평가설계의 타당성, 평가수행요소의 평가방법의 적합성, 평가과정의 적절성, 평가활용요소의 평가결과의 활용성, 평가결과의 확산성 등 5개 평가항목이 유의수준 p<.05에서 차이가 나타났으며, 전체적으로 대중집단은 연구집단과 비교하여 한 단계 낮은 ‘보통’으로 평가하였다. 이러한 차이는 대중집단이 기술영향평가를 참여적 관점에서 파악하고 있기 때문인 것으로 보인다. 년도별 및 기술분야별 차이를 분석한 결과(One-Way ANOVA)에서는 유의수준 p<.05에서 차이를 보이지 않아 기술영향평가의 평가시스템 상에 큰 변화가 없었다는 것을 알 수 있었다. 그리고 다른 평가요소에 비해 평가가 낮은 평가활용요소의 평가항목들에 대한 상관관계 분석결과(Pearson)를 살펴보면, 유의수준 p<.05에서 평가결과의 활용성은 평가설계의 타당성, 평가방법의 적합성, 평가결과보고의 충실성, 평가자료의 충실성, 평가과정의 적절성 등이, 평가결과의 확산성에서는 평가설계의 타당성, 평가방법의 적합성 등이 r≥.5로서 높은 正(+)의 상관관계를 보였다. 연구결과의 시사점으로는 기술통제 측면을 보다 강화하고 기술영향평가의 패러다임 변화 추세에 부합하기 위한 기술영향평가의 모델로서 담론모델이 추구하는 접근방법의 적극적인 수용을 제시하였다. 본 연구는 다음과 같은 점에서 함의를 찾을 수 있다. 기술영향평가의 본질을 규명하였다. 메타평가에 관한 연구영역의 확장을 꽤하였으며, 메타평가의 연구방법론에 대한 새로운 접근을 시도하였다. 그리고 기술영향평가에 적용 가능한 메타평가모형을 제시하고 이를 적용함으로써 정책적인 시사점을 도출하였다.; The purpose of this study is to analyze and evaluate technology assessment in Korea by developing meta-evaluation model and applying it. In order to do this, meta-evaluation model for technology assessment was designed through theoretical review. Evaluation items and indicators were developed and verified by using the meta-evaluation model. And they were applied to six technology areas(nano/bio/information technology; nano technology; radio frequency identification technology; participation of public, evaluator, evaluation organization, evaluation budget and information in evaluation input; evaluation method and procedure in evaluation process; evaluation product(credibility) and reporting in evaluation output; and impact on policy and public in evaluation utilization. And fifty four evaluation indicators were developed for PIPOU meta-evaluation. Delphi method was used to verify the validity of meta-evaluation model and indicators determined through the theoretical review. Delphi survey was consisted of twelve experts from government research supported institutes and universities in the area of technology assessment, meta-evaluation and policy evaluation. And it was performed three rounds in total. As a result, participation of public in evaluation input was removed and evaluation product(availability) in evaluation output was added. Eventually, total forty eight evaluation indicators were determined, such as twelve in evaluation planning, eleven in evaluation input, nine in evaluation process, nine in evaluation output and seven in evaluation utilization. Evaluation weight was firstly set for evaluation components, and the weight was assigned to evaluation items in each evaluation component. Then, the reliability verification was performed by the members of Technology Selection Committee and Technology Assessment Committee. The survey of twenty six members turned out that Cronbach's α was over .60 in evaluation items and components, and the overall reliability was .9448 which was high enough. Rated values on the importance of evaluation indicators were also over median 3.0. Therefore, evaluation indicators were verified to be adequate in all forty eight indicators. The method of meta-evaluation was as follows. The scores of evaluation items were measured by mean values of the scores of the constituting evaluation indicators with five points scale of excellent(5 point), very good(4 point), good(3 point), poor(2 point) and very poor(1 point). And the scores of evaluation components were calculated, on a maximum scale of 100 points, as the scores of each evaluation item multiplied by evaluation weight. And final score was derived from the mean value of those scores of evaluation components. The scores of evaluation components and final score were set by five levels such as excellent(84 or higher), very good(over 67 and below 84), good(over 50 and below 67), poor(over 25 and below 50) and very poor(25 or lower). Meta-evaluation for technology assessment was executed with evaluation experts from six technology areas. And total fifty two questionnaires and answers were analyzed. As a result of meta-evaluation, it was indicated 'very good' in overall with 70.26 points but in a lower side in that level. For evaluation components, they were indicated 'very good' in evaluation planning(74.37), evaluation input(71.81), evaluation process(71.64), evaluation output(73.84) but 'good' in evaluation utilization(59.63). As a result of difference analysis(t-test) between research group and public group, five evaluation items showed difference within significance level p<.05, such as evaluation design in evaluation planning, evaluation method and procedure in evaluation process, impact on policy and public in evaluation utilization. Public group's evaluation resulted as 'good', which was one level lower than research group. This difference seemed to come from the public group considering technology assessment in the view of participation. In the analysis of difference(One-Way ANOVA) by year and by technology area, it turned out that there was almost no difference within significance level p<.05. It is recognized that there was no significant change in the evaluation system of technology assessment. And the analysis of correlation between evaluation items was performed within significance level p<.05. It showed that the impact on policy in evaluation utilization(which was evaluated as lower than others) had high correlation(+) with evaluation design, evaluation method, evaluation reporting, evaluation information and procedure, and also showed that the impact on public in evaluation utilization had high correlation(+) with evaluation design and method, in Pearson correlation coefficient r≥.5. For research implications, the approach method which Discursive Model pursues, was suggested to be adopted positively in the model of technology assessment in order to strengthen the technology regulation side more and to meet with the trend of paradigm change of technology assessment. This study shows the significant meanings in the following points of view: examining the essence of technology assessment, pursuing expansion of research area in the meta-evaluation, trying a new research approach method in meta-evaluation, and presenting an applicable meta-evaluation model to technology assessment and suggesting policy implications by applying it.; ubiquitous computing technology). On examining the essence of technology assessment, it was found that the paradigm of technology assessment is being transformed from the traditional technology assessment which focuses on providing information into the constructive technology assessment which emphasizes participation of public. And the technology assessment could be considered as a type of policy evaluation in a wide sense as well as a type of policy analysis in a narrow sense. From the literature review, meta-evaluation could be defined as a series of works to examine the adequacy of the original evaluation in supervisor's view to enhance utilization of evaluation result through an improvement on the quality of evaluation. And its objects could include not only evaluation process but overall evaluation system as well. On this study, the meta-evaluation was considered as a summative meta-evaluation which confirms the worth and the merit of the evaluation to improve utilization of evaluation result. Basic model of meta-evaluation was derived from a viewpoint of public policy. Based on it, a meta-evaluation model for technology assessment, i.e. PIPOU meta-evaluation model, which shows a circulation of 'planning, input, process, output, utilization', was postulated. This model could be understood in a systematic point of view. And it will help to approach the original purpose of meta-evaluation, the improvement of evaluation system through the feedback of evaluation result, easily. As an important point of view, the five components of PIPOU meta-evaluation model included sub-items as follow: evaluation purpose, evaluation design and objective(technology) in evaluation planning