The Design and Application of a Meta-evaluation Model for National R&D Programs

Abstract

Meta-evaluation for national R&D programs should be established within the framework of whole R&D system linked with science and technology needs and objectives. The R&D program evaluation system can be understood as a circulation of input, implementation, output, and utilization. In the result of the Delphi survey, which consisted of twenty-four experts (performed in three rounds), twenty-four indices were developed. The meta-evaluation model included sub-items which were important points of view of it as follow (eight items): propriety of planning, sufficiency of information, and propriety of evaluators in evaluation input; appropriateness of method and appropriateness of procedure in evaluation implementation; credibility of output in evaluation output; and usefulness of report and application of evaluation utilization. As the application of the meta-evaluation model, the total mean was lower than 3.0 of the median value of 2.73 (5 point Likert scale). Finally, it was suggested that the feedback of evaluation results should be more enforced to R&D program improvement particularly (evaluation utilization 2.50). 국가연구개발사업에 대한 메타평가는 과학기술수요와 목표와 연계된 국가전체의 연구개발시스템의 틀 안에서 구축되어야 한다. 연구개발사업평가시스템은 투입, 수행, 산출, 활용의 전 과정으로 이해될 수 있다. 전문가 24명이 참여한 전문가 델파이기법을 통하여 24개의 평가지표가 개발되었다. 메타평가 모델은 중요한 관점 8개의 하위시스템을 포함하고 있다. 8개 하위시스템에는 기획의 적실성, 정보의 충실성, 평가투입에서 평가자의 적정성, 평가수행과정과 방법의 적절성, 평가활용보고와 응용의 유용성등이 포함된다. 메타평가모형의 활용방법으로서 평정점수의 평균은 5점척도 기준으로 2.73이며, 이는 평가점수의 중앙값 3.0보다 낮게 나타났다. 평가결과의 환류는 연구개발프로그램의 개선에 특별히 강화될 것을 제언한다.