自願奉仕센터 評價에 대한 메타評價

Abstract

본 연구는 자원봉사센터 평가의 메타평가 모형을 개발하고 이를 적용함으로써, 서울시의 25개 자치구 자원봉사센터 평가에 대한 평가수준을 종합적으로 검토한 것이다. 이를 위해 기존문헌 검토 후 포커스그룹의 참여 과정을 거쳐 모형을 개발하고 검증하였으며, 서울시의 자치구 자원봉사센터 평가에 적용하였다. 모형 개발을 위해 기존문헌의 이론적 논의에만 천착하지 않고 실제적 논의도 함께 고찰하였다. 이론적 논의에서는 자원봉사센터 이론과 메타평가 이론을 살펴보았고, 실제적 논의에서는 자원봉사센터의 운영 현황 및 평가 실태를 검토하였다. 이를 통해 자원봉사센터 평가에 대한 메타평가 모형을 구축하고 포커스그룹을 대상으로 양적·질적 방법을 병행하여 모형의 적합도를 제고하였다. 이러한 과정을 거쳐 자원봉사센터 평가에 대한 메타평가 모형인 EITOU (Environment, Input, Transformation, Output, Use) 모형을 개발하였다. EITOU모형의 평가기준은 5개 평가차원, 15개 평가항목, 47개 평가세부지표인 3단계의 계층구조로 이루어졌다. 자세히 살펴보면, 1단계는 평가차원으로, 평가환경, 평가투입, 평가전환, 평가산출, 평가활용으로 구성되어 있다. 2단계는 평가항목으로, 각각의 평가차원 내에 2~4개의 평가항목을 배치하였다. 3단계는 평가세부지표로, 각각의 평가항목 내에 2~5개의 평가세부지표로 구성하였다. 이처럼 3단 구성을 취함으로써 기존의 연구와 달리, 다차원적 평가관점을 볼 수 있게 하였다. 아울러 이러한 평가과정은 시스템 이론(System theory)과 같이 순환적 관점에서 이해될 수 있을 것이다. 이는 평가시스템 개선이라는 메타평가의 고유 목적에 보다 쉽게 접근할 수 있다. 한편, 평가모형 적용 후 이를 환산하여 평가하는 방법은 평균값과 가중치를 고려하여 100점 만점으로 환산하였다. 환산 후 점수에 대한 평가는 매우우수(85점 이상), 우수(69점~84점), 보통(53점~68점), 미흡(37점~52점), 매우미흡(36점 이하)의 5단계로 평가하였다. 이는 종래 평가의 관대함을 지양하고 엄격한 가이드라인에 따라 평가되었음을 의미한다. 개발된 메타평가 모형에 대한 적용은 2003년~2008년까지 서울시 자치구 자원봉사센터 평가위원으로 참여한 총 37명의 평가위원을 대상으로 설문을 실시하였다. 메타평가 모형 적용결과, 서울시의 자치구 자원봉사센터 평가의 전체평균값은 3.14점(5점 척도)이었고, 가중치 .20을 반영하여 환산한 값은 62.8점으로 ‘보통’(53점~68점) 수준에 해당됨을 알 수 있었다. 그러나 전반적 평가의 수준은 상위기준에 의한 값으로, 이에 대한 보다 깊이 있는 이해를 위해서는 다양한 수준의 값을 통해 세밀히 살펴보아야 한다. 먼저, 평가차원별로 살펴보면 모든 차원에서 ‘보통’을 보였지만, 환산점수는 55.2점에서 67.2점으로 분포되어 있어 구간 내 편차가 12.0으로 확인되었다. 즉, 평가차원 내에도 그 수준의 높낮이가 컸음을 의미한다. 아울러 보통 수준의 평가점수가 53점 이상 68점 이하임을 감안할 때 각각의 경계선에 거의 근접해 있음을 알 수 있다. 평가항목별로 살펴보면, 우수 3개, 보통 11개, 매우미흡 1개로 나타났으며, 매우우수에 대해서는 단 1개의 항목도 존재하지 않았다. 총 47개의 평가세부지표별로 살펴보면, 우수 12개, 보통 23개, 미흡 8개, 매우미흡 4개로 나타났으며, 매우우수는 단 1개의 지표에서도 존재하지 않았음을 확인하였다. 특히, 평가차원 중 평가산출이 다른 차원에 비해 상대적으로 평가점수가 높았지만, 평가산출 내 평가보고서와 평가보고서 내 평가세부지표 3개 모두에서 ‘매우미흡’을 보이고 있음은 시사하는 바가 크다. 한편, 평가집단별 차이분석 결과(t-TEST), 평가차원 중 평가산출, 평가항목 중 평가조직이 .05 수준에서 유의미한 차이를 보였다. 반면, 대부분의 평가기준은 집단 간 유의미한 차이를 보이지 않았다. 이는 자원봉사센터 평가에 참여한 학계·현장 전문가가 극히 제한적이고 그들 간에 빈번한 접촉이 있었기 때문이라는 추론을 가능하게 한다. 평가연도별 분산분석 결과(ANOVA), 평균값의 차이가 있었지만 이 또한 대부분 유의미한 차이가 아니었음도 확인할 수 있었다. 상관관계 분석결과, 평가환경은 모든 평가차원에서 중요한 변인임이 확인되었다. 이는 평가활용에 대한 전체평가가 낮음을 고려할 때, 평가환경에 대한 세심한 고려가 이루어질 필요가 있음을 시사한다. 평가환경 구축이 평가성공을 결정한다고 볼 때 정책적 우선순위에 두어야 할 것이다. 본 연구가 시사하는 바는 크게 5가지로 제시할 수 있다. 첫째, 자원봉사센터평가의 본질이 무엇인지를 고민함으로써 메타평가의 대상인 조직의 내재적 특성에 관심을 가졌다는 점이다. 둘째, 자원봉사센터 평가에 대한 메타평가 모형이 향후 자원봉사센터 평가시스템에 활용되어 자원봉사센터의 발전을 위해 본 논문이 일정 부분 기여할 수 있을 것이라는 점이다. 셋째, 메타평가 연구의 확장을 들 수 있다. 그간의 연구는 교육 분야, 기술영향평가 분야, 환경평가 분야 등에서 발견되고 있으나, 자원봉사센터분야는 물론, 자원봉사 분야에서의 메타평가 연구는 최초로 이루어졌다고 할 수 있다. 국내뿐만 아니라 해외에서도 자원봉사센터 평가에 대한 메타평가가 실시되지 않았다는 점은 본 연구의 시론적 성격을 대변한다고 할 것이다. 넷째, 메타평가의 방향성에 대한 새로운 시도와 함께 단계에 대한 확장이 있었다는 점이다. 마지막으로, 평가등급 배점의 새로운 시도를 들 수 있다. 본 연구는 평가의 관대함을 지양하고 평가의 엄격성을 한 차원 제고하였다.; This study is to develop a meta-evaluation model and then apply it to the assessment of Volunteer Centers where 25 Autonomous Districts (what we call “Gu”) in Seoul currently operate. I believe the study would help us to have an opportunity to evaluate these regions systematically, and this module was drawn and verified through active and rigorous participation of the group focused, not to mention referring to the data or studies that were previously done. In addition, the study was extensively carried out not only with theoretical approach that shows in current data, but with practical discussions as well. First, the theoretical study could be done with the help of Volunteer Center Theory and Meta Theory. As for the wide and vivid talks, I looked into the current and actual circumstances of Volunteer Center as well as I investigated its evaluation records. By doing so, I could set up a meta-evaluation model suitable for Volunteer Center. At the same time, I also took into consideration the suitability for the meta-evaluation with purposeful sample of 12 persons, keeping in mind the balance of qualitative and quantitative study. EITOU (Environment, Input, Transformation, Output, Use) meta-evaluation is the model that I induced through these procedures. EITOU is basically composed of 3 phases of evaluation indicators 5 dimensions, 15 categories and 47 detailed items. To be more specific, 5-dimension evaluation indicators consist of Environment, Input, Transformation, Output and Use in the first phase and then 2 to 4 categories are followed in each dimension in the second phase. As last phase, 2 to 5 detailed items are arranged in each category. Having these 3 phases of evaluation indicators positioned, unlike the research that was previously done, I believe that we could have a chance to approach this study from various points of view with multilateral angles and this improved evaluation system can also direct us to analyze the study with more ease and accuracy as well as correspond with our original purpose of meta-evaluation study. With regard to score in meta-evaluation, a hundred-point system as full marks is utilized with average and weight put, indicating that 85 points & above is 'Excellent', below 84 & above 69 'Very Good', below 68 & above 53 'Good', below 52 & above 37 'Poor', and below 36 points 'Very Poor', which are what we call '5-score system'. By expelling any generosity from evaluation and applying severe guideline at the same time, we could draw the answer of the study as accurate as possible. With the meta-evaluation model that I developed, I conducted a questionnaire survey of 37 persons who had worked as assessment committee in the Volunteer Centers of the Seoul Autonomous Districts from 2003 to 2008. As a result of the survey I found out that the average value in all autonomous districts is 3.14 (among 5 full marks) with 0.20 of its gravity (weight). When this data is converted to 100-point system, the score is 62.8, which is a 'Good' level as indicated above. But we need to take a close look at this result more carefully. As far as dimension evaluation indicators are concerned, the result shows 'Good' in all dimensions. When it comes to 100-point score system, it ranges from 55.2 to 67.2, which is 12 points of deviation between the dimensions. In other words, we can say that the difference of these two indicators between high and low points is quite big. Furthermore, we can also tell these two indicators are almost near the boundary line of below 68 & above 53 points in 100-point system. As for category sections, I got the answers as follows; 3 indicators of 'Very Good', 11 indicators of 'Good' and 1 indicator of 'Poor'. No indicator of 'Excellent' is found. Taking a look at detailed items, we found out 12 indicators are 'Very Good', 23 indicators 'Good', 8 indicators 'Poor' and 4 indicators 'Very Poor'. There is no indicator of 'Excellent' in detailed items, either. Come to think of all the scores that I had, it would be full of suggestions for us to find out that the evaluation report in Output and 3 indicators of its lower class still show a 'Very Poor' grade even though Output is the highest grade of 5 evaluation dimensions. In other words, the outcome of the evaluation has a positive perspective in general. However, it would be also regretful for us to see there is no evaluation report managed as this report surely compiles outcome. With regard to the analysis of value difference (t-Test) between the groups, we found out there is a significant difference with p<.05 between Output at evaluation dimensions and Organization & Result at evaluation categories. Whereas, we realized that there is no significant difference between the groups participated. We believe this is mainly due to the study results that there are limited professional and field experts who took part in the study and they had frequent contacts with each other. As for yearly analysis (ANOVA), even though there is a small difference between the years, it is very tiny enough for us to disregard it.