웹기반 학습 사이트 사용성 평가 도구 개발

Abstract

이 연구는 웹기반 학습 사이트의 질을 높이기 위하여 전문가가 사용할 사용성 평가 도구를 개발하여 타당화 하는데 그 목적이 있다. 이를 위하여 사용성 평가 영역 및 각 영역별 항목을 개발하였으며, 평가 영역별 중요도를 도출하였다. 또한 개발된 평가 도구를 가지고 웹기반 학습 사이트 사용성을 전문가가 실제로 평가하여 이를 이용자의 평가 결과와 비교함으로써 타당성을 입증하였다. 이를 위해 먼저 웹 사이트 및 웹기반 학습 사이트의 사용성 평가 영역에 대하여 선행 연구 결과를 분석하였으며, 이를 토대로 사용성 평가 영역 및 항목 초안을 도출하였다. 연구자에 의하여 개발된 사용성 평가 영역 및 항목 초안에 대하여 전문가들의 합의된 의견을 도출하기 위하여 델파이 조사와 표적집단면접법(Focus Group Interview)을 실시하였으며, 평가 영역의 중요도에 따른 가중치를 도출하기 위해 AHP(Analytic Hierarchy Process)를 사용하였다. 또한 이 연구에서 개발된 사용성 평가 도구를 가지고 원격대학에서 활용 중인 웹기반 학습 사이트의 사용성을 실제로 평가해 봄으로써 그 적용 가능성을 살펴보았다. 이 연구에서 밝혀진 중요한 결과를 요약하면 다음과 같다. 첫째, 웹기반 학습 사이트의 사용성 평가 영역과 관련하여 연구자가 선행 연구 분석을 통해 제시한 ‘사이트설계’, ‘콘텐츠’, ’제시내용설계‘, ‘네비게이션’, ‘에러 및 도움처리’, ’표현방식‘의 6개 평가 영역이 ‘학습내용구성’, ‘학습진행방법’, ‘화면표현’, ‘오류 및 도움처리’의 4개 영역으로 변경되어 최종 개발되었다. 둘째, 웹기반 학습 사이트의 사용성 평가 영역별 항목과 관련하여 연구자가 제안한 77개 평가 항목 중 26개 항목이 제외되어, ‘학습내용구성’에 12개 항목, ‘학습진행방법’에 12개 항목, ‘화면표현’에 15개 항목, ‘오류 및 도움처리’에 12개 항목 등 총 51개 항목으로 변경되어 최종 개발되었다. 셋째, 웹기반 학습 사이트의 사용성 평가 영역별로 중요도와 관련하여23명의 전문가가 참여한 AHP 조사 결과 ‘학습내용구성’ 45.7%, ‘학습진행방법’ 26.3%, ‘화면표현’ 17.6%, ‘오류 및 도움처리’ 10.5%로 그 중요도가 나타났다. 넷째, 웹기반 학습 사이트의 사용성 평가 항목에 대한 전문가 집단별(교육공학전공자, 교육공학비전공자) 중요도의 인식 차이를 t검증을 통하여 분석한 결과 총 77개 항목 중 6개 항목에서 전문가 집단 간에 유의미한 차이를 보였다(p<.01). 전문가 집단간에 중요도에 차이를 보인 6개 평가 항목 중 3개 항목은 도움말과 관련된 항목이었으며, 나머지 3개 항목은 콘텐츠 내용의 실생활 부합 여부, 심각한 오류를 힘들게 작동할 수 있도록 제공한 것, 애니메이션이나 동영상의 제어에 관한 것이었다. 이 중 3개 항목만이 최종 평가 항목에 포함되었으며, 이들 항목 또한 2개 전문가 집단 모두 그 중요도를 높이 평가하고 있어 실제 평가 도구 개발에는 영향을 미치지 않는 것으로 판단되었다. 다섯째, 이 연구를 통해 개발된 사용성 평가 도구를 활용하여 전문가가 실제 웹기반 학습 사이트에 대하여 평가한 결과와 이 사이트를 이용한 사용자의 평가 결과가 각 영역별 평가 점수 및 순위에서 일치됨을 확인하였다. 이 연구를 통해 연구자는 다음과 같이 제안한다. 첫째, 이 연구에서 개발된 웹기반 학습 사이트의 사용성 평가 항목은 웹기반 학습 사이트의 다양한 유형을 포괄하는 공통적인 평가 항목 및 중요도를 제안하는 것으로 특정 유형에 따라 평가 항목 및 중요도를 지속적으로 개선할 필요가 있다. 둘째, 이 연구에서 개발된 웹기반 학습 사이트의 사용성 평가 항목은 국내의 웹기반 학습 사이트로 그 적용 대상을 제한할 필요가 있다. 셋째, 이 연구에서 개발된 웹기반 학습 사이트의 평가 항목은 전문가의 발견적 평가를 위한 기준으로 일반 사용자가 이를 활용하여 평가하는 것은 적합하지 않을 수 있다. 하지만 웹기반 학습 사이트를 개발하고자 할 때 사용성을 높이기 위한 지침으로는 활용될 수 있을 것이다. 넷째, 이 연구에서 개발된 평가 도구의 타당성을 확보하기 위해 보다 다양한 연령층에 대하여 이 연구에서 개발된 사용성 평가 도구에 대한 타당성을 검토해볼 필요가 있다. 이상의 연구결과를 통해서 이 연구는 다음과 같은 의의를 지닌다. 이론적 측면에서는 웹기반 학습 사이트가 양적으로 확대되고 있음에도 불구하고 웹기반 학습 사이트의 사용성을 평가하기 위한 기준이 마련되지 않은 시점에서 이를 평가하기 위한 도구를 개발하였다. 이를 위해 교육적 사용성이라는 개념을 정립하였고, 이를 반영한 평가 도구를 개발하였다. 방법론 측면에서는 델파이조사와 표적집단면접법 그리고 AHP를 상호 보완적으로 활용함으로써 이후 다른 분야의 웹 사이트 평가 도구 개발 방법론의 발전적 기틀을 마련하였다. 실제적 측면에서도 향후 웹기반 학습 사이트를 개발함에 있어 사용성에 대한 평가 준거를 개발하여 제공함으로써 향후 사용자들이 보다 쉽고 편리하게 웹기반 학습 사이트를 활용할 수 있도록 하였다는 측면에서 그 효용가치가 높을 것이라고 기대된다.; The purpose of this study is to develop a valid usability evaluation tool for professionals to improve the quality of web-based learning sites. Usability evaluation criteria were developed for this purpose, and the weight for each evaluation category was derived. Also, professionals evaluated actual web-based learning sites with the developed tool to prove its validity. First, existing studies on the usability evaluation criteria of web sites and web-based learning sites were analyzed, and based on the analysis, a draft of usability evaluation categories and items was made. For professionals to reach a consensus on the draft, Delphi research and F.G.I. (focus group interview) were conducted and the weight for each evaluation category was derived using the Analytic Hierarchy Process (AHP). This study also examines the applicability of the developed tool by actually employing it to evaluate the usability of web-based learning sites currently being operated by cyber universities. The key findings of the study are as follows. First, the six evaluation criteria that were identified through analysis of the existing studies on web-based learning sites - site design, content, presentation design, navigation, error and help control, description - were narrowed down to four criteria in the final tool development: composition of learning contents, instructional process, screen design, and error and help control. Second, of the 77 items that were proposed under the criteria for evaluating the usability of web-based learning sites, 26 items were removed and as a result, 51 items were applied in the final development: 12 items in composition of learning contents; 12 items in instructional process; 15 items in screen design; and 12 items in error and help control. Third, through AHP, in which 23 specialists took part, the importance of each criteria in evaluating the usability of web-based learning sites was derived as follows: 45.7 percent for composition of learning contents; 26.3 percent for learning process; 17.6 percent for screen design; and 10.5 percent for error and help control. Fourth, t-test was used to measure the difference between the two specialist groups' (majors and non-majors in educational technology) opinions on the priority of web-based learning site usability evaluation items. The results showed that there was significant difference (p<.01) between the two groups for 6 out of 77 items. Of the 6 evaluation items, 3 were related to help and the others were: the appropriateness of the content in real life; serious error that caused difficulty in operation; and video and animation control. Only 3 of the items were included in the final evaluation items, and since they were all recognized as important by both groups they were later judged as having little influence on the actual development of the evaluation tool. Finally, professional evaluation using the usability evaluation tool developed in this study and evaluation by actual site users coincided in the scores and rankings of each criteria. The results of the study suggest the following. First, the web-based learning site evaluation items that were developed in this study are common evaluation items and weights for various types of web-based learning sites. Continued improvement is needed in developing evaluation items and weights according to specific types of web-based learning sites. Second, application of the web-based learning site evaluation items that were developed in this study should be limited to web-based learning sites in Korea. Third, the web-based learning site evaluation items developed in this study are for the heuristic evaluation of professionals and may not be suitable for general user evaluation. However, when developing web-based learning sites, these items may be used as a guideline to increase usability. Fourth, the evaluation tool developed in this study should be checked among more varied age groups to test and ensure its validity. From the abovementioned results, the significance of this study can be summarized as follows. In the theoretical aspect, the evaluation tool was developed at a time when web-based learning sites are experiencing quantitative growth but when no standards are available to evaluate their usability. The concept of pedagogical usability was first established and then reflected in the evaluation tool that was developed. In the methodological aspect, complementary use of Delphi research, focus group interview, and AHP has established a developmental framework for the methodology of developing web site evaluation tools in other areas. In the practical aspect, the study is expected to be highly useful since it develops and provides evaluation standards for the usability of future web-based learning sites and thereby enables users to utilize such sites more easily and conveniently.