Computerized Adaptive Testing and Learning Using Bayesian Network

Abstract

많은 학습 시스템에서 학습자의 수준에 맞는 맞춤학습을 위해서 학습자의 정확한 능력을 측정하는 평가 방법이 필요하다. 기존의 지필고사는 이를 위해서 학습자의 능력과 관련된 많은 수의 문항을 똑같은 시간과 순서대로 풀게 되므로 평가의 효율성 면에서 문제를 가지고 있다. 따라서 이러한 지필고사 방식의 문제점을 해결하기 위해 문항정보이론과 컴퓨터의 처리성능을 결합시킨 컴퓨터화된 적응적 검사(CAT)에 대한 연구가 활발히 진행되고 있다. CAT는 지필고사의 문제점을 상당부분 해결했으나 문항간 연관성에 대해서는 독립을 가정하여 그렇지 않은 경우에는 비효율성을 가져올 수 있다. 본 논문에서는 문항반응이론 방식의 CAT가 가진 문제점을 해결하면서 성능이 개선된 베이지안 네트워크를 도입한 CAT를 제안한다. 이는 베이지안 네트워크에 평가문항을 세부분야별로 대입하여 한 문항에 대한 응답으로 그와 연관된 분야의 학습자 능력을 추론한다. 또한 실험을 통해 기존의 기법을 사용했을 때에 비해 학습자의 실제 능력치에 수렴하는 속도가 증가함을 보인다.For the personalized learning corresponding with level of learners, a good estimation method which can exactly measure proficiency of the learners is needed. The existing estimation methods, such as paper-based exam, are inefficient because they need many time and cost in order to estimate proficiency of the learner. To overcome such problem, computerized adaptive testing (CAT) that combines information theory and computational power of the computer has been extensively studied. Item Response Theory (IRT)-based CAT is a good solution which can relax the problem of traditional estimation methods; however it assumes that all items are mutually independent between the items. If not, it may cause inefficiencies in testing. In this paper, we propose a novel CAT using Bayesian networks that can solve the problem of IRT-based CAT and improve the performance of estimation. It assigns question items to each node of the bayesian networks, and estimates proficiency of the learner from a response to question related to abilities of the learner. In the experiment, we show that our novel CAT using bayesian networks can effectively improve the ratio of convergence required to estimate exact proficiency of the learner as compared with the conventionally well-known CAT approaches