Fixed Parameter Calibration for Linking Multidimensional IRT Scales

Abstract

When multiple forms exist for a standardized educational test, a single scale should be maintained over administrations of the forms for test scores from each form to be interchangeably used, and fixed parameter calibration (FPC) has been a useful linking method when item response theory is used. If multiple skills or traits are necessary when solving a certain types of test items, multidimensional item response theory (MIRT) models are useful. This study proposed FPC as a linking method for MIRT. The model considered in this study is a two-parameter logistic MIRT model as a compensatory MIRT model. To examine how FPC functions for MIRT linking, a simulation analysis was conducted for a 50-item test with 1,000 examinees. The simulation factors were the number of common items, increased levels of ability means, and varying degrees of latent trait covariances. A Markov chain Monte Carlo estimation algorithm was employed for parameter estimation. As a result, item parameter recovery was acceptable overall. Item difficulty parameters were most accurately estimated, followed by item discrimination parameters, latent trait means, and latent trait variances-covariances. No systematic biases were observed although there was some variability across simulation conditions. Generally, the number of common items was the most influential factor for accurate estimation of item and person parameters, and the influences of the other conditions were minimal. The utility of the proposed method and directions for future research were also discussed. 문항반응이론(item response theory: IRT)을 사용하는 검사 프로그램에서, 서로 다른 동형검사에 응시한 피험자의 능력 점수를 상호 비교하기 위해서는 하나의 능력척도가 개발되고 유지될 필요가 있다. 척도연계 방법과 더불어 가교-고정 모수 추정(fixed parameter calibration: FPC) 방법은 문항모수와 능력분포를 기 개발된 능력척도 상에서 추정함으로써 그 능력척도를 유지하는 데 활용된다. 지금까지 FPC 방법은 주로 일차원 IRT 모형을 사용하는 검사에 적용되어 왔다. 그러나 검사 문항에 답하는 데 다수의 기능이나 능력이 필요하다면, 다차원 문항반응이론(MIRT) 모형이 문항 분석에 보다 적합하다. 본 연구는 MIRT 척도연계의 한 방법으로 FPC의 활용 가능성을 탐색하고자 하였다. 분석에 사용된 모형은 다차원 2모수 로지스틱(M2PL) 모형이었다. MIRT 척도연계(즉, 척도 유지)를 위해 FPC이 어떻게 기능하는지를 검토하기 위해서, 50-문항 검사에 1,000명의 피험자가 응시하는 상황을 가정하고 모의실험을 수행하였다. 모의실험 요인으로 공통 문항의 수, 능력차원의 평균, 능력차원의 공분산 등을 고려하였다. 모수 추정을 위해 MCMC (Markov chain Monte Carlo) 알고리즘을 사용하였다. 주요 결과로서, 문항모수의 복원은 전반적으로 양호하였으며, 특히 곤란도 모수가 가장 정확하게 추정되었고 다음으로 변별도 모수, 피험자의 능력 평균, 분산과 공분산 순이었다. 편파(bias)는 일부 조건에서 비교적 큰 값을 보이는 경우가 있었으나 모의실험 조건에 따라 체계적인 변화를 보이지는 않았다. 전반적으로, 공통 문항의 수가 추정의 정확성에 가장 큰 영향을 미쳤으며 다른 조건에 의한 차이는 대체로 미미하였다. 제안된 FPC 방법의 실제 활용과 후속 연구 방향에 대해서도 논의하였다.