일차의료 임상수행능력 평가도구로서 진료수행시험의 타당도

Abstract

가정의학 전문의의 진료능력을 총체적으로 평가하려면, 일차진료의사로서 가정의가 수행해야 하는 임상 지식을 비롯하여, 의사로서 반드시 갖추어야 할 기술 및 태도까지 평가하여야 한다. 일부 전문과목의 경우 전공의를 대상으로 진료능력을 평가하려는 시도들이 이루어지고 있다. 그러나 의과대학 학생을 대상으로 진료수행시험의 신뢰도와 타당도를 검정하기 위한 국내연구들은 있었지만, 전공의를 대상으로 한 국내연구는 아직 없었다. 이에, 본 연구는 진료수행시험을 의과대학 학생, 가정의학과 전공의 및 전문의를 대상으로 시행하여 첫째, 진료수행시험이 가정의학 전공의와 전문의의 임상수행능력을 평가하는 데 신뢰도와 타당성이 있는 시험인 지를 검정하고자 하였다. 둘째, 진료수행시험을 통해 수련의 경험에 따른 차이를 검정할 수 있는 지 평가하고자 하였다. 의과대학 학생 20명, 1년차 및 3년차 전공의 각 20명, 가정의학 전문의 20명을 대상으로 5개 시험방(station) 진료수행시험을 치르게 하여 신뢰도를 측정하였다. 각 군간 평균총점 및 영역별(인사하기, 병력 청취, 신체검사, 임상예절, 정보 공유, 환자-의사관계) 성적과 총괄점수를 비교하였다. 사이시험 성적과 합격/불합격 여부 환산점수를 각 군별로 비교하였다. 의사실기시험 합격기준설정연구(박훈기 등, 2006)를 통해 얻어진 문항별 합격 기준점수를 사용하여, 각 군별 불합격률을 조사하였다. 피시험자에게 사례의 길이, 표준화 환자 현실성, 시험 난이도, 이전 진료수행시험 경험 및 전공의 및 전문의 시험으로서의 적절성과, 일차의료의 시험으로서의 적절성 등을 설문조사하였다. 연구 결과는 다음과 같다. 1. 가정의학 전공의 및 전문의의 임상수행능력을 측정하기 위한 진료수행시험은 일차의료인의 속성에 비추어 임상 기술과 태도 및 지식까지 평가할 수 있는 신뢰도(Cronbach's alpha 0.67)와 적절한 얼굴타당도를 가진 시험방법이다. 2. 학생, 1년차 및 3년차 전공의, 전문의 간에 진료수행시험의 평균 총점의 차이 및 영역별(병력청취, 신체검사, 정보 생산 및 가공, 환자교육, 환자-의사 관계) 성적 차이를 관찰할 수 없었다. 인사하기와 임상예절의 성적은 학생군에 비해 전공의 및 전문의 군에서 현저하게 낮았다(인사하기; 학생 99.3±3.0, 전공의 1년차 75.3±23.4, 전공의 3년차 80.3±24.8, 전문의 74.3±22.9, p<0.001, 임상예절; 학생 75.3±11.7, 전공의 1년차 53.8±11.7, 전공의 3년차 52.5±12.2, 전문의 54.7±12.7, p<0.001). 3. 통계적으로 유의하지 않았지만, 신체검사 영역의 성적은 전공의 1년차 군에서 학생과 전공의 3년차 군보다 낮았다(학생 51.6±14.1, 전공의 1년차 42.5±13.9, 전공의 3년차 54.0±17.4, 전문의 48.8±14.6, p=0.098) 4. 학생, 1년차 및 3년차 전공의, 전문의 군 간에 총괄점수의 차이는 관찰되지 않았지만, 합격/불합격 경계선 점수를 환산한 점수는 학생보다 전공의 및 전문의 군에서 높았다(학생 67.0±8.7, 전공의 1년차 81.5±16.3, 전공의 3년차 88.0±12.4, 전문의 88.0±15.8, p<0.001). 5스테이션으로 구성된 진료수행시험의 총득점 기준 불합격자의 비율은, 전공의 1년차 군에서 10%였다. 일부 사이시험의 정답률은 전공의보다 전문의 군에서 높았다. 5. 전공의 및 전문의 군 모두에서 낮은 성적을 보이는 위험군이 관찰되었다. 이와 같은 연구 결과들을 종합하였을 때, 가정의학 전공의 및 전문의를 대상으로 일차의료 임상수행능력 평가도구로서 진료수행시험을 활용하려면, 시험방(station)의 수를 더 늘려 적절한 신뢰도를 확보하여야 한다. 또 타당도를 더 높이기 위해서, 근거에 기초한 사례 시나리오 및 점검표 개발, 사이시험 반영 비율 조정, 사이시험 채점방식에 대한 추가적인 검토가 필요하다. 진료수행시험의 총 득점 및 영역별 득점은 수련기간의 차이에 따른 차이를 보이지 않았고, 졸업 후에 기대되는 진료 속성 변화가 관찰되지 않았다. 졸업 후 기대되는 속성 변화가 관찰되지 않았던 점은 졸업 후 교육과정에 대한 검토가 필요함을 시사한다. 아울러 진료수행시험은 영역별로 필요한 전공의 수련 교육내용을 확인하고 피드백 할 수 있는 효과적인 도구로서 사용될 수 있다. 의료 전문가로서 전문성을 유지하려면 지속적으로 의학적 능력을 갖추어야 하지만, 의사 자격시험과 전문의 자격시험을 통과한 전공의 및 전문의 군 모두에서 낮은 성적을 보이는 위험군을 관찰할 수 있었다. 앞으로 졸업 후 의학교육 및 연수교육(Continuing Medical Education, CME) 요구사정을 위한 체계적인 도구가 필요할 것으로 사료된다.; 1. Reliability was good(α = .67). All levels of examinees found the SPs to be believable, station lengths to be adequate, and rated CPX as a fair assessment tool of resident and primary care physician. 2. There were no differences of average total scores, subscores(histroy taking, physical examination, information sharing, patient-physician interaction), and ISE sores among students, family medicine residents, family medicine practitioners. The Greeting and Clinical courtesy subscores were higher in students than residents(first-years and third-years) and practitioners(greeting: each 99.3±3.0, 75.3±23.4, 80.3±24.8, 74.3±22.9, p<0.001, Clinical courtesy: each 75.3±11.7, 53.8±11.7, 52.5±12.2, 54.7±12.7 p<0.001). 3. The Physical examination subscore was higher in students and third-years residents than first-year residents, which was not statistically significant(third-years residents 54.0±17.4, students 51.6±14.1, first-years residents 42.5±13.9). 4. There was no difference of global rating scores among students, family medicine residents, and family medicine practitioners. The Pass/Fail score of residents and practitioners was higher than students(students 67.0±8.7, first-years residents 81.5±16.3, third-years residents 88.0±12.4, practitioners 88.0±15.8, p<0.001). The correct answer rate of lower back pain case was significantly lower in residents than practitioners(first-years residents 40%, third-years residents 55%, practitioners 80%, p=0.03). 5. There was a risky group which had lower performance scores at all levels. Our results suggested that the CPX is a reliable measure of clinical skills with adequate face validity for examinees at all levels. However, there were no differences of average total scores, subscores(history taking, physical examination, information sharing, patient-physician interaction), and ISE sores with different levels of training. Potential modifications to the CPX which are evidence-based checklists development, systemic ISE scoring method modifications, are needed to improve validity of the examination and to discriminate attributes of expertise between levels of training. Additionally, CPX could be considered as a useful tool for determining postgraduate education and CME(continuing medical education) needs.; There were few studies to deal with validity of Clinical Performance Examination(CPX) to assess clinical competency of family medicine residents and physicians in Korea. The purpose of this study was to examine whether the Clinical Performance Examination(CPX) is a reliable and valid test to assess clinical competency of family medicine resident and family medicine practitioner, and to evaluate whether it is a valid tool to measure increasing level of clinical competence. The Clinical Performance Examination(CPX) consisted of five stations, was administered to 20 medical students, 40 family medicine residents(first-years and third-years), 20 family medicine practitioners in April, 2007. Reliability of standardized patient(SP) checklists and rating scales used to assess examinee's performance was measured by Cronbach's alpha. SPs rated each participant's performance using checklists and a global process rating. Average total scores, global rating scores, subscores(Greeting, History taking, Physical examination, Clinical courtesy, Information sharing, Patient-Physician interaction), and Inter-station Examination(ISE) scores were compared. Validity was measured by surveying the examinee's assessment of fairness, individual case length, difficulty, previous experience with similar SP-based examination, previous experience with similar real patients, and SP believability. Results are as follows