인지적 과제분석(Cognitive Task Analysis)데이터에 대한 전통적 방식과 텍스트마이닝 및 토픽모델링 방식의 차이에 관한 연구

Abstract

본 연구는 전문가의 자동화된 지식을 추출하는데 유용한 Cognitive Task Analysis(CTA) 인터뷰를 실시하여, CTA데이터에 대한 전통적 방식과 텍스트마이닝 및 토픽모델링의 수행 방식 차이와 결과물을 비교하는 것을 목적으로 한다. 이러한 목적을 달성하기 위해 다음과 같은 연구 문제를 설정하였다. 첫째, 텍스트마이닝 및 토픽모델링을 적용한 CTA는 전통적 CTA와 수행 방식에서 어떤 차이가 있는가? 둘째, 텍스트마이닝 및 토픽모델링을 적용한 CTA 결과물은 전통적 CTA 결과물과 어떠한 차이가 있으며, 결과물을 통해 추가적으로 발견할 수 있는 정보는 무엇인가? 본 연구는 3명의 전문가를 선정하여 과제 수행에 필요한 지식을 추출하기 위해 CTA 인터뷰를 실시하였고, 결과를 정리한 후, 전통적 CTA와 텍스트마이닝 및 토픽모델링을 적용한 CTA를 실시하였다. 전통적 CTA 방식은 연구자와 4명의 분석자가 Clark, Feldon, van Merriënboer, Yates, Early(2008)가 제시한 CPP 프레임웍의 8가지 항목에 코드명을 부여하여, 총 147개의 지식을 도출하였다. 도출된 147개의 지식을 기준으로 하여, 분석자가 인터뷰 원문을 읽고 코딩을 수행하면서, 유사한 내용의 지식들을 그룹화하여 주제어를 선정하였다. 주제어는 총 7개의 활동 과제로 정리되었고, 이를 토대로 인터뷰 원문을 해석한 후, 세부 과제들을 포함한 골드 스탠더드(Gold Standard)를 개발하였다. 텍스트마이닝과 토픽모델링을 적용한 CTA는 키워드 분석을 통해 TF(Text Frequency)-IDF(Inverse Document Frequencey)값의 높은 빈도를 보이고 있는 단어를 식별해 내었고, 키워드 네트워크 분석을 실시하여 핵심 키워드와 연관이 있는 단어들을 찾아내었다. 다음으로, 조화평균(Harminic Mean) 값을 이용해 최적의 토픽 수를 5개로 도출한 후, 토픽 수 5개에 따른 LDA(Latent Dirichlet Allocation) 알고리즘을 토대로 한 모델링을 실시하여 단어 집합을 도출하였다. 토픽 내의 단어 집합을 토대로 인터뷰 원문을 해석하여 단어들을 공통적으로 대표하고 있는 주제어를 도출하였다. 연구 결과, 전통적 CTA는 텍스트마이닝과 토픽모델링을 적용한 CTA 방식보다 코딩 절차에 많은 단계와 자원이 소요되었고, 분석자의 역할과 분석 진행 유형, 내용 분석 단위, 식별 데이터의 정보 유형에서 차이가 있었다. 결과물의 차이에 있어, 텍스트마이닝과 토픽모델링을 적용한 CTA 방법은 과제의 핵심 단어 목록과 핵심 단어별 연관 네트워크 단어 목록을 도출함으로써, 전체 과제 수행에 강력한 영향을 미치는 중요한 키워드를 발견하였고, 다른 키워드와의 사이에서 빠른 매개 역할을 하는 핵심 키워드를 추가적으로 식별해 내었다. 본 연구를 통해, 텍스트마이닝 및 토픽모델링을 적용한 CTA는 대용량의 데이터를 빠르고 객관적으로 분석하여, 중요한 핵심 키워드와 연결된 숨겨진 정보를 찾아냄으로써, 과제 분석을 더 풍부하고 의미있게 해주는 효율적이고 과학적인 방법으로 활용될 수 있다는 것을 확인하였다. 그러나, 내용 분석에 있어서는 문장을 단위로 하여 내용을 파악하는 전통적 CTA가 맥락을 이해하는데 더 용이하여, 텍스트마이닝과 토픽모델링을 적용한 CTA의 장점이 전통적 CTA 방식의 장점과 혼합된다면, 빠르고 효율적인 방식으로 과제 수행 맥락에 적합한 해석을 내릴 수 있으므로, 내용 분석의 수준이 높아지고, 명확한 교수 목표를 규명하는데 도움이 될 수 있을 것이다.