Cognitive Diagnostic Multistage Testing by Partitioning Attribute Hierarchy

Abstract

학위논문(석사)--서울대학교 대학원 :사범대학 수학교육과,2020. 2. 유연주.인지진단평가는 학생들의 인지상태가 여러 개의 인지요소로 이루어져 있다고 바라보고, 각 인지요소의 습득유무를 학생들에게 진단해주는 것을 목적으로 하고 있다. 인지진단평가를 실행하기 위한 통계적인 모형을 인지진단모형이라고 하며, 학생들의 인지상태를 다차원적으로 진단하게 되는 만큼 인지진단모형에는 많은 모수들이 포함되어 있고, 모수의 정확한 추정을 위해서는 다수의 문항과 큰 표본이 필수적이다. 이에 인지진단모형의 효율성을 확보하기 위한 연구들이 이루어져 왔으며, 그중 하나는 인지위계구조를 도입하는 방법이다. 인지위계구조를 도입하게 되면 인지패턴이 위계에 맞는 패턴들로 그 개수가 줄어들어 보다 효율적인 추정이 가능하게 된다. 또한, 문항반응모형과 주로 결합되던 컴퓨터 적응검사 방법을 인지진단모형에 적용한 인지진단 컴퓨터 적응검사는, 학생들이 문항을 해결할 때마다 그 결과에 맞추어 최적의 문항을 제공하는 방식으로 검사의 효율성을 확보하기도 한다. 한편, 컴퓨터 적응검사를 구현하기 위해서는 양질의 문항들을 포함한 문제은행이 준비되어 있어야 하고, 또 검사의 시행과 관리가 복잡하다는 단점이 존재한다. 이와 같은 컴퓨터 적응검사의 단점을 극복하기 위해 다단계 검사 방법이 제시되었으나, 아직 인지진단평가에 다단계 검사 방법을 결합한 연구는 거의 이루어지지 않았다. 이에 본 연구에서는 인지진단모형과 다단계 검사를 결합하는 방법을 제시하고, 제시된 방법으로 만들어진 CD-MST-PH 모형의 유효성을 실제 데이터와 모의실험을 통해 검증해 보고자 하였다. 인지진단모형에 다단계 검사 구조를 도입하기 위해 우선 인지요소들을 위계 그래프로 표현하고, 인지위계그래프를 영역에 맞게 분할하여 복수의 인지요소 그룹을 생성하였다. 그리고 각 인지요소 그룹에 대해 소검사를 제작하고 이를 다단계 검사를 위한 단위인 모듈로 사용하였다. 각 단계에서 모듈을 선택하는 척도를 만들기 위해 기존의 인지진단 컴퓨터 적응검사에서 사용되던 척도들을 변형하였고, 더불어 인지위계구조의 분할이라는 특성을 활용하여 새롭게 척도들을 제시하였다. CD-MST-PH 모형의 유효성을 검증하기 위해서는 실제 데이터 분석과 두 개의 모의실험을 실행하였다. 실제 데이터 분석에서는 TIMSS 2003년 8학년 수학 검사의 대수 영역 21문항에 대한 실제 응답 데이터를 분석하여, 설계된 CD-MST-PH 모형이 실제로 잘 작동하고, 전체 문항을 모두 사용하는 기존의 모형과 비교하여 추정 일치도는 높게 유지하면서 검사의 길이는 효율화시킬 수 있음을 확인하였다. 모의실험 1은 실제 데이터 분석의 결과를 보완하기 위해, 실제 데이터 분석에서 쓰인 인지위계그래프와 검사문항을 토대로 문항응답을 가상으로 생성하여 진행하였다. 모의실험 2는 인지위계그래프 및 검사문항들을 인위적으로 구성하여 다양한 실험변인들과 함께 진행하였다. 그 결과 앞선 분석에서는 확인할 수 없었던 추정 정확성까지 분석할 수 있었고, CD-MST-PH 모형이 기존의 모형과 비교하여 정확성은 거의 같으면서 검사의 길이는 효율화시킬 수 있는 모형임을 확인하였다. 또한, 다양한 실험변인에 대한 CD-MST-PH 모형의 모듈 선택 척도들의 성능을 비교하여, 어떤 모듈 선택 척도가 더 효율적인지 확인하였다.Cognitive diagnostic assessment (CDA) aims to identify the presence or absence of discrete and multi-dimensional skills and to diagnose each test takers. Cognitive diagnostic model (CDM) developed for the purpose of performing CDA contains more parameters than conventional test models, such as item response model, because the latent traits the model estimates have multiple dimensions. Hence, the CDM and its parameters could only be accurately estimated by using large-sized samples and items. A number of studies have been made to deal with this problem, and one of the suggested methods is to apply an attribute hierarchy to CDM. The method of attribute hierarchy specifies the hierarchical relationships among the attributes, and the possible number of attribute patterns are reduced. Another way to improve the efficiency of CDM is to adopt a computerized adaptive testing (CAT) method which tries to provide best fitting item for each test takers. Cognitive diagnostic computerized adaptive testing (CD-CAT) provides an optimal item for estimating the latent attributes of the examinee using the previous item responses. However, there are some difficulties in implementing the CAT. A large item bank consisted of fine quality items is necessary for the CAT and it is inconvenient for the test administrators to conduct tests or manage results. Multi-stage testing (MST) method can solve this practical problems, but few attempts have been made to combine multi-stage testing methods with CDM. This study proposes CD-MST-PH and investigates the properties of the proposed model by analyzing real response data and simulation data. In order to apply the multi-stage testing method in CDM, the attribute hierarchy was represented as a directed graph and was partitioned into groups of attributes. Testlets corresponding to each attribute group were created and used as modules in a multi-stage structure. The module selection methods were generated by applying the item selection methods used in CAT, and were newly invented by using the structure of partitioned attribute hierarchy. To examine the accuracy and efficiency of the CD-MST-PH, an analysis using real response data and two simulations were performed. For the real data analysis, the response data of the TIMSS 2003 8th grade mathematics test were explored and it confirmed that CD-MST-PH uses fewer items and produces similar results comparing with the conventional model. Simulation 1 was conducted to complement the real data analysis. The same attribute hierarchy and test items were adopted as were used in the real data analysis, and response data for each item was artificially generated. Simulation 2 was performed using artificially generated attribute hierarchies and test items. The accuracy of the CD-MST-PH, which was unobtainable in the real data analysis, was obtained from the two simulations. The results of the simulations show that the CD-MST-PH can improve efficiency while maintaining accuracy compared to the conventional model. In addition, the efficiency of each module selection method is examined and compared under various experimental variables.I. 서론 1 1. 연구의 필요성 1 2. 연구의 목적 및 연구문제 2 II. 이론적 배경 3 1. 전통적인 검사 이론 3 1.1. 문항반응이론 3 1.2. 컴퓨터 적응검사 5 1.3. 다단계 검사 6 2. 인지진단모형 9 2.1. 인지패턴과 Q행렬 9 2.2. DINA, DINO 모형 9 2.3 인지위계구조 10 2.4. 인지패턴의 추정 12 3. 인지진단 컴퓨터 적응검사 15 3.1. 인지진단 컴퓨터 적응검사 15 3.2. 인지진단 다단계 검사 18 III. 연구방법 19 1. 모형 설계 19 1.1. 인지위계구조 19 1.2. 모듈 생성 20 1.3. 확률 갱신 21 1.4. 모듈 선택 22 1.5. 검사 종료 26 1.6. 인지 패턴 추정 27 2. 연구절차 28 2.1. 실제 데이터 분석 28 2.2. 모의실험 1 34 2.3. 모의실험 2 36 IV. 연구결과 40 1. 실제 데이터 분석 결과 40 1.1. 인지패턴 및 검사 길이 분석 41 1.2. 검사 단계 및 경로 분석 43 2. 모의실험 1 결과 45 2.1. 검사 길이 분석 45 2.2. 추정 정확도 분석 46 2.3. 단계별 분석 47 3. 모의실험 2 결과 50 3.1. 추정 정확도 분석 50 3.2. 검사 길이 분석 52 3.3. 모듈 선택 비율 분석 55 V. 결론 72 1. 요약 72 2. 연구의 한계 및 제언 74 참고문헌 76 Abstract 80Maste