Opening Up an Intelligent Tutoring System Development Environment for Extensible Student Modeling

ITS authoring tools make creating intelligent tutoring systems more cost effective, but few authoring tools make it easy to flexibly incorporate an open-ended range of student modeling methods and learning analytics tools. To support a cumulative science of student modeling and enhance the impact of real-world tutoring systems, it is critical to extend ITS authoring tools so they easily accommodate novel student modeling methods. We report on extensions to the CTAT/Tutorshop architecture to support a plug-in approach to extensible student modeling, which gives an author full control over the content of the student model. The extensions enhance the range of adaptive tutoring behaviors that can be authored and support building external, student- or teacher-facing real-time analytics tools. The contributions of this work are: (1) an open architecture to support the plugging in, sharing, re-mixing, and use of advanced student modeling techniques, ITSs, and dashboards; and (2) case studies illustrating diverse ways authors have used the architecture

초등학교 수학 수업을 중심으로

학위논문(석사) -- 서울대학교대학원 : 사범대학 교육학과(교육공학전공), 2023. 2. 임철일.인공지능 기술의 성능과 활용도가 높아지면서 교수학습장면에서도 인공지능을 적용해보고자 하는 시도가 이루어지고 있다. 인공지능을 통해 학생 개인별 특성과 수준을 진단하고, 이에 맞춤화된 학습자료와 피드백을 제공할 수 있기 때문이다. 이처럼 맞춤형 수업은 각각의 학생이 의미있는 학습을 성취할 수 있도록 개별화된 교육활동을 제공하는 것이다. 특히, 맞춤형 수업은 초등학교 수학 교과에서 많은 요구가 있다. 수학 교과는 내용의 위계성과 계통성이 강해 선수학습이 제대로 되어 있지 않으면 후속학습을 진행하기 어려워지기 때문에, 학생의 특성과 수준에 따른 맞춤형 교육이 필요하다. 하지만 교사 1명이 다수의 학생을 가르치는 1 대 다(多) 형태의 초등학교 교육현장에서 맞춤형 수업에 대한 요구를 충족시키기에는 현실적으로 한계가 있다. 많은 선행연구에서 맞춤형 수업에 대한 가능성을 테크놀로지에서 찾고자 한다. 맞춤형 수업의 현실적인 한계를 보완해줄 수 있는 것이 인공지능 교육시스템이며, 데이터 기반 수업 설계이다. 인공지능 교육시스템이 교사를 보조해서 학습진단을 실시하고, 문항을 추천해주거나, 수업을 설계할 때 참고할 수 있는 데이터를 제공해주기 때문이다. 그러나 선행연구를 통해 인공지능 교육시스템, 데이터 자체만으로는 맞춤형 수업을 실천하기 어렵다는 것이 확인되었다. 따라서 교사 혹은 수업의 설계자가 인공지능 교육시스템을 활용하여 데이터에 기반해서 맞춤형 수업을 어떻게 실천할 수 있는지에 대한 구체적인 지침이 필요하다. 본 연구는 이와 같은 맥락에서 초등학교 교사가 수학 교과에서 인공지능 교육시스템을 활용하여 데이터 기반 맞춤형 수업을 설계하고 실행할 때 참고할 수 있는 수업 설계원리를 개발하였다. 인공지능 교육시스템이 수집할 수 있는 데이터는 AI진단평가 결과, 학생별 정답률, 문항별 정답률, 출석률, 과제 수행률, 학습시간가 있다. 본 연구에서는 연구의 목적을 달성하기 위해 1) 인공지능 교육시스템을 활용한 데이터 기반 맞춤형 수업 설계원리 및 상세지침을 개발하고, 2) 개발된 수업 설계원리에 대한 교수자 ∙ 학습자 반응을 검토하는 것으로 연구문제를 설정하였다. 본 연구는 설계∙개발연구방법에 따라 선행문헌 검토, 경험적 탐색, 초기 설계원리 및 상세지침 도출, 내적 타당화(전문가 검토), 외적 타당화(교육현장 적용), 최종 설계원리 및 상세지침 도출의 과정으로 진행되었다. 먼저 선행문헌을 검토하고 요구분석을 위해 전문가 2인을 대상으로 면담을 통한 경험적 탐색을 진행함으로써 초기 설계원리 및 상세지침을 도출하였다. 다음으로, 초기 설계원리 및 상세지침에 대해 내적 타당화를 위하여 전문가 9인에게 검토를 총 2회 실시하고 회당 수정 및 보완 작업을 거쳐서 3차 설계원리 및 상세지침을 도출하였다. 다음으로, 외적 타당화를 위하여 1달 동안 5학년 1개 학급(24명)의 교실에서 5학년 2학기 수학교과 2단원 분수의 곱셈(11차시) 부분을 설계원리를 적용하여 수업을 진행하였다. 이를 위해 학생들에게 사전에 인공지능 교육시스템(아이스크림홈런)을 미리 지급하고 수업 전,후로 수학교과 정의적 영역을 측정하기 위한 사전∙사후 검사를 실시하였다. 수업이 진행되는 동안 연구자는 4회의 수업 관찰을 하였으며, 수업이 끝난 이후에는 학습자 24인을 대상으로 수업 만족도 조사, 교수자 1인과 학습자 8인을 대상으로 면담을 실시하였다. 마지막으로, 내적 타당화와 외적 타당화 결과를 바탕으로 최종 설계원리 및 상세지침을 도출하였다. 본 연구에서 개발한 설계원리 및 상세지침은 수업 전, 수업 중, 수업 후, 학습환경 측면으로 분류할 수 있으며 10개의 설계원리와 27개의 상세지침으로 구성된다. 교수자와 학습자를 대상으로 한 면담 결과, 교수자는 본 연구에서 개발한 설계원리를 바탕으로 인공지능 교육시스템을 통해 데이터를 수집하고, 데이터에 기반해서 수업설계와 학습관리가 가능하다는 점에 만족하였다. 하지만 이를 위해서 참고할 수 있는 데이터가 학생별 정답률, 문항별 정답률, 일일 평균 학습시간, 수행률 등 정도로 제한적이며 수업 설계에 많은 노력이 투입된다고 응답하였다. 학습자는 본 연구에서 개발한 설계원리를 바탕으로 인공지능 교육시스템의 AI학습진단, AI문항추천, AI생활기록부(대시보드) 기능을 활용하여 자신의 부족한 부분을 확인하고 보완할 수 있다는 점에 만족하였다. 하지만 수업 중에 이루어지는 맞춤형 피드백이 기존 수업의 피드백과 크게 다르지 않다거나, 수업 후에 맞춤형 학습과제를 개별적으로 수행할 여유가 없다는 점을 아쉬워하였다. 교수자와 학습자 모두 인공지능 교육시스템을 통해 수업 중 데이터를 수집하고, 이를 수업 설계와 학습관리에 활용하는 것에 가장 만족하였다. 학습자를 대상으로 한 수업 만족도 조사에서는 5점 만점에 평균 4.28점으로 전반적으로 만족한다고 응답하였다. 수학 교과 정의적 영역을 측정하는 사전, 사후 설문조사를 통해 Wilcoxon 부호 순위 검정을 실시한 결과 수학흥미, 수학학습태도, 가치, 학습동기, 학습의지, 효능감6가지 요인 중에서 수학흥미, 학습의지2가지 요인이 통계적으로 유의하게 상승한 것을 확인할 수 있었다. 정의적 영역의 효과성을 확인하기에는 기간이 짧고, 인간 대상의 연구로서 외부변인을 통제하지 못하는 등 엄격한 실험연구를 진행하지는 못하였다. 하지만 학습자 면담 결과 학생의 노력이 데이터에 그대로 반영되어서 공부할 의지가 생겼다거나 데이터를 기반으로 칭찬받으니 기분이 좋고 흥미가 생겼다는 응답이 있었고, 수학흥미와 학습의지 면에서 유의한 효과가 있었을 확인할 수 있었다. 이상의 연구 결과에 기초하여 본 연구에서 개발한 수업 설계원리를 선행연구에 비추어 논의하고, 시사점을 도출하였다. 또한, 본 연구의 한계를 바탕으로 후속 연구를 제언하였다. 본 연구는 초등학교 수학 수업에서 인공지능 교육시스템을 활용하여 데이터 기반 맞춤형 수업을 설계하기 위한 구체적인 방안을 제공했다는 점에서 의의를 지닌다. 또한, 본 연구는 인공지능 교육시스템을 교육 현장에 도입하여 교사의 역할과 인공지능의 역할을 구분하는 설계∙개발 연구의 사례로서 가치를 지닌다고 할 수 있다.As the performance and utilization of artificial intelligence technology increases, attempts to apply artificial intelligence to teaching and learning situations are being made. This is because artificial intelligence can diagnose individual characteristics and levels of students, and provide personalized learning materials and feedback. Personalized instruction can provide individualized educational activities so that each student can achieve meaningful learning. In particular, personalized instruction is in high demand in elementary school mathematics. Mathematics is hierarchical and systemic in content, so it is difficult to proceed with follow-up learning if pre-learning is not done properly. Therefore, personalized instruction according to the characteristics and level of students is necessary. However, there is a realistic limit to meeting the demand for personalized instruction in numerous classes of elementary schools where one teacher teaches multiple students. A lot of prior research seeks to find the possibility of personalized instruction in technology. What can supplement the realistic limitations of personalized instruction is an artificial intelligence education system and data-based instructional design. This is because the artificial intelligence education system assists teachers in diagnosing learning, recommending questions, and providing data that can be referred to when designing instructions. However, through previous research, it was confirmed that it is difficult to practice personalized instruction with only the AI education system and the data-based instructional design itself. Therefore, specific guidelines are needed on how teachers or instructional designers can practice personalized instruction based on data using artificial intelligence education systems. In this context, this study developed instructional design principles that elementary school teachers can refer to when designing and executing data-based personalized instruction using artificial intelligence education systems in mathematics. In this study, to achieve the purpose of the study, 1) developing data-based personalized instruction design principles and detailed guidelines using an artificial intelligence education system, and 2) examining instructors' and learners' responses to the developed instructional design principles. By the design and development research method, this study reviewed prior literature, empirically analyzed needs, derived initial design principles and detailed guidelines, internal validation (expert review), external validation (applied to the educational field), and derived final design principles and detailed guidelines. First, the initial design principle and detailed guidelines were derived by reviewing the preceding literature and conducting an empirical search through interviews with two experts for needs analysis. Next, a total of 9 experts reviewed the initial design principles and detailed guidelines for internal validation, and the 3rd design principles and detailed guidelines were derived through revision and supplementation per session. Next, for external validation, the instruction was conducted by applying the design principle to multiplication of fractions(11H) part of the 2nd semester of the 5th grade in the classroom of one class (24 students) for one month. To this end, the artificial intelligence education system (i-scream Home-Learn) was given to students in advance, and pre-and post-tests were conducted to measure the affective domain of mathematics subject before and after class. While the instruction was in progress, the researcher observed the class five times, and after the class was over, a satisfaction survey was conducted on 24 learners, and interviews were conducted with one instructor and eight learners. Finally, the final design principle and detailed guidelines were derived based on the results of internal and external validation. The design principles and detailed guidelines developed in this study can be classified into before class, during class, after class, and learning environment aspects, and consist of 10 design principles and 27 detailed guidelines. As a result of interviews with instructors and learners, the instructors were satisfied with the fact that based on the design principles developed in this study, data were collected through the artificial intelligence education system, and instructional design and learning management were possible based on the data. However, the data that can be referenced for this purpose are limited to the percentage of correct answers per student, percentage of correct answers per question, average daily learning time, and assignment performance rate, and they responded that a lot of effort was put into the instructional design. Based on the design principles developed in this study, learners are satisfied with the fact that they can identify and supplement their shortcomings by using the AI learning diagnosis, AI question recommendation, and AI dashboard functions of the artificial intelligence education system. However, they regretted that the personalized feedback during the instruction was not very different from the feedback of the existing instruction, or that there was no time to individually perform personalized learning tasks after class. Both instructors and learners were most satisfied with collecting data during class through the AI education system and using it for instructional design and learning management. In the class satisfaction survey targeting learners, they answered that they were generally satisfied with an average score of 4.28 out of 5 points. As a result of a Wilcoxon Signed Rank Test through pre- and post-surveys that measure the affective domain of mathematics, interest and willingness among the six factors of interest, attitude, value, motivation, willingness, efficacy'. We were able to confirm that two factors were statistically significant. The period for confirming the effectiveness of the affective domain was short, and as a study of human subjects, it was not possible to conduct a rigorous experimental study, such as not being able to control external variables. However, through the results of the learner interviews, it was confirmed that the student's efforts were directly reflected in the data, resulting in a willingness to study, or that they felt good and interested because they were praised based on the data. Based on the above research results, the instructional design principles developed in this study were discussed in light of previous studies, and implications were drawn. In addition, follow-up studies were suggested based on the limitations of this study. This study is significant in that it provides a concrete plan for designing a data-based personalized instruction using an artificial intelligence education system in elementary school mathematics classes. In addition, this study can be said to have value as an example of design and development research that differentiates the role of the teacher and the role of artificial intelligence by introducing an artificial intelligence education system into the educational field.I. 서론 1 1. 연구의 필요성 및 목적 1 2. 연구문제 9 3. 용어의 정리 10 II. 이론적 배경 13 1. 인공지능 교육시스템(ITS) 13 가. ITS(Intelligent Tutoring System)의 개념 및 특성 13 나. 대화형 ITS의 개념 및 특성 17 2. 수학 수업에서 인공지능 교육시스템의 활용 21 가. 초중등 수학교육에서 인공지능 활용 동향 21 나. 초등수학교육에서 활용되는 인공지능 교육시스템 23 3. 데이터 기반 맞춤형 교수설계 30 가. 맞춤형 수업의 개념 및 특성 30 나. 데이터 기반 맞춤형 교수설계와 학습분석 32 다. 인공지능 교육시스템을 활용한 데이터 기반 맞춤형 교수설계의 가능성 37 III. 연구방법 40 1. 연구 절차 40 2. 초기 설계원리 개발 42 3. 내적 타당화 44 4. 외적 타당화 47 IV. 연구결과 53 1. 1차 설계원리 53 가. 선행문헌 검토를 통해 도출한 1차 설계원리 개발 53 나. 경험적 탐색 59 2. 내적 타당화 결과 62 가. 1차 전문가 타당화 62 나. 2차 설계원리 및 상세지침 71 다. 2차 전문가 타당화 88 라. 3차 설계원리 및 상세지침 94 3. 외적 타당화 결과 109 가. 수업의 설계 및 실행 109 나. 설계원리에 대한 교수자 반응 128 다. 설계원리에 대한 학습자 반응 135 4. 최종 설계원리 153 가. 모형의 가정 및 특징 153 나. 최종 설계원리 및 상세지침 156 V. 논의 및 결론 177 1. 논의 177 가. 인공지능 교육시스템을 활용한 데이터 기반 맞춤형 수업 설계원리 177 나. 인공지능 교육시스템을 활용한 데이터 기반 맞춤형 수업 설계원리에 대한 반응 181 2. 결론 178 3. 한계 및 제언 186 참고문헌 190 부 록 203 Abstract 241석