Generalizability Analysis of Student Achievement Tests with Various Item Weights

학위논문 (석사)-- 서울대학교 대학원 : 교육학과 교육학전공, 2016. 8. 박현정.우리나라의 중․고등학교에서 주로 쓰이는 검사는 문항 유형과 배점의 다양화를 통해 검사의 변별력을 높이는 혼합형 검사이다. 이는 등급이 부여되거나 선발이 필요한 성적관리 체계에서 동점자가 생기는 것을 방지하고, 문항의 수준과 풀이 시간 등을 고려하여 검사의 타당성을 높이기 위함이다. 그러나 교육측정학적 측면에서, 검사의 구성 요소에 따라 그 검사의 신뢰도가 달라질 수 있음을 충분히 고려하지 않는다면 다양한 유형의 문항과 배점방식은 오히려 신뢰도를 떨어뜨려 검사의 타당성마저 위협할 수 있다. 검사의 신뢰도 및 타당도와 관련하여 차등배점에 대한 논의는 선행연구에서 지속적으로 언급되었다. 학교 현장에서 차등배점은 변별을 목적으로 사용되는 경우가 많은데, 문항에 매겨지는 이러한 가중치는 주로 교과 전문가의 선험적 지식과 관례 또는 전문가의 판단에 의한 문항의 난이도와 중요도에 따라 결정된다. 이러한 전문가 판단 방법은 전문가가 문항과 피험자의 특성을 충실히 파악하여 판단할 경우, 검사의 활용목적에 적합한 검사 결과를 제공하고 피험자의 능력을 보다 잘 변별할 수 있다는 장점이 있다. 그러나 판단의 준거가 명확하지 않을 경우 주관적이고 임의적이라는 비판을 받을 수 있으며, 이러한 이유로 측정학적으로 타당한지에 대하여 선행연구에서 논란이 제기되어 왔다. 이 연구에서는 동등배점과 차등배점의 여러 조건을 포함한 배점 조건을 비교하여 각 조건에 따라 검사의 신뢰도가 어떻게 달라지는지 알아보고, 피험자 분포나 문항 수의 변화에 따라서도 신뢰도를 비교하여 분석하고자 하였다. 이를 위해 일반화가능도 이론을 중심으로 모의자료를 생성하여 검사의 신뢰도를 분석하였다. 모의자료는 최근 8년간의 대학수학능력시험 수리영역의 문항 구성을 참고하였으며, 생성조건은 총 4가지로 구성하여 분석하였다. 우선, 동등배점 조건과 차등배점 조건 3가지를 고려하여 배점 조건을 구성하였고, 그 다음으로 개별 학교에서의 검사임을 감안하여 피험자 규모를 100명, 300명으로 설정하여 모의자료를 생성하였다. 피험자 분포가 정규분포를 따를 때와 부적편포를 따를 때로 나누어 피험자 분포를 생성하였고, 이후 이를 일반화가능도 이론을 적용하여 500번씩 반복하여 분석한 후, 그 분석 과정에서 문항 수가 30문항, 25문항, 20문항으로 변함에 따라 검사의 신뢰도는 어떻게 변하는지 또한 알아보았다. 연구 결과를 요약하면 다음과 같다. 첫째, 동등배점 조건에서 검사의 신뢰도는 차등배점 조건에서 검사의 신뢰도보다 일반적으로 높게 나타났다. 이는 차등배점을 적용할 특별한 이유와 근거가 없는 한 검사의 신뢰도 측면에서는 동등배점을 적용하는 것이 타당하다는 선행연구의 결과와 일치한다. 둘째, 차등배점 조건 내에서 배점 간 점수 차이가 커질수록 검사의 신뢰도는 감소하였다. 따라서 차등배점을 적용하여 검사 문항을 구성하더라도 배점 차이가 크지 않도록 조정하는 것이 검사의 신뢰도를 높이기 위한 측면에서 중요하다고 할 수 있다. 셋째, 문항의 수가 줄어들수록 신뢰도는 비교적 크게 감소하였다. 피험자 분포가 정규분포를 이루는 경우 문항의 수에 의해 신뢰도가 감소하더라도 적정한 수준의 신뢰도 .80을 만족하였지만, 피험자 분포가 부적편포일 경우에는 문항 수가 20문항일 때, 신뢰도가 .80이하로 감소하였다. 이는 부적편포가 있는 피험자 집단의 경우 검사의 신뢰도가 적정 수준 이상을 유지하기 위하여 적어도 25문항 이상을 만족하는 것이 필요하다는 것을 보여준다. 이 연구는 차등배점을 고려한 혼합형 검사에서 차등배점 조건과 피험자 분포, 검사 문항 수가 검사의 신뢰도에 어떤 영향을 미치는지를 일반화가능도 이론을 적용하여 분석하였다는 점에서 의의가 있다. 추가적으로, 이 연구에서 사용한 일반화가능도 설계는 교과별 검사의 안정적인 신뢰도를 확보하기 위하여 효율적인 문항 배점 방식, 문항 수 등을 예시하는데 활용할 수 있다. 또한 종합적인 평가 점수의 신뢰도를 높이기 위한 각 하위 검사의 가중치 부여 방식 등의 분석에도 적용할 수 있을 것으로 기대된다. 이 연구의 제한점은 실제 자료가 아닌 모의실험 자료를 생성하였기 때문에 실제 자료에서는 다르게 나타날 수 있는 피험자 분포 등의 오차 요인을 고려하지 못하였다는 것이다. 또 배점 방식을 선형적으로만 변화시켰기 때문에 다양한 배점 방식에 따른 신뢰도를 분석하지 못했다는 점에서 한계를 가진다. 따라서 후속 연구로 실제 자료를 바탕으로 조금 더 다양한 오차 요인과 차등배점 부여방식의 다양성을 고려하여 분석을 진행한다면 보다 의미 있는 연구가 될 것으로 생각된다.Mixed format tests with various item weights are mainly used at middle and high schools in Korea to improve discrimination of students ability. This is to keep students from having equal scores when grading is necessary, and also to increase validity by considering item difficulty and given time to solve problems. In terms of educational measurement, however, tests with various item weights can intimidate tests reliability, thereby threatening test validity, especially because test reliability depends on the test components. Research about item weights related to test reliability and validity has been conducted continuously. Item weights used in school fields are usually decided by the subject expert according to item difficulty and importance. Expert-generated item weights can be useful if experts judge the characteristics of examinee and items correctly, because they help discriminate the examinee and provide proper test results. However, when the criterion of judgement is not clear, the test can be criticized for subjectiveness and randomness. For these reasons, the appropriateness of item weights are controversial in many studies. This study analyzed and compared test reliability according to several conditions including various item weights, examinee distribution, and the number of test items. For this study, simulation data is generated and analyzed using generalizability theory. Simulation data follows the form of College Scholastic Ability Test(CSAT) in Korea and has three generating conditions such as item weights, size of examinee, and distribution of examinee. After 500 times iteration, the average reliability could be calculated, and in the process, the reliability depending on the number of items could be also calculated. The result of this study is as follows. First, test reliability using differential item weights is generally lower than the reliability of tests with equally weighted items. Similar to preceding research, this shows that differential item weights are no better than equal item weights unless there is definite reason to use various item weights. Second, the test reliability decreased as the range of item weights increased. This shows that it is important to use proper range of item weights for better reliability. Third, the test reliability decreased relatively as the number of items reduced. Especially, when the distribution of examinee was negatively skewed and the number of items was 20, the reliability was below than .80, which shows that when the examinee are distributed with skewness, the test items should consist of more than 25 items to keep appropriate reliability. This study analyzed test reliability with various item weights, two examinee distributions, and different number of items using generalizability theory. In this regard, this study illustrates efficient item weights and the number of items for stable reliability. In addition, this study can be applied to analyze the reliability of assessment consisting of various sub-tests. The limitation of this study is that because it analyzed simulation data, error factors such as different examinee distribution were beyond consideration. In this study, also, differential item weights are adjusted using only linear variation although the weight variation is not linear in school fields. For a follow-up study, therefore, it is suggested to analyze test reliability with differential item weights using real data as well as with consideration of additional error factors and variation of item weights.Ⅰ. 서론 1 1. 연구의 필요성 및 목적 1 2. 연구 문제 4 Ⅱ. 이론적 배경 5 1. 차등배점에 대한 논의 5 2. 고전검사이론에서의 신뢰도 8 3. 일반화가능도 이론 11 1) 일반화가능도 이론에서의 신뢰도 11 2) 일반화가능도 이론의 단일국면설계 13 3) 다변량 일반화가능도 이론의 설계 21 Ⅲ. 연구 방법 29 1. 연구자료 29 2. 일반화가능도 설계 34 3. 모의자료 생성 및 분석 절차 38 1) 피험자와 문항 모수 생성 38 2) 배점 조건에 따라 피험자의 문항반응자료 작성 40 3) 일반화가능도 분석 41 4) 반복 43 Ⅳ. 연구 결과 45 1. 기술통계 45 2. 배점 조건에 따른 신뢰도의 변화 49 3. 피험자 분포가 부적편포일 경우 신뢰도의 변화 54 4. 문항 수 조건에 따른 신뢰도의 변화 58 Ⅴ. 요약 및 논의 63 1. 요약 63 2. 논의 66 참고 문헌 69 Abstract 74Maste

(A)Study on predictors of attendance at classical music concerts and opera

학위논문(석사)--서울대학교 대학원 :협동과정 음악교육전공,2005.Maste

The Effects of After-school Programs Participation on Academic Achievement of High School Students: A Comparison between Different Academic Achievement Level

이 연구의 목적은 성취수준에 따라 다르게 나타나는 방과후학교 참여의 학업성취도 효과를 확인하는 데 있다. 이를 위해 국가수준 학업성취도 평가 2014년 중학교 3학년 자료와 2016년 일반계 고등학교 2학년 연계자료를 활용하였다. 수학과 영어 과목에서 중학교 시기의 개인 및 학교 수준의 특성이 고등학교 시기의 방과후학교 참여에 미치는 영향을 통제하고자 군집 내 경향점수 매칭 방법을 활용하였으며, 매칭된 자료를 바탕으로 다층분석을 실시하였다. 이때 성취 수준에 따라 집단을 보통이상 학력과 기초이하 학력으로 구분하여 분석하고, 추가적으로 방과후학교의 효과가 지역규 모의 영향을 받는지 살펴보았다. 분석결과는 다음과 같다. 첫째, 학력수준과 중학교 시기의 사전 특성에 따라 방과후 학교 참여 비율은 다른 양상을 보여, 방과후학교의 효과를 분석하기 위하여 방과후학교 프로그램의 참여를 선택할 선택편의를 고려해야 할 필요가 있음을 확인하였다. 둘째, 수학과 영어 과목에서 성취수준과 상관없이 방과후학교에 참여하는 경우 학생들의 학업성취도가 더 높게 나타났으며, 그 효과는 기초이하 학력일 때 더 높은 것으로 나타나 방과후학교 정책이 기초학력 이하 학생들에게 상대적으로 더 도움이 되었음을 확인하였다. 셋째, 방과후학교 참여 여부와 학업성취도 점수는 지역규모에 따라서 그 차이가 크게 두드러지게 나타나지 않았다. 이 연구는 방과후학교 참여 여부에 영향을 미치는 선택편의를 통제하고 학교 수준을 고려하여 분석함으로써 성취수준에 따라 다르게 나타날수 있는 방과후학교 효과를 보다 엄밀하게 분석하였다는 점에서 의의가 있다. 이러한 연구 결과를 바탕으로 공교육 내실화라는 방과후학교 운영 목적에 비추어 연구의 시사점을 도출하였다

Exploring Roles of Feedback to Facilitate Online Discu

온라인 토론에 관한 시각적 피드백을 제공함으로써 학습자 간의 상호작용을 향상시키려는 노력이 증가하고 있다. 온라인 토론 피드백의 효과를 증진시키기 위해서는 학습자가 피드백을 어떻게 인식하고 온라인 토론 향상을 위해 어떻게 활용하는지에 대한 체계적인 연구가 필요하다. 이 연구에서는 온라인 토론 피드백의 역할을 온라인 토론의 향상과 학습자의 피드백에 대한 성찰 및 인식을 중심으로 조사하였다. 서울 소재 종합대학교에 재학중인 109명의 학습자가 1차와 2차 온라인 토론에 참여하였다. 각 학습자는 1차 토론 이후에 온라인 토론 참여도, 참여시기, 상호작용 패턴, 토론 글 유형에 대한 피드백을 온라인에서 제공받고 자신의 토론활동에 대한 성찰을 하였다. 1차와 2차 토론을 비교하였을 때, 온라인 토론 피드백은 온라인 토론의 참여도, 최초 참여시기, 학습자 간 상호작용, 토론 글의 유형에 유의미한 영향을 미쳤다. 그리고 온라인 토론의 개선점을 구체적이고 자세히 성찰할수록 2차 온라인 토론에 더 적극적으로 참여하고 다른 학습자와 활발하게 상호작용을 하였다. 대다수의 학습자가 온라인 토론 피드백이 유용하고 용이하다고 인식하였으며, 긍정적인 태도를 보였다. 특히, 토론 참여시기와 상호작용 패턴 피드백에 대한 태도와 유용성 및 용이성에 대한 인식이 높게 나타났다. 이러한 연구결과에 기반해서 향후 온라인 토론 피드백 연구에 관한 제언을 하였다.A growing number of studies have made efforts to provide students with feedback by visualizing online discussion activities. In order to enhance the effectiveness of online discussion feedback, more research needs to investigate how learners perceive online discussion feedback and how they use it for improving their online discussion. This study was carried out to investigate the roles of four types of online discussion feedback and learner perceptions toward the feedback in higher education. For this study, 109 undergraduates enrolled at a university in Seoul participated in the first and second online discussion. After the first online discussion, they reflected on each of the feedback about their online discussion frequency, participation time, interaction patterns, and discussion message types. This study found that online discussion feedback significantly influenced online discussion frequency, first participation time, student-to-student interaction, and discussion message types. In addition, learners who specifically and deeply reflected on their feedback more successfully carried out the second online discussion. Learners also had positive attitudes toward the four types of feedback and positively perceived their usefulness and easy of use. Particularly, the attitude, perceived usefulness, and perceived easy of use were higher for the feedback of participation time and interaction patterns than the other feedback. Based on these findings, we discussed how to improve online discussion feedback in the future research