Comparıson Of Test Equatıng Methods Based On Classıcal Test Theory And Item Response Theory: Internatıonal Student Assessment Program (Pısa) 2012 Mathematıcs Test Case

Abstract

Bu araştırmada Klasik Test Kuramı’ndaki ve Madde Tepki Kuramı’ndaki eşitleme yöntemleri kullanılarak en az eşitleme hata ile en uygun eşitleme yönteminin belirlenmesi amaçlanmıştır. Çalışmanın verileri için PISA 2012 Matematik testi, kitapçık 1 ve kitapçık3 puanları eşitlenmede kullanılmıştır. Araştırmaya Türkiye, Endonezya, Şangay/Çin ve Finlandiya verileri seçilmiştir. Araştırmada Klasik Test Kuramı doğrusal eşitleme için Tucker (w1=1, w1=0,5), Levine gözlenen puan (w1=1, w1=0,5), Levine gerçek puan, klasik konjenerik ve Braun-Holland kullanılmıştır. Belirtilen bu yöntemlerden Tucker eşitlemenin en az hata ile eşitleme yaptığı, Levine gerçek puan eşitleme yönteminin ise en fazla hata ile viii eşitleme yaptığı bulunmuştur. Klasik Test Kuramında yer alan eşit yüzdelikli eşitleme yöntemlerinden önce düzgünleştirme yapılmıştır. Ön düzgünleştirmede C 6 polinom derecesi ve beta4 binomial fonksiyonu, son düzgünleştirme için ise kübik spline S 0,05 derecesi analitik ve grafiksel süreç sonunda en uygun düzgünleştirme olarak seçilmiştir. Hata bant değeri içerisindeki dağılımları ve hata miktarlarına göre kendi aralarında kıyaslandığında beta4 binomial fonksiyonun en iyi, C 6 polinom derecesinin ise en fazla hataya sahip olarak düzgünleştirme yöntemi olduğu bulunmuştur. Eşit yüzdelikli eşitleme sürecinde frekans kestirim (w1=1, w1=0,5) eşit yüzdelikli eşitleme yöntemi kullanılmıştır. Eşit yüzdelikli eşitleme için en az hata w1=0,5 frekans kestirim yönteminden, en fazla hata w1=1 frekans kestirim eşitleme yönteminden elde edilmiştir. Klasik Test Kuramına ilişkin doğrusal ve eşit yüzdelikli eşitleme yöntemleri kıyaslandığında eşit yüzdelikli eşitlemede daha az hata ile eşitlenmiş puanların elde edildiği görülmüştür. Madde Tepki Kuramına dayalı eşitleme sürecine kalibrasyon yaparak başlanmıştır. Madde karakteristik eğri kalibrasyon yöntemlerinden Stocking-Lord yönteminin daha iyi sonuç sağladığı görülmüştür. Madde Tepki Kuramı gözlenen ve gerçek puan eşitleme yöntemlerinden elde edilen eşitlenmiş puanlar karşılaştırıldığında Madde Tepki Kuramı gerçek puan eşitleme, daha az hata barındırdığı sonucuna ulaşılmıştır. Kuramlardaki eşitleme yöntemleri kıyaslandığında Madde Tepki Kuramı yöntemlerinin daha az hata ile eşitleme yaptığı bulunmuştur. Yapılacak eşitleme çalışmalarında Madde Tepki Kuramı gerçek puana dayalı eşitleme yapılması önerilmiştirIn this study, it was aimed to determine the most appropriate equating method with the least equating error by using the equating methods in Classical Test Theory and Item Response Theory. The scores of the booklet 1 and the booklet 3 in the PISA 2012 Mathematics test were used to be equated for the data of the research. The data of Turkey, Indonesia, Shanghai / China and Finland were selected for the research. In the study, Tucker (w1 = 1, w1 = 0.5), Levine observed score (w1 = 1, w1 = 0.5), Levine true score, classical congeneric and Braun-Holland methods were used. Among these methods, Tucker equalization was found to equate with the fewer error, and Levine true score equating method equated with the highest error. The smoothing procedure was completed before the equipercentile equating methods in the Classical Test Theory. The C 6 polynomial degree and beta4 binomial function in the pre- x smoothing, and the cubic spline S 0,05 degree for the final smoothing were selected as the most appropriate smoothing at the end of the analytical and graphical process. When compared to each other according to their distribution within the error band value and the amount of error, it was found that the beta4 binomial function was the best smoothing method, while the C 6 polynomial degree had the highest error. Frequency estimation (w1 = 1, w1 = 0.5) equating method were used in the equipercentile equating process. For equipercentile equating, the least error was obtained from the w1=0,5 frequency estimation method, and the highest error was obtained from the w1=1 frequency estimation equipercentile equating method. When the linear and equipercentile equating. Methods related to Classical Test Theory were compared, it was seen that scores equated with less errors were obtained in equipercentile equating. The equating process based on Item Response Theory started with making calibration. It was seen that the Stocking-Lord method provided better results among item characteristic curve calibration methods. When the equated scores obtained from the Item Response Theory observed and real point equating methods were compared, it was concluded that the Item Response Theory actual score equating contained less errors. When the equating methods in the theories were compared, it was found that the Item Response Theory methods made equalization with less error. It is recommended to make equating based on Item Response Theory true score in equating studi