PISA 2018 Okuma Becerileri Testinde Yer Alan Maddelerde Değişen Madde Fonksiyonunun İncelenmesi

This study aimed to conduct Differential Item Functioning (DIF) determination studies using different methods on items in the Program for International Student Assessment (PISA) 2018 reading test in Turkey and compare the performance of the methods used. In the analyses, considering the individualized test design, item packages in the same test(s) in the core, first-stage, and second-stage sections were used. The second package (Core RC2), second package (Stage 1-R12H), and third package (Stage 2-R23H) were selected for the core, first, and second stages, respectively. Three partially scored items in this package were excluded from the analysis, and 33 common items with score of 1-0 were included in the analysis. This study included 147 Turkish students who responded to package of items. The variables of gender (ST004D01T), school location (SC001Q01TA) and index of economic, cultural and social status (ESCS) were drawn from student- and school-scale data and combined with the items of the cognitive test. Prior to data analysis, the dataset was organized, missing data and outliers were examined, and the assumptions of the theories were tested. Within the scope of the study, the Mantel-Haenszel (MH), Logistic Regression (LR), SIBTEST, and Raju’s Area Measures methods were employed for two categorical variables, and the Generalized MH, Generalized LR, and Generalized Lord’s χ2 methods were used for three categorical variables. According to gender variables, two, four, and three items were found to show DIF in the MH, SIBTEST, and LR methods, respectively, whereas 17 items were found to display DIF according to the unsigned area test, and seven items were found to display DIF according to the signed area test in Raju’s Area Measures. According to the ESCS variable, two and one items manifested DIF in MH and LR, respectively, while 15 items were found to manifest DIF according to the unsigned area test and eight items manifested DIF according to the signed area test in Raju’s Area Measures. None of the items showed DIF when using the SIBTEST method. According to the school location variable, one, two and 28 item were found to show DIF in Generalized MH, Generalized LR and Generalized Lord’s χ2 method, respectively. The results of the study indicate that although the Classical Test Theory (CTT) -based- and Item Response Theory (IRT)- based DIF methods are compatible, they differ in the level of DIF. IRT- based methods detect more DIF items than CTT- based methods. Additionally, similar results were obtained using the Generalized MH and LR methods.Bu çalışmada, Uluslararası Öğrenci Değerlendirme Programı (PISA) 2018 uygulaması Türkiye örneklemi okuma becerileri alt testindeki maddeler üzerinde farklı yöntemler kullanılarak Değişen Madde Fonksiyonu (DMF) çalışmalarının yürütülmesi ve kullanılan yöntemlerin performanslarının karşılaştırılması amaçlanmaktadır. Yapılan analizlerde, bireyselleştirilmiş test deseni göz önünde bulundurularak temel bölüm, birinci aşama ve ikinci aşama bölümlerinde aynı demette yer alan madde paketleri ele alınmıştır. Temel Bölüm, birinci aşama ve ikinci aşama için sırasıyla ikinci paket (Core RC2), ikinci paket (Stage1 - R12H) ve üçüncü paket (Stage 2 - R23H) seçilmiştir. Bu pakette kısmi puanlanan 3 madde analiz dışı bırakılmış ve 1-0 şeklinde puanlanan 33 ortak madde analize dahil edilmiştir. Çalışmaya Türkiye’de bu madde paketini yanıtlayan 147 öğrenci alınmıştır. Öğrenci ve okul ölçekleri verilerinden alt problemlerde çalışılacak olan cinsiyet (ST004D01T), okulun bulunduğu yerleşim bölgesi (SC001Q01TA) değişkenleri ve ekonomik, sosyal ve kültürel düzey indeksi (ESCS) alınarak bilişsel testin maddeleri ile birleştirilmiştir. Verilerin analizine başlamadan önce veri seti düzenlenmiştir, kayıp veri ve uç değerler incelemesinin ardından kuramların varsayımları test edilmiştir. Çalışma kapsamında iki kategorili değişkenler için Mantel Haenszel (MH), Lojistik Regresyon (LR), SIBTEST ve Raju’nun Alan Ölçüleri yöntemleri; üç kategorili değişkenler için ise Genelleştirilmiş MH, Genelleştirilmiş LR ve Genelleştirilmiş Lord’un χ2 yöntemleri kullanılmıştır. Cinsiyet değişkenine göre, MH, SIBTEST ve LR yönteminde sırasıyla iki, dört ve üç maddenin DMF içerdiğine ulaşılırken, Raju’nun Alan Ölçüleri yönteminde, işaretsiz alan testi sonucunda 17 ve işaretli alan testi sonucunda yedi maddenin DMF içerdiği tespit edilmiştir. ESCS değişkenine göre, MH ve LR yöntemlerinde sırasıyla iki ve bir maddenin DMF içerdiği tespit edilirken; Raju’nun Alan Ölçüleri yönteminde işaretsiz alan testi sonucunda 15 ve işaretli alan testi sonucunda sekiz maddenin DMF içerdiği belirlenmiştir. SIBTEST yönteminde ise DMF içeren madde tespit edilmemiştir. Okulun bulunduğu yerleşim bölgesi değişkenine göre, Genelleştirilmiş MH, Genelleştirilmiş LR ve Genelleştirilmiş Lord’un χ2 yönteminde sırasıyla bir, iki ve 28 maddenin DMF içerdiği belirlenmiştir. Araştırma sonucunda KTK ve MTK’ya dayalı yöntemler kendi içerisinde tutarlık gösterse de DMF düzeylerinde farklılık görülmüştür. MTK’ya dayalı yöntemlerde KTK’ya dayalı yöntemlere göre daha fazla madde DMF’li olarak tespit edilmiştir. Ek olarak Genelleştirilmiş MH ve Genelleştirilmiş LR yöntemlerinde ise benzer sonuçlar elde edilmiştir