EXAMINING GUIDELINES FOR DEVELOPING ACCURATE PROFICIENCY LEVEL SCORES

One attempt to make scores from large‐scale assessments more interpretable has been to provide proficiency level scores to describe the meaning of student performance on tests. This study has examined the accuracy of Ercikan and Julian’s (2002) guidelines for developing proficiency level scores and the classification accuracy of proficiency level scores from British Columbia’s Foundation Skills Assessment tests. The guidelines were examined by comparing expected classification accuracies, based on these guidelines, to those estimated using a statistical procedure. The guidelines provided accurate expected classification accuracies to use in making decisions about assessment design. Key words: proficiency level scores, classification accuracy, assessment design, reliability L’une des façons utilisées pour faciliter l’interprétation des résultats d’épreuves communes a été de fournir des scores de rendement comparatifs en fonction de normes de référence. Dans cet article, les auteurs analysent la pertinence des directives d’Ercikan et Julian (2002) ayant trait à l’élaboration des scores de rendement et l’exactitude du classement des scores de rendement dans les tests d’évaluation des compétences fondamentales en Colombie‐Britannique. L’analyse des directives a donné lieu à une comparaison entre l’exactitude du classement en fonction des directives et l’exactitude du classement obtenue par une méthode statistique. Les directives ont produit des classements exacts et conformes aux prévisions et peuvent servir dans les décisions à prendre au sujet de la conception des évaluations. Mots clés : scores de rendement, exactitude du classement, conception de l’évaluation, fidélité

TIMSS Matematik Test Sonuçlarının Amerika ve Türkiye Arasında Karşılaştırılabilirliği

This study examined the degree of comparability between two versions of the Trends in International Mathematics and Science Study’s 1999 mathematics test results from the United States of America and Turkey. Measurement invariance was assessed between the two language versions of tests using differential item functioning analyses and exploratory factor analyses. The impact of the differences on the score scale comparability was also examined by comparing the test characteristic curves. Approximately 23% of the items were identified as differentially functioning for the two countries. The factor analyses indicated differences in the structure of the two tests. However, the effect of these differences on score scale comparability was minimal as was demonstrated by very similar test characteristic curves for the two language versions.Bu çalışmada, Amerika ve Türkiye’de elde edilen 1999 Uluslararası Matematik ve Fen Eğilimleri Araştırması matematik test sonuçlarının ne ölçüde karşılaştırılabilir olduğu ele alınmıştır. Ölçme değişmezliği farklı işleyen madde analizleri ve açıklayıcı faktör analizleriyle incelenmiştir. Bu düzeyde görülen farklılıkların puanlama ölçeğine etkisi ise test karakteristik eğrileri karşılaştırılarak incelenmiştir. Matematik testindeki maddelerin yaklaşık %23’ünün bu iki ülke arasında farklı işlediği belirlenmiştir. Diğer yandan faktör analiz sonuçları testlerin yapıları arasında da farklılık olduğunu göstermiştir. Bununla birlikte, iki farklı dildeki testlere ait test karakteristik eğrileri incelendiğinde bu farklılıkların puanlama ölçeğine etkisinin oldukça düşük olduğu görülmüştür

Dört Uluslararası Bölgede Matematik Alanında Cinsiyete Göre Farklı İşleyen Maddeler

Past research has shown a male advantage in mathematics compared to females, as well as gender differences in mathematics performance by type of item. However, most past research has focused on gender differences within one cultural group. This research examines gender differential item functioning (DIF) across four jurisdictions that took part in a large-scale international assessment: Canada, Shanghai (China), Finland, and Turkey. The findings from each jurisdiction were consistent with previous research findings: selected response formats tended to favour males, while constructed response item formats tended to favour females. Similar proportions of items favoured one gender group over the other across jurisdictions, and Finland had the greatest number of items that exhibited DIF in favour of both genders.Yapılan çalışmalar hem erkeklerin kızlara göre matematikte daha avantajlı olduğunu, hem de madde türlerine göre matematik performansında cinsiyete göre farklılıkların olduğunu göstermiştir. Bu geçmiş çalışmaların çoğunda cinsiyet farklılıkları sadece bir kültürel grupta incelenmiştir. Bu çalışmada ise, cinsiyete göre farklı işleyen maddeler geniş ölçekli uluslararası uygulamalara katılan dört farklı bölgede incelemektedir: Kanada, Çin (Şanghay), Finlandiya ve Türkiye. Her bir bölgeye ait bulgular daha önceki araştırmaların sonuçlarını desteklemektedir: genel olarak, çoktan seçmeli soruların erkekler lehine, cevabın yazılmasını gerektiren türdeki soruların ise kızlar lehine çalıştığı görülmüştür. Bölgeler arasında, kızların lehine işleyen soru oranının erkeklerin lehine işleyen soru oranına yakın olduğu, cinsiyete göre farklı işleyen madde sayısının ise en fazla Finlandiya’da olduğu görülmüştür

Ercikan, Kadriye, and Wolff-Michael Roth, What Good is Polarizing Research into Qualitative and Quantitative? Educational Researcher, 35(June/July, 2006), 14-23.

Conceives an eight dimension continuum from low-level to high-level inferences on which both quantitative and qualitative studies can be placed; calls for starting with research questions which then require different kinds of research methods and modes of inquiry to generate answers; collaboration among experts in different kinds of reserach methods may be required depending on where the study falls on the continuum

Introduzione all'economia d'azienda. Edizione aggiornata

Student learning is increasingly taking place in digital environments both within and outside schooling contexts. Educational assessments are following suit, both to take advantage of the conveniences and opportunities that digital environments provide as well as to reflect the mediums of learning increasingly taking place in societies around the world. A social context relevant to learning and assessment in the digital age is the great differences in access to and competence in technology among students from different segments of societies. Therefore, access and competency in relation to technology become critical contexts for evaluations that rely on digitally based assessments. This chapter examines the digital divide between students from different segments of the society and discusses strategies for minimizing effects of digital divide on assessments of student learning. The research focuses on two types of demographic groups—gender and socioeconomic status (SES) groups—that have been highlighted in research on the digital divide. The research utilizes data from IEA’s International Computer and Information Literacy Study (ICILS) 2013 for Grade 8 students administered in 21 jurisdictions around the world. It thus provides an international perspective on digital divide as an important context for international assessments as well as assessments within jurisdictions such as Mexico that are conducting assessments in digitally based environments.El aprendizaje de los estudiantes se da cada vez más en ambientes digitales tanto dentro como fuera del contexto escolar. Las evaluaciones educativas siguen esta tendencia, tanto para aprovechar las conveniencias y oportunidades que ofrecen los ambientes digitales como para reflejar los intermediarios del aprendizaje que cada vez ocupan mayor lugar en las sociedades de todo el mundo.  Un contexto social relevante para el aprendizaje y la evaluación en la era digital es la gran diferencia en el acceso a la tecnología y la capacidad tecnológica entre estudiantes de diferentes segmentos sociales. Por lo tanto, ambos factores se vuelve críticos para las evaluaciones con base digital. Este capítulo examina la brecha digital entre estudiantes de diferentes segmentos sociales y discute las estrategias para minimizar sus efectos en la evaluación del aprendizaje de los estudiantes. La investigación se centra en dos tipos de grupos demográficos: género y status socioeconómico, que se han destacado en la investigación sobre la brecha digital. La investigación utiliza datos de la Asociación Internacional para la Evaluación de Logros Académicos (ICILS) de 2013, para los estudiantes de octavo grado, administrada en 21 jurisdicciones a lo largo del mundo. Proporciona una perspectiva internacional de la brecha digital   como un contexto importante para la evaluación internacional y para la evaluación en jurisdicciones específicas, como México, que están llevando a cabo evaluaciones con base digital.A aprendizagem dos alunos está ocorrendo cada vez mais em ambientes digitais, dentro e fora do contexto escolar. As avaliações educacionais seguem essa tendência, tanto para aproveitar as conveniências e oportunidades oferecidas pelos ambientes digitais quanto para refletir os intermediários da aprendizagem que cada vez mais ocupam um lugar nas sociedades do mundo todo. Um contexto social relevante para aprendizagem e avaliação na era digital é a grande diferença no acesso à tecnologia e capacidade tecnológica entre alunos de diferentes segmentos sociais. Portanto, ambos os fatores tornam-se críticos para avaliações de base digital. Este capítulo examina a divisão digital entre alunos de diferentes segmentos sociais e discute estratégias para minimizar seus efeitos na avaliação da aprendizagem dos alunos. A pesquisa se concentra em dois tipos de grupos demográficos: gênero e status socioeconômico, que foram destacados na pesquisa sobre o fosso digital. A pesquisa usa dados da Associação Internacional para a Avaliação do Desempenho Acadêmico (ICILS) de 2013 para alunos do oitavo ano, administrados em 21 jurisdições em todo o mundo. Ele fornece uma perspectiva internacional da exclusão digital como um contexto importante para avaliação internacional e para avaliação em jurisdições específicas, como o México, que está conduzindo avaliações em uma base digital