Using Paired Comparison Matrices to Estimate Parameters of the Partial Credit Rasch Measurement Model for Rater-Mediated Assessments

The purpose of this paper is to describe a technique for estimating the parameters of a Rasch model that accommodates ordered categories and rater severity. The technique builds on the conditional pairwise algorithm described by Choppin (1968, 1985) and represents an extension of a conditional algorithm described by Garner and Engelhard (2000, 2002) in which parameters appear as the eigenvector of a matrix derived from paired comparisons. The algorithm is used successfully to recover parameters from a simulated data set. No one has previously described such an extension of the pairwise algorithm to a Rasch model that includes both ordered categories and rater effects. The paired comparisons technique has importance for several reasons: it relies on the separability of parameters that is true only for the Rasch measurement model; it works in the presence of missing data; it makes transparent the connectivity needed for parameter estimation; and it is very simple. The technique also shares the mathematical framework of a very popular technique in the social sciences called the Analytic Hierarchy Process (Saaty, 1996)

An Eigenvector Method for Estimating Item Parameters of the Dichotomous and Polytomous Rasch Models

The purpose of this paper is to describe a technique for obtaining item parameters of the Rasch model, a technique in which the item parameters are extracted from the eigenvector of a matrix derived from comparisons between pairs of items. The technique can be applied to both dichotomous and polytomous data. In application to a previously published data set, it is shown that the technique provides item parameter estimates comparable to those produced by joint maximum likelihood estimation, and for the most difficult items, the technique appears to produce superior estimates. This method has several advantages. It easily accommodates missing data, and makes transparent the basis for item parameter estimation in the presence of missing data. Furthermore, the method provides a link to other methods in the social sciences and, in particular, provides the framework for application of graph theory to the analysis of assessment networks. Finally, it exploits several characteristics that are unique to the Rasch model

Evaluación de calidad de calificaciones en exámenes escritos a través del modelo multifocal de lente y la teoría de medición de Rasch

Los modelos de lente han sido usados extensivamente para examinar los juicios humanos. Las aplicaciones de estos modelos han ocurrido en una variedad de contextos que incluyen juicios de logros de lectura, diagnósticos clínicos y características personales. Los exámenes escritos sujetos a calificaciones mediadas involucran juicios humanos hacia los ensayos de los estudiantes. Los procesos de juicio determinan la calidad de las calificaciones, y esto afecta directamente la imparcialidad y validez de las calificaciones. El modelo de lente provee un marco teórico con el que se puede evaluar los juicios en exámenes sujetos a calificaciones mediadas. La teoría de medición de Rasch ofrece un acercamiento metodológico alternativo con el modelo multifocal de lente. Para poder ilustrar nuestro acercamiento a esta teoría, fueron examinadas las calificaciones de tres expertos calificadores y 20 calificadores operacionales de un programa estatal de apoyo a la escritura en los Estados Unidos. Hay solo un 35% de estudiantes con competencias comparables en escritura, medidas en base a la comparación de calificaciones de calificadores operacionales y calificadores expertos. La combinación de un modelo de lente multifocal con la teoría de medición de Rasch ofrece nuevas maneras de entendimiento sobre la calidad de calificaciones mediadas por evaluadores

Gender Differences in Performance on Multiple-Choice and Constructed Response Mathematics

Examined gender differences in performance on multiple-choice and constructed response items in mathematics administered within the context of a state high school graduation test that was designed to match a specified curriculum. A secondary purpose was to demonstrate a method based on the many-faceted G. Rasch (1980) measurement model for comparing performance on different item types and exploring differential item functioning (DIF). A random sample of 3,952 eleventh graders (53% female) who took the 1994 Georgia High School Graduation Test was used for the analysis. In both mean scores and DIF indexes, women showed a statistically significant and consistent advantage over men on multiple-choice items involving algebra, whereas men showed a less consistent advantage on items involving geometry and measurement, number and computation, data analysis, and proportional reasoning. Mean scores were significantly higher for men than for women on 2 out of 8 constructed response items. However, when men and women were statistically matched according to ability, the only significant difference in performance on constructed response items was in favor of women. It was concluded that gender differences in math may well be linked to content and item format

Evaluación válida de la escritura desde la perspectiva de las comunidades de investigación en escritura y medición

Este estudio examina el concepto de validez en dos comunidades de práctica distintas: la de investigación en escritura y la de medición educacional. Las conceptualizaciones de validez han evolucionado diferencialmente dentro de cada una de ellas. Tres preguntas guían nuestro estudio: (a) ¿En qué consiste una evaluación válida de escritura según la comunidad de investigación en escritura? (b) ¿En qué consiste una evaluación válida de escritura según la comunidad de investigación en medición? (c) ¿Cuáles son los puntos de consenso y desacuerdo sobre el concepto de validez en ambas comunidades? El presente estudio busca fomentar la comunicación entre estas dos comunidades académicas con respecto a los problemas asociados con la validez en la evaluación de la escritura. También destacamos las contribuciones de la teoría de medición Rasch (Rasch, 1960/1980) a la comprensión y evaluación de la validez. Nuestras metas son fortalecer la conceptualización de la validez en la evaluación de la escritura e identificar áreas de consenso y disenso en las definiciones de validez existentes. Estos análisis expanden el trabajo previo de Engelhard y Behizadeh (2012), el cual exploró definiciones consensuadas de validez. El presente estudio tiene implicaciones para mejorar la investigación, la teoría y la práctica en la evaluación de la escritur