Calibración con parámetros de los ítems fijos para la evaluación del funcionamiento diferencial del ítem en tests adaptativos informatizados

Abstract

In computerized adaptive testing pretest items are presented in conjunction with operational items to renew the item bank. Pretest items are calibrated, and possible differential item functioning (DIF) is analyzed. Some difficulties arise due to the large amount of missing responses, which can be avoided by the use of fixed item parameter calibration (FIPC; Kim, 2006) methods. In this study, we applied the multiple weights updating and multiple EM cycles method, with response imputation (as suggested by Lei, Chen, & Yu, 2006) and without response imputation for non-applied items. The IRT likelihood ratio test (IRT-LRT) was used for DIF detection. The manipulated factors were type of DIF, DIF size, impact size, test length, and sample size. The results showed that the FIPC method is suitable for detecting large-size DIF in large samples. In the presence of impact the use of imputation led to a bias in the effect-size measure of the DIFEn tests adaptativos informatizados los ítems pretest se presentan junto con los ítems operativos para renovar el banco de ítems. Los ítems pretest se calibran y se analiza el posible funcionamiento diferencial de los ítems (FDI). Este análisis presenta algunos problemas debido a la gran cantidad de respuestas faltantes, una de las posibles soluciones es el uso de métodos de calibración con parámetros fijos (Kim, 2006). En este estudio, aplicamos el método de múltiples actualizaciones de los pesos y múltiples ciclos EM con imputación de respuestas (tal y como propusieron Lei, Chen, y Yu, 2006) y sin imputación de respuesta para los ítems no aplicados. Empleamos el test de razón de verosimilitudes de la TRI para la detección del FDI. Los factores manipulados fueron el tipo de FDI, el tamaño del FDI, el tamaño del impacto, la longitud del test, y el tamaño de las muestras. Los resultados señalan que el método de calibración con parámetros fijos es una alternativa adecuada para la detección de un FDI grande cuando se utilizaron muestras grandes. En presencia de impacto el uso de imputación de respuestas introdujo un sesgo en las medidas del tamaño del efecto del FDIThis research was partly supported by a grant from the Spanish Ministry of Education and Science [PSI2009-10341