Identificación de patrones atípicos de respuesta mediante análisis en componentes principales no lineales (PRINCALS)

Abstract

Amb el suport del Consell Superior d'Avaluació de CatalunyaEn los últimos años el interés por la identificación de patrones atípicos de respuesta (PAR) ha sido creciente. Existen varias propuestas de indicadores de PAR que, en el ámbito de las pruebas de rendimiento, suelen basarse en el análisis de la pauta de aciertos y errores a los diferentes ítems de la prueba. Cuando el formato de los ítems es de elección múltiple, los indicadores obvian la distinción entre alternativas de respuestas erróneas. Sería de interés recoger la influencia que puede tener los distintos tipos de respuestas incorrectas en la identificación de PAR. Nuestro objetivo consiste en acercarnos a la identificación de PAR mediante PRINCALS, análisis en componentes principales no lineal aplicado, en nuestro caso, a variables categóricas. En este análisis, la cuantificación de las variables en las dimensiones se realiza con el algoritmo de alternancia de mínimos cuadrados (ALS, alternating least squares) que tiene por objetivo el escalamiento óptimo tanto de variables como de personas. En la cuantificación óptima de las variables, las categorías con respuesta menos frecuente quedan representadas, en las dimensiones, alejadas de las que recogen las respuestas mayoritarias. Como consecuencia, las puntuaciones factoriales permiten diferenciar a aquellas personas que acumulan respuestas en categorías poco frecuentes. Aplicado este principio a las respuestas de evaluados con exámenes de preguntas de elección múltiple, la cuantificación óptima nos debería permitir identificar a aquellas personas que responden a las categorías más infrecuentes en los ítems que caracterizan las dimensiones. Estas puntuaciones que en un contexto analítico habitual se definirían como outliers, son nuestro objeto de estudio como PAR. Nuestros resultados indican que cuando se estudian exámenes esencialmente unidimensionales, la primera dimensión correlaciona fundamentalmente con la puntuación total en la prueba, mientras que la extracción de otras dimensiones principales identifica grupos específicos de ítems. Los outliers de todas las dimensiones tienen una interpretación en términos de PAR. Mostramos los resultados obtenidos al aplicar un análisis PRINCALS a las respuestas a exámenes realizados por el Departament d'Ensenyament de la Generalitat de Catalunya para evaluar la competencia lingüística en inglés de los alumnos de sexto de primaria

    Similar works