Aplicaciones de la tecnología a la evaluación psicométrica

The objective of this work is to point out the importance and applicability of technology, especially the use of computers, in psychometric evaluation. To this end, three topics are presented, in an introductory manner, which, in the author's opinion, are some of the most outstanding. Specifically, the central aspects of items improved with technology, item banks and computerized adaptive tests are presented. As for technology-enhanced items, emphasis is placed on their importance for broadening the representativeness and fidelity with which a construct is measured, pointing out different printed and internet resources that can be consulted to see more examples of this type of items. When dealing with the issue of the item bank, the role that they currently play is highlighted, which goes far beyond being an organized store of items, to become a true computer system that allows the items to be elaborated, reviewed and applied. Finally, the main aspects of an adaptive computerized test are presented. Based on a bank of items, it allows, in real time, to estimate the measurement of a latent feature and apply appropriate items according to said estimate. Reference is also made to an alternative linked to free software, which allows the implementation of an adaptive computerized test.El presente trabajo tiene como objetivo señalar la importancia y aplicabilidad que tiene la tecnología y en especial el uso de la computadora, en la evaluación psicométrica. Para ello, se presentan, de manera introductoria, tres temas que a juicio del autor son algunos de los más destacados. Específicamente se presentan los aspectos centrales de los ítems mejorados con tecnología, los bancos de ítems y los test adaptativos computarizados. En cuanto a los ítems mejorados con tecnología, se enfatiza su importancia para ampliar la representatividad y fidelidad con la cual se trata de medir un constructo, señalando diferentes recursos impresos y en internet que pueden ser consultados para ver más ejemplos de este tipo de ítems. Al tratar el tema del banco de ítems se resalta el rol que cumplen en la actualidad, que va mucho más allá de ser un almacén organizado de ítems, para convertirse en un verdadero sistema informático que permite elaborar, revisar y aplicar los ítems. Finalmente, se presentan los aspectos principales de un test adaptativo computarizado, que teniendo como base un banco de ítems, permite en tiempo real ir estimando la medida de un rasgo latente y aplicar ítems adecuados según dicha estimación. También se hace referencia a una alternativa vinculada al software libre, que permite implementar un test adaptativo computarizado

Aplicaciones de la tecnología a la evaluación psicométrica

The objective of this work is to point out the importance and applicability of technology, especially the use of computers, in psychometric evaluation. To this end, three topics are presented, in an introductory manner, which, in the author's opinion, are some of the most outstanding. Specifically, the central aspects of items improved with technology, item banks and computerized adaptive tests are presented. As for technology-enhanced items, emphasis is placed on their importance for broadening the representativeness and fidelity with which a construct is measured, pointing out different printed and internet resources that can be consulted to see more examples of this type of items. When dealing with the issue of the item bank, the role that they currently play is highlighted, which goes far beyond being an organized store of items, to become a true computer system that allows the items to be elaborated, reviewed and applied. Finally, the main aspects of an adaptive computerized test are presented. Based on a bank of items, it allows, in real time, to estimate the measurement of a latent feature and apply appropriate items according to said estimate. Reference is also made to an alternative linked to free software, which allows the implementation of an adaptive computerized test.El presente trabajo tiene como objetivo señalar la importancia y aplicabilidad que tiene la tecnología y en especial el uso de la computadora, en la evaluación psicométrica. Para ello, se presentan, de manera introductoria, tres temas que a juicio del autor son algunos de los más destacados. Específicamente se presentan los aspectos centrales de los ítems mejorados con tecnología, los bancos de ítems y los test adaptativos computarizados. En cuanto a los ítems mejorados con tecnología, se enfatiza su importancia para ampliar la representatividad y fidelidad con la cual se trata de medir un constructo, señalando diferentes recursos impresos y en internet que pueden ser consultados para ver más ejemplos de este tipo de ítems. Al tratar el tema del banco de ítems se resalta el rol que cumplen en la actualidad, que va mucho más allá de ser un almacén organizado de ítems, para convertirse en un verdadero sistema informático que permite elaborar, revisar y aplicar los ítems. Finalmente, se presentan los aspectos principales de un test adaptativo computarizado, que teniendo como base un banco de ítems, permite en tiempo real ir estimando la medida de un rasgo latente y aplicar ítems adecuados según dicha estimación. También se hace referencia a una alternativa vinculada al software libre, que permite implementar un test adaptativo computarizado

Ajuste de un modelo Rasch multidimensional a la escala de respuesta al estrés MNC abreviada

Se aplicó la Escala de Respuesta al Estrés-MNC a una muestra de 400 estudiantes de una universidad particular de Lima metropolitana, con el fin de construir una versión abreviada de dicha escala. Al ajustar un modelo Rasch de escala de valoración de Andrich, y atendiendo al contenido de cada ítem, se redujo el tamaño de cada subescala a 12 ítems. Según los análisis gráficos realizados, estos ítems medían a las personas tan bien como la escala completa y muestran una buena confiabilidad. Todos estos resultados aportan evidencias a favor de la confiabilidad y validez de las inferencias realizadas con las medidas derivadas de la aplicación de la Escala de Respuesta al Estrés MNC-versión abreviada

Ajuste de los modelos Rasch multidimensionales, de testles y de diagnóstico cognitivo a las pruebas ECE 2015

Desde el año 2007 se aplica en nuestro país la Evaluación Censal de Estudiantes (ECE), orientada a evaluar la lectoescritura básica y el dominio de algunos conceptos matemáticos básicos en segundo grado de primaria. Para ello se aplican pruebas estandarizadas a casi medio millón de estudiantes, cuyo análisis psicométrico se basa en el modelo Rasch unidimensional para ítems dicotómicos. A pesar de las ventajas que supone este modelo, en los últimos 20 años han aparecido otros modelos psicométricos que superan algunos problemas como la presencia de dependencia local entre ítems que comparten un mismo estímulo o la multidimensionalidad. Aplicar estos nuevos modelos psicométricos permitiría una mejor desagregación y comprensión de las distintas habilidades y capacidades vinculadas al desempeño en las pruebas ECE. Por ello, esta investigación tuvo como objetivo general la aplicación del modelo multidimensional logístico multinomial de coeficientes aleatorios, el modelo Rasch de testlets y el modelo de diagnóstico cognitivo conocido como G-DINA.Desde el año 2007 se aplica en nuestro país la Evaluación Censal de Estudiantes (ECE), orientada a evaluar la lectoescritura básica y el dominio de algunos conceptos matemáticos básicos en segundo grado de primaria. Para ello se aplican pruebas estandarizadas a casi medio millón de estudiantes, cuyo análisis psicométrico se basa en el modelo Rasch unidimensional para ítems dicotómicos. A pesar de las ventajas que supone este modelo, en los últimos 20 años han aparecido otros modelos psicométricos que superan algunos problemas como la presencia de dependencia local entre ítems que comparten un mismo estímulo o la multidimensionalidad. Aplicar estos nuevos modelos psicométricos permitiría una mejor desagregación y comprensión de las distintas habilidades y capacidades vinculadas al desempeño en las pruebas ECE. Por ello, esta investigación tuvo como objetivo general la aplicación del modelo multidimensional logístico multinomial de coeficientes aleatorios, el modelo Rasch de testlets y el modelo de diagnóstico cognitivo conocido como G-DINA

Estereotipos de los docentes de segundo grado de primaria sobre los perfiles de los estudiantes con alto y bajo rendimiento

Este estudio buscó identificar los estereotipos que presentan los docentes de segundo grado de primaria que participaron de la Evaluación Censal de Estudiantes 2010 sobre los perfiles de los estudiantes con alto y bajo rendimiento. Para describir a los estudiantes con alto rendimiento, el 40,7 % de docentes utiliza rasgos positivos de manera casi exclusiva. Asimismo, casi el 21 % de docentes emplea rasgos positivos y categorías de urbanidad-costa. En cambio, para describir a los estudiantes con bajo rendimiento, el 30,4 % de docentes usa rasgos negativos. Sin embargo, hay un grupo importante, de 26 %, que no suele emplear ninguna de las categorías. La distribución de los docentes según el área geográfica donde se ubica la institución educativa presenta diferencias estadísticamente significativas

Reporte técnico de la evaluación censal de estudiantes (ECE 2014). Segundo y cuarto (EIB) de primaria

El objetivo del presente documento es detallar los procesos de construcción de las pruebas aplicadas en la ECE 2014, la población y muestra utilizadas, la forma cómo se organizó el operativo y las estrategias de análisis psicométrico aplicadas. Se recomienda que la lectura del presente reporte técnico se haga en conjunto con el de fundamentación de la ECE (Minedu, 2009), documento en el que está basado

Reporte técnico de la evaluación censal de estudiantes (ECE 2014). Segundo y cuarto (EIB) de primaria

El objetivo del presente documento es detallar los procesos de construcción de las pruebas aplicadas en la ECE 2014, la población y muestra utilizadas, la forma cómo se organizó el operativo y las estrategias de análisis psicométrico aplicadas. Se recomienda que la lectura del presente reporte técnico se haga en conjunto con el de fundamentación de la ECE (Minedu, 2009), documento en el que está basado

Ajuste de modelos Rasch multidimensionales, de testlets y de diagnóstico cognitivo a las Pruebas ECE 2015

This study aimed at applying the results of three models: a) the Multidimensional Random Coefficients Multinomial Logit Model, b) the Rasch Testlet Model, and c) the Cognitive Diagnosis Model, and comparing those results to the data generated from the math and reading comprehension tests conducted in the 2015 Student Census Evaluation (ECE). The sample consisted of 5,000,000 evaluations of students attending second grade of primary school in educational institutions belonging to the regular basic education program (Minedu, 2009). The results showed that: 1. there is a high correlation between modeled dimensions in the multidimensional model both in the math and reading comprehension tests, 2. it is convenient to apply a one-dimensional model to the data derived from the application of the ECE tests, and 3. there is some consistency between the Rasch Testlet Model and the Cognitive Diagnosis Model.El estudio tuvo como objetivos aplicar y comparar los resultados de los modelos: a) multidimensional logístico multinomial de coeficientes aleatorios, b) Rasch de testlets yc) diagnóstico cognitivo, los datos generados a partir de la aplicación de las pruebas de comprensión lectora y matemática en la Evaluación Censal de Estudiantes 2015. El estudio se realizó con 5 000 000 evaluaciones censales aplicadas a los estudiantes de segundo grado de primaria que asisten a instituciones educativas del programa de educación básica regular (Minedu, 2009). Los resultados indicaron que: 1. el modelo multidimensional, tanto en el caso de la prueba de lectura como la de matemática, las dimensiones modeladas están altamente correlacionas, 2. es pertinente aplicar un modelo unidimensional a los datos derivados de aplicar las pruebas ECE, y 3. existe cierta consistencia entre los modelos Rasch y el Modelo de diagnóstico cognitivo

Aprendizajes de primero a sexto de primaria en lectura y matemática : un estudio longitudinal en instituciones educativas estatales de Lima Metropolitana

Para lograr los propósitos del estudio longitudinal se evaluó 2 528 estudiantes con pruebas de comprensión lectora y 2 542 estudiantes con pruebas de matemática, agrupados en 100 instituciones educativas estatales de Lima Metropolitana. Además, con el objetivo de conocer algunas de las variables que pueden estar relacionadas con las diferencias en los aprendizajes, se aplicaron algunos cuestionarios de factores asociados que recogieron información sobre los estudiantes, sus docentes y sus instituciones educativas. Los resultados del estudio fueron analizados mediante un modelo jerárquico lineal (HLM), que corrige las estimaciones dada la estructura anidada de los datos, en la cual las diferentes medidas recogidas a lo largo del tiempo se agrupan en un estudiante y a su vez los estudiantes se agrupan dentro de las instituciones educativas. Los principales hallazgos derivados de dichos análisis fueron: Los aprendizajes en competencia lectora y en matemática muestran una tendencia al incremento conforme pasan los años de educación primaria. Sin embargo, este incremento anual no es de la misma magnitud. Los cambios que ocurren entre el primer y el segundo grado de primaria son mayores a los que ocurren en el resto de los grados. Esta situación podría deberse a que al inicio de la escolaridad los estudiantes presentan menos obstáculos o dificultades acumuladas, lo cual les permite aprender con mayor fluidez. Tanto en comprensión lectora como en matemática, existen diferencias entre los aprendizajes esperados (de acuerdo con lo que proponen los documentos curriculares vigentes) y los aprendizajes logrados por los estudiantes promedio evaluados. Esta diferencia es mayor en los últimos grados. La mayoría de la varianza de las medidas derivadas de aplicar las pruebas se explica por diferencias entre las instituciones educativas, más que por diferencias dentro de ellas; esto es comprensible por la homogeneidad de la muestra estudiada. Las variables que muestran una relación estadísticamente significativa con las diferencias en el rendimiento al finalizar el primer grado de primaria, en general no impactan en la forma de las curvas de aprendizaje modeladas. Es decir, las brechas observadas al concluir primer grado de primaria tienden a mantenerse a lo largo de toda la primaria. Esto podría indicar que la escuela no estaría logrando tener el efecto necesario para reducir dichas diferencias