New technologies and educational measurement

The effects the new technologies have had on current educational measurement are reviewed. They relate to most of the tasks involved in an educational measurement process. The specific topics considered are: innovative items, performance assessment, automatic test assembly, automatic item generation and different types of computerized adaptive testing. Technology has also changed the psychometric analysis of item and test data, as there are now available computer programs for most psychometric tasks, as item calibration, differential item and test functioning, the study of model fit and model assumptions…Technology has also affected the way to do research, as the use of Monte Carlo methods is becoming more and more common. It is concluded that in general technology is pushing educational measurement in the right direction. However, it should be kept in mind that these innovations may lose their true meaning if they do not really improve the metric quality of the assessment.El artículo revisa algunos cambios que la informatización ha producido en la medición educativa actual. Todas las fases de la evaluación mediante tests se han visto en mayor o menor medida afectadas por las nuevas tecnologías. Los cambios expresamente comentados son los ítems innovadores, los tests de desempeño, el ensamblaje automático, la generación automática de ítems y varios tipos de tests adaptativos informatizados. La informatización ha introducido cambios también en el tratamiento psicométrico de los datos, con la aparición de programas de ordenador para tareas como la calibración, la determinación del sesgo de los ítems y tests, el estudio de los supuestos y del ajuste de los modelos… y ha cambiado también la manera de investigar, siendo más y más frecuente la aplicación del método de Monte Carlo. Se concluye que los cambios están impulsando la medición educativa en la dirección correcta. No obstante, existe el riesgo de olvidar que estas innovaciones pierden su verdadero sentido si no consiguen mejorar la calidad métrica de la evaluación.El autor agradece al Ministerio de Ciencia e Innovación (proyecto PSI2008-0-1685) y al Instituto de Ingeniería del Conocimiento (cátedra de Patrocinio MAP) la financiación recibida

Second evalution of tests published in Spain 

El artículo describe los resultados de la segunda evaluación de tests psicológicos editados en España. La Comisión de Tests del Colegio Oficial de Psicólogos decidió que se evaluasen 12 tests, seleccionados principalmente por su novedad y amplio uso. Cada test ha sido evaluado por dos expertos. Al igual que en la primera evaluación (Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez y Peña-Suárez, 2011), los evaluadores hacían su trabajo respondiendo a las preguntas del Cuestionario para la Evaluación de los Tests (Prieto y Muñiz, 2000), que adapta al contexto español el modelo elaborado por la Federación Europea de Asociaciones de Psicólogos Profesionales. De cada test se ha evaluado la calidad de los materiales y documentación, la fiabilidad de sus puntuaciones, la cobertura de los estudios de validación, la calidad de los baremos, etc. Los revisores informaron también acerca de la idoneidad del instrumento y proceso seguido en la evaluación. Se aportan sugerencias que pudieran ser útiles para mejorar las evaluaciones futurasThis article describes the results of the second evaluation of psychological tests published in Spain. The Committee on Testing of the Spanish Psychological Association agreed on assessing 12 tests, selected mainly for their novelty and wide use. Each test has been evaluated by two experts. As in the first evaluation (Muñiz, Fernández-Hermida, Fonseca-Pedrero, Campillo-Álvarez and Peña-Suárez, 2011), assessments were made by responding to the Questionnaire for the Assessment of Tests (Prieto and Muñiz, 2000), which adapts to the Spanish context the assessment model developed by the European Federation of Psychologists’ Associations. Results are provided in both absolute and relative terms, as they are compared to those of the first evaluation. They refer to the quality of documentation and materials, the coverage of the validation studies, reliability, norms, etc. Reviewers were also asked about the suitability of the instrument and procedure used to conduct the assessment. Suggestions are provided that may be useful to improve next test evaluation

Una solución a la estimación inicial en los test adaptativos informatizados

A new method for computing ability estimates when the response vector contains only errors or correct responses is proposed. It is based on the Stepsize method (Dodd, 1990). Instead of taking as the new ability the midpoint between the last computed ability and the corresponding extreme b- value, the new method proposes as the new estimate the mean of a truncated normal (0, 1) distribution. Last ability estimate and the correponding extreme b-value are the points in which the normal distribution truncates.El trabajo ha recibido financiación parcial de dos proyectos DGICYT (PS94-0040 y PS95-0046

Nuevas directrices sobre el uso de los test: investigación, control de calidad y seguridad

Contiene versión en inglésAntecedentes. Para llevar a cabo una evaluación psicológica rigurosa es necesario que los profesionales que la realizan tengan una preparación adecuada, que los tests utilizados muestren unas buenas propiedades psicométricas, y que se utilicen de forma co-rrecta. El objetivo de este trabajo es presentar las directrices recientes de la Comisión Internacional de Tests sobre el uso de los tests en tres ámbitos: investigación, control de calidad y seguridad en el manejo de las pruebas. Método. Se revisarán y comentarán los directrices recientes desarrolladas por la Comisión Internacional de Tests. Resultados. Las nuevas directrices sobre el uso de los tests ofrecen todo un conjunto de recomendaciones teórico-prácticas para guiar la utilización adecuada de los tests en contextos de inves-tigación, para desarrollar e implementar procesos de control de calidad efectivos, y para salvaguardar la seguridad de todos los da-tos implicados en un proceso evaluativo. Conclusiones. Las nuevas directrices desarrolladas por la Comisión Internacional de Tests contribuirán a una adecuada utilización de los tests en contextos de investigación, a una mejora en los procesos de control de cali-dad de las pruebas, y a garantizar la seguridad en los procesos evaluativosBackground. In order to carry out a rigorous psychological evaluation three conditions must be met: the practitioners must have the appropriate qualifications, the tests must show good psychometric properties, and they must be used correctly. The aim of this paper is to present the recent guidelines developed by the International Test Commission on the use of tests in three areas: research, quality control, and security. Method. The guidelines developed by the International Test Commission will be analysed and discussed. Results. The new guidelines on the use of tests offer a whole range of theoretical and practical recommendations to guide the appropriate use of tests in research settings, in order to develop and implement effective quality control strategies, and to preserve the security of all of the data involved in the assessment process. Conclusions. The new guidelines developed by the International Test Commission will contribute to the correct use of tests in research settings, to an improvement in the quality control of testing, and to ensuring security in the assessment processe

Validation of the cognitive structure of the test of signs by structural equation modeling

El objetivo de este trabajo es realizar un estudio de validación de los procesos cognitivos implicados en la resolución de ítems de un test de operaciones aritméticas básicas entre números enteros. La validación de la estructura cognitiva propuesta para la tarea se lleva a cabo mediante modelos de ecuaciones estructurales y triangulación. Los resultados muestran relaciones de subordinación fuertes y positivas entre los ítems en algunas de las rutas, apoyando solo parcialmente la estructura propuesta. Sin embargo, la triangulación aporta una mayor evidencia de validez.The present work is aimed to carry out a validation study of the cognitive operations required for the correct solution of items of a math test which includes basic arithmetic operations between integer numbers. The validation of the hypothesized cognitive structure is made by means of structural equation modeling and triangulation methods. Results show strong and positive cognitive subordination relationships between some items but the structural equation model fit only provides a partial support for the proposed structure. However, the triangulation procedure provides further evidence of validity.Este trabajo está financiado por el proyecto de la DGICYT (ref. SEJ2004-05872