eCat-Listening: diseño y propiedades psicométricas de un test adaptativo informatizado de comprensión auditiva de la lengua inglesa

In this study, eCAT-Listening, a new computerized adaptive test for the evaluation of English Listening, is described. Item bank development, anchor design for data collection, and the study of the psychometric properties of the item bank and the adaptive test are described. The calibration sample comprised 1.576 participants. Good psychometric guarantees: the bank is unidimensional, the items are satisfactorily fi tted to the 3-parameter logistic model, and an accurate estimation of the trait level is obtained. As validity evidence, a high correlation was obtained between the estimated trait level and a latent factor made up of the diverse criteria selected. The analysis of the trait level estimation by means of a simulation led us to fi x the test length at 20 items, with a maximum exposure rate of .40En este trabajo se describe eCAT-Listening, un nuevo test adaptativo informatizado para la medición del nivel de comprensión auditiva del inglés. Se describe la elaboración del banco de ítems, el diseño de anclaje para la recogida de datos y el estudio de las propiedades psicométricas del banco de ítems y del test adaptativo. La muestra de calibración fue de 1.576 personas. Se obtienen unas buenas garantías psicométricas: el banco es unidimensional, los ítems se ajustan satisfactoriamente al modelo logístico de 3 parámetros y se consigue una estimación precisa de los diferentes niveles de rasgo. Como prueba de validez, se obtuvo una alta correlación entre el rasgo estimado y un factor latente de nivel de inglés compuesto por las diferentes puntuaciones criterio utilizadas en el estudio. El análisis de la estimación del nivel de rasgo mediante simulación nos lleva a fijar la longitud del test adaptivo en 20 ítems, con una tasa máxima de exposición de 0,40This research was supported by two grants from the Spanish Ministry of Science and Innovation (project numbers PSI2009-10341 and PSI2008-01685) and by the UAM-IIC Chair «Psychometric Models and Applications

Evaluación de los Sistemas e-Learning: Estudio de las publicaciones realizadas en la Web Of Knowledge

El propósito de este estudio es analizar el crecimiento y desarrollo de la literatura sobre la evaluación de los sistemas e-Learning. La bibliografía publicada en 18 de las principales revistas de la base de datos ISI Web of Knowledge fue obtenida, de manera directa, a través de las palabras clave: “model”, “evaluation”, “e-Learning system”, con sus respectivos sinónimos. La información como autor, título, subtítulo, fuente, citas, etc., se registró en MS-Excel (2010) para su análisis e interpretación. El estudio encontró 127 artículos de esta temática, publicados en el período 2008-2012. Además, revela que el 2012 fue el año más prolífico, con 33 artículos. La revista más productiva es Computers & Education, con 15 artículos; se la puede considerar como una revista básica de consulta. Se encontró que Peter Shea y Temi Bidjerano, ambos de Estados Unidos, son los autores que más han publicado y realizado trabajos conjuntos. Podría ser una limitante del estudio que la información que se tomó fue restringida a un período de cinco años, tiempo que de manera general se acepta, en relación a la antigüedad de la producción bibliográfica. El documento proporciona información confiable y auténtica sobre el tema y es el primer estudio de este tipo

Calibración de ítems vía expertos utilizando Moodle

Calibrar un conjunto de ítems mediante el juicio de expertos es un proceso que consiste en establecer en una métrica común la dificultad de cada ítem partiendo de una muestra de datos que ha sido recogida previamente a individuos especialistas en el tema sobre el que versan los ítems y que contiene estimaciones sobre el nivel de dificultad de cada uno de ellos. Este proceso de calibración no es una tarea simple, pues normalmente implica repartir el conjunto de ítems en distintos tipos de cuestionarios a distribuir entre los expertos, puede ser necesario que algunos ítems se repitan en varios cuestionarios y es conveniente comprobar que el valor estimado de la dificultad se hace sobre ítems no anómalos y se basa en las aportaciones de expertos fiables. Además, se deben consensuar los criterios, a veces dispares, de los expertos consultados. Este artículo se centra en la construcción y calibración del banco de ítems a partir del juicio de expertos de una manera electrónica y describe un procedimiento para este tipo de calibración utilizando una plataforma educativa web: Moodle. En la actualidad, Moodle es uno de los paquetes de software libre más populares para la creación de cursos y sitios Web basados en Internet, siendo utilizado por instituciones educativas a nivel mundial, para ofrecer formación online

Calibración de ítems mediante juicio de expertos utilizando técnicas de ingeniería dirigida por modelos, workflows y sistemas de gestión de aprendizaje

236 p.La evaluación mediante test es un aspecto esencial del aprendizaje y tanto los sistemas de aprendizaje a distancia como la evaluación profesional utilizan bancos de ítems calibrados para llevar a cabo esta tarea. En este contexto, un banco de ítems no es más que una colección de preguntas cuyo objeto es evaluar sobre un determinado tema. Por su parte, calibrar un banco de ítems mediante el juicio de expertos es un proceso integral que consiste en establecer en una métrica común la dificultad de cada ítem que lo compone y que consta de dos fases sucesivas: (1) recoger una muestra de datos que contenga estimaciones subjetivas de varios individuos especialistas en ese tema, los expertos, sobre el nivel de dificultad de cada uno de los ítems y (2) establecer un único valor consensuado para la dificultad de cada ítem a partir del análisis de esa muestra. La presente tesis detalla la especificación de este proceso integral de calibración mediante el juicio de expertos, junto con el diseño, implementación y validación de un sistema inteligente de ayuda, denominado CALLIE, que automatiza dicho proceso y guía al responsable de la calibración en su toma de decisiones. Para ello, se proponen distintos modelos y artefactos software que comprenden la utilización de estándares e-learning como IMS, de plataformas LMS como Moodle para gestionar la recogida de la muestra de datos y de diversos workflows para analizar los datos recopilados y obtener la estimación final de la dificultad de cada ítem a partir de ellos

Calibración de ítems mediante juicio de expertos utilizando técnicas de ingeniería dirigida por modelos, workflows y sistemas de gestión de aprendizaje

236 p.La evaluación mediante test es un aspecto esencial del aprendizaje y tanto los sistemas de aprendizaje a distancia como la evaluación profesional utilizan bancos de ítems calibrados para llevar a cabo esta tarea. En este contexto, un banco de ítems no es más que una colección de preguntas cuyo objeto es evaluar sobre un determinado tema. Por su parte, calibrar un banco de ítems mediante el juicio de expertos es un proceso integral que consiste en establecer en una métrica común la dificultad de cada ítem que lo compone y que consta de dos fases sucesivas: (1) recoger una muestra de datos que contenga estimaciones subjetivas de varios individuos especialistas en ese tema, los expertos, sobre el nivel de dificultad de cada uno de los ítems y (2) establecer un único valor consensuado para la dificultad de cada ítem a partir del análisis de esa muestra. La presente tesis detalla la especificación de este proceso integral de calibración mediante el juicio de expertos, junto con el diseño, implementación y validación de un sistema inteligente de ayuda, denominado CALLIE, que automatiza dicho proceso y guía al responsable de la calibración en su toma de decisiones. Para ello, se proponen distintos modelos y artefactos software que comprenden la utilización de estándares e-learning como IMS, de plataformas LMS como Moodle para gestionar la recogida de la muestra de datos y de diversos workflows para analizar los datos recopilados y obtener la estimación final de la dificultad de cada ítem a partir de ellos