Desarrollo y validación de un Generador Automático de Reactivos de respuesta construida para elaborar exámenes computarizados de ingreso a la educación superior

Las evaluaciones de gran escala se utilizan con muy diversos propósitos, entre los que destacan dos: exámenes de ingreso y de diagnóstico. Estos exámenes, por lo general, utilizan procedimientos estandarizados y automatizados que sean válidos y confiables, para lo cual se basan en el modelo de preguntas de opción múltiple y en la Teoría Clásica de la Medida. A pesar de su uso intensivo en las instituciones educativas, este modelo de examen tiene serias limitaciones, tales como: una gran complejidad para elaborar reactivos de calidad; limitaciones para valorar conocimientos complejos; distancia pedagógica con la forma en que se enseña y se evalúa en el salón de clases; sesgos ocasionados por la adivinación; y, desgaste rápido de los reactivos de los exámenes. En este trabajo se hacen dos planteamientos para superar las limitaciones de los exámenes tradicionales que se utilizan para el ingreso a las instituciones educativas: 1) evaluar a gran escala las competencias escolares alineadas al currículo, que logran los estudiantes con base en preguntas de respuesta construida (o abierta) o semi construida, que se puedan administrar y calificar con el uso de computadoras, 2) construir exámenes equivalentes, conceptual y métricamente, con base en un generador automático de ítems, y 3) utilizar los resultados de los exámenes de ingreso como diagnóstico académico. En este trabajo se presenta el desarrollo y resultados del diseño conceptual de las competencias académicas a evaluar, del editor y generador de reactivos, así como de la interfaz electrónica que administra y califica los diversos exámenes que permite el sistema. Se ofrecen ejemplos de los distintos tipos de ítems que se pueden diseñar, generar, administrar y calificar de manera automática, y se ofrecen ejemplos de su capacidad diagnóstica

The Level of Difficulty and Discrimination Power of the Basic Knowledge and Skills Examination (EXHCOBA).

The Basic Knowledge and Skills Examination (EXHCOBA) is one of the few great-scale examinations in Mexico which has been publishing its psychometric parameters.  In this paper we describe the  item analysis results, regarding the exam’s difficulty level and discrimination power.  Results show that most of the items have a medium difficulty and a high discrimination power.  They also reveal that the mathematics items have better discrimination power levels than the ones which belong to social science.</span

Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA)

El Examen de Habilidades y Conocimientos Básicos (EXHCOBA) es uno de los pocos exámenes de gran escala en México que ha ido dando a conocer sus estándares de calidad. En este trabajo, se describen los resultados del análisis de reactivos, relativos al nivel de dificultad y poder de discriminación del examen. Los resultados muestran que la mayoría de los reactivos del EXHCOBA tienen una dificultad media y un buen poder discriminativo. Asimismo, se observa que los reactivos que mejor discriminan pertenecen al área de matemáticas y los que poseen menor nivel de discriminación pertenecen al área de ciencias sociales

Nivel de dificultad y poder de discriminación del Examen de Habilidades y Conocimientos Básicos (EXHCOBA)

El Examen de Habilidades y Conocimientos Básicos (EXHCOBA) es uno de los pocos exámenes de gran escala en México que ha ido dando a conocer sus estándares de calidad. En este trabajo, se describen los resultados del análisis de reactivos, relativos al nivel de dificultad y poder de discriminación del examen. Los resultados muestran que la mayoría de los reactivos del EXHCOBA tienen una dificultad media y un buen poder discriminativo. Asimismo, se observa que los reactivos que mejor discriminan pertenecen al área de matemáticas y los que poseen menor nivel de discriminación pertenecen al área de ciencias sociales

Habilidades de razonamiento matemático de estudiantes de educación media superior en México

The objective of this study was to research the mathematical reasoning skills acquired by Mexican students who wish to enter public Mexican universities after graduating from high school. An analysis was made of the results of the examination of 45 mathe-matical skills on the Examen de Habilidades y Conocimientos Básicos ("Examination of Skills and Basic Knowledge"-EXHCOBA), used in the admissions processes of 2006 and 2007. The results confirm that the students have extremely low achievement, do not understand basic mathematical concepts, do not have the skills to solve numerical problEMS of medium complexity, and have knowledge related to the memorization of algorithms. The conclusion points to the importance of mathematical literacy for individuals and for the nation, and states that Mexico's educational system must make substantial improvement in mathematics education.El objetivo de este estudio fue investigar las habilidades de razonamiento matemático que adquieren los estudiantes mexicanos que egresan del bachillerato y que aspiran a ingresar a universidades públicas mexicanas. Se analizaron los resultados de 45 competencias matemáticas del Examen de Habilidades y Conocimientos Básicos (EXHCOBA), utilizado en los procesos de admisión de 2006 y 2007. Los resultados confirman que los estudiantes: tienen un aprovechamiento sumamente bajo, no comprenden los conceptos básicos de matemáticas, no tienen las habilidades para solucionar problemas numéricos de mediana complejidad, y los conocimientos adquiridos se relacionan con la memorización de algoritmos. Se concluye sobre la importancia que tiene para los individuos y para un país la literacidad en matemáticas, por lo que el sistema educativo mexicano debe esforzarse para mejorar sustancialmente la educación matemática

Igualación Lineal de Tres Versiones del Examen de Habilidades y Conocimientos Básicos (EXHCOBA)

El método estadístico de igualación lineal implica cambiar la escala de manera que se modifique la media y la desviación estándar, mientras se conserva exactamente la forma de la distribución y, en consecuencia las posiciones relativas de los individuos en dicha distribución. El objetivo de este trabajo es la estimación de la igualación lineal de tres versiones de un examen de admisión de educación superior, Examen de Habilidades y Conocimientos Básicos (EXHCOBA) de la Universidad Autónoma de Baja California. El método de igualación lineal empleado se basa en el procedimiento descrito por Kolen y Brennan (1995). Los resultados de este estudio indican una efectiva igualación, al ajustar los momentos de la media y desviación estándar de todas las áreas temáticas de las versiones 3 y 4 con la versión 2, manteniendo la forma de la distribución. Sin embargo, este método ignora la variabilidad de la dificultad de la prueba en las distintas regiones de las distribuciones, debido a que solamente iguala la media y desviación estándar de las distribuciones

Ponderación diferencial de reactivos para mejorar la validez de una prueba

Este trabajo evalúa diversas formas para incrementar la validez criterial de las pruebas de admisión a la universidad, a través de otorgar distintos pesos a los reactivos que componen las pruebas. Se compararon cuatro métodos para ponderar los reactivos de opción múltiple del Examen de Habilidades y Conocimientos Básicos (EXHCOBA): (1) castigando las respuestas incorrectas con un factor constante; (2) ponderando el castigo de las respuestas incorrectas, considerando los niveles de error; (3) ponderando los aciertos según la dificultad del ítem, basándose en la Teoría clásica de la medida y (4) ponderar los aciertos según la dificultad del ítem, basándose en la Teoría de respuestas al ítem. Los resultados muestran que ninguno de estos métodos mejoró la validez predictiva del instrumento, aunque sí mejoraron su validez concurrente. Se concluye que es conveniente calificar la prueba sumando simplemente el número de respuestas correctas

Differential Weighting of Items to Improve University Admission Test Validity

This paper gives an evaluation of different ways to increase university admission test criterion-related validity, by differentially weighting test items. We compared four methods of weighting multiple-choice items of the Basic Skills and Knowledge Examination (EXHCOBA): (1) punishing incorrect responses by a constant factor, (2) weighting incorrect responses, considering the levels of error, (3) weighting correct responses, considering the item’s difficulty, based on the Classic Measurement Theory, and (4) weighting correct responses, considering the item’s difficulty, based on the Item Response Theory. Results show that none of these methods increased the instrument’s predictive validity, although they did improve its concurrent validity. It was concluded that it is appropriate to score the test by simply adding up correct responses

Methodological Proposal for the Formulation of a Conceptualization of the Language Use of an English Certification Test as a Foreign Language

This article describes the procedure followed to formulate a conceptualization of the Target Language Use Domain for the Graduation Test of English (EXEDII). Language tests consider four abilities: listening, reading, speaking and writing, but a controversy exists about the conceptualization of the measured construct since the use of language in the real environment is neither fractioned in separate entities, nor used in a single situation. Thus it seems useful to make a conceptualization of the field before constructing or validating tests. Taking into account the adaptability of language use depending on the situation, four concatenated activities for collecting information were designed. A Focus Group and interviews provided the opinion of experts in teaching. Also, comparisons were made between the descriptions of the intermediate level of proficiency used by international institutions, a centre of language teaching and a couple of English language proficiency tests. The integration of this information produced the conceptualization which will be used as a criterion for the content validation of the EXEDII test.</span