El presente trabajo refleja un trabajo colaborativo entre el Instituto de Investigación y Desarrollo educativo de la Universidad Autónoma de Baja California, México, el CETYS de ensenada, México, y la Universidad de Cienfuegos “Carlos Rafael Rodríguez, cuba, en las personas de los autores. El trabajo consiste en la descripción del Examen de ubicación de Matemáticas (EXUMAT), en su versión 2.0, para administrar a los estudiantes que recién ingresan a la Universidad Autónoma de Baja California (UABC). El examen está fundamentado en la Teoría de la Respuesta al Ítem (TRI) con el modelo de dos parámetros. Los propósitos del trabajo son: 1) describir la metodología seguida para la confección del Examen de Ubicación de Matemáticas (EXUMAT) en su versión 2.0, y 2) analizar e interpretar los resultados del EXUMAT 2.0 al ser administrado como prueba piloto a los estudiantes de la preparatoria del CETYS de Ensenada, en la primavera de 2002

Backhoff, Eduardo

Dibut, Lázaro

Ramírez, José Luis

Velazco, Héctor León

Funes

ACTA LATINOAMERICANA DE MATEMÁTICA EDUCATIVA – VOL. 17  750 EXUMAT 2.0: EXAMEN COMPUTARIZADO DE MATEMÁTICAS ADMINISTRADO DE FORMA ADAPTATIVA FUNDAMENTADO  EN LA TEORÍA DE RESPUESTA AL ITEM  Lázaro Dibut Toledo, Eduardo Backhoff, José Luis Ramírez. Héctor León Velazco U. de Cienfuegos “Carlos Rafael Rodríguez”, U. A. de Baja California; 3CETYS Cuba y México. ldibut2001@yahoo.es  Resumen El presente trabajo refleja un trabajo colaborativo entre el Instituto de Investigación y Desarrollo educativo de la Universidad Autónoma de Baja California, México, el CETYS de ensenada, México, y la Universidad de Cienfuegos “Carlos Rafael  Rodríguez, cuba, en las personas de los autores.   El trabajo consiste en la descripción del Examen de ubicación de Matemáticas (EXUMAT), en su versión  2.0, para administrar a los estudiantes que recién ingresan a la Universidad Autónoma de Baja California (UABC). El examen está fundamentado en  la Teoría de la Respuesta al Item (TRI) con el modelo de dos parámetros. Los propósitos del trabajo son: 1) describir la metodología seguida para la confección del Examen  de Ubicación de Matemáticas (EXUMAT) en su versión 2.0, y 2) analizar  e interpretar los resultados del EXUMAT 2.0  al ser administrado como prueba piloto a los estudiantes de la preparatoria del CETYS de Ensenada, en la primavera de2002     Introducción. El desarrollo que ha alcanzado en los últimos 20 años la evaluación en sentido general y la evaluación del aprendizaje en particular, hace de esta parte de todo proceso educativo una fuente de creatividad y dinamismo en aras de lograr el objetivo supremo de comprobación del aprendizaje alcanzado por los estudiantes de cualquier nivel educativo, donde las Tecnologías de la Información y la Comunicación (TIC) están jugando un papel importante en esta dirección por el impacto que han tenido en la evaluación psicológica y educativa. El Instituto de Investigación y Desarrollo Educativo (IIDE) de la Universidad Autónoma de Baja California (UABC) tiene entre sus líneas fundamentales de investigación la Evaluación, con un desarrollo sostenido en lo que son los exámenes computarizados, tal es el caso del Sistema Computarizado de Exámenes (SICODEX) (Backhoff, Ibarra y Rosas, 1994,1995); otro sistema desarrollado y en explotación por varias universidades mexicanas, es el Examen de Habilidades y Conocimientos Básicos (EXHCOBA). A partir de 1996 es que se comienza con el desarrollo del Sistema de Exámenes Adaptativos (SEA) con el que se administró el Examen de Ubicación de Matemáticas (EXUMAT) en su versión 1.0 (Backhoff y Rosas, 2000). El EXUMAT 1.0 es un Examen de Ubicación de Matemáticas para los estudiantes que ingresan a la universidad, que tiene como objetivo ubicar en su dimensión real de conocimientos y habilidades en Matemáticas a los estudiantes, de forma tal que los mismos tengan una medida del nivel con que enfrentarán las matemáticas universitarias, y a los profesores les permite hacer un tratamiento de los contenidos acorde a ese nivel de los estudiantes. La versión 1.0 de este examen se confeccionó sobre la base de que el mismo respondiera y pudieran interpretarse sus resultados, a partir de la Teoría de Respuesta al Item (TRI), con el modelo de dos parámetros.   REFLEXIONES, MARCOS DE ANTECEDENTES E ILUSTRACIONES  751 En un trabajo colaborativo entre el IIDE, el CETYS de Ensenada y la Universidad de Cienfuegos “Carlos Rafael Rodríguez”, Cuba, en las personas de los autores del presente trabajo, se confeccionó una segunda versión de este tipo de examen con el objetivo de actualizar o modificar los reactivos del mismo por considerar que en la versión anterior no se incluyeron reactivos con determinados contenidos del tronco curricular de matemáticas de los diferentes niveles. Esta segunda versión se aplicó en la primavera de 2002 en el CETYS de Ensenada como prueba piloto, de forma tal que permitiera hacer una calibración del mismo y fue administrado a los estudiantes que ingresaron a la UABC en enero de 2003. Los propósitos del presente trabajo son: (1) describir la metodología seguida en la confección de EXUMAT 2.0, (2) analizar e interpretar los resultados de la aplicación del mismo como prueba piloto en el CETYS de Ensenada en la primavera de 2002.   Metodología para la confección, aplicación e interpretación del EXUMAT Para la confección, aplicación e interpretación de los resultados del EXUMAT 2.0  se siguió la siguiente metodología: Revisión de la documentación relacionada con EXUMAT 1.0 Análisis de los programas de estudio de Matemática del nivel primario hasta bachillerato. Definición de las áreas nodales y habilidades asociadas. Confección del examen. Aplicación del examen. Análisis e interpretación de los resultados. A continuación se explica brevemente cada uno de los pasos de la metodología descrita anteriormente: Revisión de la documentación relacionada con EXUMAT 1.0 Lo primero que hizo el colectivo de investigadores fue la revisión y estudio de toda la documentación relacionada con EXUMAT 1.0 tanto en sus aspectos teóricos, metodológicos y computacionales, de forma tal que las insuficiencias detectadas fueran el punto de partida en la nueva versión. En este sentido lo más significativo fue la no inclusión, de reactivos con contenidos como la derivada e integración de funciones trascendentes, determinación de los extremos de una función, determinación de los ceros de una función cuadrática a partir de su gráfica, aplicación de la ley de los senos y los cosenos, etc.  Análisis de los programas de estudio de Matemática del nivel primario hasta el bachillerato. Una vez revisada la documentación relacionada con EXUMAT 1.0, el grupo de investigadores pasó a estudiar los programas de estudio de Matemática desde el nivel primario hasta el nivel de bachillerato, tanto de escuelas públicas como privadas; en este estudio se hizo énfasis en los objetivos que se deben lograr en cada grado o año de los diferentes niveles, a partir de los cuales se definieron las áreas nodales que debía abarcar el examen según el criterio de experto de los investigadores.   Definición de las áreas nodales y habilidades asociadas  Las áreas nodales constituyen los núcleos fundamentales de contenidos que estarán reflejados en los reactivos del examen, asociados a las mismos están las habilidades a lograr aunque esto no se puede interpretar que para todas las habilidades asociadas a cada área nodal existan reactivos; lo que se ha tratado es de que haya una representatividad de las habilidades en los reactivos formulados.  ACTA LATINOAMERICANA DE MATEMÁTICA EDUCATIVA – VOL. 17  752 A continuación se presenta la tabla 1 con el resumen de la cantidad de áreas nodales y la cantidad de reactivos por tipo de nivel : Tabla 1. Cantidad de áreas nodales y  reactivos Nivel Cantidad de áreas nodales Cantidad de reactivos Primaria 9 66 Secundaria 21 92 Bachillerato 25 61 Total 55 219 Confección del examen. Teniendo en cuenta lo analizado del EXUMAT 1.0, los objetivos a lograr por cada grado o año de cada tipo de nivel, así como las áreas nodales definidas y las habilidades asociadas, se procedió a la confección del examen para lo cual dos de los investigadores (profesores de Matemática) hicieron por separado un examen. Estos exámenes fueron sometidos a debate, primero entre los dos profesores de Matemática y posteriormente entre todos los investigadores, con el objetivo de depurar aquellos reactivos que se considerarán no adecuados por la redacción, dificultad o cualquiera otra razón, de este proceso quedaron 219 reactivos.  Los reactivos tienen la característica de evaluar aquellos contenidos troncales del curriculum de Matemática desde el nivel primario, a partir del tercer grado, hasta el bachillerato, los mismos permiten dar respuestas abiertas de diferentes tipos tales como: numérica, textual y cerrada. La calificación de la preguntas es en base al valor 1 si ésta es correcta y 0 si es incorrecta. En la tabla 2 se muestran varios ejemplos de tipos de preguntas y respuestas.  Tabla 2. Tipos de preguntas y respuestas del EXUMAT 2.0  Tipo de preguntas Ejemplo Respuesta Respuesta numérica, entera Un excursionista hizo un recorrido de 5 días. El primer día caminó 39 Km; el segundo, 43Km; el tercero, 27Km; el cuarto, 19 Km; y el quinto día recorrió 32 Km. ¿Qué distancia recorrió en los tres primeros días? 109 Respuesta numérica, entera, doble Resolver el siguiente sistema de ecuaciones 2x + y = 5; 3x + y = 8  x = 3 y = -1 Respuesta numérica, decimal Se compraron dos máquinas. Si una costó $68.85 y otra $57.65, ¿cuánto se gastó en total? 126.5 Respuesta textual Escribir con palabras en pesos y centavos: $352.75  Trescientos cincuenta y dos pesos con setenta y cinco centavos Respuesta fraccionaria Encontrar una fracción que represente la región iluminada  3/8 Respuesta algebraica Multiplicar (m2 + mn + n2)(m – n). m3 – n3 REFLEXIONES, MARCOS DE ANTECEDENTES E ILUSTRACIONES  753 Respuesta cerrada de opción múltiple De las siguientes fracciones, cuál es la mayor: ½, 1/3, 2/5.  ½ Aplicación del examen. El examen fue aplicado, como prueba piloto,  a 131 estudiantes de la preparatoria del CETYS de Ensenada en la primavera de 2002, con este fin se robusteció la versión del SEA preparada para el EXUMAT 1.0 (Backhoff y Rosas, 2000). Debido a la extensión del examen, 219 reactivos, este se dividió en cuatro sesiones en días sucesivos.   Análisis e interpretación de los resultados  Procesamiento con el sistema BILOG La base de datos generada por las respuestas dadas por los 131 estudiantes a los 219 reactivos, caracterizada por datos con valores 1 (respuesta correcta) y 0 (respuesta incorrecta) fue procesada con el sistema BILOG, el cual permite calcular los indicadores psicométricos de los reactivos del examen: índices de discriminación a y de dificultad b. El sistema pudo calcular los coeficientes de discriminación y de dificultad de 176 reactivos de los 219, o sea, para 43 reactivos no se pudieron calcular estos, para un 80,4 % de indicadores que fueron calculados correctamente. La causa fundamental fue que para esos 43  reactivos habían pocas respuestas y el sistema  no podía hacer un procesamiento correcto. La siguiente tabla refleja la disminución del número de reactivos por áreas nodales antes y después de aplicar el BILOG:  Tabla 3. Cantidad de reactivos por áreas nodales antes y después de aplicar el BILOG Nivel Cantidad de áreas nodales Cantidad de preguntas antes de aplicar BILOG (I) Cantidad de preguntas después de aplicar BILOG (II) Diferencia I - II % Diferencia I - II Primaria 9 66 48 18 27,3 Secundaria 21 92 70 22 23,9 Bachillerato 25 61 58 3 4,9 Total 55 219 176 43 19,6  De la tabla anterior se infiere que la mayor disminución en la cantidad de preguntas por áreas nodales se encuentra en el nivel primario, seguido por el nivel secundario y la menor disminución en el nivel de Bachillerato.   Análisis de la correspondencia entre la escala de dificultad matemática de los reactivos  y el nivel de dificultad obtenido para cada reactivo por el sistema BILOG del EXUMAT 2.0. Al confeccionarse el EXUMAT 2.0 los investigadores tuvieron presente el grado de dificultad matemática de los reactivos de acuerdo a la experiencia de los mismos como profesores de matemática. La idea fue que a partir del reactivo 1, la dificultad del reactivo siguiente fuera mayor, o al menos lograr que cuando se pasara de un nivel a otro, la dificultad media de los reactivos aumentara. Esto es un proceso complejo pues el reactivo que tiene una determinada dificultad para una persona no la tiene para otra y así sucesivamente. ACTA LATINOAMERICANA DE MATEMÁTICA EDUCATIVA – VOL. 17  754 Con el objetivo de analizar la correspondencia entre el grado de dificultad matemática de la escala de conceptos matemáticos asociados a los reactivos y el nivel de dificultad obtenido para cada reactivo por el sistema BILOG, se procedió a hacer lo siguiente: Se halló el índice de dificultad medio de los reactivos según su nivel, o sea, primaria, secundaria y bachillerato, a partir de los 176 reactivos que el sistema  BILOG pudo calcular sus índices. Para esto hubo que identificar los reactivos que quedaban de cada nivel con respecto a los 219 reactivos iniciales. Posteriormente se ordenaron los 176 reactivos por orden de dificultad de menor a mayor, y se seleccionaron la cantidad de reactivos según su nivel; por ejemplo, si en  el nivel primario quedaron 48 reactivos, entonces cuando los reactivos fueron ordenados por el índice de dificultad se buscaron los primeros 48 reactivos para comparar si eran los mismos sin ordenamiento de dificultad y así sucesivamente con el resto de los reactivos de los otros niveles. Por último se compararon los índices de dificultad medio de los reactivos de los puntos 1 y 2 y se llegaron a conclusiones con relación al nivel de correspondencia.   La siguiente tabla resume el resultado obtenido: Tabla 4. Comparación de  la media del  índice de dificultad para cada nivel con y sin ordenamiento de los índices de dificultad de los 176 reactivos finales  Nivel Sin ordenamiento Con ordenamiento Primario -1.918 -2.176 Secundaria -0.061 -0.197 Bachillerato 0.962 1.359  De la tabla anterior se infiere que los 176 reactivos que quedaron después de aplicar el sistema BILOG  a los resultados de las respuestas a los 219 reactivos iniciales del EXUMAT 2.0, tienen una dificultad creciente al pasar de un nivel a otro, con y sin ordenamiento del índice de dificultad de los reactivos, lo anterior se corrobora haciendo una lectura vertical de las columnas dos y tres de la tabla anterior. Si la lectura la hacemos horizontalmente, observamos diferencias, más acentuadas en el nivel de secundaria,  entre los índices de dificultad medio de cada nivel; este resultado tiene relación directa con el hecho que al ordenar los reactivos por su índice de dificultad de menor a mayor complejidad, la cantidad de reactivos por tipo de nivel no se corresponde cuando los mismos están ordenados a partir de su dificultad matemática según el criterio de los investigadores. La siguiente tabla refleja la cantidad de reactivos que no le corresponden a cada nivel cuando los reactivos están ordenados a partir de sus respectivos índices de dificultad, por lo que los índices de dificultad de estos reactivos distorsionan los índices medios de la columna dos en la tabla 4.  Tabla 5. Cantidad de reactivos por niveles y ordenamiento  Nivel Cantidad de reactivos del nivel según ordenamiento de complejidad matemática Cantidad de reactivos que no le corresponden al nivel al ordenarse por el índice de dificultad % Primario 48 13 27.1 Secundaria 70 17 24,3 REFLEXIONES, MARCOS DE ANTECEDENTES E ILUSTRACIONES  755 Bachillerato 58 17 29.3 Totales 176 47 26,7    Conclusiones Lo primero a considerar del trabajo es la metodología que se siguió para la confección, aplicación e interpretación de los resultados del EXUMAT 2.0; otro aspecto que se ha puesto de manifiesto es la aplicación del Sistema de Exámenes Adaptativos (SEA), en su versión más actualizada, desarrollado en el IIDE para administrar el EXUMAT 2.0. El EXUMAT 2.0 es una versión actualizada del EXUMAT 1.0 para la cual existen reactivos que se corresponden con áreas nodales no incluidas en la versión anterior, tales como la de derivación e integración de funciones trascendentes, determinación de los extremos de una función, determinación de los ceros de funciones cuadráticas a partir de sus gráficas, aplicación de la ley de los senos y los cosenos, etc. La administración del EXUMAT  2.0 a los estudiantes de la preparatoria del CETYS de Ensenada, como prueba piloto, permitió obtener los índices de discriminación y de dificultad de 176 de los 219 reactivos iniciales. Para los 43 reactivos restantes faltaron las cantidades necesarias de respuestas para el procesamiento con el sistema BILOG. Este hecho nos pone de manifiesto que todavía se deben hacer precisiones en la formulación de las preguntas atendiendo a factores como redacción, “dificultad matemática”, etc. Al comparar las medias de los índices de dificultad de los reactivos por tipo de nivel, antes y después del ordenamiento de los reactivos por el índice de dificultad, se pudo constatar que no existe una correspondencia, a un alto grado, entre la escala de los reactivos ordenados a partir de su dificultad matemática y el nivel escolar en que se enseñan, aunque consideramos que los resultados obtenidos son estimulantes para continuar ajustando esta técnica evaluativa.   Bibliografía Backhoff, E. Ibarra, M.A. y Rosas, M. (1994). Versión Computarizada del Examen de Habilidades y Conocimientos Básicos. Trabajo presentado en el 23o Congreso Internacional de Psicología Aplicada. Madrid, España.  Backhoff, E., Ibarra, M.A. y Rosas, M. (1995). Sistema Computarizado de Exámenes (SICODEX). Revista Mexicana de Psicología, vol. 12, No. 1, pp. 55-62.  Backhoff, E., Rosas, M. (2000). Sistema Computarizado de Exámenes Adaptativos de Matemáticas. IV Foro de evaluación educativa. Ciudad Juárez, Chihuahua, y El Paso, Texas, 30, 31 de octubre y 10 de noviembre de 2000. 

EXUMAT 2.0: examen computarizado de matemáticas administrado de forma adaptativa fundamentado en la teoría de respuesta al ítem

http://funes.uniandes.edu.co/6381/1/BackhoffExumatAlme2004.pdf

EXUMAT 2.0: examen computarizado de matemáticas administrado de forma adaptativa fundamentado en la teoría de respuesta al ítem

Abstract

Similar works

Full text

Available Versions

Funes