Manual técnico. Establecimiento de niveles de competencia

La determinación de estándares para la interpretación de los niveles de logro de los Exámenes para la Calidad y el Logro Educativos (Excale) constituye un proceso complejo en la construcción de las pruebas, el cual implica elementos de validación. La estrategia y los procedimientos utilizados para este propósito deben basarse en métodos sustentados en la experiencia que las diversas agencias e instituciones de evaluación, nacionales e internacionales han desarrollado y, a partir de ella, crear las interpretaciones de pruebas con sustento en estándares cuidadosamente diseñados, mediante soluciones ajustadas específicamente a los requerimientos de diseño, construcción y aplicación de los Excale

Validación de un cuestionario de contexto para evaluar sistemas educativos con modelos de ecuaciones estructurales

Este trabajo tiene el propósito de mostrar el uso de la metodología de Modelos de Ecuaciones Estructurales (SEM) para validar la estructura conceptual de cuestionarios de contexto que se utilizan en los estudios nacionales e internacionales para evaluar el logro educativo de los escolares. Desgraciadamente, los organismos evaluadores no destinan los mismos recursos técnicos a los cuestionarios de contexto que a las pruebas de aprendizaje, por lo que rara vez los primeros son sujetos a estudios de validez. Para mostrar el uso de la metodología SEM, se seleccionó el cuestionario dirigido a alumnos que utilizó el Instituto Nacional para la Evaluación de la Educación (INEE) para conocer los factores de contexto asociados el logro educativo de los estudiantes de tercero de primaria, el que se aplicó a una muestra representativa nacional de 55312 alumnos. A dicho instrumento se le aplican los supuestos y procedimientos del análisis factorial confirmatorio (AFC) y se describen los resultados obtenidos, los cuales aportan evidencia de validez de constructo para el instrumento

Modelo para la determinación de niveles de logro y puntos de corte de los EXCALE

La determinación de los Niveles de Logro (NL) o de estándares de ejecución de los Exámenes de la Calidad y el Logro Educativos (Excale), del Instituto nacional para la Evaluación de la Educación (INEE), constituye un proceso complejo propio de la construcción de pruebas de gran escala y que implica elementos de validación. Las estrategias y procedimientos que se utilizan para lograr un adecuado sistema de interpretación de resultados de las pruebas nacionales se basan, por lo general, en métodos que han sido probados por diversas agencias evaluadoras e instituciones académicas de prestigio internacional

Igualación equipercentil del examen de habilidades y conocimientos básicos (EXHCOBA)

La igualación equipercentil es un método estadístico en el cual los puntajes crudos de dos versiones de una prueba se consideran igualados si ellos corresponden al mismo rango percentilar en un grupo de examinados. En la igualación equipercentil se presenta una curva para describir las diferencias de dificultad de versión a versión. Este trabajo tuvo como objetivo estimar la igualación equipercentil sin suavizado de las versiones 3 y 4, con la versión 2, por área temática del Examen de Habilidades y Conocimientos Básicos (EXHCOBA) que utiliza la Universidad Autónoma de Baja California (UABC) para la selección de aspirantes, examen que posee un nivel de calidad excelente, un desarrollo tecnológico elevado y cuenta con estudios constantes de fiabilidad, validez y otros indicadores psicométricos. La estimación de la igualación equipercentil se llevó a cabo con el método analítico que describen Kolen y Brennan (1995) y con el diseño de grupos aleatorios que utiliza la UABC para la recolección de datos. Los resultados de este estudio indicaron que la igualación resultó efectiva al ajustar cuatro momentos (media, desviación estándar, sesgo y curtosis) de las distribuciones de las versiones 3 y 4 con la versión 2 por área temática, produciendo distribuciones iguales en las puntuaciones. Sin embargo, algunas irregularidades se encontraron en los extremos de las curvas que hacen suponer la falta de un proceso de suavizado

Acerca de la Validez de los Exámenes de la Calidad y el Logro Educativos (Excale).

Este documento trata de la validación de una nueva generación de pruebas de aprovechamiento desarrollados por el Instituto Nacional para la Evaluación de la Educación conocidos como Exámenes de la Calidad y el Logro Educativos (Excale). En el documento se discuten consideraciones conceptuales acerca de su validez, se propone un marco conceptual basado en premisas, y un marco de referencia para el diseño de estudios de validez. El marco de referencia se basa en la idea de que casi toda la información que se colecta durante el desarrollo de una prueba es útil para su validación. Este marco considera tres aspectos fundamentales: 1) las etapas de desarrollo de una prueba a gran escala (diseño y elaboración, administración, calificación, análisis e interpretación y usos), 2) la evaluación de argumentos confirmatorios (en favor) y no-confirmatorios (en contra) y 3) la evidencia lógica y empírica (uso de metodología cuantitativa y cualitativa). De acuerdo con este marco de referencia, el documento finaliza con una propuesta de líneas de investigación para la validación de los Excale

Desarrollo y validación de un Generador Automático de Reactivos de respuesta construida para elaborar exámenes computarizados de ingreso a la educación superior

Las evaluaciones de gran escala se utilizan con muy diversos propósitos, entre los que destacan dos: exámenes de ingreso y de diagnóstico. Estos exámenes, por lo general, utilizan procedimientos estandarizados y automatizados que sean válidos y confiables, para lo cual se basan en el modelo de preguntas de opción múltiple y en la Teoría Clásica de la Medida. A pesar de su uso intensivo en las instituciones educativas, este modelo de examen tiene serias limitaciones, tales como: una gran complejidad para elaborar reactivos de calidad; limitaciones para valorar conocimientos complejos; distancia pedagógica con la forma en que se enseña y se evalúa en el salón de clases; sesgos ocasionados por la adivinación; y, desgaste rápido de los reactivos de los exámenes. En este trabajo se hacen dos planteamientos para superar las limitaciones de los exámenes tradicionales que se utilizan para el ingreso a las instituciones educativas: 1) evaluar a gran escala las competencias escolares alineadas al currículo, que logran los estudiantes con base en preguntas de respuesta construida (o abierta) o semi construida, que se puedan administrar y calificar con el uso de computadoras, 2) construir exámenes equivalentes, conceptual y métricamente, con base en un generador automático de ítems, y 3) utilizar los resultados de los exámenes de ingreso como diagnóstico académico. En este trabajo se presenta el desarrollo y resultados del diseño conceptual de las competencias académicas a evaluar, del editor y generador de reactivos, así como de la interfaz electrónica que administra y califica los diversos exámenes que permite el sistema. Se ofrecen ejemplos de los distintos tipos de ítems que se pueden diseñar, generar, administrar y calificar de manera automática, y se ofrecen ejemplos de su capacidad diagnóstica

Reading Comprehension and Math Skills of Students in Basic Education in Mexico: 2000–2005

Desde la creación del Instituto Nacional para la Evaluación de la Educación (INEE) en 2002, la sociedad demandó conocer si el sistema educativo había progresado en los últimos cinco años. Para dar respuesta, el INEE utilizó las Pruebas de Estándares Nacionales de Matemáticas y de Comprensión Lectora, aplicadas por la Dirección General de Evaluación de la Secretaría de Educación Pública (SEP) en el año 2000 y replicó el estudio en 2005. Los resultados mostraron que en sexto de primaria las escuelas privadas, públicas, rurales tuvieron un avance significativo en Matemáticas y en Comprensión Lectora, agregando a esta última Educación Indígena. En secundaria sólo las escuelas generales tuvieron un avance significativo en ambas pruebas. Por lo que se refiere al género, las mujeres obtuvieron mejores resultados que los hombres en Comprensión lectora, caso contrario con Matemáticas. En cuanto a la edad, se encontró que los alumnos de edad normativa tienen un rendimiento superior a los alumnos con extra–edad. Las explicaciones encontradas a los resultados destacan las diferencias que existen entre las oportunidades de aprendizaje y el capital cultural de las familias de los distintos estratos y modalidades. === === ABSTRACT === === After the establishment of the National Institute for Educational Evaluation (INEE) in 2002, society demanded to know whether the educational system had progressed during the last five years. In response, the INEE used the National Standards Tests for Mathematics and Reading Comprehension, applied by the Department of Evaluation of the Secretariat of Public Education (SEP) in 2000, and again in 2005. The results showed that sixth graders in private, public, rural schools had made a significant advance in mathematics and reading comprehension. Indigenous Education had also advanced considerably in the latter subject. Among junior high schools, only those of the general category showed significant improvement on both tests. Regarding gender, women scored higher than men in reading comprehension, as contrasted with math. In terms of age, it was found that students of an age normal for their scholastic level performed better than those older. The explanations found in the results highlight the differences between the learning opportunities and cultural capital of the families of the different strata and modalities

Measuring the Quality of Electronic Journals

This paper presents the methodology developed to create a system to evaluate academic electronic journals. This methodology was developed in two stages. In the first stage, a system to evaluate electronic journals was created. The criteria framework and the indicators for assessment for academic electronic journals were selected and defined. According to this framework, several questions were designed to measure each indicator and, as a result, an instrument to evaluate academic electronic journals was built. In the second stage, this instrument was validated by 16 editors of electronic journals of different countries and different areas of knowledge that were considered as judges to evaluate clarity, importance, relevance and coverage of each question, indicator and criteria. This instrument was distributed by e‑mail. The opinions given by the judges were processed and then used to help in the construction of a new instrument that is ready to be presented to the Mexican Council of Scientific Research in order to evaluate Mexican academic electronic journals

Validez del Generador Automático de Ítems del Examen de Competencias Básicas (Excoba)

Automatic Item Generation (AIG) is the process of designing and producing items for a test, as well as generating different versions of exams that are conceptually and statistically equivalent. Automatic Item Generation tools are developed with the assistance of information systems, which make these tools very efficient. Under this aim, GenerEx, an automatic item generation tool, was developed. GenerEx is used to automatically generate different versions of the Basic Competences Exam (Excoba). Even though AIG represents a great advance for the development of psychological and educational assessment, it is a methodological challenge to obtain evidence of validity of the enormous quantity of possible items and tests generated in an automatic process. This paper has the purpose of describing an approach to analyze the internal structure and the psychometric equivalence of exams generated by GenerEx and, additionally, to describe kinds of results obtained to reach this objective. The approach is based on the process for selecting samples from the generation tool, founded on the assumption that items and exams must be psychometrically equivalent. This work includes three kinds of conceptually different and complementary analysis: the Classical Test Theory, Item Response Theory and Confirmatory Factor Analysis. Results show that GenerEx produces psychometrically similar exams; however there are problems in some learning areas. The methodology was useful for obtaining a description about GenerEx’s psychometric functioning and the internal structure of two randomly generated versions of Excoba. Analysis can be complemented by a qualitative study of this item deficiencies.La Generación Automática de Items (GAI)  es el proceso con el cual se diseñan y elaboran reactivos de una prueba, así como versiones completas de exámenes conceptual y estadísticamente equivalentes. Los Generadores Automáticos de Ítems se desarrollan con el apoyo de sistemas informáticos, que los hacen sumamente eficientes. Con esta idea se creó el generador automático de reactivos GenerEx del Examen de Competencias Básicas (Excoba). Este trabajo tuvo el propósito de describir una propuesta para analizar la estructura interna y equivalencia psicométrica de los exámenes generados con el GenerEx, así como describir el tipo de resultados que se obtienen para lograr este propósito. La propuesta se fundamenta en la forma de seleccionar las muestras de reactivos, partiendo del principio de que los ítems y exámenes obtenidos deben ser equivalentes psicométricamente. El estudio se basa en tres tipos de análisis con marcos conceptuales diferentes y complementarios: la Teoría Clásica de los Test, la Teoría de Respuestas al Ítem y el Análisis Factorial Confirmatorio. Los resultados indican que el GenerEx produce exámenes psicométricamente similares, aunque con ciertos problemas en algunas áreas temáticas. La metodología permitió obtener una buena descripción del funcionamiento psicométrico del GenerEx y de la validez interna de dos versiones generadas al azar. Los análisis se pueden complementar con un estudio cualitativo de las deficiencias detectadas

Validez del Generador Automático de Ítems del Examen de Competencias Básicas (Excoba)

Automatic Item Generation (AIG) is the process of designing and producing items for a test, as well as generating different versions of exams that are conceptually and statistically equivalent. Automatic Item Generation tools are developed with the assistance of information systems, which make these tools very efficient. Under this aim, GenerEx, an automatic item generation tool, was developed. GenerEx is used to automatically generate different versions of the Basic Competences Exam (Excoba). Even though AIG represents a great advance for the development of psychological and educational assessment, it is a methodological challenge to obtain evidence of validity of the enormous quantity of possible items and tests generated in an automatic process. This paper has the purpose of describing an approach to analyze the internal structure and the psychometric equivalence of exams generated by GenerEx and, additionally, to describe kinds of results obtained to reach this objective. The approach is based on the process for selecting samples from the generation tool, founded on the assumption that items and exams must be psychometrically equivalent. This work includes three kinds of conceptually different and complementary analysis: the Classical Test Theory, Item Response Theory and Confirmatory Factor Analysis. Results show that GenerEx produces psychometrically similar exams; however there are problems in some learning areas. The methodology was useful for obtaining a description about GenerEx’s psychometric functioning and the internal structure of two randomly generated versions of Excoba. Analysis can be complemented by a qualitative study of this item deficiencies.La Generación Automática de Items (GAI)  es el proceso con el cual se diseñan y elaboran reactivos de una prueba, así como versiones completas de exámenes conceptual y estadísticamente equivalentes. Los Generadores Automáticos de Ítems se desarrollan con el apoyo de sistemas informáticos, que los hacen sumamente eficientes. Con esta idea se creó el generador automático de reactivos GenerEx del Examen de Competencias Básicas (Excoba). Este trabajo tuvo el propósito de describir una propuesta para analizar la estructura interna y equivalencia psicométrica de los exámenes generados con el GenerEx, así como describir el tipo de resultados que se obtienen para lograr este propósito. La propuesta se fundamenta en la forma de seleccionar las muestras de reactivos, partiendo del principio de que los ítems y exámenes obtenidos deben ser equivalentes psicométricamente. El estudio se basa en tres tipos de análisis con marcos conceptuales diferentes y complementarios: la Teoría Clásica de los Test, la Teoría de Respuestas al Ítem y el Análisis Factorial Confirmatorio. Los resultados indican que el GenerEx produce exámenes psicométricamente similares, aunque con ciertos problemas en algunas áreas temáticas. La metodología permitió obtener una buena descripción del funcionamiento psicométrico del GenerEx y de la validez interna de dos versiones generadas al azar. Los análisis se pueden complementar con un estudio cualitativo de las deficiencias detectadas