The balance between excellence and equity on admission test: contributions of experiences en South Africa and Costa Rica

Se describen dos experiencias en torno al reto de maximizar excelencia y equidad en la admisión para la educación superior. En la Universidad de Costa Rica (UCR) se desarrolla y valida una prueba de razonamiento con figuras, para medir inteligencia fluida, tomando como marco de referencia los conceptos desarrollados por Raymond Cattell. Por su parte, la Universidad de Ciudad del Cabo en Sudáfrica aplica métodos de evaluación dinámica, en donde los exámenes van “enseñando” a lo largo de su ejecución y están basados en enfoques Vygotskianos. Estos instrumentos sudafricanos ya han brindado evidencia de validez predictiva en estudios de análisis de sobrevivencia y son parte de un programa de admisión alternativo para estudiantes que provienen de ambientes con desventajas educativas, muchos de ellos forman parte de grupos que fueron educativamente segregados durante el “apartheid”. Mientras que en la Universidad de Costa Rica (UCR), el proyecto es reciente y se encuentra aún en su fase diagnóstica y de investigación, en la Universidad de Ciudad del Cabo se cuenta con una trayectoria de más de 20 años. Ambas propuestas buscan identificar de manera más precisa estudiantes que poseen potencial académico y cognitivo para la educación superior, que provienen de ambientes con desventajas educativas, y cuyas habilidades podrían ser subestimadas si solo se usan pruebas de admisión o evaluaciones “tradicionales”. El artículo no pretende hacer un análisis comparativo para concluir cual de las dos aproximaciones es más válida, sino que busca ilustrar dos formas posibles de abordar la problemática de equidad en la admisión para la educación superior, desde una perspectiva científica y no solamente polític

Escalas o índices para la medición de constructos: el dilema del analista de datos

Se intenta disipar algunas de las mayores confusiones existentes entre los analistas de datos en relación con la naturaleza de los índices y las escalas y también en relación con la metodología para su construcción. Se definen conceptos clave y se listan siete diferencias fundamentales entre índices y escalas. Estas son: El número de componentes o dimensiones representados en el indicador, el para qué (propósito) del indicador, la utilización de métodos psicométricos, el peso o ponderación de los ítems o reactivos, el tratamiento de los valores faltantes (missing), la necesidad de estandarizar estadísticamente la medida y el grado de interpretabilidad. A lo largo de todo el documento se dan ilustraciones utilizando ejemplos reales. Se espera que esta discusión contribuya a una toma de decisiones informada por parte de los profesionales que trabajan analizando y/o construyendo este tipo de medidas y por parte de aquellos que deben usarlas o analizarlas ocasionalmente.An attempt is made to dissipate some of the major confusions among data analysts regarding the nature of scale and indexes, and also the methodology for their construction. Key concepts are defined and seven basic differences between indexes and scales are listed. They are: the number of components or dimensions represented in the indicator, the purpose of the indicator, the use of psychometric methods, the weights assigned to the items or reactives, the treatment of the missing values, the need for statistical standardization and the degree of interpretability. Throughout the document illustrations are provided with real examples. It is hoped that this discussion contributes to an informed decision making by the professionals that work analyzing and/or constructing this type of measures and by those who have to use them or analyze them occasionally.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

La teoría de respuesta a los itemes: una moderna alternativa para el análisis psicométrico de instrumentos de medición

La Teoría de Respuesta a los Itemes, TRI, (o "Item Response Theory", en inglés) es un enfoque más poderoso que la Teoría Clásica de los Tests para el análisis de calidad técnica de instrumentos de medición psicométricos. Comparada con la Teoría Clásica, la TRI permite obtener más información sobre los ítems de la prueba y sobre el constructo o variable latente que interesa medir en los examinados. Además, con la TRI se pueden generar pruebas adaptadas al nivel de los individuos. También se logran indicadores de las propiedades psicométricas del instrumento, y de los ítems que lo componen, según los diferentes valores del constructo de interés. Estas características de la TRI le dan ventajas esenciales en relación con la Teoría Clásica. Sin embargo, hay todavía problemas de estimación no resueltos, que provocan, algunas veces, la imposibilidad de ajustar ciertos modelos en conjuntos específicos de datos. Para lograr comprender cabalmente la naturaleza, potencialidades y limitaciones de la TRI se requiere de conocimientos en matemática y estadística. Es quizá por esta razón que en nuestra región latinoamericana estos enfoques son poco conocidos entre los científicos sociales. En general, las dos disciplinas que pueden beneficiarse más con la aplicación de estos modelos son la Psicología y la Educación.Palabras clave: Medición, Psicometría, Teoría de Respuesta a los Itemes, Análisis de Itemes, Estimación de Modelo

Educación e ingreso como predictores de la esperanza de vida: Evidencias de un análisis de regresión aplicado a indicadores de desarrollo humano

Usando datos del Informe sobre Desarrollo Humano de 1998 se ajustó un modelo de regresión lineal múltiple para estimar la esperanza de vida al nacer como fun- ción de un indicador de poder adquisitivo, el PIB per cápita en dólares, y un indi- cador de educación, la tasa de matriculación combinada. Los resultados muestran que la importancia relativa del indicador de educación en la predicción de la espe- ranza de vida es prácticamente tres veces la importancia relativa del indicador del poder adquisitivo. El estudio también ilustra la utilidad del enfoque de regresión múltiple como herramienta para la investigación en ciencias sociales.A linear regression model was adjusted with data from the Human Development Report 1998. The purpose was to predict Life Expectancy at Birth as a function of an indicator of education, the Combined First, Second and Third Level Gross Enrolment Ratio, and an indicator of monetary or buying power, the Real GDP per capita in dollars. Results show that the relative importance of the education indicator is practically three times the importance of the buying power indicator. The study also shows the usefulness of the multiple regression approach as a tool for research in Social Sciences.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Los modelos de ecuaciones estructurales como herramienta para explorar posibles relaciones causales en investigación educativa: Una ilustración con datos de PISA 2009 en Costa Rica

Los modelos de ecuaciones estructurales o SEM, por sus siglas en inglés (Structural Equations Models) se han hecho populares en los últimos 25 años, en virtud de que representan una alternativa para explorar posibles planteamientos teóricos causales con datos que provienen de estudios observacionales o correlaciónales (Bollen, 1989; Freedman, 2010). En la investigación social y educativa resultan muy útiles, pues con frecuencia es imposible, por razones éticas o prácticas, realizar experimentos, que son los diseños óptimos para generar evidencias de causalidad, gracias a que la asignación de los sujetos a los grupos se realiza al azar. En los estudios observacionales, por el contrario, se estudia el fenómeno en condiciones “naturales” y por tanto es imposible asegurar el control total de “terceras” variables o variables de confusión que amenazan la validez del argumento causal entre cualesquiera dos variables de interés.Consejo Nacional de Rectores/[]/CONARE/Costa RicaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

El Balance entre Excelencia y Equidad en Pruebas de Admisión: Contribuciones de Experiencias en Sudáfrica y Costa Rica

Two experiences are described related to the challenge of maximizing excellence and equity in admission for Higher Education. At the University of Costa Rica (UCR) a test of reasoning with figures is being developed and validated to measure fluid intelligence, taking as a frame of reference the concepts by Raymond Cattell. On the other hand, the University of Cape Town in South Africa applies dynamic assessment methods, with tests that "teach" through their solution and based on Vygotskian approaches. These South African instruments have already provided predictive validity evidence in survival analysis studies and belong to an alternative admission program for students that come from educationally disadvantaged backgrounds, many of whom belong to groups who were segregated during "Apartheid". Whereas in the University of Costa Rica (UCR) the project is recent and currently it is being carried out in a diagnostic and research phase, the University of Cape Town possesses a trajectory of more than 20 years implementing its alternative admission program. Both proposals aim to identify in a more precise way students who have academic and cognitive potential for Higher Education, who come from environments with educational disadvantages, and whose abilities could be underestimated if only "traditional" admission tests and evaluations are employed

Funcionamiento diferencial del ítem en pruebas de español y matemática en estudiantes reportados con TDAH

The detection of differential item functioning (DIF) is fundamental to ensure instruments’ invariance, and, therefore, a better estimate of the construct being measured across the different groups of examinees. The purpose of this research was to provide substantive hypothesizes related to possible sources of DIF, comparing students reported with accommodations for ADHD (focal group) and students with no accommodations (reference group), using the Standardized-P Difference and the Mantel Haenszel (MH) methods. Data from the Costa Rican national high school exit tests in Spanish and Math, from the year 2004, in public schools, were analyzed. First, these two methods were used to detect items with DIF, and then, using a more qualitative approach, drew hypotheses related to possible sources of DIF. Some degree of agreement was verified between the two different empirical methods, being Mantel-Haenszel more sensitive. In the Spanish test, DIF was hypothesized to be caused by the length and wording of the options, and the literary and non-literary texts in the stem. In Math, possible sources of DIF involved vocabulary, wording, the transition of verbal to mathematical language, the visuospatial item organization, and the drawing of graphs and geometrical figures. At the methodological level, complementing the statistical analyses with the judges’ criteria was helpful to identify possible sources of irrelevant variance in the construct measured by these tests. The hypotheses must be interpreted with caution, though, since the number of items detected as exhibiting DIF was relatively small.La detección del funcionamiento diferencial del ítem (FDI) es fundamental para garantizar instrumentos invariantes y una mejor estimación del constructo en los diferentes grupos de examinados. El propósito de esta investigación fue proveer hipótesis sustantivas sobre posibles fuentes de FDI, comparando estudiantes reportados con el trastorno de déficit atencional con hiperactividad (TDAH, grupo focal) y estudiantes sin esas características (grupo de referencia). Se usaron los métodos de la diferencia p estandarizada y MantelHaenszel para identificar los ítems con FDI en las pruebas de bachillerato de español y matemática aplicadas en el año 2004 en colegios públicos académicos de Costa Rica. Luego, usando un enfoque más cualitativo, se generaron hipótesis sobre sus posibles fuentes. Hubo cierto grado de concordancia entre ambos métodos, siendo el de Mantel-Haenszel más sensible. En la prueba de español se encontró evidencias para apoyar la hipótesis de que la extensión y la redacción de las opciones y los textos literarios y no literarios incluidos en el encabezado pueden ser causas de FDI. En matemática se encontró que el vocabulario, la redacción, la transición del lenguaje verbal al matemático, la organización viso espacial del ítem y el dibujo de gráficas o figuras geométricas pueden ser causas de FDI. A un nivel metodológico, el complementar los análisis estadísticos con el criterio de jueces fue útil para la identificación de posibles fuentes de variancia irrelevante al constructo medido por estas pruebas. Las hipótesis deben ser tomadas con cautela, ya que el número de ítems detectados con FDI fue relativamente pequeño.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Aplicación del modelo de Rasch, en el análisis psicométrico de una prueba de diagnóstico en matemática

El presente trabajo pretende generar evidencias empíricas en torno a la validez de la prueba de “Diagnóstico de conocimientos y destrezas en matemática del estudiante al ingresar a la universidad”, de la Escuela de Matemática de la Universidad de Costa Rica, desde la aplicación del modelo de Rasch. La muestra corresponde a 2624 examinados del 2008. Los objetivos del estudio se dirigieron primeramente a establecer evidencias de validez y confiabilidad para el instrumento. Por medio de análisis de factores exploratorio se verificó la unidimensionalidad de la escala y con el modelo de Rasch se generaron evidencias para concluir un grado aceptable de confiabilidad. Con la participación de 5 jueces expertos se establecieron niveles sustantivos de desempeño, clasificando los ítems según dificultad, y según procesos y contenidos necesarios para su resolución. Para validar las valoraciones de los jueces se contrastaron sus clasificaciones de dificultad con las estimaciones obtenidas al aplicar el modelo de Rasch, y por medio de un análisis de concordancia con la medida Kappa de Cohen se logró determinar el grupo de los 3 jueces que se acercaban más a las estimaciones de Rasch y cuyas valoraciones fueron consideradas para establecer los niveles de desempeño.The study intended, by means of the Rasch model, to provide empirical evidences regarding the validity of the test called “Diagnostic of knowledge and skills in Mathematics of the student entering the University”, developed by the School of Mathematics at the University of Costa Rica. The sample consisted of 2624 examinees in the year 2008. The research objectives first addressed the issue of establishing validity and reliability evidences for the instrument. Using exploratory factor analysis the unidimensionality of the scale was confirmed, and employing the Rasch model evidence was generated to conclude an acceptable degree of reliability. With the participation of 5 expert judges substantive levels of performance were established, classifying the items according to difficulty, and according to necessary processes and contents for their solution. To validate the judges’ assessments, their difficulty classifications were contrasted with the difficulty estimations from the Rasch model, and, making use of a concordance analysis with Cohen’s Kappa the group of the 3 judges that were closer to Rasch estimations was determined. These 3 judges’ appraisals were considered to establish the performance levels.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

El modelo de Rasch: una herramienta esencial para la evaluación educativa de gran escala

Las pruebas estandarizadas son un recurso utilizado en el ámbito educativo para medir constructos complejos. Tal y como se explica en el cuerpo del capítulo especial, las pruebas estandarizadas corresponden a instrumentos de medición en cuya construcción y validación se utiliza un enfoque científico que permita obtener evidencias de la validez y confiabilidad de las mismas. El objetivo de esta sección es introducir a los lectores interesados al modelo de medición más utilizado actualmente en pruebas estandarizadas educativas de gran escala. Durante muchos años los educadores y los evaluadores educativos han cuestionado a la psicometría en cuanto a su utilidad en pruebas educativas, dado que los puntajes generados a partir del modelo de medición más antiguo y conocido de la Teoría Clásica de los Test (TCT), no proveen información acerca de qué puede o no hacer el estudiante. Por ejemplo, el porcentaje de respuestas correctas o el puntaje promedio en un examen, no dice nada per se acerca del desempeño del examinado, no brinda información sobre cuáles contenidos domina y cuáles no, y en qué nivel se encuentra con respecto a los contenidos mínimos que debería dominar. Si un estudiante obtuvo una nota de 80 en Matemáticas no se puede establecer el grado de dominio de los contenidos o procesos que están presentes en el examen. Además, en la TCT se supone que el error de medición asociado a cada puntaje observado es igual para todos los examinados. Adicionalmente, a partir de esta teoría se produce un resultado conocido como el coeficiente de confiabilidad alfa de Cronbach, usado para medir la confiabilidad de las pruebas.Consejo Nacional de Rectores/[]/CONARE/Costa RicaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP