Tarea experimental para la identificación de movimientos oculares asociados al refrescamiento atencional en la memoria de trabajo visual

Se presenta una tarea experimental programada en el lenguaje de programación Python para evaluar el papel de los movimientos oculares durante el uso de diferentes esquemas de refrescamiento de la memoria de trabajo visual. Para ello, se utilizó la librería pylink desarrollada específicamente para crear experimentos en los que se requiere el registro de movimientos oculares mediante un sistema EyeLink 1000 Plus.Universidad de Costa Rica/[]/UCR/Costa RicaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias de la Salud::Centro de Investigación en Neurociencias (CIN

The item response Theory Mixture Models

Se presentan los modelos de mezcla de la Teoría de respuesta al ítem y cómo estos pueden ser utilizados para identificar subagrupaciones no observadas de examinados denominadas como clases latentes. Asimismo se ejemplifica la utilidad del modelo de mezcla de la Teoría de respuesta al ítem de dos parámetros, mediante el cual se logra detectar la presencia de ítems en una escala de depresión que miden de manera distinta a los examinados en comparación con el resto de ítems que componen dicho instrumento. Finalmente, se presentan algunas recomendaciones generales en cuanto a la complementariedad que debe existir entre la teoría sustantiva que subyace al desarrollo de una escala y la aplicación de los modelos de mezcla de la Teoría de respuesta al ítem.The Item Response Theory mixture models and how these can be used to identify unobserved sub-groups of examinees, known as latent classes, are presented. The usefulness of the two-parameter mixture model parameters is exemplified by detecting the presence of items in a depression scale that measure the examinees differently in comparison with the rest of items. Finally, some general recommendations regarding the complementarity that should exist between the substantive theory underlying the development of a scale and the use of these models are given.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Contributions of cognitive psychology to the study and improvement of reading comprehension in higher education

Un nivel adecuado de comprensión lectora es imprescindible para desempeñarse exitosamente en la educación universitaria, de allí la importancia de la investigación y el mejoramiento de esta destreza cognitiva. El objetivo del presente artículo de revisión bibliográfica es explorar algunos mecanismos cognitivos que influyen en la capacidad de comprensión lectora de los estudiantes universitarios, por lo cual, se brindan algunas herramientas teórico-conceptuales para ahondar en los mecanismos cognitivos que subyacen a la capacidad de comprensión lectora. El problema es dilucidar cuáles herramientas proporciona la psicología cognitiva para entender y mejorar la comprensión lectora en estudiantes universitarios. A partir de lo anterior, se concluye que el estudio y el mejoramiento de la comprensión lectora requieren tomar en cuenta mecanismos cognitivos de dominios general y específico, los cuales están en la base de las fortalezas y debilidades que se manifiestan en los instrumentos de evaluación tradicionales de la comprensión lectora. Asimismo, se concluye que la técnica de seguimiento ocular aplicada al proceso de la lectura es de gran utilidad para identificar las dificultades que pueden presentarse al comprender textos escritos. Estas herramientas teórico-conceptuales se han identificado como parte del proyecto de investigación El rol de las funciones ejecutivas y la inteligencia fluida en las habilidades verbales y la compresión lectora de los estudiantes universitarios: un estudio de movimientos oculares, el cual se desarrolla en el Instituto de Investigaciones Psicológicas de la Universidad de Costa Rica.An appropriate adequate level of reading comprehension is essential to perform successfully in university education; hence the importance of research and improvement of this cognitive skill. This bibliographic review article seeks to explore some cognitive mechanisms that influence the reading comprehension capacity of university students, for which some theoreticalconceptual tools are provided to delve into the cognitive mechanisms that underlie the reading comprehension capacity. This study attempts to elucidate which tools cognitive psychology provides to understand and improve reading comprehension in university students. Based on the above, it is concluded that the study and improvement of reading comprehension requires accounting for cognitive mechanisms of general domain and specific domain, which are at the base of the strengths and weaknesses manifested in the traditional evaluation instruments of reading comprehension. Likewise, it is concluded that the eye tracking technique applied to the reading process is a very useful tool to identify the difficulties that may arise when understanding written texts. Finally, it is worth mentioning that these theoretical-conceptual tools have been identified as part of the research project The role of executive functions and fluid intelligence in verbal skills and reading comprehension of university students: a study of eye movements, developed at the Institute of Psychological Research of the University of Costa Rica.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP)UCR::Vicerrectoría de Docencia::Ciencias Sociales::Facultad de Ciencias Sociales::Escuela de Psicologí

El uso de la invarianza de medición con variables dicotómicas como evidencia de validez

This paper explains and exemplifies how an analysis of the measurement invariance with dichotomous items may be implemented in order to obtain evidence of validity. The example was developed with data from the Academic Aptitude Test (PAA, for its initials in Spanish; PPPAA, 2014) at the University of Costa Rica (UCR). Measurement invariance was analyzed according to two classifications, by high school kind (public or private) and by sex. The method used was a confirmatory factor analysis with two correlated factors defined from the two components of the PAA (N = 11304). Each group analysis presented strict invariance. It was concluded that the test scores have the same unit of measurement for both men and women, and among students from public and private high schools. Finally, these results constitute evidence of validity of the PAA scores in terms of their internal structure from the perspective of fairness.En este artículo se explica y ejemplifica cómo se puede implementar un análisis de invarianza de medición con ítems dicotómicos con el fin de obtener evidencias de validez. El ejemplo fue desarrollado con datos de la Prueba de Aptitud Académica (PAA; PPPAA, 2014) de la Universidad de Costa Rica (UCR). El análisis fue desarrollado según género y según tipo de colegio (público y privado). El método usado fue un análisis factorial confirmatorio con dos factores correlacionados definidos por los dos componentes de la PAA (N = 11304). En cada análisis grupal se alcanzó la invarianza estricta. A partir de lo anterior, se concluyó que las puntuaciones del test presentan la misma unidad de medida en hombres y mujeres, al igual que en estudiantes de colegios privados y públicos. Finalmente, estos resultados constituyen una evidencia de validez de las puntuaciones de la PAA en términos de su estructura interna, desde la perspectiva de la equidad

A Validation of a Reading Comprehension Test for University Students

El objetivo del presente artículo es brindar evidencias de validez y de confiabilidad sobre una prueba nueva para medir el nivelde comprensión lectora de estudiantes universitarios. Para ello se empleó un diseño de investigación observacional y transversal,mediante la cual se aplicó la prueba a un grupo de 244 estudiantes de primer ingreso a una carrera universitaria. Los resultadosfueron analizados con base en la Teoría Clásica de los Test y en el modelo de Rasch, así como también se estimó el coeficiente decorrelación de Pearson entre las puntuaciones en la prueba y un curso universitario de primer año de carrera. El principal hallazgode este estudio es la creación de una prueba de 44 ítems que permite generar puntuaciones con una confiabilidad de 0,74 y quepresentan una correlación estadísticamente significativa (p < 0,000) de 0,21 [0,09, 0,33] con las notas de estudiantes en un cursode carrera de primer año. Con base en los análisis efectuados, se concluye que la prueba podría ser útil para detectar estudiantesde primer ingreso a la educación superior que podrían presentar problemas de comprensión lectora y, por ende, ver disminuidosu rendimiento académico. En este sentido, la prueba podría servir para propósitos de screening, es decir, para coadyuvar en laelaboración de planes remediales, implementación de intervenciones educativas y desarrollo de unidades didácticas orientadas alfortalecimiento de la comprensión lectora de los(as) estudiantes universitarios de primer ingreso.The goal of this article is to provide evidence as to the validity and reliability of a new Reading Comprehension test aimed at college students which is based on an observational and cross-cutting research design. The test was taken by 244 students in the first year of their major. The results were analyzed according to the Classical Test Theory, the Rasch Model and a Pearson correlation coefficient to compare the scores obtained with first year courses taken by students for their Major. As a result of the study, a 44- item was elaborated with a reliability scale of 0.74 and a statistically significant correlation scores of 0.21 [0.09, 0.33] (p < 0.000) for student grades in first-year courses. It can be concluded that this test could be useful to detect reading comprehension difficulties among first-year university students which could potentially negatively impact their academic performance. The test could also serve as a screening tool in the development of remedial programs to strengthen reading comprehension among these students.Universidad de Costa Rica/[]/UCR/Costa RicaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

The Use of Measurement Invariance with Dichotomous Variables as Evidence of Validity

This paper explains and exemplifies how an analysis of the measurement invariance with dichotomous ítems may be implemented in order to obtain evidence of validity. The example was developed with data from the Academic Aptitude Test (PAA, for its initials in Spanish; PPPAA, 2014) at the University of Costa Rica (UCR). Measurement invariance was analyzed according to two classifications, by high school kind (public or private) and by sex. The method used was a confirmatory factor analysis with two correlated factors defined from the two components of the PAA (N = 11304). Each group analysis presented strict invariance. It was concluded that the test scores have the same unit of measurement for both men and women, and among students from public and private high schools. Finally, these results constitute evidence of validity of the PAA scores in terms of their internal structure from the perspective of fairness.En este artículo se explica y ejemplifica cómo se puede implementar un análisis de invarianza de medición con ítems dicotómicos con el fin de obtener evidencias de validez. El ejemplo fue desarrollado con datos de la Prueba de Aptitud Académica (PAA; PPPAA, 2014) de la Universidad de Costa Rica (UCR). El análisis fue desarrollado según género y según tipo de colegio (público y privado). El método usado fue un análisis factorial confirmatorio con dos factores correlacionados definidos por los dos componentes de la PAA (N = 11304). En cada análisis grupal se alcanzó la invarianza estricta. A partir de lo anterior, se concluyó que las puntuaciones del test presentan la misma unidad de medida en hombres y mujeres, al igual que en estudiantes de colegios privados y públicos. Finalmente, estos resultados constituyen una evidencia de validez de las puntuaciones de la PAA en términos de su estructura interna, desde la perspectiva de la equidad.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Expert-guided Responses: Validation of inferences based on response processes

En este artículo se presenta un estudio cuantitativo cuyo objetivo fue poner a prueba un nuevo método para recabar evidencias sobre los procesos de respuesta utilizados por los examinados en pruebas educativas. Como antecedente fundamental, el estudio parte de la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se utilizan en la evaluación educativa. Se comparó el método tradicional, de los reportes verbales, con el método de la Respuesta Guiada por el Experto con respecto a su idoneidad para recabar evidencias sobre la interpretación de las puntuaciones en una prueba educativa. Para esto, se seleccionó una muestra a conveniencia de 17 estudiantes de primer ingreso de la Universidad de Costa Rica y se le aplicó una entrevista semiestructurada a cada uno, en las cuales debían resolver ítems de razonamiento en voz alta empleando el método tradicional de reportes verbales o el método de la Respuesta Guiada por el Experto. Las entrevistas fueron codificadas por un grupo de expertos y se calculó un coeficente de acuerdo entre ellos. Con el método tradicional se obtuvo un coeficiente kappa de Fleiss de 0.22, mientras que, con el método de la Respuesta Guiada por el Experto, este fue de 0.40. Se concluye con las ventajas de utilizar este método para desarrollar instrumentos de evaluación educativa que representen adecuadamente las habilidades, destrezas, competencias y conocimientos de los estudiantes.This article presents a quantitative study whose objective was to test a new method to collect evidence about the response processes used by examinees in educational tests. As a fundamental precedent, the study starts from the need to have systematic methods to improve the quality of the instruments used in educational assessment. A traditional method of verbal reports was compared to the Expert-guided Responses method regarding its suitability to gather evidence for scores interpretation in an educational test. For this purpose, a convenience sample of 17 first-year students from the University of Costa Rica was selected and a semistructured interview was applied to each, in which they had to solve reasoning items aloud using the traditional method of verbal reports, or the Expert-guided Responses method. The interviews were coded by a group of raters, and a coefficient of agreement between them was calculated. With the traditional method, a Fleiss kappa coefficient of 0.22 was obtained, whereas with the Expert-guided Responses method it was 0.40. The article concludes with the advantages of using the new method to develop educational assessment tools that adequately represent the students’ abilities, skills, proficiencies, and knowledge.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Validation of a Four-Strategies Model for Solving Reasoning Items in a Standardized Selection Test

La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho entrevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participantes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solución de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las puntuaciones de la prueba en el rendimiento académico en la UCR.The premise of this study is that a cognitive model can increase students’ performance for solving items on a standardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items’ response processes. The reports were analyzed to verify the correspondence between the framework of the strategies previously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Construcción y validación de una rúbrica para medir la expresión escrita en estudiantes universitarios

This article describes the process of construction and validation of a rubric to measure the writing of first-year university students. 117 essays written by Spanish Philology students (75 women and 42 men) of the University of Costa Rica were collected. Two evaluators, based on a rubric, rated the compositions after which different raters agreement coefficients were calculated to assess the technical quality of the rubric. Among the most important results, a 90% of absolute agreement was observed [± 3 errors] in most of the areas evaluated. On the other hand, small and moderate correlations between the aspects included in the rubric were observed. From these results the utility of using text linguistics as a theoretical basis for constructing written expression rubrics are discussed.En este artículo se presenta el proceso de construcción y validación de una rúbrica para medir la expresión escrita de estudiantes universitarios de primer año de ingreso. Se recogieron 117 ensayos escritos por estudiantes universitarios (75 mujeres y 42 hombres) de la carrera de Filología Española de la Universidad de Costa Rica. Los ensayos fueron calificados por dos evaluadoras con base en una rúbrica, después de lo cual se calcularon diferentes índices de concordancia entre jueces para evaluar la calidad técnica de esta. Entre los resultados más importantes, se observó un porcentaje de acuerdo absoluto [±3 errores] del 90% en la mayoría de los rubros evaluados. Por otro lado, se observaron correlaciones pequeñas y moderadas entre los aspectos incluidos en la rúbrica. A partir de estos resultados se discute la utilidad de utilizar la lingüística textual como base teórica para construir rúbricas de evaluación