Modelos de diagnóstico cognitivo: clasificación de atributos, funcionamiento diferencial del ítem y aplicaciones

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Facultad de Psicología. Departamento de Psicología Evolutiva y de la Educación. Fecha de lectura: 16 de diciembre de 201

Variation in gene duplicates with low synonymous divergence in Saccharomyces cerevisiae relative to Caenorhabditis elegans

Differences between yeast and worm duplicates result from differences in mechanisms of duplication and effective population size

El uso de la invarianza de medición con variables dicotómicas como evidencia de validez

This paper explains and exemplifies how an analysis of the measurement invariance with dichotomous items may be implemented in order to obtain evidence of validity. The example was developed with data from the Academic Aptitude Test (PAA, for its initials in Spanish; PPPAA, 2014) at the University of Costa Rica (UCR). Measurement invariance was analyzed according to two classifications, by high school kind (public or private) and by sex. The method used was a confirmatory factor analysis with two correlated factors defined from the two components of the PAA (N = 11304). Each group analysis presented strict invariance. It was concluded that the test scores have the same unit of measurement for both men and women, and among students from public and private high schools. Finally, these results constitute evidence of validity of the PAA scores in terms of their internal structure from the perspective of fairness.En este artículo se explica y ejemplifica cómo se puede implementar un análisis de invarianza de medición con ítems dicotómicos con el fin de obtener evidencias de validez. El ejemplo fue desarrollado con datos de la Prueba de Aptitud Académica (PAA; PPPAA, 2014) de la Universidad de Costa Rica (UCR). El análisis fue desarrollado según género y según tipo de colegio (público y privado). El método usado fue un análisis factorial confirmatorio con dos factores correlacionados definidos por los dos componentes de la PAA (N = 11304). En cada análisis grupal se alcanzó la invarianza estricta. A partir de lo anterior, se concluyó que las puntuaciones del test presentan la misma unidad de medida en hombres y mujeres, al igual que en estudiantes de colegios privados y públicos. Finalmente, estos resultados constituyen una evidencia de validez de las puntuaciones de la PAA en términos de su estructura interna, desde la perspectiva de la equidad

The Use of Measurement Invariance with Dichotomous Variables as Evidence of Validity

This paper explains and exemplifies how an analysis of the measurement invariance with dichotomous ítems may be implemented in order to obtain evidence of validity. The example was developed with data from the Academic Aptitude Test (PAA, for its initials in Spanish; PPPAA, 2014) at the University of Costa Rica (UCR). Measurement invariance was analyzed according to two classifications, by high school kind (public or private) and by sex. The method used was a confirmatory factor analysis with two correlated factors defined from the two components of the PAA (N = 11304). Each group analysis presented strict invariance. It was concluded that the test scores have the same unit of measurement for both men and women, and among students from public and private high schools. Finally, these results constitute evidence of validity of the PAA scores in terms of their internal structure from the perspective of fairness.En este artículo se explica y ejemplifica cómo se puede implementar un análisis de invarianza de medición con ítems dicotómicos con el fin de obtener evidencias de validez. El ejemplo fue desarrollado con datos de la Prueba de Aptitud Académica (PAA; PPPAA, 2014) de la Universidad de Costa Rica (UCR). El análisis fue desarrollado según género y según tipo de colegio (público y privado). El método usado fue un análisis factorial confirmatorio con dos factores correlacionados definidos por los dos componentes de la PAA (N = 11304). En cada análisis grupal se alcanzó la invarianza estricta. A partir de lo anterior, se concluyó que las puntuaciones del test presentan la misma unidad de medida en hombres y mujeres, al igual que en estudiantes de colegios privados y públicos. Finalmente, estos resultados constituyen una evidencia de validez de las puntuaciones de la PAA en términos de su estructura interna, desde la perspectiva de la equidad.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Expert-guided Responses: Validation of inferences based on response processes

En este artículo se presenta un estudio cuantitativo cuyo objetivo fue poner a prueba un nuevo método para recabar evidencias sobre los procesos de respuesta utilizados por los examinados en pruebas educativas. Como antecedente fundamental, el estudio parte de la necesidad de contar con métodos sistemáticos para mejorar la calidad de los instrumentos que se utilizan en la evaluación educativa. Se comparó el método tradicional, de los reportes verbales, con el método de la Respuesta Guiada por el Experto con respecto a su idoneidad para recabar evidencias sobre la interpretación de las puntuaciones en una prueba educativa. Para esto, se seleccionó una muestra a conveniencia de 17 estudiantes de primer ingreso de la Universidad de Costa Rica y se le aplicó una entrevista semiestructurada a cada uno, en las cuales debían resolver ítems de razonamiento en voz alta empleando el método tradicional de reportes verbales o el método de la Respuesta Guiada por el Experto. Las entrevistas fueron codificadas por un grupo de expertos y se calculó un coeficente de acuerdo entre ellos. Con el método tradicional se obtuvo un coeficiente kappa de Fleiss de 0.22, mientras que, con el método de la Respuesta Guiada por el Experto, este fue de 0.40. Se concluye con las ventajas de utilizar este método para desarrollar instrumentos de evaluación educativa que representen adecuadamente las habilidades, destrezas, competencias y conocimientos de los estudiantes.This article presents a quantitative study whose objective was to test a new method to collect evidence about the response processes used by examinees in educational tests. As a fundamental precedent, the study starts from the need to have systematic methods to improve the quality of the instruments used in educational assessment. A traditional method of verbal reports was compared to the Expert-guided Responses method regarding its suitability to gather evidence for scores interpretation in an educational test. For this purpose, a convenience sample of 17 first-year students from the University of Costa Rica was selected and a semistructured interview was applied to each, in which they had to solve reasoning items aloud using the traditional method of verbal reports, or the Expert-guided Responses method. The interviews were coded by a group of raters, and a coefficient of agreement between them was calculated. With the traditional method, a Fleiss kappa coefficient of 0.22 was obtained, whereas with the Expert-guided Responses method it was 0.40. The article concludes with the advantages of using the new method to develop educational assessment tools that adequately represent the students’ abilities, skills, proficiencies, and knowledge.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

A Validation of a Reading Comprehension Test for University Students

El objetivo del presente artículo es brindar evidencias de validez y de confiabilidad sobre una prueba nueva para medir el nivelde comprensión lectora de estudiantes universitarios. Para ello se empleó un diseño de investigación observacional y transversal,mediante la cual se aplicó la prueba a un grupo de 244 estudiantes de primer ingreso a una carrera universitaria. Los resultadosfueron analizados con base en la Teoría Clásica de los Test y en el modelo de Rasch, así como también se estimó el coeficiente decorrelación de Pearson entre las puntuaciones en la prueba y un curso universitario de primer año de carrera. El principal hallazgode este estudio es la creación de una prueba de 44 ítems que permite generar puntuaciones con una confiabilidad de 0,74 y quepresentan una correlación estadísticamente significativa (p < 0,000) de 0,21 [0,09, 0,33] con las notas de estudiantes en un cursode carrera de primer año. Con base en los análisis efectuados, se concluye que la prueba podría ser útil para detectar estudiantesde primer ingreso a la educación superior que podrían presentar problemas de comprensión lectora y, por ende, ver disminuidosu rendimiento académico. En este sentido, la prueba podría servir para propósitos de screening, es decir, para coadyuvar en laelaboración de planes remediales, implementación de intervenciones educativas y desarrollo de unidades didácticas orientadas alfortalecimiento de la comprensión lectora de los(as) estudiantes universitarios de primer ingreso.The goal of this article is to provide evidence as to the validity and reliability of a new Reading Comprehension test aimed at college students which is based on an observational and cross-cutting research design. The test was taken by 244 students in the first year of their major. The results were analyzed according to the Classical Test Theory, the Rasch Model and a Pearson correlation coefficient to compare the scores obtained with first year courses taken by students for their Major. As a result of the study, a 44- item was elaborated with a reliability scale of 0.74 and a statistically significant correlation scores of 0.21 [0.09, 0.33] (p < 0.000) for student grades in first-year courses. It can be concluded that this test could be useful to detect reading comprehension difficulties among first-year university students which could potentially negatively impact their academic performance. The test could also serve as a screening tool in the development of remedial programs to strengthen reading comprehension among these students.Universidad de Costa Rica/[]/UCR/Costa RicaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP

Marcação tipográfica da ênfase em itens de raciocínio em um teste de admissão

Abstract: This essay was the result of an investigation about the relevance of typographic marking in reasoning items in a verbal and mathematical context of the Academic Aptitude Test (PAA) of the University of Costa Rica. The objective was to gather evidence on the interference of the marking (bold, underlined and capital letters) in the instruction of the selected ítems, and to observe if there are variations in the technical properties when these emphasis marks are present. From an exploratory study with a qualitative approach, information was collected from interviews with a selected group of first-time students at the University for 2019 and a pilot test was applied to analyze the technical quality of the items with emphatic marking differences; the detail with the results of this experimental test is expected in a second publication. The analysis focused on the particles "No", "False" "True" "With certainty" and "Contradicts" and the reasons for maintaining their marking, according to the interviewees, due to three fundamental reasons: 1. It is a strategy to highlight words clues such as negations, 2. Clarifies the question or instruction of the item, 3. Allows to maintain attention during reading. The main results show that there is no significant difference between maintaining or eliminating the marking regardless of the type of item and population, so that it should be dispensed with for a standardized test such as the PPA. &nbsp;El presente artículo es producto de una investigación sobre la relevancia de la marcación tipográfica en ítems de razonamiento en contexto verbal y matemático de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica. El objetivo consiste en recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis. Desde un estudio de tipo exploratorio, con un enfoque cualitativo, se recabó información a partir de entrevistas a un grupo&nbsp; de estudiantes de primer ingreso a la Universidad para el 2019 y se aplicó una prueba piloto con la que se analizó la calidad técnica de los ítems con diferencias de marcación enfática; el detalle con los resultados de esta prueba experimental se prevé en una segunda publicación. El análisis se centró en las partículas “No”, “Falso” “Verdadero” “Con certeza” y “Contradice” y las razones para mantener su marcación, según las personas entrevistadas, obedece a tres razones fundamentales: 1. Es una estrategia para resaltar palabras claves como las negaciones, 2. Clarifica la pregunta o instrucción del ítem, 3. Permite mantener la atención durante la lectura. Los principales resultados muestran que no hay una diferencia significativa entre mantener y eliminar la marcación independientemente del tipo de ítem y de la población, de tal modo que conviene prescindir de su uso para una prueba estandarizada como la PPA.Este artigo é produto de uma pesquisa sobre a relevância da marcação tipográfica em itens de raciocínio no contexto verbal e matemático da Prova de Aptidão Acadêmica (PAA) da Universidade da Costa Rica. O objetivo é colher evidências sobre a interferência da marcação (negrito, sublinhado e maiúscula) na instrução dos itens selecionados e observar se existem variações nas propriedades técnicas quando essas marcações estão presentes ou não. A partir de um estudo exploratório com uma abordagem qualitativa, foram recolhidas informações através de entrevistas realizadas com um grupo de alunos do primeiro ano que ingressam na Universidade em 2019. Foi aplicado um teste piloto para analisar a qualidade técnica dos itens com diferenças. O detalhamento dos resultados deste teste experimental está previsto em uma segunda publicação.A análise centrou-se nas palavras "Não", "Falso", "Verdadeiro", "Com certeza" e "Contradiz", e as razões para manter a sua marcação, segundo os entrevistados, obedece a três razões fundamentais: 1. É uma estratégia para destacar palavras-chave como negações; 2. Esclarece a pergunta ou instrução do item; 3. Permite manter a atenção durante a leitura.Os principais resultados mostram que não há diferença significativa entre manter e eliminar a marcação independentemente do tipo de item e da população, de forma que seu uso deve ser dispensado para um teste padronizado como o PPA

Marcación tipográfica de énfasis en ítems de razonamiento en una prueba de admisión

Abstract: This essay was the result of an investigation about the relevance of typographic marking in reasoning items in a verbal and mathematical context of the Academic Aptitude Test (PAA) of the University of Costa Rica. The objective was to gather evidence on the interference of the marking (bold, underlined and capital letters) in the instruction of the selected ítems, and to observe if there are variations in the technical properties when these emphasis marks are present. From an exploratory study with a qualitative approach, information was collected from interviews with a selected group of first-time students at the University for 2019 and a pilot test was applied to analyze the technical quality of the items with emphatic marking differences; the detail with the results of this experimental test is expected in a second publication. The analysis focused on the particles "No", "False" "True" "With certainty" and "Contradicts" and the reasons for maintaining their marking, according to the interviewees, due to three fundamental reasons: 1. It is a strategy to highlight words clues such as negations, 2. Clarifies the question or instruction of the item, 3. Allows to maintain attention during reading. The main results show that there is no significant difference between maintaining or eliminating the marking regardless of the type of item and population, so that it should be dispensed with for a standardized test such as the PPA. &nbsp;El presente artículo es producto de una investigación sobre la relevancia de la marcación tipográfica en ítems de razonamiento en contexto verbal y matemático de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica. El objetivo consiste en recabar evidencia sobre la injerencia de la marcación (negrita, subrayado y mayúsculas) en la instrucción de los ítems seleccionados y observar si existen variaciones en las propiedades técnicas cuando presentan o no estas marcas de énfasis. Desde un estudio de tipo exploratorio, con un enfoque cualitativo, se recabó información a partir de entrevistas a un grupo&nbsp; de estudiantes de primer ingreso a la Universidad para el 2019 y se aplicó una prueba piloto con la que se analizó la calidad técnica de los ítems con diferencias de marcación enfática; el detalle con los resultados de esta prueba experimental se prevé en una segunda publicación. El análisis se centró en las partículas “No”, “Falso” “Verdadero” “Con certeza” y “Contradice” y las razones para mantener su marcación, según las personas entrevistadas, obedece a tres razones fundamentales: 1. Es una estrategia para resaltar palabras claves como las negaciones, 2. Clarifica la pregunta o instrucción del ítem, 3. Permite mantener la atención durante la lectura. Los principales resultados muestran que no hay una diferencia significativa entre mantener y eliminar la marcación independientemente del tipo de ítem y de la población, de tal modo que conviene prescindir de su uso para una prueba estandarizada como la PPA.Este artigo é produto de uma pesquisa sobre a relevância da marcação tipográfica em itens de raciocínio no contexto verbal e matemático da Prova de Aptidão Acadêmica (PAA) da Universidade da Costa Rica. O objetivo é colher evidências sobre a interferência da marcação (negrito, sublinhado e maiúscula) na instrução dos itens selecionados e observar se existem variações nas propriedades técnicas quando essas marcações estão presentes ou não. A partir de um estudo exploratório com uma abordagem qualitativa, foram recolhidas informações através de entrevistas realizadas com um grupo de alunos do primeiro ano que ingressam na Universidade em 2019. Foi aplicado um teste piloto para analisar a qualidade técnica dos itens com diferenças. O detalhamento dos resultados deste teste experimental está previsto em uma segunda publicação.A análise centrou-se nas palavras "Não", "Falso", "Verdadeiro", "Com certeza" e "Contradiz", e as razões para manter a sua marcação, segundo os entrevistados, obedece a três razões fundamentais: 1. É uma estratégia para destacar palavras-chave como negações; 2. Esclarece a pergunta ou instrução do item; 3. Permite manter a atenção durante a leitura.Os principais resultados mostram que não há diferença significativa entre manter e eliminar a marcação independentemente do tipo de item e da população, de forma que seu uso deve ser dispensado para um teste padronizado como o PPA

Validation of a Four-Strategies Model for Solving Reasoning Items in a Standardized Selection Test

La premisa de este estudio consiste en que un modelo cognitivo permite a las personas mejorar el desempeño en la resolución de preguntas de una prueba estandarizada donde el uso de estrategias tiene un papel crucial. El propósito de la investigación fue validar un modelo cognitivo con cuatro estrategias definidas por jueces expertos con base en los procesos de respuesta que subyacen a ítems de la Prueba de Aptitud Académica de la Universidad de Costa Rica (UCR). Se realizaron ocho entrevistas semiestructuradas a estudiantes de la UCR, quienes estaban cursando el primer año en esta institución y se aplicaron las técnicas de reporte verbal para obtener evidencias de los procesos de respuesta de los ítems. Se analizaron los reportes para comprobar la correspondencia entre el marco de las estrategias definidas previamente por jueces expertos y las respuestas dadas por los participantes. Los resultados indicaron que los participantes siguieron las estrategias propuestas para la solución de las situaciones planteadas por los jueces; por tanto, los ítems son indicadores de los procesos subyacentes a estas estrategias. Estos hallazgos abren la posibilidad de implementar investigaciones con atributos presentes en cada estrategia propuesta de este estudio, que posibiliten predecir las puntuaciones de la prueba en el rendimiento académico en la UCR.The premise of this study is that a cognitive model can increase students’ performance for solving items on a standardized test, where strategies play a crucial role. The purpose of the study is to validate a cognitive model with four strategies defined by expert judges based on the response processes that underlie the items of the University of Costa Rica (UCR) Academic Aptitude Test. Eight semi-structured interviews were conducted with first-year students at UCR and the techniques of verbal reporting were applied to gather evidence of the items’ response processes. The reports were analyzed to verify the correspondence between the framework of the strategies previously defined by expert judges and the answers given by the participants. In light of the results, it was concluded that the participants followed the proposed strategies for solving the situations posed, and, therefore, the items are indicators of the processes underlying these strategies. The results open the possibility of implementing research with attributes present in each strategy proposed in this study, which will allow predicting test scores in academic performance at the UCR.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP