62 research outputs found
Escalas o índices para la medición de constructos: el dilema del analista de datos
Se intenta disipar algunas de las mayores confusiones existentes entre los analistas de datos en relación con la naturaleza de los índices y las escalas y también en relación con la metodología para su construcción. Se definen conceptos clave y se listan siete diferencias fundamentales entre índices y escalas. Estas son: El número de componentes o dimensiones representados en el indicador, el para qué (propósito) del indicador, la utilización de métodos psicométricos, el peso o ponderación de los ítems o reactivos, el tratamiento de los valores faltantes (missing), la necesidad de estandarizar estadísticamente la medida y el grado de interpretabilidad. A lo largo de todo el documento se dan ilustraciones utilizando ejemplos reales. Se espera que esta discusión contribuya a una toma de decisiones informada por parte de los profesionales que trabajan analizando y/o construyendo este tipo de medidas y por parte de aquellos que deben usarlas o analizarlas ocasionalmente.An attempt is made to dissipate some of the major confusions among data analysts regarding the nature of scale and indexes, and also the methodology for their construction. Key concepts are defined and seven basic differences between indexes and scales are listed. They are: the number of components or dimensions represented in the indicator, the purpose of the indicator, the use of psychometric methods, the weights assigned to the items or reactives, the treatment of the missing values, the need for statistical standardization and the degree of interpretability. Throughout the document illustrations are provided with real examples. It is hoped that this discussion contributes to an informed decision making by the professionals that work analyzing and/or constructing this type of measures and by those who have to use them or analyze them occasionally.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP
La teoría de respuesta a los itemes: una moderna alternativa para el análisis psicométrico de instrumentos de medición
La Teoría de Respuesta a los Itemes, TRI, (o "Item Response Theory", en inglés) es un enfoque más poderoso que la Teoría Clásica de los Tests para el análisis de calidad técnica de instrumentos de medición psicométricos. Comparada con la Teoría Clásica, la TRI permite obtener más información sobre los ítems de la prueba y sobre el constructo o variable latente que interesa medir en los examinados. Además, con la TRI se pueden generar pruebas adaptadas al nivel de los individuos. También se logran indicadores de las propiedades psicométricas del instrumento, y de los ítems que lo componen, según los diferentes valores del constructo de interés. Estas características de la TRI le dan ventajas esenciales en relación con la Teoría Clásica. Sin embargo, hay todavía problemas de estimación no resueltos, que provocan, algunas veces, la imposibilidad de ajustar ciertos modelos en conjuntos específicos de datos. Para lograr comprender cabalmente la naturaleza, potencialidades y limitaciones de la TRI se requiere de conocimientos en matemática y estadística. Es quizá por esta razón que en nuestra región latinoamericana estos enfoques son poco conocidos entre los científicos sociales. En general, las dos disciplinas que pueden beneficiarse más con la aplicación de estos modelos son la Psicología y la Educación.Palabras clave: Medición, Psicometría, Teoría de Respuesta a los Itemes, Análisis de Itemes, Estimación de Modelo
Educación e ingreso como predictores de la esperanza de vida: Evidencias de un análisis de regresión aplicado a indicadores de desarrollo humano
Usando datos del Informe sobre Desarrollo Humano de 1998 se ajustó un modelo de regresión lineal múltiple para estimar la esperanza de vida al nacer como fun- ción de un indicador de poder adquisitivo, el PIB per cápita en dólares, y un indi- cador de educación, la tasa de matriculación combinada. Los resultados muestran que la importancia relativa del indicador de educación en la predicción de la espe- ranza de vida es prácticamente tres veces la importancia relativa del indicador del poder adquisitivo. El estudio también ilustra la utilidad del enfoque de regresión múltiple como herramienta para la investigación en ciencias sociales.A linear regression model was adjusted with data from the Human Development Report 1998. The purpose was to predict Life Expectancy at Birth as a function of an indicator of education, the Combined First, Second and Third Level Gross Enrolment Ratio, and an indicator of monetary or buying power, the Real GDP per capita in dollars. Results show that the relative importance of the education indicator is practically three times the importance of the buying power indicator. The study also shows the usefulness of the multiple regression approach as a tool for research in Social Sciences.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP
Los modelos de ecuaciones estructurales como herramienta para explorar posibles relaciones causales en investigación educativa: Una ilustración con datos de PISA 2009 en Costa Rica
Los modelos de ecuaciones estructurales o SEM, por sus siglas en inglés (Structural
Equations Models) se han hecho populares en los últimos 25 años, en virtud de que
representan una alternativa para explorar posibles planteamientos teóricos causales
con datos que provienen de estudios observacionales o correlaciónales (Bollen, 1989;
Freedman, 2010).
En la investigación social y educativa resultan muy útiles, pues con frecuencia es
imposible, por razones éticas o prácticas, realizar experimentos, que son los diseños
óptimos para generar evidencias de causalidad, gracias a que la asignación de los
sujetos a los grupos se realiza al azar.
En los estudios observacionales, por el contrario, se estudia el fenómeno en
condiciones “naturales” y por tanto es imposible asegurar el control total de “terceras”
variables o variables de confusión que amenazan la validez del argumento causal entre
cualesquiera dos variables de interés.Consejo Nacional de Rectores/[]/CONARE/Costa RicaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP
El modelo de Rasch: una herramienta esencial para la evaluación educativa de gran escala
Las pruebas estandarizadas son un recurso utilizado en el ámbito educativo para medir
constructos complejos. Tal y como se explica en el cuerpo del capítulo especial, las
pruebas estandarizadas corresponden a instrumentos de medición en cuya
construcción y validación se utiliza un enfoque científico que permita obtener evidencias
de la validez y confiabilidad de las mismas. El objetivo de esta sección es introducir a
los lectores interesados al modelo de medición más utilizado actualmente en pruebas
estandarizadas educativas de gran escala.
Durante muchos años los educadores y los evaluadores educativos han cuestionado a
la psicometría en cuanto a su utilidad en pruebas educativas, dado que los puntajes
generados a partir del modelo de medición más antiguo y conocido de la Teoría Clásica
de los Test (TCT), no proveen información acerca de qué puede o no hacer el
estudiante. Por ejemplo, el porcentaje de respuestas correctas o el puntaje promedio en
un examen, no dice nada per se acerca del desempeño del examinado, no brinda
información sobre cuáles contenidos domina y cuáles no, y en qué nivel se encuentra
con respecto a los contenidos mínimos que debería dominar. Si un estudiante obtuvo
una nota de 80 en Matemáticas no se puede establecer el grado de dominio de los
contenidos o procesos que están presentes en el examen. Además, en la TCT se
supone que el error de medición asociado a cada puntaje observado es igual para todos
los examinados. Adicionalmente, a partir de esta teoría se produce un resultado
conocido como el coeficiente de confiabilidad alfa de Cronbach, usado para medir la
confiabilidad de las pruebas.Consejo Nacional de Rectores/[]/CONARE/Costa RicaUCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP
Funcionamiento diferencial del ítem en pruebas de español y matemática en estudiantes reportados con TDAH
The detection of differential item functioning (DIF) is fundamental to ensure instruments’ invariance, and, therefore, a better estimate of the construct being measured across the different groups of examinees. The purpose of this research was to provide substantive hypothesizes related to possible sources of DIF, comparing students reported with accommodations for ADHD (focal group) and students with no accommodations (reference group), using the Standardized-P Difference and the Mantel Haenszel (MH) methods. Data from the Costa Rican national high school exit tests in Spanish and Math, from the year 2004, in public schools, were analyzed. First, these two methods were used to detect items with DIF, and then, using a more qualitative approach, drew hypotheses related to possible sources of DIF. Some degree of agreement was verified between the two different empirical methods, being Mantel-Haenszel more sensitive. In the Spanish test, DIF was hypothesized to be caused by the length and wording of the options, and the literary and non-literary texts in the stem. In Math, possible sources of DIF involved vocabulary, wording, the transition of verbal to mathematical language, the visuospatial item organization, and the drawing of graphs and geometrical figures. At the methodological level, complementing the statistical analyses with the judges’ criteria was helpful to identify possible sources of irrelevant variance in the construct measured by these tests. The hypotheses must be interpreted with caution, though, since the number of items detected as exhibiting DIF was relatively small.La detección del funcionamiento diferencial del ítem (FDI) es fundamental para garantizar instrumentos invariantes y una mejor estimación del constructo en los diferentes grupos de examinados. El propósito de esta investigación fue proveer hipótesis sustantivas sobre posibles fuentes de FDI, comparando estudiantes reportados con el trastorno de déficit atencional con hiperactividad (TDAH, grupo focal) y estudiantes sin esas características (grupo de referencia). Se usaron los métodos de la diferencia p estandarizada y MantelHaenszel para identificar los ítems con FDI en las pruebas de bachillerato de español y matemática aplicadas en el año 2004 en colegios públicos académicos de Costa Rica. Luego, usando un enfoque más cualitativo, se generaron hipótesis sobre sus posibles fuentes. Hubo cierto grado de concordancia entre ambos métodos, siendo el de Mantel-Haenszel más sensible. En la prueba de español se encontró evidencias para apoyar la hipótesis de que la extensión y la redacción de las opciones y los textos literarios y no literarios incluidos en el encabezado pueden ser causas de FDI. En matemática se encontró que el vocabulario, la redacción, la transición del lenguaje verbal al matemático, la organización viso espacial del ítem y el dibujo de gráficas o figuras geométricas pueden ser causas de FDI. A un nivel metodológico, el complementar los análisis estadísticos con el criterio de jueces fue útil para la identificación de posibles fuentes de variancia irrelevante al constructo medido por estas pruebas. Las hipótesis deben ser tomadas con cautela, ya que el número de ítems detectados con FDI fue relativamente pequeño.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP
Variation in gene duplicates with low synonymous divergence in Saccharomyces cerevisiae relative to Caenorhabditis elegans
Differences between yeast and worm duplicates result from differences in mechanisms of duplication and effective population size
Aplicación del modelo de Rasch, en el análisis psicométrico de una prueba de diagnóstico en matemática
El presente trabajo pretende generar evidencias empíricas en torno a la validez de la prueba de “Diagnóstico de
conocimientos y destrezas en matemática del estudiante al ingresar a la universidad”, de la Escuela de Matemática de la Universidad de Costa Rica, desde la aplicación del modelo de Rasch. La muestra corresponde a 2624 examinados del 2008. Los
objetivos del estudio se dirigieron primeramente a establecer evidencias de validez y confiabilidad para el instrumento. Por
medio de análisis de factores exploratorio se verificó la unidimensionalidad de la escala y con el modelo de Rasch se generaron
evidencias para concluir un grado aceptable de confiabilidad. Con la participación de 5 jueces expertos se establecieron niveles
sustantivos de desempeño, clasificando los ítems según dificultad, y según procesos y contenidos necesarios para su resolución.
Para validar las valoraciones de los jueces se contrastaron sus clasificaciones de dificultad con las estimaciones obtenidas al
aplicar el modelo de Rasch, y por medio de un análisis de concordancia con la medida Kappa de Cohen se logró determinar el
grupo de los 3 jueces que se acercaban más a las estimaciones de Rasch y cuyas valoraciones fueron consideradas para establecer
los niveles de desempeño.The study intended, by means of the Rasch model, to provide empirical evidences regarding the validity of the test
called “Diagnostic of knowledge and skills in Mathematics of the student entering the University”, developed by the School of
Mathematics at the University of Costa Rica. The sample consisted of 2624 examinees in the year 2008. The research objectives
first addressed the issue of establishing validity and reliability evidences for the instrument. Using exploratory factor analysis
the unidimensionality of the scale was confirmed, and employing the Rasch model evidence was generated to conclude an
acceptable degree of reliability. With the participation of 5 expert judges substantive levels of performance were established,
classifying the items according to difficulty, and according to necessary processes and contents for their solution. To validate the
judges’ assessments, their difficulty classifications were contrasted with the difficulty estimations from the Rasch model, and,
making use of a concordance analysis with Cohen’s Kappa the group of the 3 judges that were closer to Rasch estimations was
determined. These 3 judges’ appraisals were considered to establish the performance levels.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP
Use of the Rasch model to build specification tables: Methodological proposal applied to a university selec tion test
Mediante un enfoque cuantitativo y un análisis descriptivo de investigación, este artículo presenta una
aplicación menos conocida del modelo Rasch, como herramienta técnica para la construcción y validación de tablas de especificaciones para pruebas estandarizadas. El estudio hace una propuest
a para generar, empleando este modelo, y una con mayor rugosidad científica, una tabla de especificaciones en términos de procesos y contenidos para el componente de razonamiento en contextos matemáticos de la prueba de selección para ingreso a la Universidad de Costa Rica, la prueba de aptitud académica. Debe recordarse que la aproximación estándar en pruebas educativas para construir tablas de especificaciones ha partido tradicionalmente de lo que llamamos “juicio de expertos”, pero sin buenos asideros de evidencia empírica científica. El interés principal, más allá de esta aplicación particular, consiste en detallar la metodología utilizada para mostrar de qué forma se
puede emplear este marco de referencia para construir y validar tablas de especificaciones de una forma científicamente más rigurosa, apoyada por la evidencia empírica provista por el modelo de Rasch, conjuntamente con el conocimiento y valoración de jueces expertos.Through quantitative approach and a descriptive analysis research, this paper presents a less known application of the Rasch Model, as a technical tool for the development and validation of specifications tables for standardized tests. The study proposes a framework to generate a specification table with processes and contents for the math context component of the undergraduate admission test used by the University of Costa Rica. It is worthwhile to remember that the standard approach to construct specifications tables in educational tests has been based on what traditionally is called “expert judgments”, with no good hold on scientific approaches. The main interest, beyond this particular application, is to detail the methodology, and show a way that could be implemented to use this frame of reference to develop and alidate specification tables in a more rigorous and scientific way, supported for the empirical evidence provided by the Rasch Model, along with the knowledge and assessment of expert judges.UCR::Vicerrectoría de Investigación::Unidades de Investigación::Ciencias Sociales::Instituto de Investigaciones Psicológicas (IIP)UCR::Vicerrectoría de Docencia::Ciencias Sociales::Facultad de Ciencias Económicas::Escuela de Estadístic
- …