Maximización de la información de silogismos ajustando el modelo de dos parámetros

El modo en que los sujetos resuelven silogismos es interesante en el estudio del razonamiento deductivo. La teoría de respuesta al ítem permite seleccionar ítems que maximicen la información para estimar con precisión los niveles de habilidad. En este trabajo se aplicó el modelo logístico de dos parámetros para obtener las funciones de información de silogismos categóricos y seleccionar el grupo de los que la maximizaban. Se administraron 26 silogismos a 405 estudiantes de psicología. Con el programa BILOG-MG se realizaron sucesivas corridas del modelo. En cada iteración se examinaba la función de información y se eliminaban los ítems de baja discriminación, culminando al encontrar un subconjunto cuya función de información alcanzó el máximo. Quedaron seis silogismos dando mayor información en el nivel de dificultad 1,123; esto es, de dificultad medianamente elevada. La información máxima fue 7,594. La confiabilidad del conjunto fue 0,744, buena atendiendo la breve longitud del conjunto. Todos los silogismos fueron de conclusión válida. El método permitió hallar un núcleo de silogismos que podrían constituir una prueba abreviada sin perder información; es decir, manteniendo la precisión al estimar la habilidad. Es útil contar con un criterio estadístico para reducir una prueba y evitar la fatiga

LA ESCASA APLICACIÓN DE LA TEORÍA DE RESPUESTA AL ÍTEM EN TESTS DE EJECUCIÓN TÍPICA

El objetivo de este trabajo fue exponer los factores que explicanla escasa aplicación de la Teoría de Respuesta al Ítem(TRI) en tests de ejecución típica. Una revisión exploratoriade la literatura psicométrica permitió identificar dos factores:el histórico, que remite a problemas en la difusión de la TRIpor fuera del campo educativo y a las demandas sociales queprivilegiaron su aplicación en el contexto educativo; y el factorasociado a la aplicación, que describe los obstáculos que enla actualidad dificultan la puesta en práctica de los modelosen tests de ejecución típica. Aunque ambos factores fueronrelativamente superados, el impacto de estos en la produccióncientífica del área es aún significativo

Difficulty components of deductive reasoning tasks by applying Fischer’s lltm model

El razonamiento silogístico es parte importante del razonamiento deductivo. El análisis de las fuentes de error en la resolución de silogismos originó, dentro de la psicología cognitiva, explicaciones como el efecto atmósfera, el sesgo de la figura y la conversión ilícita. En este trabajo se ajustó el modelo LLTM de Fischer para identificar componentes de dificultad de silogismos y estimar sus efectos. Se administraron 46 ítems con un diseño de enlace a tres grupos, con un total de 1074 estudiantes universitarios. Para cada par de premisas se debía escoger un esquema de conclusión y completarlo con los términos extremos o reconocer la falta de conclusión válida. El modelo de Rasch se ajustó sobre un subconjunto de 20 silogismos y se aplicó el modelo LLTM de Fischer. Se identificaron, aumentando la dificultad, cuatro componentes: efecto atmósfera y sesgo de figura (cuando éstos están en dirección contraria a la conclusión o no hay conclusión válida), figura II y figura III. El carácter reversible de la conclusión (modos universal negativo y particular afirmativo) y la falta de conclusión válida fueron componentes facilitadores. La correlación entre las estimaciones de los parámetros de dificultad bajo el modelo de Rasch y el LLTM fue 0,96.Syllogistic reasoning is an important part of deductive reasoning. In cognitive psychology, the analysis of error sources in solving syllogisms produced explanations such as the atmosphere effect, figure bias and wrong conversion. The Fischer Linear Logistic Test Model (lltm) was fitted on a set of syllogisms in order to identify their difficulty components and estimate their effects. Forty six items were administered with a link design to three groups of 1074 university students. The task consisted in choosing, for each pair of premises, one conclusion scheme and complete it with the suitable terms, if a valid conclusion existed; otherwise, examinees had to select the option of no valid conclusion. The Rasch model was fitted to a subset of 20 syllogisms on which Fischer’s lltm was applied. Four components were identified that increase syllogistic difficulty: atmosphere effect, figure bias (when they follow the opposite direction of the conclusion or when there is no valid conclusion), figure II and figure III. Two components were found that make the task easier: reversibility of conclusion (universal negative and particular affirmative modes) and lack of valid conclusion. Linear correlation between the estimates of difficulty parameters obtained with Rasch and lltm models was .96.Fil: Galibert, María Silvia. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Abal, Facundo Juan Pablo. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Auné, Sofía Esmeralda. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Lozzia, Gabriela Susana. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Aguerri, Maria Ester. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentin

Maximización de la información de silogismos ajustando el modelo de dos parámetros

The way that individuals solve syllogisms is an important topic of deductive reasoning studies. Item response theory permits to select items that maximize information for estimating accurately ability levels. In this work, the two-parameter logistic model was applied to obtain the information functions of categorical syllogisms in order to select the subset that maximized them. A test of 26 syllogisms was administered to 405 students of psychology. BILOG-MG program was run iteratively by applying the two parameter logistic model. The test information function was examined at each iteration, and items with low discrimination were excluded. The process ended when the information function reached the maximum. Six syllogisms were kept that gave their greatest information at the 1.123 difficulty level, which is a medium-high level. The maximum test information was 7.594 and its reliability was 0.744, which may be considered good taking into account the small size of the subset. Every syllogism had valid conclusion. The method allowed finding a core of syllogisms without losing information that might constitute a short test keeping accuracy when estimating ability. It is useful to have a statistical criterion to select items for a briefed test and, thus, avoid the fatigue.El modo en que los sujetos resuelven silogismos es interesante en el estudio del razonamiento deductivo. La teoría de respuesta al ítem permite seleccionar ítems que maximicen la información para estimar con precisión los niveles de habilidad. En este trabajo se aplicó el modelo logístico de dos parámetros para obtener las funciones de información de silogismos categóricos y seleccionar el grupo de los que la maximizaban. Se administraron 26 silogismos a 405 estudiantes de psicología. Con el programa BILOG-MG se realizaron sucesivas corridas del modelo. En cada iteración se examinaba la función de información y se eliminaban los ítems de baja discriminación, culminando al encontrar un subconjunto cuya función de información alcanzó el máximo. Quedaron seis silogismos dando mayor información en el nivel de dificultad 1,123; esto es, de dificultad medianamente elevada. La información máxima fue 7,594. La confiabilidad del conjunto fue 0,744, buena atendiendo la breve longitud del conjunto. Todos los silogismos fueron de conclusión válida. El método permitió hallar un núcleo de silogismos que podrían constituir una prueba abreviada sin perder información; es decir, manteniendo la precisión al estimar la habilidad. Es útil contar con un criterio estadístico para reducir una prueba y evitar la fatiga

Modelo de medición de componente no observable. Una presentación formal de la axiomatización de la teoría clásica de tests

El objetivo del presente trabajo es desarrollar en forma rigurosa y abstracta la fundamentación del modelo lineal de puntuaciones verdaderas de la teoría clásica de tests. Se intenta superar así tanto la imprecisión que frecuentemente se advierte en la literatura psicométrica respecto del carácter aleatorio o fijo de las componentes del modelo cuanto la notación engorrosa para su lectura y comprensión. Se presentan los axiomas del modelo, sus propiedades básicas y los resultados fundamentales de la confiabilidad y validez destacando la importancia de definirlos en términos de la componente no observable de la medición. Se consideró de interés desarrollar una presentación abstracta del modelo para que éste pudiera ser aplicado en otros contextos ¿no necesariamente psicológicos¿ donde los fenómenos involucren también variables no observables como son los puntajes verdaderos de la teoría clásica de tests

Detección errónea del funcionamiento diferencial del ítem: una comparación de métodos

Se comparan distintos métodos para analizar el Funcionamiento Diferencial del Ítem (DIF), en términos de sus proporciones de falsos positivos. Éstos son: la prueba normal para la diferencia de los parámetros de dificultad (PN), la prueba ?2 de Mantel-Haenszel y la clasificación en ¿tipo C¿ o no según la sola magnitud del estadístico MH D-DIF (clasificación empírica) ¿estos últimos de manera estándar y bietápica¿ y según el criterio del ETS. Se aplicaron a datos simulados sin DIF bajo distintas condiciones de diseño según tamaño de muestra, impacto y configuraciones de los parámetros de los ítemes. Los procedimientos bietápicos condujeron a resultados similares a los estándar en presencia de impacto. El método que generalmente arroja menores proporciones de falsos positivos es la PN; le siguen ambos tipos de clasificación las cuales, teniendo el mismo costo computacional que la prueba de Mantel-Haenszel, fallan mucho menos en la detección errónea del DIF

Comparación de los modelos respuesta graduada y crédito parcial aplicados a una escala de utilidad de la matemática

The Graded Response Model (GRM) and the Partial Credit Model (PCM) of Item Response Theory (IRT) were applied in the item analysis of a scale that evaluates psychology students's beliefs about the usefulness of mathematics. The scale comprises 8 items in polytomous response format (6-point Likert-type). The sample was made up by 1875 students of the Psychology school of the University of Buenos Aires. All analyses based on IRT were performed by operating the MULTILOG software. The parameters estimation was carried out trough Marginal Maximum Likelihood procedures. Previously, the unidimensionality assumption required by the models was confirmed. The GRM showed better fit indexes than PCM and higher Test Information Function. The findings provides validity evidences based on the internal structure of scale.Se aplicaron los Modelos Respuesta Graduada (MRG) y Crédito Parcial (MCP) de la Teoría de Respuesta al Ítem (TRI) al análisis de ítems de una escala que mide las creencias sobre la utilidad de la Matemática de estudiantes de Psicología. La prueba consta de 8 ítems con formato de respuesta Likert de 6 opciones. Participaron 1875 estudiantes de Psicología de la Universidad de Buenos Aires. Todos los análisis basados sobre la TRI se realizaron con el programa MULTILOG. La estimación de los parámetros de los modelos se efectuó por Máxima Verosimilitud Marginal. Previamente se verificó la condición de unidimensionalidad requerida por los modelos. El MRG presentó mejores indicadores de ajuste que el MCP y una Función de Información del Test más elevada. Se hallaron asociaciones entre los escalamientos realizados desde la TRI y la teoría clásica. Los resultados aportan evidencias de validez basadas en la estructura interna del instrumento

Comparación de los modelos respuesta graduada y crédito parcial aplicados a una escala de utilidad de la matemática

The Graded Response Model (GRM) and the Partial Credit Model (PCM) of Item Response Theory (IRT) were applied in the item analysis of a scale that evaluates psychology students's beliefs about the usefulness of mathematics. The scale comprises 8 items in polytomous response format (6-point Likert-type). The sample was made up by 1875 students of the Psychology school of the University of Buenos Aires. All analyses based on IRT were performed by operating the MULTILOG software. The parameters estimation was carried out trough Marginal Maximum Likelihood procedures. Previously, the unidimensionality assumption required by the models was confirmed. The GRM showed better fit indexes than PCM and higher Test Information Function. The findings provides validity evidences based on the internal structure of scale.Se aplicaron los Modelos Respuesta Graduada (MRG) y Crédito Parcial (MCP) de la Teoría de Respuesta al Ítem (TRI) al análisis de ítems de una escala que mide las creencias sobre la utilidad de la Matemática de estudiantes de Psicología. La prueba consta de 8 ítems con formato de respuesta Likert de 6 opciones. Participaron 1875 estudiantes de Psicología de la Universidad de Buenos Aires. Todos los análisis basados sobre la TRI se realizaron con el programa MULTILOG. La estimación de los parámetros de los modelos se efectuó por Máxima Verosimilitud Marginal. Previamente se verificó la condición de unidimensionalidad requerida por los modelos. El MRG presentó mejores indicadores de ajuste que el MCP y una Función de Información del Test más elevada. Se hallaron asociaciones entre los escalamientos realizados desde la TRI y la teoría clásica. Los resultados aportan evidencias de validez basadas en la estructura interna del instrumento

Componentes de dificultad de tareas de razonamiento deductivo aplicando el modelo LLTM de Fischer

El razonamiento silogístico es parte importante del razonamiento deductivo. El análisis de las fuentes de error en la resolución de silogismos originó, den - tro de la psicología cognitiva, explicaciones como el efecto atmósfera, el sesgo de la figura y la conver - sión ilícita. En este trabajo se ajustó el modelo lltm de Fischer para identificar componentes de dificul - tad de silogismos y estimar sus efectos. Se adminis - traron 46 ítems con un diseño de enlace a tres gru - pos, con un total de 1074 estudiantes universitarios. Para cada par de premisas se debía escoger un es - quema de conclusión y completarlo con los términos extremos o reconocer la falta de conclusión válida. El modelo de Rasch se ajustó sobre un subconjun - to de 20 silogismos y se aplicó el modelo lltm de Fischer. Se identificaron, aumentando la dificultad, cuatro componentes: efecto atmósfera y sesgo de figura (cuando éstos están en dirección contraria a la conclusión o no hay conclusión válida), figura II y figura III. El carácter reversible de la conclusión (modos universal negativo y particular afirmativo) y la falta de conclusión válida fueron componentes facilitadores. La correlación entre las estimaciones de los parámetros de dificultad bajo el modelo de Rasch y el lltm fue 0,96