Item response theory applied to a loneliness scale: Comparison between models

La Escala de Soledad de Buenos Aires (ESBA) (Auné et al., 2019) es un nuevo instrumento construido en la Argentina para la medición psicológica del aislamiento social autopercibido, también denominado soledad. La ESBA está compuesta por siete ítems que se responden mediante una escala Likert de cuatro opciones desde “nada de acuerdo” hasta “totalmente de acuerdo”. Sofía Auné, Facundo Abal y Horacio Attorresi, (2019) estudiaron las propiedades psicométricas del instrumento -como su estructura factorial y su consistencia interna- en el contexto de la teoría clásica de los test. Asimismo, obtuvieron evidencias de validez convergente por medio de la correlación de los puntajes de los participantes en la ESBA con los puntajes en la versión argentina de la Escala de Soledad de Los Angeles, California (UCLA-LS; Russell et al., 1980; Sacchi y Richaud de Minzi, 1997) y con preguntas de autopercepción de la soledad. Sería útil, además, modelizar la ESBA con la teoría de la respuesta al ítem (TRI), ya que esto permitirá evaluar la calidad psicométrica de la escala mediante otros métodos de análisis más potentes. Habitualmente, la elección del modelo a aplicar de la TRI se ha realizado con base en la preferencia o la habilidad de un equipo de investigación (e.g. Edelen y Reeve, 2007), cuando es de conocimiento estadístico que ciertos modelos pueden tener más ajuste que otros a datos empíricos específicos. Actualmente existen métodos objetivos para comparar el ajuste relativo entre modelos de la TRI (e.g. De Ayala, 2009; Toland, 2013) que permiten seleccionar el modelo más adecuado para ser aplicado a un conjunto de datos concretos. Objetivo: Comparar el ajuste a las respuestas a la ESBA de los modelos más utilizados en la actualidad para respuesta politómica ordenada y determinar cuál es el más adecuado para calibrar las respuestas a sus ítems.The Buenos Aires Loneliness Scale (BALS; Auné et al., 2019) is a new instrument designed in Argentina for the psychological measurement of self-perceived social isolation, also called loneliness. BALS is composed of seven items that are answered using a 4-option Likert response format from “completely disagree” to “totally agree”. Sofía Auné, Facundo Abal and Horacio Attorresi (2019) studied the psychometric properties, such as its factorial structure and its internal consistency, of the instrument in the context of the classical test theory. Likewise, they obtained evidence of convergent validity through the correlation of the scores of the participants in the BALS with the scores in the Argentine version of the Los Angeles, California, Loneliness Scale (UCLA-LS; Russell et al. 1980; Sacchi & Richaud de Minzi, 1997) and with questions of self-perception of loneliness. It would also be useful to model the BALS with the item response theory (IRT), since this will allow the evaluation of the psychometric quality of the scale through other more powerful methods of analysis. Usually, the choice of the IRT model to be applied has been made based on the preference or skill of a research team (e.g. Edelen & Reeve, 2007), when it is statistical known that some models may have more adjustment than others to specific empirical data. Currently, there are objective methods to compare the relative adjustment between models of the IRT (e.g. De Ayala, 2009; Toland, 2013) that allow selecting the most appropriate model to be applied to a set of specific data. Objective: To compare the adjustment to the BALS responses of the most commonly used models for orderly politomic response and to determine which one is the most appropriate to calibrate the responses to the items.Facultad de Psicologí

Maximización de la información de silogismos ajustando el modelo de dos parámetros

El modo en que los sujetos resuelven silogismos es interesante en el estudio del razonamiento deductivo. La teoría de respuesta al ítem permite seleccionar ítems que maximicen la información para estimar con precisión los niveles de habilidad. En este trabajo se aplicó el modelo logístico de dos parámetros para obtener las funciones de información de silogismos categóricos y seleccionar el grupo de los que la maximizaban. Se administraron 26 silogismos a 405 estudiantes de psicología. Con el programa BILOG-MG se realizaron sucesivas corridas del modelo. En cada iteración se examinaba la función de información y se eliminaban los ítems de baja discriminación, culminando al encontrar un subconjunto cuya función de información alcanzó el máximo. Quedaron seis silogismos dando mayor información en el nivel de dificultad 1,123; esto es, de dificultad medianamente elevada. La información máxima fue 7,594. La confiabilidad del conjunto fue 0,744, buena atendiendo la breve longitud del conjunto. Todos los silogismos fueron de conclusión válida. El método permitió hallar un núcleo de silogismos que podrían constituir una prueba abreviada sin perder información; es decir, manteniendo la precisión al estimar la habilidad. Es útil contar con un criterio estadístico para reducir una prueba y evitar la fatiga

LA ESCASA APLICACIÓN DE LA TEORÍA DE RESPUESTA AL ÍTEM EN TESTS DE EJECUCIÓN TÍPICA

El objetivo de este trabajo fue exponer los factores que explicanla escasa aplicación de la Teoría de Respuesta al Ítem(TRI) en tests de ejecución típica. Una revisión exploratoriade la literatura psicométrica permitió identificar dos factores:el histórico, que remite a problemas en la difusión de la TRIpor fuera del campo educativo y a las demandas sociales queprivilegiaron su aplicación en el contexto educativo; y el factorasociado a la aplicación, que describe los obstáculos que enla actualidad dificultan la puesta en práctica de los modelosen tests de ejecución típica. Aunque ambos factores fueronrelativamente superados, el impacto de estos en la produccióncientífica del área es aún significativo

Analysis of age-dependant differential item functioning on a loneliness scale

La soledad es el sentimiento displacentero que ocurre cuando la persona percibe sus vínculos sociales como insatisfactorios, ya sea cuantitativa o cualitativamente (Auné et al., 2019; De Jong Gierveld et al., 2016). Se ha asociado tanto con trastornos psicológicos como con síntomas físicos (Holt-Lunstad et al., 2015). En este sentido, las tasas de depresión, riesgo suicida y estrés se incrementan cuando se percibe soledad (Van Orden et al., 2010). En la Argentina, por el momento, la única escala psicométrica adaptada al medio local para medir la soledad en adultos es la Escala de Soledad de la Universidad de California, Los Ángeles (University of California Los Angeles Loneliness Scale [UCLA-LS]; Russell et al., 1980). Está compuesta por 20 ítems que se responden mediante una escala Likert de cuatro opciones que expresan frecuencia (1 = nunca, 2 = raramente, 3 = algunas veces, 4 = a menudo). Carla Sacchi y María Cristina Richaud de Minzi (1997) implementaron el método de traducción-retrotraducción para obtener la versión argentina de cada ítem. Asimismo, confeccionaron los baremos de la escala adaptada y relacionaron su puntaje con las variables sexo y edad. Dado el tiempo transcurrido desde dicha adaptación, resulta importante el estudio de las propiedades psicométricas actuales de la versión argentina de la UCLA-LS. Si existiese funcionamiento diferencial (differential item functioning, DIF) en los ítems que componen el instrumento, esto implicaría una violación a su validez (Mallinckrodt et al., 2016). El DIF indica que, dividiendo a los participantes en grupos, sujetos con un mismo nivel del rasgo de interés pero pertenecientes a distintos grupos tienen desigual probabilidad de dar la misma respuesta a un ítem (Holland, 1985; Holland y Thayer, 1988). Se suele distinguir entre DIF uniforme y no uniforme. El DIF uniforme se presenta cuando uno de los grupos se ve favorecido a lo largo de los niveles del rasgo. Si, en cambio, el ítem favorece a un grupo o a otro en determinados niveles del rasgo, se denomina DIF no uniforme (Osterlind y Everson, 2009). Objetivo: Analizar la existencia de DIF por edad en la versión argentina de la UCLA-LS.Loneliness is the unpleasant feeling of regarding one’s social ties as either quantitatively or qualitatively unsatisfactory (Auné et al., 2019; De Jong Gierveld et al., 2016) and has been associated both with psychological disorders and physical symptoms (Holt-Lunstad et al., 2015). In this sense, depression, suicide risk and stress rates increase when loneliness is perceived (Van Orden et al., 2010). In Argentina, the University of California Los Angeles Loneliness Scale (UCLA-LS; Russell et al., 1980) is so far the only psychometric scale adapted to the local environment to measure loneliness in adults. The UCLA consists of 20 items that are answered using a Likert scale of four options expressing frequency (1 = never, 2 = rarely, 3 = sometimes, 4 = often). Carla Sacchi and María Cristina Richaud de Minzi (1997) implemented the translation-backtranslation method to find the Argentine version of each item and related the adapted scale scores to the variables of sex and age. Given the time elapsed since this adaptation, it is deemed necessary to study the current psychometric properties of the Argentine version of UCLA-LS to rule out the existence of differential item functioning (DIF) in the instrument items, which may imply a violation of validity (Mallinckrodt et al., 2016). DIF implies that, upon dividing the participants into groups, individuals with the same level of the trait of interest but belonging to different groups have different probability of giving the same response to an item (Holland, 1985; Holland & Thayer, 1988). A distinction is usually made between uniform and non-uniform DIF. Whereas uniform DIF entails that one of the groups is favored along the trait levels, non-uniform DIF means that the item may favor one group or another at certain levels of the trait (Osterlind & Everson, 2009). Objective: To analyze the existence of DIF by age in the Argentine version of UCLA-LS.Facultad de Psicologí

Modelización de una Prueba de Analogías Figurales con la Teoría de Respuesta al Ítem

The psychometric properties of a Figural Analogies Test are described within the framework of Item Response Theory. Thirty-six 2x2 matrix figures were constructed by using location, distortion and number rules. The sample included 499 psychology students from the University of Buenos Aires, 79% of whom were women. The 3-Parameter Logistic Model was used obtaining a highly satisfactory global fit at 5% (p = .47). Only 3 items did not fit the model. It had good overall discriminatory power (a: M = 1.02, SD = .33), a medium level of difficulty (b: M = -.03, SD = .63) and the c level was slightly lower than expected with six possible answers (c: M = .14, SD = .05). The conditions for modelling the test and possible disadvantages of the present study are discussed.Se detallan las propiedades psicométricas de una Prueba de Analogías Figurales desde el marco de la Teoría de Respuesta al Ítem. Se elaboraron 36 matrices de figuras de 2x2 utilizando reglas de emplazamiento, distorsión y número. Se contó con una muestra de 499 estudiantes de Psicología de la Universidad de Buenos Aires, 79% de los cuales fueron mujeres. Se utilizó el Modelo Logístico de 3 Parámetros logrando un ajuste global altamente satisfactorio al 5% (p = .47). Sólo 3 ítems del total no ajustaron al modelo. Existe una buena potencia discriminatoria general (a: M = 1.02; DT = .33), un nivel de dificultad medio (b: M = -.03; DT = .63) y un nivel de acierto por azar ligeramente inferior a lo esperable con 6 alternativas de respuesta (c: M = .14; DT = .05). Se discuten las condiciones para modelizar la Prueba y posibles desventajas del presente estudio

Difficulty components of deductive reasoning tasks by applying Fischer’s lltm model

El razonamiento silogístico es parte importante del razonamiento deductivo. El análisis de las fuentes de error en la resolución de silogismos originó, dentro de la psicología cognitiva, explicaciones como el efecto atmósfera, el sesgo de la figura y la conversión ilícita. En este trabajo se ajustó el modelo LLTM de Fischer para identificar componentes de dificultad de silogismos y estimar sus efectos. Se administraron 46 ítems con un diseño de enlace a tres grupos, con un total de 1074 estudiantes universitarios. Para cada par de premisas se debía escoger un esquema de conclusión y completarlo con los términos extremos o reconocer la falta de conclusión válida. El modelo de Rasch se ajustó sobre un subconjunto de 20 silogismos y se aplicó el modelo LLTM de Fischer. Se identificaron, aumentando la dificultad, cuatro componentes: efecto atmósfera y sesgo de figura (cuando éstos están en dirección contraria a la conclusión o no hay conclusión válida), figura II y figura III. El carácter reversible de la conclusión (modos universal negativo y particular afirmativo) y la falta de conclusión válida fueron componentes facilitadores. La correlación entre las estimaciones de los parámetros de dificultad bajo el modelo de Rasch y el LLTM fue 0,96.Syllogistic reasoning is an important part of deductive reasoning. In cognitive psychology, the analysis of error sources in solving syllogisms produced explanations such as the atmosphere effect, figure bias and wrong conversion. The Fischer Linear Logistic Test Model (lltm) was fitted on a set of syllogisms in order to identify their difficulty components and estimate their effects. Forty six items were administered with a link design to three groups of 1074 university students. The task consisted in choosing, for each pair of premises, one conclusion scheme and complete it with the suitable terms, if a valid conclusion existed; otherwise, examinees had to select the option of no valid conclusion. The Rasch model was fitted to a subset of 20 syllogisms on which Fischer’s lltm was applied. Four components were identified that increase syllogistic difficulty: atmosphere effect, figure bias (when they follow the opposite direction of the conclusion or when there is no valid conclusion), figure II and figure III. Two components were found that make the task easier: reversibility of conclusion (universal negative and particular affirmative modes) and lack of valid conclusion. Linear correlation between the estimates of difficulty parameters obtained with Rasch and lltm models was .96.Fil: Galibert, María Silvia. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Abal, Facundo Juan Pablo. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Auné, Sofía Esmeralda. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; ArgentinaFil: Lozzia, Gabriela Susana. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Aguerri, Maria Ester. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; Argentina. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentin

Item analysis of an Altruism scale from the One-parameter Logistic Model

El objetivo de este trabajo es mostrar los resultados obtenidos a partir de la aplicación del modelo logístico de un parámetro (ML1p) de la Teoría de Respuesta al Ítem (TRI) a un test que evalúa la predisposición a actuar de forma altruista. La prueba se compone de 18 viñetas que recrean situaciones imaginarias con formato de respuesta dicotómico. Participaron 834 estudiantes de Psicología. Previa aplicación del ML1p se verificó el supuesto de unidimensionalidad esencial de los ítems. La estimación de los parámetros se efectuó por máxima verosimilitud marginal. Siete ítems mostraron un inadecuado ajuste del ML1p. Se confirmó que las magnitudes estimadas de los parámetros de localización resultan acordes a los respectivos contenidos de los ítems. La concentración de estos parámetros en los niveles medios-bajos del rasgo y la asimetría positiva de la Función de Información del Test mostraron que la prueba carece de ítems que discriminen en la parte superior del espectro de la variable. Se discute sobre la escasa aplicación de los modelos de la TRI en los tests de personalidad y la dificultad que presenta el cumplimiento de sus exigentes supuestos. Los resultados dejaron en evidencia las debilidades de la prueba y orientaron acerca de potenciales modificaciones para su mejoramiento.The goal of this research is to show the results collected by the One-Parameter Logistic Model (1PL) of the Item Response Theory (IRT) applied to a typical performance test. This scale assesses the willingness to behave altruistically. There are 18 items representing imaginary situations with a dichotomous response structure. 834 psychology students were the participants. Analyses based on the IRT were performed by operating the BILOGMG software program. Previously, the essential uni-dimensionality assumption required by the model was verified. The 1PL parameters estimation was done by marginal maximum probability procedures. Seven items showed an inadequate adjustment to the 1PL. The estimated magnitudes of the location parameters match with the respective contents of the items. The concentration of these parameters in the middle-low feature levels and the positive asymmetry of the Test Information Function revealed the lack of items discriminating at the top of the variable range. The scarce application of IRT models to personality tests is discussed as well as the difficulty in achieving their strict assumptions. The outcomes showed the test weaknesses and led to possible modifications to its improvement.Fil: Abal, Facundo Juan Pablo. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Lozzia, Gabriela Susana. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Blum, Germán Diego. Consejo Nacional de Investigaciones Científicas y Técnicas; Argentina. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Galibert, María Silvia. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Aguerri, Maria Ester. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; ArgentinaFil: Attorresi, Horacio Felix. Universidad de Buenos Aires. Facultad de Psicología. Instituto de Investigaciones; Argentin

Maximización de la información de silogismos ajustando el modelo de dos parámetros

The way that individuals solve syllogisms is an important topic of deductive reasoning studies. Item response theory permits to select items that maximize information for estimating accurately ability levels. In this work, the two-parameter logistic model was applied to obtain the information functions of categorical syllogisms in order to select the subset that maximized them. A test of 26 syllogisms was administered to 405 students of psychology. BILOG-MG program was run iteratively by applying the two parameter logistic model. The test information function was examined at each iteration, and items with low discrimination were excluded. The process ended when the information function reached the maximum. Six syllogisms were kept that gave their greatest information at the 1.123 difficulty level, which is a medium-high level. The maximum test information was 7.594 and its reliability was 0.744, which may be considered good taking into account the small size of the subset. Every syllogism had valid conclusion. The method allowed finding a core of syllogisms without losing information that might constitute a short test keeping accuracy when estimating ability. It is useful to have a statistical criterion to select items for a briefed test and, thus, avoid the fatigue.El modo en que los sujetos resuelven silogismos es interesante en el estudio del razonamiento deductivo. La teoría de respuesta al ítem permite seleccionar ítems que maximicen la información para estimar con precisión los niveles de habilidad. En este trabajo se aplicó el modelo logístico de dos parámetros para obtener las funciones de información de silogismos categóricos y seleccionar el grupo de los que la maximizaban. Se administraron 26 silogismos a 405 estudiantes de psicología. Con el programa BILOG-MG se realizaron sucesivas corridas del modelo. En cada iteración se examinaba la función de información y se eliminaban los ítems de baja discriminación, culminando al encontrar un subconjunto cuya función de información alcanzó el máximo. Quedaron seis silogismos dando mayor información en el nivel de dificultad 1,123; esto es, de dificultad medianamente elevada. La información máxima fue 7,594. La confiabilidad del conjunto fue 0,744, buena atendiendo la breve longitud del conjunto. Todos los silogismos fueron de conclusión válida. El método permitió hallar un núcleo de silogismos que podrían constituir una prueba abreviada sin perder información; es decir, manteniendo la precisión al estimar la habilidad. Es útil contar con un criterio estadístico para reducir una prueba y evitar la fatiga

Modelo de medición de componente no observable. Una presentación formal de la axiomatización de la teoría clásica de tests

El objetivo del presente trabajo es desarrollar en forma rigurosa y abstracta la fundamentación del modelo lineal de puntuaciones verdaderas de la teoría clásica de tests. Se intenta superar así tanto la imprecisión que frecuentemente se advierte en la literatura psicométrica respecto del carácter aleatorio o fijo de las componentes del modelo cuanto la notación engorrosa para su lectura y comprensión. Se presentan los axiomas del modelo, sus propiedades básicas y los resultados fundamentales de la confiabilidad y validez destacando la importancia de definirlos en términos de la componente no observable de la medición. Se consideró de interés desarrollar una presentación abstracta del modelo para que éste pudiera ser aplicado en otros contextos ¿no necesariamente psicológicos¿ donde los fenómenos involucren también variables no observables como son los puntajes verdaderos de la teoría clásica de tests