Rotating item banks versus restriction of maximum exposure rates in computerized adaptive testing

If examinees were to know, beforehand, part of the content of a computerized adaptive test, their estimated trait levels would then have a marked positive bias. One of the strategies to avoid this consists of dividing a large item bank into several sub-banks and rotating the sub-bank employed (Ariel, Veldkamp & van der Linden, 2004). This strategy permits substantial improvements in exposure control at little cost to measurement accuracy. However, we do not know whether this option provides better results than using the master bank with greater restriction in the maximum exposure rates (Sympson & Hetter, 1985). In order to investigate this issue, we worked with several simulated banks of 2100 items, comparing them, for RMSE and overlap rate, with the same banks divided in two, three… up to seven sub-banks. By means of extensive manipulation of the maximum exposure rate in each bank, we found that the option of rotating banks slightly outperformed the option of restricting maximum exposure rate of the master bank by means of the Sympson-Hetter method.Si los examinandos conocieran de antemano una parte del contenido de un test adaptativo informatizado, sus niveles estimados de rasgo tendrían un marcado sesgo positivo. Una de las estrategias para evitar esto consiste en dividir un gran banco de ítems en varios sub-bancos y rotar el sub-banco empleado (Ariel, Veldkamp & van der Linden, 2004). Esta estrategia permite mejoras sustanciales en el control de la exposición con poca merma de la precisión de la medida. Sin embargo, no sabemos si esta opción proporciona mejores resultados que el uso del banco maestro con más restricción en la tasa máxima de exposición (Sympson & Hetter, 1985). Para investigar este problema, trabajamos con varios bancos simulados de 2100 ítems, comparándolos, en RMSE y en tasa de solapamiento, con los mismos bancos divididos en dos, tres… hasta siete sub-bancos. Mediante manipulación extensa de la tasa máxima de exposición en cada banco, encontramos que la opción de rotar los bancos ofrecía resultados ligeramente mejores que la opción de restringir la tasa máxima de exposición del banco maestro mediante el método Sympson-Hetter

Optimal number of strata for the stratified methods in computerized adaptive testing

Test security can be a major problem in computerized adaptive testing, as examinees can share information about the items they receive. Of the different item selection rules proposed to alleviate this risk, stratified methods are among those that have received most attention. In these methods, only low discriminative items can be presented at the beginning of the test and the mean information of the items increases as the test goes on. To do so, the item bank must be divided into several strata according to the information of the items. To date, there is no clear guidance about the optimal number of strata into which the item bank should be split. In this study, we will simulate conditions with different numbers of strata, from 1 (no stratification) to a number of strata equal to test length (maximum level of stratification) while manipulating the maximum exposure rate that no item should surpass (rmax) in its whole domain. In this way, we can plot the relation between test security and accuracy, making it possible to determine the number of strata that leads to better security while holding constant measurement accuracy. Our data indicates that the best option is to stratify into as many strata as possible.This research was supported by a grant from the Spanish Ministerio de Ciencia e Innovación (project number PSI2009–10341), and by a grant from the Fundación Universitaria Antonio Gargallo and the Obra Social de Ibercaja

Internal Structure and Measurement Invariance of the Dutch Eating Behavior Questionnaire (DEBQ) in a (Nearly) Representative Dutch Community Sample

The Dutch Eating Behavior Questionnaire is a widely used instrument for assessment of emotional, external and restrained eating. The aim of the present study is to (i) analyse its internal structure using exploratory structural equation modelling; (ii) to assess its measurement invariance with respect to sex, BMI, age and level of education; and (iii) to evaluate the relations of the factors with these variables. Except that women were slightly over-represented, the sample (n = 2173) closely followed the sociodemographic characteristics of the overall Dutch population. The three theoretical factors that emerged from the analysis were in close correspondence with the three scales for emotional, external and restrained eating. Only two items (item3¿'desire to eat when nothing to do¿' and item21¿'resist delicious food...') presented problematic loadings. The questionnaire showed satisfactory measurement invariance, and expected patterns of mean differences and relations were found. All in all, the results highlight the adequate psychometric properties of the Dutch Eating Behavior Questionnair

Influence of vulnerability factors in panic disorder severity

Background: We studied herein the predictive value for panic severity of three well-based vulnerability factors: personality traits (neuroticism and extraversion; NEO-PI-R), anxiety sensitivity (ASI), and perceived control (ACQ-R). Method: The sample was composed of 52 participants diagnosed with panic disorder, with or without agoraphobia, according to DSM-IV-TR criteria. Results: Our results revealed that the anxiety facet is a better predictor of panic severity than neuroticism. Anxiety sensitivity increases the predictive value for panic severity and, finally, perception of control of emotions is the only perception control subscale that increases the predictive value for panic severity more than the anxiety facet and anxiety sensitivity. Conclusions: This finding supports the assumption of the importance of taking into account the assessment of the lower order dimensions of the vulnerability factors in the field of psychopathology studies. Furthermore, the predictive value of perception of control of emotions indicates the importance of this specific vulnerability factor in the etiology of panic disorder (with or without agoraphobia) and, thus, shows the necessity to include emotion regulation strategies in the psychological treatments.Influencia de factores de vulnerabilidad en la gravedad del trastorno de pánico. Antecedentes: en este trabajo se estudia el valor predictivo sobre la gravedad del pánico de tres factores de vulnerabilidad bien establecidos: rasgos de personalidad (neuroticismo y extraversión; NEOPI-R), sensibilidad a la ansiedad (ASI) y percepción de control (ACQ-R). Método: la muestra fue de 52 participantes con diagnóstico de trastorno de pánico, con o sin agorafobia, según criterios DSM-IV-TR. Resultados: nuestros resultados revelan que la faceta de ansiedad es mejor predictor de la gravedad del pánico que el neuroticismo. La sensibilidad a la ansiedad aumenta el valor predictivo sobre la gravedad del pánico y, finalmente, la percepción de control de las emociones es la única subescala de la percepción de control que aumenta la capacidad predictiva más allá de la faceta de ansiedad y la sensibilidad a la ansiedad. Conclusiones: estos resultados apoyan el supuesto sobre la importancia de evaluar las dimensiones de orden inferior de los factores de vulnerabilidad en los estudios psicopatológicos. Además, el valor predictivo de la percepción de control de las emociones indica la importancia de este factor específico de vulnerabilidad en la etiología del trastorno de pánico (con o sin agorafobia) lo que muestra la necesidad de incluir estrategias de regulación emocional en los tratamientos psicológicos.Funded by Gobierno de Aragón (Dpto. Industria e Innovación), Fondo Social Europeo and Ministerio de Economía y Competitividad (Spain), Plan Nacional (PSI2010-21423/PSIC)

Computerized adaptive testing: the capitalization on chance problem

This paper describes several simulation studies that examine the effects of capitalization on chance in the selection of items and the ability estimation in CAT, employing the 3-parameter logistic model. In order to generate different estimation errors for the item parameters, the calibration sample size was manipulated (! = 500, 1000 and 2000 subjects) as was the ratio of item bank size to test length (banks of 197 and 788 items, test lengths of 20 and 40 items), both in a CAT and in a random test. Results show that capitalization on chance is particularly serious in CAT, as revealed by the large positive bias found in the small sample calibration conditions. For broad ranges of θ, the overestimation of the precision (asymptotic Se) reaches levels of 40%, something that does not occur with the RMSE (θ). The problem is greater as the item bank size to test length ratio increases. Potential solutions were tested in a second study, where two exposure control methods were incorporated into the item selection algorithm. Some alternative solutions are discussed.This research was partly supported by two grants from the Spanish Ministerio de Educación y Ciencia (projects PSI2008-01685 and PSI2009-10341) and by the UAM-IIC Chair Psychometric Models and Applications

Factores de riesgo asociados a la aparición de alteraciones emocionales durante el periodo perinatal y el puerperio: Un estudio preliminar en una muestra de mujeres embarazadas a través de e-Health

Introducción: El DSM-IV-TR, establece la prevalencia de la aparición de alteraciones emocionales (AE) en la mujer durante el periodo perinatal y el puerperio entorno al 70 % en el caso de la Tristeza Posparto, pudiendo llegar a cronificarse esta sintomatología en Depresión Posparto (DPP), hasta en un 10 % de los casos. Diferentes autores apuntan a la necesidad de homogeneizar la medición de los factores de riesgo relacionados con la aparición de este tipo de alteraciones en la mujer gestante. Objetivo: Evaluar e identificar aquellas mujeres embarazadas que cumplen uno o más FR para desarrollar ae durante el periodo perinatal y el puerperio y/o aquellas mujeres que cumplen criterios diagnósticos DSM-IV-TR de Episodio Depresivo antes y después del parto, a través de la evaluación online mediante la herramienta MamáFeliz (MMF), basada en e-Health. Método: La muestra la componen 25 mujeres, que se encontraban entre las semanas 16 y 36 de gestación. La evaluación incluida en MMF rastrea, a través de la entrevista diagnóstica SCID-I y otras medidas psicológicas, la presencia de algunos de los FR asociados a la aparición de DPP . Resultados: Los resultados obtenidos en este estudio preliminar muestran que los FR con mayor incidencia son: Sintomatología previa de depresión mayor, ambivalencia respecto al embarazo, vivencia de emociones negativas y sentimientos de inadaptación durante el embarazo, ansiedad prenatal y síntomas depresivos durante el embarazo. En contraposición a otros estudios científicos previos, nuestra muestra no presenta los FR: problemas de pareja, falta de apoyo social ni baja autoestima.Introduction: The DSM-IV-TR, establishes the prevalence of emotional disturbances occurrence in women during perinatal and postnatal periods between 70 % in the case of Babyblues, these symptoms could become chronic in Postpartum Depression in almost 10 % of the cases. The studies of this phenomenon, implemented to the date, have failed in the definition and description of risk factors associated to this psychopathology in Spanish samples. Objetive: Assessing and identifying those pregnant women that meet one or more risk factors to develope emotional disturbances during perinatal and postnatal period and/ or those women who meet diagnostic DSM-IV-TE criteria of Depressive Mood Episode (before or after delivery) by on-line assessment methodology based in e-Health and called MamáFeliz (MMF). Method: The sample is composed by 25 pregnant women, who are between 16 and 36 weeks of gestation. The assessment protocol included in hm evaluates, by means of SCID-I diagnostic interview and other psychological measures, the occurence of some of the associated risk factors of being depressed during prenatal and postnatal period. Results: The results of this preliminary study show that the risk factors with higher occurence are: previous major depression symptoms, ambivalence related to pregnancy, negative affect and inadaptative feelings during pregnancy. In contrast to previous scientific studies, our sample does not have the risk factors related to marital disadjustment, social supporting carences and low self-steem

MamáFeliz: una aproximación teórica de las TIC aplicadas a la prevención de la depresión posparto

La evaluación, diagnóstico y tratamiento psicológico a través de las tecnologías de la información y la comunicación (TIC) es una realidad cada vez más frecuente en la Psicología Clínica y de la Salud. Las posibilidades ilimitadas que ofrece Internet han hecho posible que ya existan estudios controlados sobre intervenciones basadas en aplicaciones online para la prevención y tratamiento de trastornos mentales y para la promoción de conductas de salud. Las alteraciones emocionales en la mujer asociadas al periodo perinatal y al puerperio –especialmente la Depresión Posparto (DPP), depresión prenatal (DP) y tristeza posparto (TPP)– suponen un gran problema de salud, dada su prevalencia en población general, su riesgo de cronicidad y el coste que de ello se deriva. Los datos de prevalencia de la DPP en España ofrecen porcentajes situados entre el 6-25 % según algunos estudios. A pesar de estos datos, las alteraciones emocionales perinatales siguen pasando desapercibidas, infradiagnosticadas y, por tanto, no tratadas. La inconsistencia de los resultados de diferentes estudios sobre los factores de riesgo implicados requiere homogeneizar su medición. Asimismo, los recursos asistenciales en la salud pública son limitados y se hace necesario mejorar la calidad de los mismos y su eficacia reduciendo los costes. Con este objetivo, hemos diseñado Mamáfeliz (MMF), una herramienta informática que, a través de Internet, realiza de manera rápida y sencilla una evaluación exhaustiva a nivel psicosocial, obstétrico y psicopatológico con el fin de identificar aquellas mujeres que presentan uno o más factores de riesgo para el desarrollo de DPP.The assessment, diagnosis and psychological treatment throught Information and communications technology (ICTS) are a reality more frequent in Clinical and Health Psychology. Unlimited possibilities offered by the Internet have made the existence of controlled studies about interventions based on on-line applications for the prevention and treatment of mental disorders and for the promotion of healthy conducts possible. Emotional variations in women which are associated with the perinatal period and peuperium, specially Postpartum Depression (PPD), Prenatal Depression (PD) and Baby Blues (BB), mean a big health problem, given its prevalence among the general population, its risk of chronicity and the derived cost. The data of the PND prevalence in Spain shows percentages between 6-25 % according to some studies. The obtained results from different studies about implicated risk factors show an inconsistency which is required to level down the risk factor its measurement. Just like that, assistance means in the public health are limited and that make necessary improve their quality and efficiency by reducing the costs. So, in order to achieve this goal, we have designed Mamáfeliz (MMF), an informatic tool that through the Internet carries out an exhaustive evaluation in a fast and simple way at a psychosocial, obstetrical and psychopathologic level in order to identify those women who present one or more risk factors for the PPD development

eCat-Listening: diseño y propiedades psicométricas de un test adaptativo informatizado de comprensión auditiva de la lengua inglesa

In this study, eCAT-Listening, a new computerized adaptive test for the evaluation of English Listening, is described. Item bank development, anchor design for data collection, and the study of the psychometric properties of the item bank and the adaptive test are described. The calibration sample comprised 1.576 participants. Good psychometric guarantees: the bank is unidimensional, the items are satisfactorily fi tted to the 3-parameter logistic model, and an accurate estimation of the trait level is obtained. As validity evidence, a high correlation was obtained between the estimated trait level and a latent factor made up of the diverse criteria selected. The analysis of the trait level estimation by means of a simulation led us to fi x the test length at 20 items, with a maximum exposure rate of .40En este trabajo se describe eCAT-Listening, un nuevo test adaptativo informatizado para la medición del nivel de comprensión auditiva del inglés. Se describe la elaboración del banco de ítems, el diseño de anclaje para la recogida de datos y el estudio de las propiedades psicométricas del banco de ítems y del test adaptativo. La muestra de calibración fue de 1.576 personas. Se obtienen unas buenas garantías psicométricas: el banco es unidimensional, los ítems se ajustan satisfactoriamente al modelo logístico de 3 parámetros y se consigue una estimación precisa de los diferentes niveles de rasgo. Como prueba de validez, se obtuvo una alta correlación entre el rasgo estimado y un factor latente de nivel de inglés compuesto por las diferentes puntuaciones criterio utilizadas en el estudio. El análisis de la estimación del nivel de rasgo mediante simulación nos lleva a fijar la longitud del test adaptivo en 20 ítems, con una tasa máxima de exposición de 0,40This research was supported by two grants from the Spanish Ministry of Science and Innovation (project numbers PSI2009-10341 and PSI2008-01685) and by the UAM-IIC Chair «Psychometric Models and Applications

Item parameter drift in computerized adaptive testing: study with eCAT

En el presente trabajo se muestra el análisis realizado sobre un Test Adaptativo Informatizado (TAI) diseñado para la evaluación del nivel de inglés, denominado eCAT, con el objetivo de estudiar el deterioro de parámetros (parameter drift) producido desde la calibración inicial del banco de ítems. Se ha comparado la calibración original desarrollada para la puesta en servicio del TAI (N= 3224) y la calibración actual obtenida con las aplicaciones reales del TAI (N= 7254). Se ha analizado el Funcionamiento Diferencial de los Ítems (FDI) en función de los parámetros utilizados y se ha simulado el impacto que sobre el nivel de rasgo estimado tiene la variación en los parámetros. Los resultados muestran que se produce especialmente un deterioro de los parámetros a y c, que hay un importante número de ítems del banco para los que existe FDI y que la variación de los parámetros produce un impacto moderado en la estimación de θ de los evaluados con nivel de inglés alto. Se concluye que los parámetros de los ítems se han deteriorado y deben ser actualizadosThis study describes the parameter drift analysis conducted on eCAT (a Computerized Adaptive Test to assess the written English level of Spanish speakers). The original calibration of the item bank (N = 3224) was compared to a new calibration obtained from the data provided by most eCAT operative administrations (N = 7254). A Differential Item Functioning (DIF) study was conducted between the original and the new calibrations. The impact that the new parameters have on the trait level estimates was obtained by simulation. Results show that parameter drift is found especially for a and c parameters, an important number of bank items show DIF, and the parameter change has a moderate impact on high-level-English θ estimates. It is then recommended to replace the original estimates by the new se