Standards for the development and review of instrumental studies: considerations about test selection in psychological research

This paper discusses the criteria that should be considered when selecting psychological assessment tests in a research context. Traditionally attention has focused – and still does – on the stages that must govern any process of test construction/ adaptation. This work is guided by internationally accepted standards, whose scientific importance is agreed by the scientific community. However, beyond any construction/ adaptation process, the use of tests is a constant feature of psychological research, so it is of vital importance to select the tests adequately. For this reason, in this theoretical study we provide a summary of the criteria that should guide test construction/adaptation as well as some general guidelines to consider when selecting tests for psychological research. The information presented is organized into six sections, each of which corresponds to a different stage in the process of test creation: a) conceptual definition of the construct to assess; b) information about item construction and qualitative assessment; c) results of the statistical analysis of the items; d) empirical evidence of the internal structure of the test; e) results of the reliability estimation; and f) external evidence of score validity. The study ends with a reflection on the scope of the proposed guidelines and the importance of using clear criteria to select the tests used in research.En este trabajo se discuten los criterios a tener en cuenta a la hora de seleccionar tests de evaluación psicológica en un contexto de investigación. Tradicionalmente la atención se ha centrado y se centra sobre las fases que deben regir todo proceso de construcción/adaptación de tests. Estándares internacionalmente aceptados sirven para dirigir este trabajo, y la comunidad científica coincide en la importancia de éstos. No obstante, y más allá de cualquier proceso de construcción/adaptación, el hecho es que el uso de tests es una constante en la investigación psicológica, y una adecuada selección de las pruebas resulta un asunto de vital importancia. Por ello, y esquematizando en primer lugar los criterios que deben guiar la construcción/adaptación de tests, en este estudio teórico se desarrollan unas directrices generales a tener en cuenta a la hora de seleccionar tests para efectuar una investigación psicológica. La información va a presentarse organizada en un total de seis apartados, cada uno de los cuales corresponde a una fase distinta dentro del proceso de creación de tests: a) delimitación conceptual del constructo objeto de evaluación; b) información sobre la construcción y evaluación cualitativa de ítems; c) resultados del análisis estadístico de los ítems; d) evidencias empíricas de la estructura interna de la prueba; e) resultados de la estimación de la fiabilidad; f) evidencias externas de la validez de la puntuaciones. Se finaliza el trabajo reflexionando sobre el alcance de las directrices propuestas y sobre la importancia de seleccionar bajo criterios claros los tests que vayan a usarse en una investigación.Neste trabalho discutem-se os critérios a considerar na hora de seleccionar os testes de avaliação psicológica num contexto de investigação. Tradicionalmente a atenção tem-se centrado e centra-se sobre as fases que devem orientar todo o processo de construção / adaptação de testes. Critérios standards internacionalmente aceites servem para dirigir este trabalho, e a comunidade científica coincide na importância que lhes atribui. No entanto, e para além de qualquer processo de construção/adaptação, o facto é que o uso de testes é uma constante na investigação psicológica, e uma selecção adequada das provas torna-se num assunto de grande importância. Por isso, e esquematizando em primeiro lugar os critérios que devem guiar a construção / adaptação de testes, neste estudo teórico desenvolvem-se algumas directrizes gerais a ter em consideração na altura de seleccionar testes para efectuar una investigação psicológica. A informação apresentada está organizada num total de seis pontos, cada um dos quais corresponde a uma fase distinta dentro do processo de criação de testes: a) delimitação conceptual do construto objecto de avaliação; b) informação sobre a construção e avaliação qualitativa dos itens; c) resultados da análise estatística dos itens; d) evidências empíricas da estrutura interna da prova; e) resultados da estimação da fiabilidade; f) evidências externas da validade das pontuações. O trabalho termina com reflexões sobre o alcance das directrizes propostas e sobre a importância de seleccionar sob critérios claros os testes que venham a usar-se numa investigação

El parámetro de desviación discriminante en la Ley del Juicio Comparativo

En diferentes publicaciones (López e Hidalgo, 2001, p. 331; Luce et al., 1990; Cliff, 1993; Lee, 2001) se ha ofrecido evidencia acerca de las limitaciones que las pruebas de ajuste presentan a la hora de comprobar los supuestos un modelo que utiliza una representación funcional. Un ejemplo de tales tipos de modelos son los basados en la Ley del Juicio Comparativo de Thurstone (1927a). Los resultados de este estudio no recomiendan interpretar el parámetro de desviación discriminante de la Ley del Juicio Comparativo como un índice del grado de confusión que provocan los estímulos en los jueces y a su vez abre la posibilidad de que realmente sean los valores escalares obtenidos con dicho modelo los que se deban interpretar como un índice del grado confusión que provocan en los sujetos

Análisis de ítems y evidencias de fiabilidad de la Escala sobre Representación Cognitiva de la Enfermedad (ERCE)

La Escala sobre Representación Cognitiva de la Enfermedad, ERCE (De los Santos-Roig, 2009) ha sido elaborada para evaluar las creencias de los pacientes sobre su enfermedad. El modelo de Sentido Común, donde se inserta el constructo, ha sido puesto a prueba en numerosas ocasiones, encontrándose evidencia sobre la importancia de la Representación Cognitiva en los procesos de adaptación a la enfermedad (Hagger y Orbell, 2003; Leventhal et al., 1997). Su medida en nuestro ámbito cultural es necesaria, tanto desde un punto de vista teórico, como desde una perspectiva aplicada. Lo que aquí se muestra es la continuación a un trabajo previo (De los Santos-Roig, 2009; De los Santos-Roig y Pérez-Meléndez, 2013) donde se concretó la definición semántica del constructo RCE y las Tablas de Especificaciones del Test y de los Ítems, que finalmente culminó con la presentación de los primeros ítems construidos. Siguiendo con lo establecido en los estándares (AERA, APA y NCME, 1999), se muestran ahora los resultados del análisis estadístico de los ítems correspondientes a las cinco escalas que componen la ERCE, así como los obtenidos sobre sus evidencias de fiabilidad. Al final, se concluye sobre la idoneidad de los ítems que conforman la escala

De la definición semántica a los ítems a través de las tablas de especificaciones: elaboración de la Escala sobre Representación de la Enfermedad, ERCE

En este trabajo se presenta la definición semántica del constructo Representación de la Enfermedad, así como las Tablas de Especificaciones del Test y de los Items a partir de las que se desarrolló la prueba ERCE, sobre Representación Cognitiva de la Enfermedad. La ERCE está compuesta por una escala de identidad, otra de causas, consecuencias, control y curso, y todas ellas evalúan creencias relativas a la enfermedad. La idea central de este trabajo es hacer hincapié en la importancia de estos aspectos antes de la construcción de los ítems y mostrar un ejemplo de ello, ya que muchas veces son pocos los trabajos en este sentido. Se presentan también los ítems desarrollados y algunos resultados sobre el análisis de ítems cualitativo de las escalas de la ERCE, así como las modificaciones sobre los ítems iniciales. Finalmente, se presenta la escala ERCE completa

Aproximación al fenómeno del paro: un modelo explicativo

Se hacen algunas reflexiones sustantivas y metodológicas referentes al estudio del fenómeno del desempleo y de sus efectos psicológicos sobre el individuo. A continuación se propone un modelo teórico explicativo, caracterizado como racional, positivista, y capaz de proporcionar una comprensión mejor de la realidad y de conducir hacia soluciones alternativas. El modelo considera tres niveles: la realidad social como conjunto; la realidad resultante a partir del filtro de la situación laboral; y la situación concreta de los individuo

Aproximación al fenómeno del paro: un modelo explicativo

Se hacen algunas reflexiones sustantivas y metodológicas referentes al estudio del fenómeno del desempleo y de sus efectos psicológicos sobre el individuo. A continuación se propone un modelo teórico explicativo, caracterizado como racional, positivista, y capaz de proporcionar una comprensión mejor de la realidad y de conducir hacia soluciones alternativas. El modelo considera tres niveles: la realidad social como conjunto; la realidad resultante a partir del filtro de la situación laboral; y la situación concreta de los individuo

Diferencias instruccionales y funcionamiento diferencial de los ítems: acuerdo entre el método Mantel-Haenszel y la regresión logística

Durante las dos últimas décadas, la investigación sobre el sesgo en los tests ha estado centrada en el desarrollo de métodos estadísticos adecuados para detectar ítems con un funcionamiento diferencial. La comprensión del funcionamiento diferencial de los ítems (DIF) no ha recibido tanta atención. Este estudio investiga el efecto de las diferencias instruccionales sobre el DIF. Se utilizó un diseño experimental para inducir DIF manipulando la instrucción que recibían dos grupos de personas. El estudio también comparó la capacidad para detectar DIF de los métodos estadísticos c2 de Mantel- Haenszel (Holland y Thayer, 1988) y la regresión logística (Swaminathan y Rogers, 1990). El procedimiento experimental pretendía producir DIF en 9 ítems. Los dos métodos estadísticos identificaron los 9 ítems con DIF previsto