Admissible statistics from a latent variable perspective

In de psychologie gaat men er vaak van uit dat psychologische eigenschappen zoals dominantie of intelligentie net zo gemeten kunnen worden als eigenschappen zoals lengte en massa, die een kwantitatieve structuur hebben. Er is echter geen enkele psychologische eigenschap waarvoor is aangetoond dat mensen er niet alleen op geordend kunnen worden, maar ook vergeleken kunnen worden in termen van verschillen (kwantiteit). Met andere woorden, niemand heeft aan kunnen tonen dat het verschil in 6 IQ-punten (Nationale IQ-test BNN) tussen Diederik Samson (136) en Mark Huizinga (142) exact hetzelfde verschil op de eigenschap intelligentie vertegenwoordigt als de 6 punten verschil tussen Catherine Keyl (94) en Willibrord Frequin (100). Dit is belangrijk, omdat er heel veel statistiek wordt gebruikt op psychologische data die alleen eenduidige, valide conclusies oplevert als er sprake is van een kwantitatieve variabele. Annemarie Zand Scholten onderzocht of bestaande psychometrische modellen voor het beschrijven van psychologische eigenschappen in verband kunnen worden gebracht met formele meettheorie. Formele meettheorie beschrijft precies aan welke voorwaarden een eigenschap moet voldoen om kwantitatief genoemd te kunnen worden. Deze theorie is veel te streng om direct toegepast te kunnen worden op psychologische eigenschappen, maar vertoont wel overeenkomsten met sommige psychometrische modellen die indirect iets over het meetniveau zeggen. Het blijkt dat deze modellen weliswaar niet direct gebruikt kunnen worden om het meetniveau te bepalen, maar wel kunnen worden ingezet om het risico op foute conclusies in te schatten

Test anxiety and the validity of cognitive tests: A confirmatory factor analysis perspective and some empirical findings

The validity of cognitive ability tests is often interpreted solely as a function of the cognitive abilities that these tests are supposed to measure, but other factors may be at play. The effects of test anxiety on the criterion related validity (CRV) of tests was the topic of a recent study by Reeve, Heggestad, and Lievens (2009) (Reeve, C. L., Heggestad, E. D., & Lievens, F. (2009). Modeling the impact of test anxiety and test familiarity on the criterion-related validity of cognitive ability tests. Intelligence, 37, 34−41.). They proposed a model on the basis of classical test theory, and concluded on the basis of data simulations that test anxiety typically decreases the CRV. In this paper, we view the effects of test anxiety on cognitive ability test scores and its implications for validity coefficients from the perspective of confirmatory factor analysis. We argue that CRV will be increased above the effect of targeted constructs if test anxiety affects both predictor and criterion performance. This prediction is tested empirically by considering convergent validity of subtests in five experimental studies of the effect of stereotype threat on test performance. Results show that the effects of test anxiety on cognitive test performance may actually enhance the validity of tests

The Rasch model and conjoint measurement theory from the perspective of psychometrics

Kyngdon argues that psychometricians have erroneously claimed the Rasch model to be an instance of representational measurement, because the Rasch model does not map a bona fide empirical relational system (ERS) into a numerical relational system (NRS). While we agree that one does not automatically achieve a conjoint measurement representation upon fitting a Rasch model, we do not agree that the Rasch model could not in principle yield such a representation. In our view, whether this is possible depends on what one is prepared to accept as an empirical relational system. This is a philosophical question that extends beyond the scope of the formal structures advanced in representationalism and psychometrics; a question, moreover, that is not currently settled. We examine some of the ways in which one may react to this question, and conclude that Kyngdon’s argument depends on a specific, and perhaps too strong, interpretation of representationalism and psychometric models