Reliability Generalization-Studien

Abstract

Die Methode der Reliability Generalization wurde 1998 von Vacha-Haase vorgestellt und ist als offener Vorschlag ohne festgelegte Durchführungsregeln formuliert. Ziel dieser Methode ist es, zur Bewusstseinsbildung bezüglich der Schwankung von Reliabilitätskoeffizienten beizutragen. Sowohl Wissenschaftlerinnen und Wissenschaftler als auch Praktikerinnen und Praktiker soll hiermit verdeutlicht werden, dass Reliabilität keine fixe, testspezifische Größe darstellt, sondern eine Eigenschaft von Daten ist. Die konkreten Zielsetzungen dieser Methode sind a) die Ermittlung eines für ein gegebenes Messinstrument typischen Reliabilitätskoeffizienten, b) die Bestimmung dessen Variabilität über verschiedene Vorgaben hinweg sowie c) die Identifikation potentieller Quellen dieser Variabilität. Dieser Review stellt eine Zusammenschau bisher durchgeführter Reliability Generalization-Studien dar und folgt vier Leitfragen. Das Forschungsfeld (A) wird charakterisiert und Parameter des Literatursuchprozesse (B) werden berichtet. Methodische Fragen zur Ermittlung typischer Koeffizienten sowie deren Variabilitäten (C) werden besprochen. Statistische Ansätze zur Identifikation potentieller Einflussgrößen auf die Variabilität der Reliabilität (D1) werden berichtet. Zu acht häufig untersuchten potentiellen Quellen der Variabilität werden meta-analytische Untersuchungsergebnisse (D2) präsentiert. Viele Autorinnen und Autoren, aber einige wenige Fachzeitschriften konnten als Akteure in diesem Forschungsfeld beobachtet werden. Ungenügendes Berichten von Koeffizienten in Primärstudien wurde als Hauptproblem dieser Methode erkannt. Vielfältige methodische Ansätze und Strategien zur Ermittlung typischer Reliabilitäten und deren Variabilitäten wurden gefunden. Acht meta-analytischen Untersuchungen zur Identifikation bedeutender Einflussgrößen auf die Höhe der Reliabilität wurden durchgeführt. Die Variablen Alter, Altershomogenität, Ethnie, Geschlecht, klinische Stichprobe, Sprache und Stichprobengröße zeigten keine nennenswerten Effekte. Für den meta-analytisch ermittelten Zusammenhang zwischen der Rohwertstreuung und der Höhe von Reliabilitätskoeffizienten konnte eine Effektstärke von r = .56 gefunden werden.The Reliability Generalization method was presented by Vacha-Haase in 1998 and was formulated as an open preposition without any proscribed formal and/or methodological rules. This method’s aim is to contribute to the consciousness within the scientific community that reliability coefficients show variations in height. To both scientists and practitioners shall be demonstrated that reliability is not an invariant, test-specific value but rather is to be seen as a characteristic of data. The explicitly formulated goals of this method are to a) characterize a typical reliability coefficient for a given measurement instrument, b) show its variability across different administrations and c) examine potential sources of this variability. This review presents a summary of conducted Reliability Generalization-Studies and follows four main questions. The research field (A) is being characterized and parameters of the process of literature search (B) are being reported. Methodological issues concerning the computation of typical coefficients and their according variability (C) are being discussed. Statistical approaches for identifying potential sources of variability of reliability (D1) are being reported. Results of meta-analytic inquiries (D2) for eight most often analyzed potential sources of variability are being presented. Many different authors but few different journals were found to be active in this research field. Insufficient reporting of reliability coefficients in primary research articles was identified as being the main problem in using this method. A wide variety of methodological approaches and strategies for characterizing typical reliability coefficients and their variability was found. Eight meta-analyses were conducted in order to identify important factors, which influence the height of reliability coefficients. The variables age, age homogeneity, ethnicity, gender, clinical population, language and sample size showed no noteworthy effects. The meta-analytically determined correlation between raw score heterogeneity and height of reliability coefficients showed an effect size of r = .56