Accuracy of range restriction correction with multiple imputation in small and moderate samples: A simulation study

Approaches to correcting correlation coefficients for range restriction have been developed under the framework of large sample theory. The accuracy of missing data techniques for correcting correlation coefficients for range restriction has thus far only been investigated with relatively large samples. However, researchers and evaluators are often faced with a small or moderate number of applicants but must still attempt to estimate the population correlation between predictor and criterion. Therefore, in the present study we investigated the accuracy of population correlation estimates and their associated standard error in terms of small and moderate sample sizes. We applied multiple imputation by chained equations for continuous and naturally dichotomous criterion variables. The results show that multiple imputation by chained equations is accurate for a continuous criterion variable, even for a small number of applicants when the selection ratio is not too small. In the case of a naturally dichotomous criterion variable, a small or moderate number of applicants leads to biased estimates when the selection ratio is small. In contrast, the standard error of the population correlation estimate is accurate over a wide range of conditions of sample size, selection ratio, true population correlation, for continuous and naturally dichotomous criterion variables, and for direct and indirect range restriction scenarios. The findings of this study provide empirical evidence about the accuracy of the correction, and support researchers and evaluators in their assessment of conditions under which correlation coefficients corrected for range restriction can be trusted. Accessed 2,759 times on https://pareonline.net from September 13, 2016 to December 31, 2019. For downloads from January 1, 2020 forward, please click on the PlumX Metrics link to the right

Evaluation des Eignungstests für das Medizinstudium (EMS) in Österreich

Die vorliegende Untersuchung geht den Fragen nach ob 1) schulische Aspekte (Schulnoten und Schultyp), 2) die regionale Herkunft sowie 3) Geschlecht und Nationalität die Leistungen im Eignungstest für das Medizinstudium (EMS) erklären können. Zur Steigerung des Informationsgehalts der Schulnoten wird zusätzlich zum Notendurchschnitt das Ausmaß der Homogenität des Notenprofils untersucht. Eine weitere Fragestellung dieser Studie untersucht, ob der Ausschluss von nicht verrechnungsfairen Aufgaben zu einer besseren Prognosekraft der Erklärungsvariablen führt. Der EMS ist das Kernstück im Auswahlverfahren zum Studium der Medizin an den Medizinischen Universitäten Wien und Innsbruck. Die Daten der hier vorliegenden Studie basieren auf der Evaluationsstudie von Spiel, Schober und Litzenberger (2008) im Auftrag des Bundesministeriums für Wissenschaft und Forschung. Zu diesem Zweck wurde am 06. Juli 2007 eine empirische Erhebung mit allen Studienbewerberinnen und Studienbewerbern durchgeführt. Zusätzlich zu den Testergebnissen und soziodemographischen Daten der Bewerberinnen und Bewerber wurde ein eigens hierfür konstruierter Fragebogen im Anschluss an den EMS vorgegeben. Die Ergebnisse zeigen, dass die Schulnoten (Einzelfachnoten und Durchschnittsnote) und der Schultyp einen Beitrag zur Aufklärung der Leistungsunterschiede zwischen den Bewerberinnen und Bewerbern leisten können. Dies gilt für den Gesamttestwert als auch für die Untertests. Von den Einzelfachnoten liefert die Mathematiknote den größten Erklärungswert für die Testleistungen. Geschlecht und Nationalität können die Testleistungen am besten erklären. Als Ursachen hierfür sprechen primär Einflüsse aus unterschiedlichen Sozialisierungen. Der Einbezug der Homogenität des Notenprofils sowie die regionale Herkunft liefern keine zusätzlichen Erklärungen für die Leistungsunterschiede zwischen den Personen. Durch den Ausschluss nicht verrechnungsfairer Aufgaben kann die Prognosekraft der Erklärungsvariablen nicht gesteigert werden. Für zukünftige Studien wird empfohlen weitere Prädiktoren zur Erklärung der Testleistungen in die Analysen aufzunehmen.The present study investigates if 1) school factors (grades and kind of school), 2) regional provenance, and 3) sex and nationality account for achievements in the aptitude test for medicine (EMS). To enhance the information content of the grades, the measure of the homogeneity of the grades-profile will be included in addition to the grade point average. A further question of this study is to investigate the effect of excluding items not in conformance with scaling fairness. It is expected that the exclusion increases the power of the predictors. The EMS is the key part of the selection process for the study of human medicine at the Medical University of Vienna and Innsbruck Medical University. The data for this study are based on the evaluation of Spiel, Schober, and Litzenberger (2008) conducted at July 6th, 2007 by order of the Austrian Federal Ministry of Science and Research. For this purpose, an empirical study with all applicants for a university place has been performed. In addition to the test achievements and sociodemographic data, the applicants had to fill in a specifically designed questionnaire. The results show that grades (grades and grade point average) and kind of school significantly account for the achievement differences between the applicants. These effects are valid for both, Testscore and Subtests. Mathematics shows the highest effect size of all grades. Of all predictors, sex and nationality show the highest effects. The reason for this evidence is probably caused by different socializations. No evidence has been found for the measure of homogeneity of the grades-profile and the regional provenance. The exclusion of scaling unfair items did not increase the power of the predictors. For future studies, it is recommended to include more predictors for explaining the achievements of the EMS

A Comparison of Three Approaches to Correct for Direct and Indirect Range Restrictions: A Simulation Study

A common methodological problem in the evaluation of the predictive validity of selection methods, e.g. in educational and employment selection, is that the correlation between predictor and criterion is biased. Thorndike’s (1949) formulas are commonly used to correct for this biased correlation. An alternative approach is to view the selection mechanism as a missing data mechanism. The aim of this study was to compare Thorndike’s formulas for direct and indirect range restriction scenarios with two state-of-the-art approaches for handling missing data: full information maximum likelihood (FIML) and multiple imputation by chained equations (MICE). We conducted Monte-Carlo simulations to investigate the accuracy of the population correlation estimates in dependence of the selection ratio and the true population correlation in an experimental design. For a direct range restriction scenario, the three approaches are equally accurate. For an indirect range restriction scenario, the corrections using FIML and MICE are more precise than when using Thorndike’s formula. The higher the selection ratio and the true population correlation, the higher the precision of the population correlation estimates. Our findings indicate that both missing data approaches are alternative corrections to Thorndike’s formulas, especially in the case of indirect range restriction. Accessed 3,954 times on https://pareonline.net from March 24, 2016 to December 31, 2019. For downloads from January 1, 2020 forward, please click on the PlumX Metrics link to the right

Mehrwert der Stipendien- und Forschungskooperationsprogramme des BMBWF

Die vorliegende Evaluierungsstudie hat das Ziel, den Mehrwert für Fördernehmerinnen und Fördernehmer der Stipendien- und Forschungskooperationsprogramme der fünf onderrichtlinien namens Auslandslektorate, Stipendienprogramme INCOMING, Stipendienprogramme OUTGOING, Programmstipendien und Maßnahmen zur Internationalisierung zur Förderung der Mobilität von Studierenden, Lehrenden und Forschenden an Hochschul- und Forschungsinstitutionen in Österreich sowie im Ausland näher zu betrachten. Der Evaluierungszeitraum umfasst die Jahre 2016–2021

Predictive validity of selection procedures

Ein bekanntes Problem bei der Bewertung der prognostischen Validität von Auswahlverfahren ist das sogenannte range restriction-Problem, das verzerrte Schätzer der Populationskorrelation zwischen Prädiktor und Kriterium verursacht. Um dieses Problem zu lösen, haben Forscher Korrekturformeln vorgeschlagen, die weitgehend für stetige jedoch nicht für dichotome Kriteriumsvariablen erforscht wurden. Die wenigen Ansätze, die ein dichotomes Kriterium betrachten sind meist nicht anwendbar, weil sie Informationen über die typischerweise unbekannte Basiserfolgsrate benötigen. Der wissenschaftlichen Forschung fehlen folglich geeignete Methoden Korrelationskoeffizienten für das range restriction-Problem im Falle von dichotomen Kriteriumsvariablen zu korrigieren. Die vorliegende Dissertation beabsichtigt dieses Defizit zu beseitigen indem das range restriction-Problem als ein Missing Data Problem betrachtet wird. Um den Missing Data Ansatz in diesem Forschungsbereich zu etablieren, vergleicht der erste Artikel bekannte Korrekturformeln mit zwei state-of-the-art Missing Data Methoden für steige Kriteriumsvariablen. Der zweite Artikel zeigt, dass die Missing Data Methode Multiple Imputation mit Markovketten effektive und genaue Schätzungen der Populationskorrelation im Falle künstlicher und natürlicher dichotomer Kriteriumsvariablen ermöglicht. Zusätzlich kann mittels Multipler Imputation mit Markovketten die Basiserfolgsrate geschätzt werden. Der dritte Artikel konzentriert sich auf die Genauigkeit der Populationsschätzer in kleinen und moderaten Stichprobengrößen und gibt empirische Evidenz über Bedingungen unter denen die Schätzung nur begrenzt möglich ist. Den empirischen Untersuchungen wird eine Einleitung durch eine Beschreibung des theoretischen Hintergrunds über das range restriction-Problem sowie traditionelle Ansätze zur Überwindung dieses Problems vorangestellt. Dann werden die Ziele dieser Dissertation im Detail beschrieben, gefolgt von einer Zusammenfassung der drei Artikel. Schließlich werden die Ergebnisse der drei Artikel zusammengefasst und methodische Stärken sowie Grenzen der empirischen Untersuchungen diskutiert.A common problem in the assessment of the predictive validity of selection methods is the so-called range restriction problem, which causes biased estimates of the population correlation between predictor and criterion. To overcome this problem, researchers proposed correction formulas, which have been widely studied for continuous criterion variables but not for dichotomous ones. The few existing approaches dealing with a dichotomous criterion are often inapplicable because they require information about the typically unknown base rate of success. Thus, there is a lack of scientific research on suitable methods able to correct correlation coefficients for range restriction in the case of a dichotomous criterion variable. The present doctoral thesis aims to overcome this deficiency by viewing the range restriction problem as a missing data problem. In order to establish the missing data approach in this research field, the first paper compares common correction formulas with two state-of-the-art missing data techniques for a continuous criterion variable. The second paper shows that the missing data technique multiple imputation by chained equations provides effective and accurate estimates of the population correlation in the case of dichotomous criterion variables. In addition, multiple imputation by chained equations is able to estimate the base rate of success. The third paper focuses on the accuracy of the population estimates with small and moderate sample sizes and provides empirical evidence about conditions under which the estimation has limitations. The empirical studies are introduced by a description of the theoretical background concerning the range restriction problem and traditional approaches to overcoming this problem. Then, the goals of the dissertation are described in detail, followed by a synopsis of the three publications. Finally, the findings of the three papers are summarized and methodological strengths and limitations of the empirical studies are discussed