Vergleich von Methoden zur Strukturfindung in der Psychometrie mit Hilfe echter Daten

Die vorliegende Arbeit beschäftigt sich mit der Evaluation von strukturfindenden Methoden, die die Items psychologischer Fragebogendaten in homogene Gruppen von ähnlichen Items zusammenfassen. Ein wesentlicher Unterschied zwischen Methoden, die zu diesem Zweck verwendet werden, ist, ob sie ein zugrundeliegendes Messmodell annehmen oder ob sie nur eine möglichst brauchbare Gruppierung der Items anstreben. Zum einen gibt es die modellbasierte Faktorenanalyse (FA), die auf dem Faktormodell basiert. Der mathematische Ansatz ist ähnlich der Hauptkomponentenanalyse, oder principal component analysis (PCA). In der FA wird im Unterschied zur PCA noch angenommen, dass die Antworten auf die Items kausal von zugrundeliegenden Faktoren plus einem einzigartigen Residualterm kausal erklärt werden. Und dieser spezifische Residualterm jedes Items wird als völlig unkorreliert zu allen anderen Items angenommen. Ein Verfahren, das keine Modellannahmen trifft, ist die Clusteranalyse (CA). Hier werden lediglich Objekte zusammengefügt, die sich auf einem bestimmten Kriterium ähnlicher sind als andere. So wie man Methoden darin unterscheiden kann, ob sie ein zugrundeliegendes Modell annehmen oder nicht, kann man auch bei der Evaluation von Methoden diese Unterscheidung treffen. Eine Evaluationtechnik, die ein Modell annimmt, ist die Monte Carlo Simulation. Eine Technik, die nicht zwangsweise ein Modell zugrunde legt, ist das Resampling. Es werden Stichproben aus einem echten Datensatz gezogen und das Verhalten der Methode in diesen Stichproben wird untersucht. In der ersten Studie wurde ein solches Resampling-Verfahren angewandt, das wir Real World Simulation nennen. Es soll das bestehende Problem der mangelnden Validität von Monte Carlo Studien zur FA beheben. Es wurde eine Real World Simulation an zwei großen Datensätzen durchgeführt und die Schätzer der Modellparameter aus dem echten Datensatz anschließend für die Monte Carlo Simulation als Modellparameter verwendet. So kann getestet werden, welchen Einfluss die spezifischen Datensatzcharakteristiken sowie kontrollierte Veränderungen von ihnen auf die Funktion der Methoden haben. Die Ergebnisse legen nahe, dass die Resultate von Simulationsstudien immer stark von bestimmten Spezifikationen des Modells und seiner Verletzungen abhängen und daher keine allgemeingültigen Aussagen getroffen werden können. Die Analyse echter Daten ist wichtig, um die Funktion verschiedener Methoden zu verstehen. In der zweiten Studie wurde mit Hilfe dieser neuen Evaluationstechnik ein neues k-means Clusterungsverfahren zur Clusterung von Items getestet. Die zwei Verfahren, die vorgeschlagen wurden, sind: k-means skaliertes Distanzmaß (k-means SDM) und k-means cor. In den Analysen zeigte sich, dass sich die neuen Verfahren besser eignen, Items zu Konstrukten zuzuordnen als die EFA. Lediglich bei der Bestimmung der Anzahl der zugrundeliegenden Konstrukte, waren die EFA-Verfahren genauso gut. Aus diesem Grund wird vorgeschlagen eine Kombination dieser beiden Verfahren zu verwenden. Ein großer Vorteil der neuen Methoden ist, dass sie das Problem der Unbestimmtheit der Faktorwerte in der EFA lösen können, da die Clusterwerte der Personen auf den Clustern eindeutig bestimmt werden können. Am Ende der Arbeit wird auf die unterschiedlichen Evaluierungs- bzw. Validierungstechniken für modellbasierte und nicht-modellbasierte Verfahren eingegangen. Für die Zukunft wird vorgeschlagen, für die Evaluation des neuen k-means CA Verfahrens zur Clusterung von Items, Real World Simulationen sowie Validierungen der Clusterwerte mit Außenkriterien anzuwenden

Vergleich von Methoden zur Strukturfindung in der Psychometrie mit Hilfe echter Daten

Die vorliegende Arbeit beschäftigt sich mit der Evaluation von strukturfindenden Methoden, die die Items psychologischer Fragebogendaten in homogene Gruppen von ähnlichen Items zusammenfassen. Ein wesentlicher Unterschied zwischen Methoden, die zu diesem Zweck verwendet werden, ist, ob sie ein zugrundeliegendes Messmodell annehmen oder ob sie nur eine möglichst brauchbare Gruppierung der Items anstreben. Zum einen gibt es die modellbasierte Faktorenanalyse (FA), die auf dem Faktormodell basiert. Der mathematische Ansatz ist ähnlich der Hauptkomponentenanalyse, oder principal component analysis (PCA). In der FA wird im Unterschied zur PCA noch angenommen, dass die Antworten auf die Items kausal von zugrundeliegenden Faktoren plus einem einzigartigen Residualterm kausal erklärt werden. Und dieser spezifische Residualterm jedes Items wird als völlig unkorreliert zu allen anderen Items angenommen. Ein Verfahren, das keine Modellannahmen trifft, ist die Clusteranalyse (CA). Hier werden lediglich Objekte zusammengefügt, die sich auf einem bestimmten Kriterium ähnlicher sind als andere. So wie man Methoden darin unterscheiden kann, ob sie ein zugrundeliegendes Modell annehmen oder nicht, kann man auch bei der Evaluation von Methoden diese Unterscheidung treffen. Eine Evaluationtechnik, die ein Modell annimmt, ist die Monte Carlo Simulation. Eine Technik, die nicht zwangsweise ein Modell zugrunde legt, ist das Resampling. Es werden Stichproben aus einem echten Datensatz gezogen und das Verhalten der Methode in diesen Stichproben wird untersucht. In der ersten Studie wurde ein solches Resampling-Verfahren angewandt, das wir Real World Simulation nennen. Es soll das bestehende Problem der mangelnden Validität von Monte Carlo Studien zur FA beheben. Es wurde eine Real World Simulation an zwei großen Datensätzen durchgeführt und die Schätzer der Modellparameter aus dem echten Datensatz anschließend für die Monte Carlo Simulation als Modellparameter verwendet. So kann getestet werden, welchen Einfluss die spezifischen Datensatzcharakteristiken sowie kontrollierte Veränderungen von ihnen auf die Funktion der Methoden haben. Die Ergebnisse legen nahe, dass die Resultate von Simulationsstudien immer stark von bestimmten Spezifikationen des Modells und seiner Verletzungen abhängen und daher keine allgemeingültigen Aussagen getroffen werden können. Die Analyse echter Daten ist wichtig, um die Funktion verschiedener Methoden zu verstehen. In der zweiten Studie wurde mit Hilfe dieser neuen Evaluationstechnik ein neues k-means Clusterungsverfahren zur Clusterung von Items getestet. Die zwei Verfahren, die vorgeschlagen wurden, sind: k-means skaliertes Distanzmaß (k-means SDM) und k-means cor. In den Analysen zeigte sich, dass sich die neuen Verfahren besser eignen, Items zu Konstrukten zuzuordnen als die EFA. Lediglich bei der Bestimmung der Anzahl der zugrundeliegenden Konstrukte, waren die EFA-Verfahren genauso gut. Aus diesem Grund wird vorgeschlagen eine Kombination dieser beiden Verfahren zu verwenden. Ein großer Vorteil der neuen Methoden ist, dass sie das Problem der Unbestimmtheit der Faktorwerte in der EFA lösen können, da die Clusterwerte der Personen auf den Clustern eindeutig bestimmt werden können. Am Ende der Arbeit wird auf die unterschiedlichen Evaluierungs- bzw. Validierungstechniken für modellbasierte und nicht-modellbasierte Verfahren eingegangen. Für die Zukunft wird vorgeschlagen, für die Evaluation des neuen k-means CA Verfahrens zur Clusterung von Items, Real World Simulationen sowie Validierungen der Clusterwerte mit Außenkriterien anzuwenden

Item-Focused Trees for the Detection of Differential Item Functioning in Partial Credit Models

Various methods to detect differential item functioning (DIF) in item response models are available. However, most of these methods assume that the responses are binary, and so for ordered response categories available methods are scarce. In the present article, DIF in the widely used partial credit model is investigated. An item-focused tree is proposed that allows the detection of DIF items, which might affect the performance of the partial credit model. The method uses tree methodology, yielding a tree for each item that is detected as DIF item. The visualization as trees makes the results easily accessible, as the obtained trees show which variables induce DIF and in which way. In the present paper, the new method is compared with alternative approaches and simulations demonstrate the performance of the method

What can the Real World do for simulation studies? A comparison of exploratory methods

For simulation studies on the exploratory factor analysis (EFA), usually rather simple population models are used without model errors. In the present study, real data characteristics are used for Monte Carlo simulation studies. Real large data sets are examined and the results of EFA on them are taken as the population models. First we apply a resampling technique on these data sets with sub samples of different sizes. Then, a Monte Carlo study is conducted based on the parameters of the population model and with some variations of them. Two data sets are analyzed as an illustration. Results suggest that outcomes of simulation studies are always highly influenced by particular specification of the model and its violations. Once small residual correlations appeared in the data for example, the ranking of our methods changed completely. The analysis of real data set characteristics is therefore important to understand the performance of different methods

Evaluation of a new k-means approach for exploratory clustering of items

Evaluation of a new k-means approach for exploratory clustering of item

A First Survey on the Diversity of the R Community

The study presented here is a first attempt to capture the demographics and opinions of the R community, starting with the attendees of the useR! conference 2016. One aim of Forwards, the R Foundation taskforce on women and other under-represented groups, is to identify groups that are under-represented in the R community and to further stimulate ideas and take initiatives for widening their participation. Since R is an open-source software with various platforms for exchange, however, it is difficult to obtain information about its community – let alone define this community in the first place. As a starting point, a survey was conducted with the attendees of the useR! conference 2016 to document their sociodemographic and computational backgrounds, experiences and opinions. The present paper gives an overview of the results of this first survey. Most of the analysis focuses on women participants, that are generally under-represented in STEM (Science, Technology, Engineering, Mathematics) disciplines, but the results also show a severe underrepresentation of minorities. A surprising finding concerns a gender difference with regard to the experience with R and the publication of R packages. We investigated possible reasons for this difference by the means of a logistic regression analysis. The self-evident limitations of this first survey are discussed and directions for future research as well as potential means for improvement are outlined

Accounting for clustering in automated variable selection using hospital data: a comparison of different LASSO approaches

Abstract Background Automated feature selection methods such as the Least Absolute Shrinkage and Selection Operator (LASSO) have recently gained importance in the prediction of quality-related outcomes as well as the risk-adjustment of quality indicators in healthcare. The methods that have been used so far, however, do not account for the fact that patient data are typically nested within hospitals. Methods Therefore, we aimed to demonstrate how to account for the multilevel structure of hospital data with LASSO and compare the results of this procedure with a LASSO variant that ignores the multilevel structure of the data. We used three different data sets (from acute myocardial infarcation, COPD, and stroke patients) with two dependent variables (one numeric and one binary), on which different LASSO variants with and without consideration of the nested data structure were applied. Using a 20-fold sub-sampling procedure, we tested the predictive performance of the different LASSO variants and examined differences in variable importance. Results For the metric dependent variable Duration Stay, we found that inserting hospitals led to better predictions, whereas for the binary variable Mortality, all methods performed equally well. However, in some instances, the variable importances differed greatly between the methods. Conclusion We showed that it is possible to take the multilevel structure of data into account in automated predictor selection and that this leads, at least partly, to better predictive performance. From the perspective of variable importance, including the multilevel structure is crucial to select predictors in an unbiased way under consideration of the structural differences between hospitals

Additional file 1 of Accounting for clustering in automated variable selection using hospital data: a comparison of different LASSO approaches

Additional file 1