Finite mixtures for the modelling of heterogeneity in ordinal response

Die Modellierung von Heterogenität ist ein entscheidender Aspekt in jeder statistischen Analyse. Um ein geeignetes Modell zu finden, ist es notwendig, möglichst alle relevanten Strukturen und Einflussgrößen einzubeziehen. Die meisten statistischen Modelle können leicht beobachtete Strukturen einbinden, jedoch haben sie oft Schwierigkeiten latente Strukturen abzubilden. Misch-Modelle können Heterogenität berücksichtigen, die aus zugrunde liegenden latenten Strukturen entstehen, wie etwa die unbeobachtete Zugehörigkeit zu verschiedenen Gruppen oder unterschiedliches Antwortverhalten. Mit dieser Doktorarbeit möchte ich einen Beitrag für die Verwendung von Misch-Modellen zur Modellierung von Heterogenität bei ordinalen Zielgrößen leisten und Variablen Selektion in diesem Kontext durchführen. Zuerst konzentriere ich mich auf Heterogenität, die bei Umfragen auftritt, wenn beispielsweise die Befragten bei der Wahl einer bestimmten geordneten Kategorie unsicher sind. In diesem Fall bestehen die Misch-Modelle üblicherweise aus einer Präferenz-Komponente und einer Unsicherheits-Komponente. Ein Gewicht bestimmt die Neigung jeder Person zu einer dieser beiden Komponenten zu gehören. Das existierende CUB Modell verwendet eine verschobene Binomialverteilung für die erste und eine Gleichverteilung für die zweite Komponente. Im vorgeschlagenem CUP Modell wird die Präferenz-Komponente mit einem beliebigen ordinalen Modell wie dem kumulativen Logit Modell ersetzt, um eine höhere Flexibilität in der Präferenz-Komponente zu erreichen. Im BetaBin Modell wird das Konzept der Unsicherheit als zufällige Wahl einer Kategorie so erweitert, dass Unsicherheit auch die Tendenz zu der zentralen Kategorie und extremen Kategorien erfasst. Auf diese Weise wird die Gleichverteilung des CUP Modells durch einer flexiblere, beschränkte Beta-Binomial Verteilung ersetzt. Als zweites zeige ich, wie diskrete Cure Modelle verwendet werden können, um in der Survival-Analyse für diskrete Zeit mit Heterogenität umzugehen, die aus der unbeobachteten Zugehörigkeit zu verschiedenen Gruppen entsteht. "Cure" bezeichnet dabei den Umstand, dass eine Gruppe von Beobachtungen "geheilt ist" oder als sogenannte Langzeit-Überlebende charakterisiert ist, während die andere Gruppe dem Risiko des Ereignisses wie zum Beispiel "Eintritt von Arbeitslosigkeit" ausgesetzt ist. Die Zugehörigkeit zu dieser Gruppe ist unbekannt. Cure Modelle schätzen die Wahrscheinlichkeit zur Nicht-geheilten Population zu gehören und die Form der Survival Funktion für die Beobachtungen unter Risiko. Drittens führe ich Variablen Selektion für das CUB, CUP und das Cure Modell mit Hilfe von Penalisierung und teilweise schrittweise Selektionsverfahren durch. Die Herausforderung liegt insbesondere darin zu entscheiden, welche Variablen in welche Komponente des Misch-Modells aufgenommen werden sollen. Variablen können hier zum einen für die Schätzung der Gewichte der Komponenten und zum anderen für die Form einer oder zwei Misch-Komponenten verwendet werden. Es werden dafür spezifische Bestrafungsterme vorgestellt, die für das jeweilige Modell geeignet sind. Alle Modelle werden mit dem EM-Algorithmus geschätzt, der die unbekannte Zugehörigkeit zu einer der Komponenten als fehlende Daten behandelt. Es werden auch einige computationale Aspekte besprochen wie etwa mit der Initialisierung und der Konvergenz umzugehen ist. Die penalisierte Likelihood wird mit dem sogenannten FISTA Algorithmus geschätzt, da die Ableitungen der penalisierten Likelihood nicht existieren. Es werden sowohl Simulations-Studien als auch reelle Daten verwendet, um die Nützlichkeit der neuen Ansätze aufzuzeigen.Modelling heterogeneity is a crucial aspect of every statistical analysis. To find a reasonable model, it is necessary to include all relevant structures and explanatory variables. Most statistical models can easily include observed patterns but have often difficulties in dealing with latent structures. Mixture models can account for heterogeneity which arise from latent underlying structures, for example, the unobserved membership to different groups or different response styles. In this thesis, I contribute to the use of mixture models to model heterogeneity in ordinal response and perform variable selection in this context. First, I focus on heterogeneity, which occurs in surveys when, for instance, respondents are uncertain about choosing a certain ordered category. In this case, the mixture model traditionally consists of a preference component and an uncertainty component. A weight determines the propensity of each person belonging to one of these components. The traditional CUB model uses a shifted binomial distribution for the first and a uniform distribution for the later component. In the proposed CUP model, the preference component is replaced by any ordinal model, such as the cumulative logit model or the adjacent category model, to achieve more flexibility in the preference component. In the BetaBin model, the concept of uncertainty, understood as a random choice of a category, is extended in such a way that uncertainty can also capture the tendency to the middle and extreme categories. Thus, the uniform distribution of the CUP model is replaced by a more flexible restricted beta-binomial distribution. Second, I show how discrete cure models can be used for dealing with heterogeneity in the survival analysis for discrete time arising from the unobserved membership to different groups. "Cure" refers to the fact that one group of observations is "cured" or characterized as long-term survivors, while the other group is exposed to the risk of the event such as the "occurrence of unemployment". The membership to this group is unknown. Cure models estimate the probability for belonging to the non-cured population and the shape of the survival function of the observations under risk. Third, I perform variable selection for the CUB, the CUP and the cure model using penalization techniques and to some extend stepwise selection procedures. In particular, the challenge is to decide which variables should be included in which component of the mixture model. On the one hand, variables can be used to estimate the weights of the components and on the other hand, for the shape of one or two mixture components. Therefore, specific penalty terms are presented which are appropriate for the particular model. All models are estimated with the EM-Algorithm which treats the unknown membership to the components as missing data. I also address some computational issues, for instance, how to deal with initialization and convergence. The penalized likelihood is estimated with the so-called FISTA algorithm since the derivatives of the penalized likelihood do not exist. Both simulation studies and real data applications are used to demonstrate the usefulness of the new approaches