Mixture Models for Ordinal Responses to Account for Uncertainty of Choice

In CUB models the uncertainty of choice is explicitly modelled as a Combination of discrete Uniform and shifted Binomial random variables. The basic concept to model the response as a mixture of a deliberate choice of a response category and an uncertainty component that is represented by a uniform distribution on the response categories is extended to a much wider class of models. The deliberate choice can in particular be determined by classical ordinal response models as the cumulative and adjacent categories model. Then one obtains the traditional and flexible models as special cases when the uncertainty component is irrelevant. It is shown that the effect of explanatory variables is underestimated if the uncertainty component is neglected in a cumulative type mixture model. Visualization tools for the effects of variables are proposed and the modelling strategies are evaluated by use of real data sets. It is demonstrated that the extended class of models frequently yields better fit than classical ordinal response models without an uncertainty component

Mixture Models for Ordinal Responses to Account for Uncertainty of Choice

In CUB models the uncertainty of choice is explicitly modelled as a Combination of discrete Uniform and shifted Binomial random variables. The basic concept to model the response as a mixture of a deliberate choice of a response category and an uncertainty component that is represented by a uniform distribution on the response categories is extended to a much wider class of models. The deliberate choice can in particular be determined by classical ordinal response models as the cumulative and adjacent categories model. Then one obtains the traditional and flexible models as special cases when the uncertainty component is irrelevant. It is shown that the effect of explanatory variables is underestimated if the uncertainty component is neglected in a cumulative type mixture model. Visualization tools for the effects of variables are proposed and the modelling strategies are evaluated by use of real data sets. It is demonstrated that the extended class of models frequently yields better fit than classical ordinal response models without an uncertainty component

Modelling Ordinal Responses with Uncertainty: a Hierarchical Marginal Model with Latent Uncertainty components

In responding to rating questions, an individual may give answers either according to his/her knowledge/awareness or to his/her level of indecision/uncertainty, typically driven by a response style. As ignoring this dual behaviour may lead to misleading results, we define a multivariate model for ordinal rating responses, by introducing, for every item, a binary latent variable that discriminates aware from uncertain responses. Some independence assumptions among latent and observable variables characterize the uncertain behaviour and make the model easier to interpret. Uncertain responses are modelled by specifying probability distributions that can depict different response styles characterizing the uncertain raters. A marginal parametrization allows a simple and direct interpretation of the parameters in terms of association among aware responses and their dependence on explanatory factors. The effectiveness of the proposed model is attested through an application to real data and supported by a Monte Carlo study

Clustering South African households based on their asset status using latent variable models

The Agincourt Health and Demographic Surveillance System has since 2001 conducted a biannual household asset survey in order to quantify household socio-economic status (SES) in a rural population living in northeast South Africa. The survey contains binary, ordinal and nominal items. In the absence of income or expenditure data, the SES landscape in the study population is explored and described by clustering the households into homogeneous groups based on their asset status. A model-based approach to clustering the Agincourt households, based on latent variable models, is proposed. In the case of modeling binary or ordinal items, item response theory models are employed. For nominal survey items, a factor analysis model, similar in nature to a multinomial probit model, is used. Both model types have an underlying latent variable structure - this similarity is exploited and the models are combined to produce a hybrid model capable of handling mixed data types. Further, a mixture of the hybrid models is considered to provide clustering capabilities within the context of mixed binary, ordinal and nominal response data. The proposed model is termed a mixture of factor analyzers for mixed data (MFA-MD). The MFA-MD model is applied to the survey data to cluster the Agincourt households into homogeneous groups. The model is estimated within the Bayesian paradigm, using a Markov chain Monte Carlo algorithm. Intuitive groupings result, providing insight to the different socio-economic strata within the Agincourt region.Comment: Published in at http://dx.doi.org/10.1214/14-AOAS726 the Annals of Applied Statistics (http://www.imstat.org/aoas/) by the Institute of Mathematical Statistics (http://www.imstat.org

CUB models: a preliminary fuzzy approach to heterogeneity

In line with the increasing attention paid to deal with uncertainty in ordinal data models, we propose to combine Fuzzy models with \cub models within questionnaire analysis. In particular, the focus will be on \cub models' uncertainty parameter and its interpretation as a preliminary measure of heterogeneity, by introducing membership, non-membership and uncertainty functions in the more general framework of Intuitionistic Fuzzy Sets. Our proposal is discussed on the basis of the Evaluation of Orientation Services survey collected at University of Naples Federico II.Comment: 10 pages, invited contribution at SIS2016 (Salerno, Italy), in SIS2016 proceeding

Finite mixtures for the modelling of heterogeneity in ordinal response

Die Modellierung von Heterogenität ist ein entscheidender Aspekt in jeder statistischen Analyse. Um ein geeignetes Modell zu finden, ist es notwendig, möglichst alle relevanten Strukturen und Einflussgrößen einzubeziehen. Die meisten statistischen Modelle können leicht beobachtete Strukturen einbinden, jedoch haben sie oft Schwierigkeiten latente Strukturen abzubilden. Misch-Modelle können Heterogenität berücksichtigen, die aus zugrunde liegenden latenten Strukturen entstehen, wie etwa die unbeobachtete Zugehörigkeit zu verschiedenen Gruppen oder unterschiedliches Antwortverhalten. Mit dieser Doktorarbeit möchte ich einen Beitrag für die Verwendung von Misch-Modellen zur Modellierung von Heterogenität bei ordinalen Zielgrößen leisten und Variablen Selektion in diesem Kontext durchführen. Zuerst konzentriere ich mich auf Heterogenität, die bei Umfragen auftritt, wenn beispielsweise die Befragten bei der Wahl einer bestimmten geordneten Kategorie unsicher sind. In diesem Fall bestehen die Misch-Modelle üblicherweise aus einer Präferenz-Komponente und einer Unsicherheits-Komponente. Ein Gewicht bestimmt die Neigung jeder Person zu einer dieser beiden Komponenten zu gehören. Das existierende CUB Modell verwendet eine verschobene Binomialverteilung für die erste und eine Gleichverteilung für die zweite Komponente. Im vorgeschlagenem CUP Modell wird die Präferenz-Komponente mit einem beliebigen ordinalen Modell wie dem kumulativen Logit Modell ersetzt, um eine höhere Flexibilität in der Präferenz-Komponente zu erreichen. Im BetaBin Modell wird das Konzept der Unsicherheit als zufällige Wahl einer Kategorie so erweitert, dass Unsicherheit auch die Tendenz zu der zentralen Kategorie und extremen Kategorien erfasst. Auf diese Weise wird die Gleichverteilung des CUP Modells durch einer flexiblere, beschränkte Beta-Binomial Verteilung ersetzt. Als zweites zeige ich, wie diskrete Cure Modelle verwendet werden können, um in der Survival-Analyse für diskrete Zeit mit Heterogenität umzugehen, die aus der unbeobachteten Zugehörigkeit zu verschiedenen Gruppen entsteht. "Cure" bezeichnet dabei den Umstand, dass eine Gruppe von Beobachtungen "geheilt ist" oder als sogenannte Langzeit-Überlebende charakterisiert ist, während die andere Gruppe dem Risiko des Ereignisses wie zum Beispiel "Eintritt von Arbeitslosigkeit" ausgesetzt ist. Die Zugehörigkeit zu dieser Gruppe ist unbekannt. Cure Modelle schätzen die Wahrscheinlichkeit zur Nicht-geheilten Population zu gehören und die Form der Survival Funktion für die Beobachtungen unter Risiko. Drittens führe ich Variablen Selektion für das CUB, CUP und das Cure Modell mit Hilfe von Penalisierung und teilweise schrittweise Selektionsverfahren durch. Die Herausforderung liegt insbesondere darin zu entscheiden, welche Variablen in welche Komponente des Misch-Modells aufgenommen werden sollen. Variablen können hier zum einen für die Schätzung der Gewichte der Komponenten und zum anderen für die Form einer oder zwei Misch-Komponenten verwendet werden. Es werden dafür spezifische Bestrafungsterme vorgestellt, die für das jeweilige Modell geeignet sind. Alle Modelle werden mit dem EM-Algorithmus geschätzt, der die unbekannte Zugehörigkeit zu einer der Komponenten als fehlende Daten behandelt. Es werden auch einige computationale Aspekte besprochen wie etwa mit der Initialisierung und der Konvergenz umzugehen ist. Die penalisierte Likelihood wird mit dem sogenannten FISTA Algorithmus geschätzt, da die Ableitungen der penalisierten Likelihood nicht existieren. Es werden sowohl Simulations-Studien als auch reelle Daten verwendet, um die Nützlichkeit der neuen Ansätze aufzuzeigen.Modelling heterogeneity is a crucial aspect of every statistical analysis. To find a reasonable model, it is necessary to include all relevant structures and explanatory variables. Most statistical models can easily include observed patterns but have often difficulties in dealing with latent structures. Mixture models can account for heterogeneity which arise from latent underlying structures, for example, the unobserved membership to different groups or different response styles. In this thesis, I contribute to the use of mixture models to model heterogeneity in ordinal response and perform variable selection in this context. First, I focus on heterogeneity, which occurs in surveys when, for instance, respondents are uncertain about choosing a certain ordered category. In this case, the mixture model traditionally consists of a preference component and an uncertainty component. A weight determines the propensity of each person belonging to one of these components. The traditional CUB model uses a shifted binomial distribution for the first and a uniform distribution for the later component. In the proposed CUP model, the preference component is replaced by any ordinal model, such as the cumulative logit model or the adjacent category model, to achieve more flexibility in the preference component. In the BetaBin model, the concept of uncertainty, understood as a random choice of a category, is extended in such a way that uncertainty can also capture the tendency to the middle and extreme categories. Thus, the uniform distribution of the CUP model is replaced by a more flexible restricted beta-binomial distribution. Second, I show how discrete cure models can be used for dealing with heterogeneity in the survival analysis for discrete time arising from the unobserved membership to different groups. "Cure" refers to the fact that one group of observations is "cured" or characterized as long-term survivors, while the other group is exposed to the risk of the event such as the "occurrence of unemployment". The membership to this group is unknown. Cure models estimate the probability for belonging to the non-cured population and the shape of the survival function of the observations under risk. Third, I perform variable selection for the CUB, the CUP and the cure model using penalization techniques and to some extend stepwise selection procedures. In particular, the challenge is to decide which variables should be included in which component of the mixture model. On the one hand, variables can be used to estimate the weights of the components and on the other hand, for the shape of one or two mixture components. Therefore, specific penalty terms are presented which are appropriate for the particular model. All models are estimated with the EM-Algorithm which treats the unknown membership to the components as missing data. I also address some computational issues, for instance, how to deal with initialization and convergence. The penalized likelihood is estimated with the so-called FISTA algorithm since the derivatives of the penalized likelihood do not exist. Both simulation studies and real data applications are used to demonstrate the usefulness of the new approaches

Finite mixtures for the modelling of heterogeneity in ordinal response

Die Modellierung von Heterogenität ist ein entscheidender Aspekt in jeder statistischen Analyse. Um ein geeignetes Modell zu finden, ist es notwendig, möglichst alle relevanten Strukturen und Einflussgrößen einzubeziehen. Die meisten statistischen Modelle können leicht beobachtete Strukturen einbinden, jedoch haben sie oft Schwierigkeiten latente Strukturen abzubilden. Misch-Modelle können Heterogenität berücksichtigen, die aus zugrunde liegenden latenten Strukturen entstehen, wie etwa die unbeobachtete Zugehörigkeit zu verschiedenen Gruppen oder unterschiedliches Antwortverhalten. Mit dieser Doktorarbeit möchte ich einen Beitrag für die Verwendung von Misch-Modellen zur Modellierung von Heterogenität bei ordinalen Zielgrößen leisten und Variablen Selektion in diesem Kontext durchführen. Zuerst konzentriere ich mich auf Heterogenität, die bei Umfragen auftritt, wenn beispielsweise die Befragten bei der Wahl einer bestimmten geordneten Kategorie unsicher sind. In diesem Fall bestehen die Misch-Modelle üblicherweise aus einer Präferenz-Komponente und einer Unsicherheits-Komponente. Ein Gewicht bestimmt die Neigung jeder Person zu einer dieser beiden Komponenten zu gehören. Das existierende CUB Modell verwendet eine verschobene Binomialverteilung für die erste und eine Gleichverteilung für die zweite Komponente. Im vorgeschlagenem CUP Modell wird die Präferenz-Komponente mit einem beliebigen ordinalen Modell wie dem kumulativen Logit Modell ersetzt, um eine höhere Flexibilität in der Präferenz-Komponente zu erreichen. Im BetaBin Modell wird das Konzept der Unsicherheit als zufällige Wahl einer Kategorie so erweitert, dass Unsicherheit auch die Tendenz zu der zentralen Kategorie und extremen Kategorien erfasst. Auf diese Weise wird die Gleichverteilung des CUP Modells durch einer flexiblere, beschränkte Beta-Binomial Verteilung ersetzt. Als zweites zeige ich, wie diskrete Cure Modelle verwendet werden können, um in der Survival-Analyse für diskrete Zeit mit Heterogenität umzugehen, die aus der unbeobachteten Zugehörigkeit zu verschiedenen Gruppen entsteht. "Cure" bezeichnet dabei den Umstand, dass eine Gruppe von Beobachtungen "geheilt ist" oder als sogenannte Langzeit-Überlebende charakterisiert ist, während die andere Gruppe dem Risiko des Ereignisses wie zum Beispiel "Eintritt von Arbeitslosigkeit" ausgesetzt ist. Die Zugehörigkeit zu dieser Gruppe ist unbekannt. Cure Modelle schätzen die Wahrscheinlichkeit zur Nicht-geheilten Population zu gehören und die Form der Survival Funktion für die Beobachtungen unter Risiko. Drittens führe ich Variablen Selektion für das CUB, CUP und das Cure Modell mit Hilfe von Penalisierung und teilweise schrittweise Selektionsverfahren durch. Die Herausforderung liegt insbesondere darin zu entscheiden, welche Variablen in welche Komponente des Misch-Modells aufgenommen werden sollen. Variablen können hier zum einen für die Schätzung der Gewichte der Komponenten und zum anderen für die Form einer oder zwei Misch-Komponenten verwendet werden. Es werden dafür spezifische Bestrafungsterme vorgestellt, die für das jeweilige Modell geeignet sind. Alle Modelle werden mit dem EM-Algorithmus geschätzt, der die unbekannte Zugehörigkeit zu einer der Komponenten als fehlende Daten behandelt. Es werden auch einige computationale Aspekte besprochen wie etwa mit der Initialisierung und der Konvergenz umzugehen ist. Die penalisierte Likelihood wird mit dem sogenannten FISTA Algorithmus geschätzt, da die Ableitungen der penalisierten Likelihood nicht existieren. Es werden sowohl Simulations-Studien als auch reelle Daten verwendet, um die Nützlichkeit der neuen Ansätze aufzuzeigen.Modelling heterogeneity is a crucial aspect of every statistical analysis. To find a reasonable model, it is necessary to include all relevant structures and explanatory variables. Most statistical models can easily include observed patterns but have often difficulties in dealing with latent structures. Mixture models can account for heterogeneity which arise from latent underlying structures, for example, the unobserved membership to different groups or different response styles. In this thesis, I contribute to the use of mixture models to model heterogeneity in ordinal response and perform variable selection in this context. First, I focus on heterogeneity, which occurs in surveys when, for instance, respondents are uncertain about choosing a certain ordered category. In this case, the mixture model traditionally consists of a preference component and an uncertainty component. A weight determines the propensity of each person belonging to one of these components. The traditional CUB model uses a shifted binomial distribution for the first and a uniform distribution for the later component. In the proposed CUP model, the preference component is replaced by any ordinal model, such as the cumulative logit model or the adjacent category model, to achieve more flexibility in the preference component. In the BetaBin model, the concept of uncertainty, understood as a random choice of a category, is extended in such a way that uncertainty can also capture the tendency to the middle and extreme categories. Thus, the uniform distribution of the CUP model is replaced by a more flexible restricted beta-binomial distribution. Second, I show how discrete cure models can be used for dealing with heterogeneity in the survival analysis for discrete time arising from the unobserved membership to different groups. "Cure" refers to the fact that one group of observations is "cured" or characterized as long-term survivors, while the other group is exposed to the risk of the event such as the "occurrence of unemployment". The membership to this group is unknown. Cure models estimate the probability for belonging to the non-cured population and the shape of the survival function of the observations under risk. Third, I perform variable selection for the CUB, the CUP and the cure model using penalization techniques and to some extend stepwise selection procedures. In particular, the challenge is to decide which variables should be included in which component of the mixture model. On the one hand, variables can be used to estimate the weights of the components and on the other hand, for the shape of one or two mixture components. Therefore, specific penalty terms are presented which are appropriate for the particular model. All models are estimated with the EM-Algorithm which treats the unknown membership to the components as missing data. I also address some computational issues, for instance, how to deal with initialization and convergence. The penalized likelihood is estimated with the so-called FISTA algorithm since the derivatives of the penalized likelihood do not exist. Both simulation studies and real data applications are used to demonstrate the usefulness of the new approaches