Finite mixture models estimation with a credal EM algorithm

This paper is concerned with finite mixture models estimation in the framework of Transferable Belief Model. This model relies on a non probabilistic formalism for representing and manipulating imprecise and uncertain information with belief functions. Within this framework, a credal EM algorithm, a variant of classical EM algorithm based on belief functions, is introduced for finite mixture parameters learning. This algorithm can be applied in several situations where available information on the data generation model is partially known. In the learning problem, this knowledge is represented with belief functions which allow to represent as better as possible the uncertainty on the component from where each observation has been generated. Several experimentations highlight situations where the algorithm is applied when available information on the learning set is imprecise (partially supervised learning where the actual component of each sample is only known as belonging to a subset of components), and/or uncertain (unsupervised learning where the knowledge about the actual sample is represented by a belief function). Synthetic data sets allow us to demonstrate the good performance of the proposed approach based on estimated parameters analysis and learning with gaussian finite mixture models.Dans cet article, l’estimation d’un modèle de mélange fini est abordée dans le cadre du Modèle des Croyances Transférables (MCT). Ce modèle constitue le socle d’un formalisme non probabiliste pour la représentation d’informations imprécises et incertaines par des fonctions de croyances. Dans ce contexte, un algorithme EM crédibiliste, une extension de l’algorithme EM aux fonctions de croyance, est introduit pour l’apprentissage des paramètres du modèle de mélange fini. Nous montrons comment cet algorithme peut être appliqué dans plusieurs contextes où l’information sur le modèle de génération des données n’est que partiellement disponible. Cette information est représentée, dans le problème d’apprentissage, par des fonctions de croyance qui permettent de modéliser la connaissance disponible sur la composante ayant servie à générer chaque observation de manière la plus fine possible. Plusieurs simulations mettent en évidence des situations où le modèle de génération des données n’est connu que de manière imprécise (apprentissage partiellement supervisé) et où l’on ne posséde auncune information sur la composante d’appartenance de chaque observation (apprentissage non supervisé). Des jeux de données synthétiques permettent de démontrer les bonnes performances de l’approche proposée en terme d’estimation mais également en terme d’apprentissage sur des modèles de mélanges gaussiens

Expectation-maximization algorithms for learning a finite mixture of univariate survival time distributions from partially specified class values

Heterogeneity exists on a data set when samples from different classes are merged into the data set. Finite mixture models can be used to represent a survival time distribution on heterogeneous patient group by the proportions of each class and by the survival time distribution within each class as well. The heterogeneous data set cannot be explicitly decomposed to homogeneous subgroups unless all the samples are precisely labeled by their origin classes; such impossibility of decomposition is a barrier to overcome for estimating finite mixture models. The expectation-maximization (EM) algorithm has been used to obtain maximum likelihood estimates of finite mixture models by soft-decomposition of heterogeneous samples without labels for a subset or the entire set of data. In medical surveillance databases we can find partially labeled data, that is, while not completely unlabeled there is only imprecise information about class values. In this study we propose new EM algorithms that take advantages of using such partial labels, and thus incorporate more information than traditional EM algorithms. We particularly propose four variants of the EM algorithm named EM-OCML, EM-PCML, EM-HCML and EM-CPCML, each of which assumes a specific mechanism of missing class values. We conducted a simulation study on exponential survival trees with five classes and showed that the advantages of incorporating substantial amount of partially labeled data can be highly significant. We also showed model selection based on AIC values fairly works to select the best proposed algorithm on each specific data set. A case study on a real-world data set of gastric cancer provided by Surveillance, Epidemiology and End Results (SEER) program showed a superiority of EM-CPCML to not only the other proposed EM algorithms but also conventional supervised, unsupervised and semi-supervised learning algorithms

Partially supervised learning by a Credal EM approach

In this paper, we propose a Credal EM (CrEM) approach for partially supervised learning. The uncertainty is represented by belief functions as understood in the transferable belief model (TBM). This model relies on a non probabilistic formalism for representing and manipulating imprecise and uncertain information. We show how the EM algorithm can be applied within the TBM framework when applied for the classification of objects and when the learning set is imprecise (the actual class of each object is only known as belonging to a subset of classes), and/or uncertain (the knowledge about the actual class is represented by a probability function or by a belief function). © Springer-Verlag Berlin Heidelberg 2005.SCOPUS: cp.kinfo:eu-repo/semantics/publishe

Hybridation des retours d'expérience statistique et cognitif pour l'évaluation des risques (application à la déconstruction des aéronefs)

Les travaux de recherche présentés dans ce document s'inscrivent dans le cadre de la gestion des connaissances appliquée à la déconstruction des avions en fin de vie avec pour objectif l'aide à la décision par l'évaluation des risques. Pour répondre à cet objectif, nous avons développé des mécanismes d'aide à la décision hybridant les retours d'expérience statistique et cognitif pour évaluer les risques sur les zones critiques d'un système. L'approche proposée permet la combinaison des avis d'experts du domaine avec des statistiques issues d'une base de données en utilisant les fonctions de croyance. L'évaluation des risques est réalisée par le traitement des connaissances combinées au moyen d'un modèle utilisant les réseaux évidentiels dirigés. Ce document s'articule en quatre chapitres.Le premier chapitre constitue un état de l'art abordant les notions liées au risque et au retour d'expérience. Il permet de définir les concepts clés concernant l'évaluation du risque, la gestion des connaissances (et en particulier le processus de retour d'expérience) ainsi que les passerelles entre ces deux concepts. Le second chapitre permet d'introduire un modèle d'évaluation des risques basé sur les méthodes bayésiennes. Cependant, les méthodes bayésiennes ont des limites, en particulier pour ce qui concerne la modélisation de l'incertitude épistémique inhérente aux avis d'experts, qui nous ont incité à proposer des alternatives, telles les fonctions de croyance et les réseaux évidentiels dirigés que nous avons finalement choisi d'utiliser. Le troisième chapitre propose une démarche permettant d'évaluer les risques en utilisant les réseaux évidentiels dirigés. L'approche proposée décrit les mécanismes utilisés pour formaliser et fusionner les connaissances expertes et statistiques, puis pour traiter ces connaissances au moyen des réseaux évidentiels dirigés. Pour finir, des indicateurs permettant la restitution des résultats au décideur sont introduits. Le dernier chapitre présente le projet DIAGNOSTAT qui a servi de cadre à ces travaux de recherche et expose un cas d'étude permettant d'appliquer la démarche introduite précédemment à la déconstruction des avions en fin de vie au moyen de deux scénariosThe research work presented in this document relates to knowledge management applied to aircraft deconstruction. The aim of this work is to provide a decision support system for risk assessment. To meet this objective, mechanisms for decision support hybridizing cognitive and statistical experience feedback to perform risk assessment on system critical areas have been developed. The proposed approach allows to combine expert opinion with statistics extracted from a database by using belief functions. The risk assessment is performed by the combined knowledge processing using a model based on directed evidential networks. This document is divided into four chapters. The first chapter is a state of the art addressing concepts related to risk and experience feedback. It defines key concepts for risk assessment, knowledge management (in particular the experience feedback process) and the links between these two concepts. The second chapter allows to introduce a risk assessment model based on Bayesian methods. However, Bayesian methods have some limitations, particularly with respect to epistemic uncertainty modelling. That is why, some alternatives have been proposed, such as belief functions and directed evidential networks that we finally chose to use. The third chapter proposes an approach for assessing the risk using directed evidential networks. The proposed approach describes the mechanisms used to formalize and combine expert and statistical knowledge, and then to process this knowledge with directed evidential networks. Finally, indicators to inform the decision maker about results are introduced. The last chapter presents the DIAGNOSTAT project which provided the framework for this research and a study case to apply the approach introduced earlier for aircraft deconstruction by using two scenariosTOULOUSE-INP (315552154) / SudocSudocFranceF

Hybridation des retours d'expérience statistique et cognitif pour l'évaluation des risques : application à la déconstruction des aéronefs

Les travaux de recherche présentés dans ce document s'inscrivent dans le cadre de la gestion des connaissances appliquée à la déconstruction des avions en fin de vie avec pour objectif l'aide à la décision par l'évaluation des risques. Pour répondre à cet objectif, nous avons développé des mécanismes d'aide à la décision hybridant les retours d'expérience statistique et cognitif pour évaluer les risques sur les zones critiques d'un système. L'approche proposée permet la combinaison des avis d'experts du domaine avec des statistiques issues d'une base de données en utilisant les fonctions de croyance. L'évaluation des risques est réalisée par le traitement des connaissances combinées au moyen d'un modèle utilisant les réseaux évidentiels dirigés. Ce document s'articule en quatre chapitres.Le premier chapitre constitue un état de l'art abordant les notions liées au risque et au retour d'expérience. Il permet de définir les concepts clés concernant l'évaluation du risque, la gestion des connaissances (et en particulier le processus de retour d'expérience) ainsi que les passerelles entre ces deux concepts. Le second chapitre permet d'introduire un modèle d'évaluation des risques basé sur les méthodes bayésiennes. Cependant, les méthodes bayésiennes ont des limites, en particulier pour ce qui concerne la modélisation de l'incertitude épistémique inhérente aux avis d'experts, qui nous ont incité à proposer des alternatives, telles les fonctions de croyance et les réseaux évidentiels dirigés que nous avons finalement choisi d'utiliser. Le troisième chapitre propose une démarche permettant d'évaluer les risques en utilisant les réseaux évidentiels dirigés. L'approche proposée décrit les mécanismes utilisés pour formaliser et fusionner les connaissances expertes et statistiques, puis pour traiter ces connaissances au moyen des réseaux évidentiels dirigés. Pour finir, des indicateurs permettant la restitution des résultats au décideur sont introduits. Le dernier chapitre présente le projet DIAGNOSTAT qui a servi de cadre à ces travaux de recherche et expose un cas d'étude permettant d'appliquer la démarche introduite précédemment à la déconstruction des avions en fin de vie au moyen de deux scénarios. ABSTRACT : The research work presented in this document relates to knowledge management applied to aircraft deconstruction. The aim of this work is to provide a decision support system for risk assessment. To meet this objective, mechanisms for decision support hybridizing cognitive and statistical experience feedback to perform risk assessment on system critical areas have been developed. The proposed approach allows to combine expert opinion with statistics extracted from a database by using belief functions. The risk assessment is performed by the combined knowledge processing using a model based on directed evidential networks. This document is divided into four chapters. The first chapter is a state of the art addressing concepts related to risk and experience feedback. It defines key concepts for risk assessment, knowledge management (in particular the experience feedback process) and the links between these two concepts. The second chapter allows to introduce a risk assessment model based on Bayesian methods. However, Bayesian methods have some limitations, particularly with respect to epistemic uncertainty modelling. That is why, some alternatives have been proposed, such as belief functions and directed evidential networks that we finally chose to use. The third chapter proposes an approach for assessing the risk using directed evidential networks. The proposed approach describes the mechanisms used to formalize and combine expert and statistical knowledge, and then to process this knowledge with directed evidential networks. Finally, indicators to inform the decision maker about results are introduced. The last chapter presents the DIAGNOSTAT project which provided the framework for this research and a study case to apply the approach introduced earlier for aircraft deconstruction by using two scenarios