Color image segmentation by unsupervised 2D histogram clustering and Dempster-Shafer region merging

In this paper, a color image segmentation method based on a new approach called bimarginal is proposed.To overcome the drawbacks of the classical marginal approaches, color components are considered in pairs in order to have a partial view of their inner correlation. Working with color images, the three possible combinations are considered as three independant information sources. Each pairwise component combination is firstly analyzed according to an unsupervised morphologic clustering which looks for the dominant colors of a 2D histogram. This leads to obtain three segmentation maps combined by intersection after being simplified. The intersection process itself producing an over-segmentation of the image, a pairwise region merging is done according to a similarity criterion with the Dempster-Shafer theory up to a termination criterion. To fully automate the segmentation, an energy function is proposed to quantify the segmentation quality. The latter acts as a performance indicator and is used all over the segmentation to tune its parameters.Dans cet article nous proposons une méthode de segmentation d'images couleur selon une nouvelle approche que nous appelons bi-marginale. Afin de pallier les défauts des approches marginales classiques, nous considérons les composantes couleur deux à deux afin d'avoir une vue partielle de leur corrélation. Travaillant selon cette vision bi-composante, nous considérons les trois combinaisons possible comme trois sources d'informations indépendantes. Chaque information bi-composante est tout d'abord analysée selon un schéma de coalescence morphologique non supervisé qui recherche les couleurs dominantes d'un histogramme bidimensionnel. Cela permet de construire trois cartes de segmentation distinctes qui sont combinées par intersection après avoir été simplifiées. L'intersection produisant une sur-segmentation, une fusion des régions deux à deux est opérée selon un critère de similarité et selon la combinaison de Dempster-Shafer jusqu'à un critère de terminaison. Afin d'automatiser la méthode de segmentation, une mesure d'énergie est proposée afin de quantifier la qualité d'une segmentation, celle-ci sert tout au long de la méthode proposée comme indicateur de performance de la segmentation afin d'en régler les différents paramètres

Evidential Markov chains and trees with applications to non stationary processes segmentation

The triplet Markov chains (TMC) generalize the pairwise Markov chains (PMC), and the latter generalize the hidden Markov chains (HMC). Otherwise, in an HMC the posterior distribution of the hidden process can be viewed as a particular case of the so called "Dempster's combination rule" of its prior Markov distribution p with a probability q defined from the observations. When we place ourselves in the theory of evidence context by replacing p by a mass function m, the result of the Dempster's combination of m with q generalizes the conventional posterior distribution of the hidden process. Although this result is not necessarily a Markov distribution, it has been recently shown that it is a TMC, which renders traditional restoration methods applicable. Further, these results remain valid when replacing the Markov chains with Markov trees. We propose to extend these results to Pairwise Markov trees. Further, we show the practical interest of such combination in the unsupervised segmentation of non stationary hidden Markov chains, with application to unsupervised image segmentation.Les chaînes de Markov Triplet (CMT) généralisent les chaînes de Markov Couple (CMCouple), ces dernières généralisant les chaînes de Markov cachées (CMC). Par ailleurs, dans une CMC la loi a posteriori du processus caché, qui est de Markov, peut être vue comme une combinaison de Dempster de sa loi a priori p avec une probabilité q définie à partir des observations. Lorsque l'on se place dans le contexte de la théorie de l'évidence en remplaçant p par une fonction de masse m, sa combinaison de Dempster avec q généralise ainsi la probabilité a posteriori. Bien que le résultat de cette fusion ne soit pas nécessairement une chaîne de Markov, il a été récemment établi qu'il est une CMT, ce qui autorise les divers traitements d'intérêt. De plus, les résultats analogues restent valables lorsque l'on généralise les différentes chaînes de Markov aux arbres de Markov. Nous proposons d'étendre ces résultats aux arbres de Markov Couple, dans lesquels la loi du processus caché n'est pas nécessairement de Markov. Nous montrons également l'intérêt pratique de ce type de fusion dans la segmentation non supervisée des chaînes de Markov non stationnaires, avec application à la segmentation d'images

Use of Evidence theory for the fusion and the estimation of relevance of data sources : application to an alcoholic bioprocess

In this paper, we present an application of the evidence theory for the classification of physiological states in a bioprocess. We are particularly interested by the relevance of the data sources which are here biochemical parameters measured during the bioprocess. The evidence theory, and more particularly the notion of conflict is used to evaluate the relevance of each data source. An other measure of conflict, based on a distance, is also used, and provides in some cases, better results than the classical notion of conflict of the evidence theory. Results are presented for two kinds of bioprocesses : batch process (which corresponds to a supervised classification) and fed-batch process (which corresponds to an unsupervised classification).Dans cet article, nous présentons une application de la théorie des fonctions de croyance pour la classification d’états physiologiques dans un bioprocédé. Nous nous intéressons surtout à la pertinence des sources d’informations qui sont ici des paramètres biochimiques mesurés durant le procédé. La théorie des fonctions de croyance, et plus particulièrement la notion de conflit est utilisée pour évaluer la pertinence de chaque source d’information. Une autre mesure du conflit, basée sur une distance, est utilisée comme alternative, et fournit dans certains cas, des résultats plus cohérents qu’avec le conflit défini dans la théorie de Demspter et Shafer. Les résultats concernant deux types de bioprocédés (procédé batch correspondant à une classification supervisée, et procédé fed-batch correspondant à une classification non supervisée) sont présentés

Reconnaissance de scènes multimodale embarquée

Context: This PhD takes place in the contexts of Ambient Intelligence and (Mobile) Context/Scene Awareness. Historically, the project comes from the company ST-Ericsson. The project was depicted as a need to develop and embed a “context server” on the smartphone that would get and provide context information to applications that would require it. One use case was given for illustration: when someone is involved in a meeting and receives a call, then thanks to the understanding of the current scene (meet at work), the smartphone is able to automatically act and, in this case, switch to vibrate mode in order not to disturb the meeting. The main problems consist of i) proposing a definition of what is a scene and what examples of scenes would suit the use case, ii) acquiring a corpus of data to be exploited with machine learning based approaches, and iii) propose algorithmic solutions to the problem of scene recognition.Data collection: After a review of existing databases, it appeared that none fitted the criteria I fixed (long continuous records, multi-sources synchronized records necessarily including audio, relevant labels). Hence, I developed an Android application for collecting data. The application is called RecordMe and has been successfully tested on 10+ devices, running Android 2.3 and 4.0 OS versions. It has been used for 3 different campaigns including the one for scenes. This results in 500+ hours recorded, 25+ volunteers were involved, mostly in Grenoble area but abroad also (Dublin, Singapore, Budapest). The application and the collection protocol both include features for protecting volunteers privacy: for instance, raw audio is not saved, instead MFCCs are saved; sensitive strings (GPS coordinates, device ids) are hashed on the phone.Scene definition: The study of existing works related to the task of scene recognition, along with the analysis of the annotations provided by the volunteers during the data collection, allowed me to propose a definition of a scene. It is defined as a generalisation of a situation, composed of a place and an action performed by one person (the smartphone owner). Examples of scenes include taking a transportation, being involved in a work meeting, walking in the street. The composition allows to get different kinds of information to provide on the current scene. However, the definition is still too generic, and I think that it might be completed with additionnal information, integrated as new elements of the composition.Algorithmics: I have performed experiments involving machine learning techniques, both supervised and unsupervised. The supervised one is about classification. The method is quite standard: find relevant descriptors of the data through the use of an attribute selection method. Then train and test several classifiers (in my case, there were J48 and Random Forest trees ; GMM ; HMM ; and DNN). Also, I have tried a 2-stage system composed of a first step of classifiers trained to identify intermediate concepts and whose predictions are merged in order to estimate the most likely scene. The unsupervised part of the work aimed at extracting information from the data, in an unsupervised way. For this purpose, I applied a bottom-up hierarchical clustering, based on the EM algorithm on acceleration and audio data, taken separately and together. One of the results is the distinction of acceleration into groups based on the amount of agitation.Contexte : Cette thèse se déroule dans les contextes de l'intelligence ambiante et de la reconnaissance de scène (sur mobile). Historiquement, le projet vient de l'entreprise ST-Ericsson. Il émane d'un besoin de développer et intégrer un "serveur de contexte" sur smartphone capable d'estimer et de fournir des informations de contexte pour les applications tierces qui le demandent. Un exemple d'utilisation consiste en une réunion de travail où le téléphone sonne~; grâce à la reconnaissance de la scène, le téléphone peut automatiquement réagir et adapter son comportement, par exemple en activant le mode vibreur pour ne pas déranger.Les principaux problèmes de la thèse sont les suivants : d'abord, proposer une définition de ce qu'est une scène et des exemples de scènes pertinents pour l'application industrielle ; ensuite, faire l'acquisition d'un corpus de données à exploiter par des approches d'apprentissage automatique~; enfin, proposer des solutions algorithmiques au problème de la reconnaissance de scène.Collecte de données : Aucune des bases de données existantes ne remplit les critères fixés (longs enregistrements continus, composés de plusieurs sources de données synchronisées dont l'audio, avec des annotations pertinentes).Par conséquent, j'ai développé une application Android pour la collecte de données. L'application est appelée RecordMe et a été testé avec succès sur plus de 10 appareils. L'application a été utilisée pour 2 campagnes différentes, incluant la collecte de scènes. Cela se traduit par plus de 500 heures enregistrées par plus de 25 bénévoles, répartis principalement dans la région de Grenoble, mais aussi à l'étranger (Dublin, Singapour, Budapest). Pour faire face au problème de protection de la vie privée et de sécurité des données, des mesures ont été mises en place dans le protocole et l'application de collecte. Par exemple, le son n'est pas sauvegardé, mes des coefficients MFCCs sont enregistrés.Définition de scène : L'étude des travaux existants liés à la tâche de reconnaissance de scène, et l'analyse des annotations fournies par les bénévoles lors de la collecte de données, ont permis de proposer une définition d'une scène. Elle est définie comme la généralisation d'une situation, composée d'un lieu et une action effectuée par une seule personne (le propriétaire du smartphone). Des exemples de scènes incluent les moyens de transport, la réunion de travail, ou le déplacement à pied dans la rue. La notion de composition permet de décrire la scène avec plusieurs types d'informations. Cependant, la définition est encore trop générique, et elle pourrait être complétée par des informations additionnelles, intégrée à la définition comme de nouveaux éléments de la composition.Algorithmique : J'ai réalisé plusieurs expériences impliquant des techniques d'apprentissage automatique supervisées et non non-supervisées. La partie supervisée consiste en de la classification. La méthode est commune~: trouver des descripteurs des données pertinents grâce à l'utilisation d'une méthode de sélection d'attribut ; puis, entraîner et tester plusieurs classifieurs (arbres de décisions et forêt d'arbres décisionnels ; GMM ; HMM, et DNN). Également, j'ai proposé un système à 2 étages composé de classifieurs formés pour identifier les concepts intermédiaires et dont les prédictions sont fusionnées afin d'estimer la scène la plus probable. Les expérimentations non-supervisées visent à extraire des informations à partir des données. Ainsi, j'ai appliqué un algorithme de regroupement hiérarchique ascendant, basé sur l'algorithme EM, sur les données d'accélération et acoustiques considérées séparément et ensemble. L'un des résultats est la distinction des données d'accélération en groupes basés sur la quantité d'agitation

Théorie de l’évidence pour suivi de visage

Le suivi de visage par caméra vidéo est abordé ici sous l’angle de la fusion évidentielle. La méthode proposée repose sur un apprentissage sommaire basé sur une initialisation supervisée. Le formalisme du modèle de croyances transférables est utilisé pour pallier l’incomplétude du modèle a priori de visage due au manque d’exhaustivité de la base d’apprentissage. L’algorithme se décompose en deux étapes. La phase de détection de visage synthétise un modèle évidentiel où les attributs du détecteur de Viola et Jones sont convertis en fonctions de croyance, et fusionnés avec des fonctions de masse couleur modélisant un détecteur de teinte chair, opérant dans un espace chromatique original obtenu par transformation logarithmique. Pour fusionner les sources couleur dépendantes, nous proposons un opérateur de compromis inspiré de la règle prudente de Denœux. Pour la phase de suivi, les probabilités pignistiques issues du modèle de visage garantissent la compatibilité entre les cadres crédibiliste et probabiliste. Elles alimentent un filtre particulaire classique qui permet le suivi du visage en temps réel. Nous analysons l’influence des paramètres du modèle évidentiel sur la qualité du suivi.This paper deals with real time face detection and tracking by a video camera. The method is based on a simple and fast initializing stage for learning. The transferable belief model is used to deal with the prior model incompleteness due to the lack of exhaustiveness of the learning stage. The algorithm works in two steps. The detection phase synthesizes an evidential face model by merging basic beliefs elaborated from the Viola and Jones face detector and from colour mass functions. These functions are computed from information sources in a logarithmic colour space. To deal with the colour information dependence in the fusion process, we propose a compromise operator close to the Denœux cautious rule. As regards the tracking phase, the pignistic probabilities from the face model guarantee the compatibility between the believes and the probability formalism. They are the inputs of a particle filter which ensures face tracking at video rate. The optimal parameter tuning of the evidential model is discussed

Segmentation d'images par étiquetage crédibiliste : Application à l'imagerie médicale par tomodensitométrie en cancérologie

In this paper, an image segmentation algorithm based on credal labelling is presented. The main contribution of this work lies in the way in which the images are modelled by belief functions in order to represented uncertainty inherent in the labelling of a voxel to a class. For each voxel, the basic belief assignment is derived from intrinsic features of the regions in the image. In order to control the uncertainty in the labelling step, a decision threshold is decreased in a progressive way throughout an iterative process until its stabilization. The methodology is applied for volumes segmentation on computed tomography images. The segmentation of the two lungs, trachea, main bronchi and the spinal canal is carried out for patients having undergone external radiotherapy treatment. The segmentation of a pathological ganglion is also presented and is used for volume measurement in case of therapeutic follow-up.Dans cet article, un algorithme de segmentation d'images basé sur une technique d'étiquetage crédibiliste est présenté. La contribution essentielle de ce travail réside dans la façon dont les images sont modélisées par des fonctions de croyance de façon à représenter l'incertitude inhérente à l'étiquetage d'un voxel à une classe. L'allocation de masse réalisée pour chaque voxel est construite à partir des caractéristiques intrinsèques des régions qui composent l'image. Afin de limiter cette incertitude dans la phase d'étiquetage, on diminue de façon progressive un seuil de décision tout au long d'un processus itératif jusqu'à sa stabilisation. Cet algorithme est appliqué à la segmentation de volumes d'intérêt sur des images TDM. La segmentation des deux poumons, de la trachée, des bronches souches et du canal médullaire est réalisée à visée de radiothérapie externe, ainsi que la réalisation de la segmentation ganglionnaire pour la mesure de volume à visée d'évaluation initiale du stade de la maladie ou de suivi thérapeutique

Développement d’un système intelligent de reconnaissance automatisée pour la caractérisation des états de surface de la chaussée en temps réel par une approche multicapteurs

Le rôle d’un service dédié à l’analyse de la météo routière est d’émettre des prévisions et des avertissements aux usagers quant à l’état de la chaussée, permettant ainsi d’anticiper les conditions de circulations dangereuses, notamment en période hivernale. Il est donc important de définir l’état de chaussée en tout temps. L’objectif de ce projet est donc de développer un système de détection multicapteurs automatisée pour la caractérisation en temps réel des états de surface de la chaussée (neige, glace, humide, sec). Ce mémoire se focalise donc sur le développement d’une méthode de fusion de données images et sons par apprentissage profond basée sur la théorie de Dempster-Shafer. Les mesures directes pour l’acquisition des données qui ont servi à l’entrainement du modèle de fusion ont été effectuées à l’aide de deux capteurs à faible coût disponibles dans le commerce. Le premier capteur est une caméra pour enregistrer des vidéos de la surface de la route. Le second capteur est un microphone pour enregistrer le bruit de l’interaction pneu-chaussée qui caractérise chaque état de surface. La finalité de ce système est de pouvoir fonctionner sur un nano-ordinateur pour l’acquisition, le traitement et la diffusion de l’information en temps réel afin d’avertir les services d’entretien routier ainsi que les usagers de la route. De façon précise, le système se présente comme suit :1) une architecture d’apprentissage profond classifiant chaque état de surface à partir des images issues de la vidéo sous forme de probabilités ; 2) une architecture d’apprentissage profond classifiant chaque état de surface à partir du son sous forme de probabilités ; 3) les probabilités issues de chaque architecture ont été ensuite introduites dans le modèle de fusion pour obtenir la décision finale. Afin que le système soit léger et moins coûteux, il a été développé à partir d’architectures alliant légèreté et précision à savoir Squeeznet pour les images et M5 pour le son. Lors de la validation, le système a démontré une bonne performance pour la détection des états surface avec notamment 87,9 % pour la glace noire et 97 % pour la neige fondante