DESIGN OF COMPACT AND DISCRIMINATIVE DICTIONARIES

The objective of this research work is to design compact and discriminative dictionaries for e�ective classi�cation. The motivation stems from the fact that dictionaries inherently contain redundant dictionary atoms. This is because the aim of dictionary learning is reconstruction, not classi�cation. In this thesis, we propose methods to obtain minimum number discriminative dictionary atoms for e�ective classi�cation and also reduced computational time. First, we propose a classi�cation scheme where an example is assigned to a class based on the weight assigned to both maximum projection and minimum reconstruction error. Here, the input data is learned by K-SVD dictionary learning which alternates between sparse coding and dictionary update. For sparse coding, orthogonal matching pursuit (OMP) is used and for dictionary update, singular value decomposition is used. This way of classi�cation though e�ective, still there is a scope to improve dictionary learning by removing redundant atoms because our goal is not reconstruction. In order to remove such redundant atoms, we propose two approaches based on information theory to obtain compact discriminative dictionaries. In the �rst approach, we remove redundant atoms from the dictionary while maintaining discriminative information. Speci�cally, we propose a constraint optimization problem which minimizes the mutual information between optimized dictionary and initial dictionary while maximizing mutual information between class labels and optimized dictionary. This helps to determine information loss between before and after the dictionary optimization. To compute information loss, we use Jensen-Shannon diver- gence with adaptive weights to compare class distributions of each dictionary atom. The advantage of Jensen-Shannon divergence is its computational e�ciency rather than calculating information loss from mutual information

Image analysis for diagnostic support in biomedicine: neuromuscular diseases and pigmented lesions

Tesis descargada desde TESEOEsta tesis presenta dos sistemas implementados mediante técnicas de procesamiento de imagen, para ayuda al diagnóstico de enfermedades neuromusculares a partir de imágenes de microscopía de fluorescencia y análisis de lesiones pigmentadas a partir de imágenes dermoscópicas. El diagnóstico de enfermedades neuromusculares se basa en la evaluación visual de las biopsias musculares por parte del patólogo especialista, lo que conlleva una carga subjetiva. El primer sistema propuesto en esta tesis analiza objetivamente las biopsias musculares y las clasifica en distrofias, atrofias neurógenas o control (sin enfermedad) a través de imágenes de microscopía de fluorescencia. Su implementación reúne los elementos propios de un sistema de ayuda al diagnóstico asistido por ordenador: segmentación, extracción de características, selección de características y clasificación. El procedimiento comienza con una segmentación precisa de las fibras musculares usando morfología matemática y una transformada Watershed. A continuación, se lleva a cabo un paso de extracción de características, en el cual reside la principal contribución del sistema, ya que no solo se extraen aquellas que los patólogos tienen en cuenta para diagnosticar sino características que se escapan de la visión humana. Estas nuevas características se extraen suponiendo que la estructura de la biopsia se comporta como un grafo, en el que los nodos se corresponden con las fibras musculares, y dos nodos están conectados si dos fibras son adyacentes. Para estudiar la efectividad que estos dos conjuntos presentan en la categorización de las biopsias, se realiza una selección de características y una clasi- ficación empleando una red neuronal Fuzzy ARTMAP. El procedimiento concluye con una estimación de la severidad de las biopsias con patrón distrófico. Esta caracterización se realiza mediante un análisis de componentes principales. Para la validación del sistema se ha empleado una base de datos compuesta por 91 imágenes de biopsias musculares, de las cuales 71 se consideran imágenes de entrenamiento y 20 imágenes de prueba. Se consigue una elevada tasa de aciertos de clasificacion y se llega a la importante conclusión de que las nuevas características estructurales que no pueden ser detectadas por inspección visual mejoran la identificación de biopsias afectadas por atrofia neurógena. La segunda parte de la tesis presenta un sistema de clasificación de lesiones pigmentadas. Primero se propone un algoritmo de segmentación de imágenes en color para ais lar la lesión de la piel circundante. Su desarrollo se centra en conseguir un algoritmo relacionado con las diferencias color percibidas por el ojo humano. Consiguiendo así, no solo un método de segmentación de lesiones pigmentadas sino un algoritmo de segmentación de propósito general. El método de segmentación propuesto se basa en un gradiente para imágenes en color integrado en una técnica de level set para detección de bordes. La elección del gradiente se derivada a partir de un análisis de tres gradientes de color implementados en el espacio de color uniforme CIE L∗a∗b∗ y basados en las ecuaciones de diferencia de color desarrolladas por la comisión internacional de iluminación (CIELAB, CIE94 y CIEDE2000). El principal objetivo de este análisis es estudiar cómo estas ecuaciones afectan en la estimación de los gradientes en términos de correlación con la percepción visual del color. Una técnica de level-set se aplica sobre estos gradientes consiguiendo así un detector de borde que permite evaluar el rendimiento de dichos gradientes. La validación se lleva a cabo sobre una base de datos compuesta por imágenes sintéticas diseñada para tal fin. Se realizaron tanto medidas cuantitativas como cualitativas. Finalmente, se concluye que el detector de bordes basado en la ecuación de diferencias de color CIE94 presenta la mayor correlación con la percepción visual del color. A partir de entonces, la tesis intenta emular el método de análisis de patrones, la técnica de diagnóstico de lesiones pigmentadas de la piel más empleada por los dermatólogos. Este método trata de identificar patrones específicos, pudiendo ser tanto globales como locales. En esta tesis se presenta una amplia revisión de los métodos algorítmicos, publicados en la literatura, que detectan automáticamente dichos patrones a partir de imágenes dermoscópicas de lesiones pigmentadas. Tras esta revisón se advierte que numerosos trabajos se centran en la detección de patrones locales, pero solo unos pocos abordan la detección de patrones globales. El siguiente paso de esta tesis, por tanto, es la propuesta de diferentes métodos de clasi- ficación de patrones globales. El objetivo es identificar tres patrones: reticular, globular y empedrado (considerado un solo patrón) y homogéneo. Los métodos propuestos se basan en un análisis de textura mediante técnicas de modelado. En primer lugar una imagen demoscópica se modela mediante campos aleatorios de Markov, los parámetros estimados de este modelo se consideran características. A su vez, se supone que la distribución de estas características a lo largo de la lesión sigue diferentes modelos: un modelo gaussiano, un modelo de mezcla de gaussianas o un modelo de bolsa de características. La clasificación se lleva a cabo mediante una recuperación de imágenes basada en diferentes métricas de distancia. Para validar los métodos se emplea un conjunto significativo de imágenes dermatológicas, concluyendo que el modelo basado en mezcla de gaussianas proporciona la mejor tasa de clasificación. Además, se incluye una evaluación adicional en la que se clasifican melanomas con patrón multicomponente obteniendo resultados prometedores. Finalmente, se presenta una discusión sobre los hallazgos y conclusiones más relevantes extraídas de esta tesis, así como las líneas futuras que se derivan de este trabajo.Premio Extraordinario de Doctorado U

Multi-Modal Similarity Learning for 3D Deformable Registration of Medical Images

Alors que la perspective de la fusion d images médicales capturées par des systèmes d imageries de type différent est largement contemplée, la mise en pratique est toujours victime d un obstacle théorique : la définition d une mesure de similarité entre les images. Des efforts dans le domaine ont rencontrés un certain succès pour certains types d images, cependant la définition d un critère de similarité entre les images quelle que soit leur origine et un des plus gros défis en recalage d images déformables. Dans cette thèse, nous avons décidé de développer une approche générique pour la comparaison de deux types de modalités donnés. Les récentes avancées en apprentissage statistique (Machine Learning) nous ont permis de développer des solutions innovantes pour la résolution de ce problème complexe. Pour appréhender le problème de la comparaison de données incommensurables, nous avons choisi de le regarder comme un problème de plongement de données : chacun des jeux de données est plongé dans un espace commun dans lequel les comparaisons sont possibles. A ces fins, nous avons exploré la projection d un espace de données image sur l espace de données lié à la seconde image et aussi la projection des deux espaces de données dans un troisième espace commun dans lequel les calculs sont conduits. Ceci a été entrepris grâce à l étude des correspondances entre les images dans une base de données images pré-alignées. Dans la poursuite de ces buts, de nouvelles méthodes ont été développées que ce soit pour la régression d images ou pour l apprentissage de métrique multimodale. Les similarités apprises résultantes sont alors incorporées dans une méthode plus globale de recalage basée sur l optimisation discrète qui diminue le besoin d un critère différentiable pour la recherche de solution. Enfin nous explorons une méthode qui permet d éviter le besoin d une base de données pré-alignées en demandant seulement des données annotées (segmentations) par un spécialiste. De nombreuses expériences sont conduites sur deux bases de données complexes (Images d IRM pré-alignées et Images TEP/Scanner) dans le but de justifier les directions prises par nos approches.Even though the prospect of fusing images issued by different medical imagery systems is highly contemplated, the practical instantiation of it is subject to a theoretical hurdle: the definition of a similarity between images. Efforts in this field have proved successful for select pairs of images; however defining a suitable similarity between images regardless of their origin is one of the biggest challenges in deformable registration. In this thesis, we chose to develop generic approaches that allow the comparison of any two given modality. The recent advances in Machine Learning permitted us to provide innovative solutions to this very challenging problem. To tackle the problem of comparing incommensurable data we chose to view it as a data embedding problem where one embeds all the data in a common space in which comparison is possible. To this end, we explored the projection of one image space onto the image space of the other as well as the projection of both image spaces onto a common image space in which the comparison calculations are conducted. This was done by the study of the correspondences between image features in a pre-aligned dataset. In the pursuit of these goals, new methods for image regression as well as multi-modal metric learning methods were developed. The resulting learned similarities are then incorporated into a discrete optimization framework that mitigates the need for a differentiable criterion. Lastly we investigate on a new method that discards the constraint of a database of images that are pre-aligned, only requiring data annotated (segmented) by a physician. Experiments are conducted on two challenging medical images data-sets (Pre-Aligned MRI images and PET/CT images) to justify the benefits of our approach.CHATENAY MALABRY-Ecole centrale (920192301) / SudocSudocFranceF

Méthodes d'analyse de texture pour la cartographie d'occupations du sol par télédetection très haute résolution : application à la fôret, la vigne et les parcs ostréicoles

The prime objective of this thesis is to evaluate the potential of multivariate probabilistic models applied on wavelet subbands for the classification of very high resolution remote sensing optical data. Three main applications are investigated in this study: the differentiation of age classes of maritime pine forest stands, the detection of vineyards and the detection of oyster fields. One main contribution includes the proposal of an original supervised and object-oriented classification scheme based on similarity measurements adapted to the context of probabilistic modeling. This scheme involves the creation of a database of texture patches for the learning step and a pre-segmentation of the image to classify. The tested multivariate models were first evaluated in an image retrieval framework. The best models identified in this procedure were then applied in the proposed image processing scheme. In the three proposed thematic applications, multivariate models revealed remarkable abilities to represent the texture and reached higher classification accuracies than the method based on co-occurrence matrices. These results confirm the interest of the multi-scale and multi-orientation representation of textures through the wavelet transform, as well as the relevance of the multivariate modeling of wavelet coefficientsLe travail présenté dans cette thèse a pour objectif d’évaluer le potentiel de modèles probabilistes multivariés appliqués sur les sous-bandes d’une décomposition en ondelettes pour la classification d’images de télédétection optiques à très haute résolution spatiale. Trois thématiques principales ont été investiguées dans ce travail : la différenciation de classes d’âge de peuplements de pins maritimes, la détection de parcelles viticoles et la détection de parcs ostréicoles. Une contribution originale concerne la proposition d’une chaîne traitement pour une classification supervisée orientée objet se basant sur des mesures de similarité adaptées au contexte de modélisation probabiliste. Celle-ci implique la création d’une base de données de patchs de texture pour l’apprentissage et l’utilisation d’une pré-segmentation de l’image à classifier. Les modèles probabilistes multivariés testés ont tout d’abord été évalués dans une procédure d’indexation d’images. Les modèles les plus performants identifiés par cette procédure ont été ensuite appliqués dans la chaîne de traitement proposée. Dans les trois thématiques explorées, les modèles multivariés ont révélé des capacités remarquables de représentation de la texture et ont permis d’obtenir une qualité de classification supérieure à celle obtenue par la méthode des matrices de co-occurrence. Ces résultats démontrent l’intérêt de la représentation multi-échelles et multi-orientations de la texture dans l’espace transformé en ondelettes et la pertinence de la modélisation multivariée des coefficients d’ondelettes issus de cette décomposition

Catégorisation par mesures de dissimilitude et caractérisation d'images en multi échelle

Dans cette thèse, on introduit la métrique "Coefficient de forme" pour la classement des données de dissimilitudes. Cette approche est inspirée par l'analyse discriminante géométrique et on a défini des règles de décision pour imiter le comportement du classifieur linéaire et quadratique. Le nombre de paramètres est limité (deux par classe). On a également étendu et amélioré cette démarche avantageuse et rapide pour apprendre uniquement à partir des représentations de dissimilitudes en utilisant l'efficacité du classificateur des Machines à Vecteurs de Support. Comme contexte applicatif pour la classification par dissimilitudes, on utilise la recherche d'images à l'aide d'une représentation des images en multi échelle en utilisant la "Pyramide Réduite Différentielle". Une application pour la description de visages est développée. Des résultats de classification à partir du coefficient de forme et utilisant une version adaptée des Machines à Vecteurs de Support, sur des bases de données issues des applications du monde réel sont présentés et comparés avec d'autres méthodes de classement basées sur des dissimilitudes. Il en ressort une forte robustesse de la méthode proposée avec des perfommances supérieures ou égales aux algorithmes de l'état de l'art.The dissimilarity representation is an alternative for the use of features in the recognition of real world objects like images, spectra and time-signal. Instead of an absolute characterization of objects by a set of features, the expert or the system is asked to define a measure that estimates the dissimilarity between pairs of objects. Such a measure may also be defined for structural representations such as strings and graphs. The dissimilarity representation is potentially able to bridge structural and statistical pattern recognition. In this thesis we introduce a new fast Mahalanobis-like metric the Shape Coefficient for classification of dissimilarity data. Our approach is inspired by the Geometrical Discriminant Analysis and we have defined decision rules to mimic the behavior of the linear and quadratic classifier. The number of parameters is limited (two per class). We also expand and ameliorate this advantageous and rapid adaptive approach to learn only from dissimilarity representations by using the effectiveness of the Support Vector Machines classifier for real-world classification tasks. Several methods for incorporating dissimilarity representations are presented, investigated and compared to the Shape Coefficient in this thesis: Pekalska and Duin prototype dissimilarity based classifiers; Haasdonk's kernel based SVM classifier; KNN classifier. Numerical experiments on artificial and real data show interesting behavior compared to Support Vector Machines and to KNN classifier: (a) lower or equivalent error rate, (b) equivalent CPU time, (c) more robustness with sparse dissimilarity data. The experimental results on real world dissimilarity databases show that the Shape Coefficient can be an alternative approach to these known methods and can be as effective as them in terms of accuracy for classification.SAVOIE-SCD - Bib.électronique (730659901) / SudocGRENOBLE1/INP-Bib.électronique (384210012) / SudocGRENOBLE2/3-Bib.électronique (384219901) / SudocSudocFranceF

Robust Deep Learning Frameworks for Acoustic Scene and Respiratory Sound Classification

Although research on Acoustic Scene Classification (ASC) is very close to, or even overshadowed by different popular research areas known as Automatic Speech Recognition (ASR), Speaker Recognition (SR) or Image Processing (IP), this field potentially opens up several distinct and meaningful application areas based on environment context detection. The challenges of ASC mainly come from different noise resources, various sounds in real-world environments, occurring as single sounds, continuous sounds or overlapping sounds. In comparison to speech, sound scenes are more challenging mainly due to their being unstructured in form and closely similar to noise in certain contexts. Although a wide range of publications have focused on ASC recently, they show task-specific ways that either explore certain aspects of an ASC system or are evaluated on limited acoustic scene datasets. Therefore, the aim of this thesis is to contribute to the development of a robust framework to be applied for ASC, evaluated on various recently published datasets, and to achieve competitive performance compared to the state-of-the-art systems. To do this, a baseline model is firstly introduced. Next, extensive experiments on the baseline are conducted to identify key factors affecting final classification accuracy. From the comprehensive analysis, a robust deep learning framework, namely the Encoder-Decoder structure, is proposed to address three main factors that directly affect an ASC system. These factors comprise low-level input features, high-level feature extraction methodologies, and architectures for final classification. Within the proposed framework, three spectrogram transformations, namely Constant Q Transform (CQT), gammatone filter (Gamma), and log-mel, are used to convert recorded audio signals into spectrogram representations that resemble two-dimensional images. These three spectrograms used are referred to as low-level input features. To extract high-level features from spectrograms, a novel Encoder architecture, based on Convolutional Neural Networks, is proposed. In terms of the Decoder, also referred as to the final classifier, various models such as Random Forest Classifier, Deep Neural Network and Mixture of Experts, are evaluated and structured to obtain the best performance. To further improve an ASC system's performance, a scheme of two-level hierarchical classification, replacing the role of Decoder classification recently mentioned, is proposed. This scheme is useful to transform an ASC task over all categories into multiple ASC sub-tasks, each spanning fewer categories, in a divide-and- conquer strategy. At the highest level of the proposed scheme, meta-categories of acoustic scene sounds showing similar characteristics are classified. Next, categories within each meta-category are classified at the second level. Furthermore, an analysis of loss functions applied to different classifiers is conducted. This analysis indicates that a combination of entropy loss and triplet loss is useful to enhance performance, especially with tasks that comprise fewer categories. Further exploring ASC in terms of potential application to the health services, this thesis also explores the 2017 Internal Conference on Biomedical Health Informatics (ICBHI) benchmark dataset of lung sounds. A deep-learning frame- work, based on our novel ASC approaches, is proposed to classify anomaly cycles and predict respiratory diseases. The results obtained from these experiments show exceptional performance. This highlights the potential applications of using advanced ASC frameworks for early detection of auditory signals. In this case, signs of respiratory diseases, which could potentially be highly useful in future in directing treatment and preventing their spread