Classification spectrale semi-supervisée : Application à la supervision de l'écosystème marin

In the decision support systems, often, there a huge digital data and possibly some contextual knowledge available a priori or provided a posteriori by feedback. The performances of classification approaches, particularly spectral ones, depend on the integration of the domain knowledge in their design. Spectral classification algorithms address the problem of classification in terms of graph cuts. They classify the data in the eigenspace of the graph Laplacian matrix. The generated eigenspace may better reveal the presence of linearly separable data clusters. In this work, we are particularly interested in algorithms integrating pairwise constraints : constrained spectral clustering. The eigenspace may reveal the data structure while respecting the constraints. We present a state of the art approaches to constrained spectral clustering. We propose a new algorithm, which generates a subspace projection, by optimizing a criterion integrating both normalized multicut and penalties due to the constraints. The performances of the algorithms are demonstrated on different databases in comparison to other algorithms in the literature. As part of monitoring of the marine ecosystem, we developed a phytoplankton classification system, based on flow cytometric analysis. for this purpose, we proposed to characterize the phytoplanktonic cells by similarity measures using elastic comparison between their cytogram signals.Dans les systèmes d'aide à la décision, sont généralement à disposition des données numériques abondantes et éventuellement certaines connaissances contextuelles qualitatives, disponibles a priori ou fournies a posteriori par retour d'expérience. Les performances des approches de classification, en particulier spectrale, dépendent de l'intégration de ces connaissances dans leur conception. Les algorithmes de classification spectrale permettent de traiter la classification sous l'angle de coupes de graphe. Ils classent les données dans l'espace des vecteurs propres de la matrice Laplacienne du graphe. Cet espace est censé mieux révéler la présence de groupements naturels linéairement séparables. Dans ce travail, nous nous intéressons aux algorithmes intégrant des connaissances type contraintes de comparaison. L'espace spectral doit, dans ce cas, révéler la structuration en classes tout en respectant, autant que possible, les contraintes de comparaison. Nous présentons un état de l'art des approches spectrales semi-supervisées contraintes. Nous proposons un nouvel algorithme qui permet de générer un sous-espace de projection par optimisation d'un critère de multi-coupes normalisé avec ajustement des coefficients de pénalité dus aux contraintes. Les performances de l'algorithme sont mises en évidence sur différentes bases de données par comparaison à d'autres algorithmes de la littérature. Dans le cadre de la surveillance de l'écosystème marin, nous avons développé un système de classification automatique de cellules phytoplanctoniques, analysées par cytométrie en flux. Pour cela, nous avons proposé de mesurer les similarités entre cellules par comparaison élastique entre leurs signaux profils caractéristiques

Détection et classification non supervisées de relations sémantiques dans des articles scientifiques

International audienceDans cet article, nous abordons une tâche encore peu explorée, consistant à extraire automatiquement l'état de l'art d'un domaine scientifique à partir de l'analyse d'articles de ce domaine. Nous la ramenons à deux sous-tâches élémentaires : l'identification de concepts et la reconnaissance de relations entre ces concepts. Une extraction terminologique permet d'identifier les concepts candidats, qui sont ensuite alignés à des ressources externes. Dans un deuxième temps, nous cherchons à reconnaître et classifier automatiquement les relations sémantiques entre concepts de manière non-supervisée, en nous appuyant sur différentes techniques de clustering et de biclustering. Nous mettons en oeuvre ces deux étapes dans un corpus extrait de l'archive de l'ACL Anthology. Une analyse manuelle nous a permis de proposer une typologie des relations sémantiques, et de classifier un échantillon d'instances de relations. Les premières évaluations suggèrent l'intérêt du biclustering pour détecter de nouveaux types de relations dans le corpus. ABSTRACT Unsupervised Classification of Semantic Relations in Scientific Papers In this article, we tackle the yet unexplored task of automatically building the "state of the art" of a scientific domain from a corpus of research papers. This task is defined as a sequence of two basic steps : finding concepts and recognizing the relations between them. First, candidate concepts are identified using terminology extraction, and subsequently linked to external resources. Second, semantic relations between entities are categorized with different clustring and biclustering algorithms. Experiences were carried out on the ACL Anthology Corpus. Results are evaluated against a hand-crafted typology of semantic relations and manually categorized examples. The first results indicate that biclustering techniques may indeed be useful for detecting new types of relations. MOTS-CLÉS : analyse de la littérature scientifique, extraction de relations, clustering, biclustering

Structuration de bases multimédia pour une exploration visuelle

The large increase in multimedia data volume requires the development of effective solutions for visual exploration of multimedia databases. After reviewing the visualization process involved, we emphasis the need of data structuration. The main objective of this thesis is to propose and study clustering and classification of multimedia database for their visual exploration.We begin with a state of the art detailing the data and the metrics we can produce according to the nature of the variables describing each document. Follows a review of the projection and classification techniques. We also present in detail the Spectral Clustering method.Our first contribution is an original method that produces fusion of metrics using rank correlations. We validate this method on an animation movie database coming from an international festival. Then we propose a supervised classification method based on rank correlation. This contribution is evaluated on a multimedia challenge dataset. Then we focus on Spectral Clustering methods. We test a supervised Spectral Clustering technique and compare to state of the art methods. Finally we examine active semi-supervised Spectral Clustering methods. In this context, we propose and validate constraint propagation techniques and strategies to improve the convergence of these active methods.La forte augmentation du volume de données multimédia impose la mise au point de solutions adaptées pour une exploration visuelle efficace des bases multimédia. Après avoir examiné les processus de visualisation mis en jeu, nous remarquons que ceci demande une structuration des données. L’objectif principal de cette thèse est de proposer et d’étudier ces méthodes de structuration des bases multimédia en vue de leur exploration visuelle.Nous commençons par un état de l’art détaillant les données et les mesures que nous pouvons produire en fonction de la nature des variables décrivant les données. Suit un examen des techniques de structuration par projection et classification. Nous présentons aussi en détail la technique du Clustering Spectral sur laquelle nous nous focaliserons ensuite.Notre première réalisation est une méthode originale de production et fusion de métriques par corrélation de rang. Nous testons cette première méthode sur une base multimédia issue de la vidéothèque d’un festival de films. Nous continuons ensuite par la mise au point d’une méthode de classification supervisée par corrélation que nous testons avec les données vidéos d’un challenge de la communauté multimédia. Ensuite nous nous focalisons sur les techniques du Clustering Spectral. Nous testons une technique de Clustering Spectral supervisée que nous comparons aux techniques de l’état de l’art. Et pour finir nous examinons des techniques du Clustering Spectral semi-supervisé actif. Dans ce contexte, nous proposons et validons des techniques de propagation d’annotations et des stratégies permettant d’améliorer la convergence de ces méthodes de classement

Les Forêts Aléatoires en Apprentissage Semi-Supervisé (Co-forest) pour la segmentation des images rétiniennes

Nous proposons une approche qui permet la reconnaissance automatique des régions Disques et Cups pour la mesure du rapport CDR (Cup/Disc Ratio) par apprentissage semi-supervisé. Une étude comparative de plusieurs techniques est proposée. Le principe repose sur une croissance de région en classifiant les pixels voisins à partir des pixels d'intérêt de l'image par apprentissage semi-supervisé. Les points d'intérêt sont détectés par l'algorithme Fuzzy C-means (FCM)

Extraction automatique par apprentissage profond des obstacles et des facilitateurs à la mobilité des personnes à mobilité réduite à partir des données LiDAR mobile

La mobilité est une habitude de vie fondamentale pour la participation sociale des personnes à mobilité réduite (PMRs). L'un des plus grands défis des PMRs est de trouver des itinéraires accessibles pour leur déplacement en ville. À cet égard, plusieurs groupes de recherche, dont MobiliSIG, s'intéressent à l'évaluation de l'accessibilité des lieux en appui au développement des outils d'assistance à la mobilité des PMRs. Cependant, les méthodes traditionnelles de l'acquisition et le traitement de données pertinentes pour l'analyse de l'accessibilité de l'environnement urbain sont généralement peu précises, peu efficaces et très coûteuses en temps et en argent. Dans ce contexte, la technologie lidar présente une alternative intéressante pour l'acquisition de données très détaillées et précises sur l'environnement urbain. De plus, les techniques issues de l'intelligence artificielle ont démontré de grands potentiels pour l'extraction automatique de l'information pertinente à partir de nuages de points lidar. À cet effet, l'objectif global de cette recherche est d'évaluer le potentiel des nouvelles approches basées sur l'apprentissage profond pour la segmentation sémantique de nuages de points lidar afin d'automatiser l'extraction des obstacles et des facilitateurs (trottoirs, ilots de refuge, marches, etc.) en lien avec la mobilité des PMRs. Pour ce faire, nous nous sommes particulièrement intéressés au potentiel des méthodes d'apprentissage profond telles que les algorithmes de Superpoint graph et FKAconv. Les principales étapes de cette recherche consistent à : 1) élaborer une base de données 3D annotée dédiée à la mobilité des PMRs, 2) appliquer et évaluer les algorithmes de l'apprentissage profond, 3) mettre en évidence les défis rencontrés dans l'apprentissage sémantique en 3D à partir de données lidar mobile (données irrégulières et volumineuses, la complexité des scènes urbaines, morphologie très variable des instances, etc.). Les algorithmes visés sont appliqués aux données lidar mobile pour analyser l'accès aux commerces au centre-ville de Québec. Les résultats de cette recherche ont démontré le potentiel des méthodes d'apprentissage profond pour la segmentation sémantique des éléments pertinents à la mobilité des PMRs à partir des données lidar mobile. Cependant, ces méthodes souffrent de plusieurs problèmes qui engendrent de mauvaises classifications menant à des imperfections de segmentation.Mobility is a fundamental life habit for the social participation of people with motor disabilities (PMD). One of the biggest challenges for PMDs is to find accessible itineraries for their movement in the city. In this respect, several research groups, including MobiliSIG, are interested in assessing the accessibility of places to support the development of mobility assistance tools for PMDs. However, traditional methods for acquiring and processing data relevant to the analysis of the accessibility of the urban environments are generally inefficient and very costly in terms of time and money. In this context, the lidar technology presents an interesting alternative for the acquisition of very detailed and accurate data on the urban environment. Moreover, artificial intelligence techniques have shown great potential for the automatic extraction of relevant information from lidar point clouds. To this end, the overall objective of this research is to evaluate the potential of new deep learning-based approaches for the semantic segmentation of lidar point clouds to automate the extraction of obstacles and facilitators (sidewalks, island, steps, etc.) related to the mobility of PMDs. To do so, we were particularly interested in the potential of deep learning methods such as Superpoint graph and FKAconv algorithms. The main steps of this research are: 1) to develop an annotated 3D database dedicated to mobility setoff PMDs, 2) to apply and evaluate the deep learning algorithms, 3) to highlight the challenges encountered in 3D semantic learning (irregular and voluminous data, complexity of urban scenes, highly variable morphology of instances, etc.). The selected algorithms are applied to mobile lidar data to analyze access to shops in downtown Quebec City. The results of this research have demonstrated the potential of deep learning methods for semantic segmentation of elements relevant to PRM mobility from mobile lidar data. However, these methods still suffer from several problems that lead to misclassifications leading to segmentation imperfections

Architecture complètement convolutive à champ d'activation large pour la segmentation sémantique de la vasculature rétinienne dans les images de fond d'oeil

L’imagerie de fond d’oeil permet l’observation non-intrusive des structures anatomiques de la rétine. Ces images sont singulièrement très informatives pour évaluer le risque d’apparition de pathologies oculaires, cardiovasculaires ou cérébrovasculaire, dont le dépistage et le traitement préventif sont des défis majeurs de la médecine contemporaine. Plus particulièrement, les anomalies de la micro-vasculature rétienne sont des symptômes connus pour présager de ces maladies. L’extraction automatique et fiable de cette vasculature est donc une étape importante vers la conception d’un algorithme de diagnostique automatique convoité par les cliniciens. L’extraction de la vasculature rétinienne nécessite l’exécution de deux opérations : d’une part la segmentation des vaisseaux de la rétine, et d’autre part leur classification entre artérioles et veinules. La revue de littérature sur ces deux tâches révèle que les réseaux de neurones convolutifs sont très souvent utilisés pour effectuer la segmentation des vaisseaux, mais presque toujours absents des méthodes de classification vasculaire. En effet, les méthodes de classification les plus performantes appliquent toutes le même protocole : grâce aux outils de la théorie des graphes, elles reconstruisent l’arbre vasculaire rétinien à partir de sa carte de segmentation. Ensuite, un classificateur rudimentaire établi une première labellisation artère/veine pour chaque pixel appartenant à vaisseau. Enfin, ces labels sont moyennés, corrigés et propagés à travers le graphe de l’arbre vasculaire afin que chacun de ses segments soit étiqueté. Ce protocole imite en fait la démarche des cliniciens lorsqu’ils annotent les images de fond d’oeil. En effet, mis-à-part les plus gros vaisseaux, il est souvent difficile, voire impossible, de distinguer une artériole d’une veinule simplement par son apparence. Par conséquent, les cliniciens annotent d’abord les vaisseaux larges émergeant du disque optique en fonction de leur couleur (les veinules sont plus foncées que les artérioles) puis suivent ces vaisseaux à travers les bifurcations et les croisements en propageant les labels vers les terminaisons vasculaires. Pour résoudre les bifurcations et les croisements, les méthodes de classifications vasculaires automatiques reposent en général sur des connaissances a priori de l’anatomie des vaisseaux rétiniens formulées sous forme de règles topologiques. Cependant, ces règles ne peuvent pas tenir compte des anomalies de la vasculature rétinienne, puisque ces dernières en sont précisément les exceptions. Ainsi, parce qu’elles sont particulièrement peu robustes aux anomalies de la vasculature rétinienne, ces méthodes sont mal adaptées pour l’analyse d’image de rétines pathologiques.----------ABSTRACT: Retinal fundus imaging allows the non-invasive observation of the retinal natomical structure. Fundus images and more specifically the study of retinal micro-vasculature anomaly, are known to be informative when estimating risks of retinopathy, cardiovascular and cerebrovascular pathologies. Early diagnosis of those pathologies is the key to reducing their mortality rates and is a challenge of modern medicine (cardiovascular diseases is the second cause of deaths in Canada). Thus, an automatic and reliable extraction of the retinal vasculature tree is a key step towards the conception of automatic screening algorithms wished by clinicians. Extraction of the retinal vasculature tree consist in two tasks: the segmentation of the vessels and their classification between arteries and veins. Deep neural network are often used for the segmentation task but are almost never used for the classification task. Indeed, for this second task, algorithms usually make an extensive usage of the graph theory to reconstruct the retinal vascular tree from the segmentation map. A simple classifier is then used to compute arteries and veins labels which are averaged, corrected, and propagated along the vascular graph. Actually, this method attempt to mimic clinicians behaviour. Because small arteries and veins are not distinguishable by local features, clinicians start by labelling larger vessels (veins are always darker than arteries) and then propagates those labels towards the vascular endings by following each vessels through its bifurcations and crossing. In order to solve those bifurcations and crossing, automatic vascular classifications usually relies on prior anatomical and structural knowledge of the retinal vasculature which are transcribed into topological rules. However they can’t take into account vascular anomalies because they are the exceptions of those rules. Thus, because the are not reliable to vascular anomalies, those methods are not well fitted to perform the retinal vasculature extraction with a view to diagnose cardiovascular or cerebrovascular pathologies

EdP géométriques pour le traitement et la classification de données sur graphes

Partial differential equations (PDEs) play a key role in the mathematicalmodelization of phenomena in applied sciences. In particular, in image processing andcomputer vision, geometric PDEs have been successfuly used to solve many problems, suchas image restoration, segmentation, inpainting, etc. Nowadays, more and more data arecollected as graphs or networks, or functions defined on these networks. Knowing this, thereis an interest to extend PDEs to process irregular data or graphs of arbitrary topology.The presented work follows this idea. More precisely, this work is about geometric partialdifference equations (PdEs) for data processing and classification on graphs. In the first part,we propose a transcription of the normalized p-Laplacian on weighted graphs of arbitrarytopology by using the framework of PdEs. This adaptation allows us to introduce a newclass of p-Laplacian on graphs as a non-divergence form. In this part, we also introduce aformulation of the p-Laplacian on graphs defined as a convex combination of gradient terms.We show that this formulation unifies and generalize many existing difference operatorsdefined on graphs. Then, we use this operator with the Poisson equation to computegeneralized distances on graphs. In the second part, we propose to apply the operatorson graphs we defined, for the tasks of semi-supervised classification and clustering. Wecompare them to existing graphs operators and to some of the state of the art methods,such as Multiclass Total Variation clustering (MTV), clustering by non-negative matrixfactorization (NMFR) or the INCRES method.Les équations aux dérivées partielles (EDPs) jouent un rôle clé dans la modélisation mathématiques des phénomènes en sciences appliquées.En particulier, en traitement et analyse d'image et en vision par ordinateur, les EDPs géométriques ont été utilisées avec succès pour résoudre différents problèmes, tels que la restauration, la segmentation, l'inpainting, etc.De nos jours, de plus en plus de données sont collectées sous la forme de graphes ou réseaux, ou de fonctions définies sur ces réseaux.Il y a donc un intérêt à étendre les EDPs pour traiter des données irrégulières ou des graphes de topologies arbitraires.Les travaux de cette thèse s'inscrivent dans ce contexte. Ils traitent précisément des EDPs géométriques pour le traitement et la classification de données sur graphes.Dans une première partie, nous proposons une adaptation du $p$-Laplacien normalisé sur graphes pondérés de topologie arbitraire en utilisant le cadre des équations aux différences partielles (EdPs). Cette adaptation nous permet d'introduire une nouvelle classe de $p$-Laplacien sur graphe sous la forme d'une non-divergence. Nous introduisons aussi dans cette partie une formulation du $p$-Laplacien sur graphe définie comme une combinaison convexe de gradient. Nous montrons que cette formulation unifie et généralise différents opérateurs de différences sur graphe existants. Nous utilisons ensuite cet opérateur à travers l'équation de Poisson afin de calculer des distances généralisées sur graphe.Dans une deuxième partie, nous proposons d'appliquer les opérateurs sur graphes que nous avons proposés pour les tâches de classification semi-supervisée et de clustering, et de les comparer aux opérateurs sur graphes existants ainsi qu'a certaines méthodes de la littérature, telles que le Multiclass Total Variation clustering (MTV), le clustering par nonnegative matrix factorization (NMFR), ou encore la méthode INCRES

Contribution à l'analyse de la dynamique des écritures anciennes pour l'aide à l'expertise paléographique

Mes travaux de thèse s inscrivent dans le cadre du projet ANR GRAPHEM1 (Graphemebased Retrieval and Analysis for PaleograpHic Expertise of Middle Age Manuscripts). Ilsprésentent une contribution méthodologique applicable à l'analyse automatique des écrituresanciennes pour assister les experts en paléographie dans le délicat travail d étude et dedéchiffrage des écritures.L objectif principal est de contribuer à une instrumetation du corpus des manuscritsmédiévaux détenus par l Institut de Recherche en Histoire des Textes (IRHT Paris) en aidantles paléographes spécialisés dans ce domaine dans leur travail de compréhension de l évolutiondes formes de l écriture par la mise en place de méthodes efficaces d accès au contenu desmanuscrits reposant sur une analyse fine des formes décrites sous la formes de petits fragments(les graphèmes). Dans mes travaux de doctorats, j ai choisi d étudier la dynamique del élément le plus basique de l écriture appelé le ductus2 et qui d après les paléographes apportebeaucoup d informations sur le style d écriture et l époque d élaboration du manuscrit.Mes contributions majeures se situent à deux niveaux : une première étape de prétraitementdes images fortement dégradées assurant une décomposition optimale des formes en graphèmescontenant l information du ductus. Pour cette étape de décomposition des manuscrits, nousavons procédé à la mise en place d une méthodologie complète de suivi de traits à partir del extraction d un squelette obtenu à partir de procédures de rehaussement de contraste et dediffusion de gradients. Le suivi complet du tracé a été obtenu à partir de l application des règlesfondamentales d exécution des traits d écriture, enseignées aux copistes du Moyen Age. Il s agitd information de dynamique de formation des traits portant essentiellement sur des indicationsde directions privilégiées.Dans une seconde étape, nous avons cherché à caractériser ces graphèmes par desdescripteurs de formes visuelles compréhensibles à la fois par les paléographes et lesinformaticiens et garantissant une représentation la plus complète possible de l écriture d unpoint de vue géométrique et morphologique. A partir de cette caractérisation, nous avonsproposé une approche de clustering assurant un regroupement des graphèmes en classeshomogènes par l utilisation d un algorithme de classification non-supervisé basée sur lacoloration de graphe. Le résultat du clustering des graphèmes a conduit à la formation dedictionnaires de formes caractérisant de manière individuelle et discriminante chaque manuscrittraité. Nous avons également étudié la puissance discriminatoire de ces descripteurs afin d obtenir la meilleure représentation d un manuscrit en dictionnaire de formes. Cette étude a étéfaite en exploitant les algorithmes génétiques par leur capacité à produire de bonne sélection decaractéristiques.L ensemble de ces contributions a été testé à partir d une application CBIR sur trois bases demanuscrits dont deux médiévales (manuscrits de la base d Oxford et manuscrits de l IRHT, baseprincipale du projet), et une base comprenant de manuscrits contemporains utilisée lors de lacompétition d identification de scripteurs d ICDAR 2011. L exploitation de notre méthode dedescription et de classification a été faite sur une base contemporaine afin de positionner notrecontribution par rapport aux autres travaux relevant du domaine de l identification d écritures etétudier son pouvoir de généralisation à d autres types de documents. Les résultats trèsencourageants que nous avons obtenus sur les bases médiévales et la base contemporaine, ontmontré la robustesse de notre approche aux variations de formes et de styles et son caractèrerésolument généralisable à tout type de documents écrits.My thesis work is part of the ANR GRAPHEM Project (Grapheme based Retrieval andAnalysis for Expertise paleographic Manuscripts of Middle Age). It represents a methodologicalcontribution applicable to the automatic analysis of ancient writings to assist the experts inpaleography in the delicate work of the studying and deciphering the writing.The main objective is to contribute to an instrumentation of the corpus of medievalmanuscripts held by Institut de Recherche en Histoire de Textes (IRHT-Paris), by helping thepaleographers specialized in this field in their work of understanding the evolution of forms inthe writing, with the establishment of effective methods to access the contents of manuscriptsbased on a fine analysis of the forms described in the form of small fragments (graphemes). Inmy PhD work, I chose to study the dynamic of the most basic element of the writing called theductus and which according to the paleographers, brings a lot of information on the style ofwriting and the era of the elaboration of the manuscript.My major contribution is situated at two levels: a first step of preprocessing of severelydegraded images to ensure an optimal decomposition of the forms into graphemes containingthe ductus information. For this decomposition step of manuscripts, we have proceeded to theestablishment of a complete methodology for the tracings of strokes by the extraction of theskeleton obtained from the contrast enhancement and the diffusion of the gradient procedures.The complete tracking of the strokes was obtained from the application of fundamentalexecution rules of the strokes taught to the scribes of the Middle Ages. It is related to thedynamic information of the formation of strokes focusing essentially on indications of theprivileged directions.In a second step, we have tried to characterize the graphemes by visual shape descriptorsunderstandable by both the computer scientists and the paleographers and thus unsuring themost complete possible representation of the wrting from a geometrical and morphological pointof view. From this characterization, we have have proposed a clustering approach insuring agrouping of graphemes into homogeneous classes by using a non-supervised classificationalgorithm based on the graph coloring. The result of the clustering of graphemes led to theformation of a codebook characterizing in an individual and discriminating way each processedmanuscript. We have also studied the discriminating power of the descriptors in order to obtaina better representation of a manuscript into a codebook. This study was done by exploiting thegenetic algorithms by their ability to produce a good feature selection.The set of the contributions was tested from a CBIR application on three databases ofmanuscripts including two medieval databases (manuscripts from the Oxford and IRHTdatabases), and database of containing contemporary manuscripts used in the writersidentification contest of ICDAR 2011. The exploitation of our description and classificationmethod was applied on a cotemporary database in order to position our contribution withrespect to other relevant works in the writrings identification domain and study itsgeneralization power to other types of manuscripts. The very encouraging results that weobtained on the medieval and contemporary databases, showed the robustness of our approachto the variations of the shapes and styles and its resolutely generalized character to all types ofhandwritten documents.PARIS5-Bibliotheque electronique (751069902) / SudocSudocFranceF