Un nouveau descripteur iconique topologique pour l'appariement d'images de structures anatomiques

L’objectif principal de notre projet de recherche est de créer un descripteur iconique topologique qui permet de faire des appariements de structures anatomiques en se basant sur l’organisation topologique des intensités dans une image. Ce descripteur doit définir un espace métrique afin de pouvoir effectuer des comparaisons efficaces. Les descripteurs actuellement disponibles ne font pas intervenir les composantes distantes d’images pour décrire un lieu dans l’image. De façon inhérente, ils sont locaux dans leurs analyses des caractéristiques de l’image. Bien sûr, certains d’entre eux incluent un certain voisinage, mais aucun des descripteurs que nous avons analysés incorpore l’information de l’image dans son ensemble. Pour arriver à nos fins, nous proposons une représentation sous forme de graphe de l’espace image. Pour construire ce graphe nous proposons deux approches. La première considère l’image comme un graphe implicite dans lequel les noeuds sont les pixels de l’image et la connectivité des noeuds du graphe représente le voisinage des pixels. La deuxième est, quant à elle, plus élaborée et est bâtie en analysant les régions définies par une sursegmentation de l’image. Dans celle-ci, les régions sont les noeuds du graphe et les arêtes du graphe représentent la connectivité des régions. Pour décrire un lieu dans l’image, nous proposons d’extraire un arbre du graphe image pour chacun des endroits d’intérêt. Pour extraire cet arbre, nous utilisons un processus de minimisation de la rencontre des gradients, autrement dit, les branches de cet arbre poussent de manière à réduire les gradients traversés. Cet arbre est une vue de l’image telle que perçue par le lieu étudié. L’arbre ainsi conçu est notre descripteur sous sa forme la plus complète. Pour être en mesure de comparer et de conserver ces arbres, nous en extrayons une représentation en histogramme. Nous avons étudié plusieurs versions, sous forme d’histogrammes, des arbres, chaque version étant plus ou moins riche en information. Le passage à une telle représentation nous permet une sauvegarde efficace et configurable. En effet, si nous désirons inclure plus d’information relative à l’arbre dans l’histogramme le représentant, nous pouvons utiliser un histogramme ayant plus de classes. Ce passage à une représentation en histogramme nous permet également l’utilisation de mesures de métriques fiables pour quantifier la distance entre deux de nos descripteurs. Les résultats obtenus montrent que nos descripteurs sont en mesure de faire l’appariement d’organes présents dans des acquisitions de tomographie axiale (CT), et ce, dans la même image ou dans des images distinctes. Pour mesurer la capacité d’appariement des descripteurs que l’on propose, nous avons proposé un algorithme basé sur les rangs médians de distances. Cet algorithme nous permet d’évaluer la capacité de correspondance en tenant compte de tous les descripteurs des images. Les résultats que nous avons obtenus sont très prometteurs si on tient compte des difficultés de la tâche, liées, entre autres, au fait que l’appariement soit basé sur une seule instance d’un descripteur et au manque de structure apparente dans les images 2D. En effet, compte tenu des temps de calculs considérables, nous avons restreint notre analyse des appariements des descripteurs à des images 2D de thorax. Les structures anatomiques étant compréhensibles seulement lorsque l’on effectue une analyse 3D, la qualité des résultats obtenus est impressionnante. Le passage à des descripteurs 3D ne demande aucune modification des algorithmes utilisés et devrait nous fournir des résultats d’appariement des structures anatomiques encore meilleurs.----------ABSTRACT: The main objective of our research project is to create a topological iconic descriptor that allows for the matching of anatomical structures based on the topological organization of intensities in an image. This descriptor must define a metric space in order to be able to make efficient comparisons. Currently available descriptors do not involve remote image components to describe a location in the image. Inherently, they are local in their analyzes of the characteristics of the image. Of course, some of them include some neighborhood, but none of the descriptors we have analyzed incorporate the image information as a whole. To arrive at our ends, we propose a representation in the form of a graph of the image space. To build this graph we propose two approaches. The first considers the image as an implicit graph in which the nodes are the pixels of the image and the connectivity of the nodes of the graph represents the neighborhood of the pixels. The second is, in turn, more elaborate and is built by analyzing the regions defined by an over-segmentation of the image. In this one, the regions are the nodes of the graph and the edges of the graph represent the connectivity of the regions. To describe a region in the image, we propose to extract a tree from the image graph for each of the regions of interest. To extract this tree, we use a process of minimizing the gradients encounter, that is, the branches of this tree grow in order to reduce the gradients crossed. This tree is a view of the image as perceived by the region studied. The tree thus conceived is our descriptor in its most complete form. To be able to compare and preserve these trees, we extract a histogram representation. We have studied several versions, in the form of histograms, of the trees, each version being more or less rich in information. Moving to such a representation allows us an efficient and configurable storage. Indeed, if we want to include more information about the tree in the histogram representing it, we can use a histogram with more classes. This shift to a histogram representation also allows us to use reliable metric measurements to quantify the distance between two of our descriptors. The results show that our descriptors are able to match organs present in axial tomography (CT) acquisitions, in the same image or in separate images. To measure the ability to match the descriptors proposed, we proposed an algorithm based on the median ranks of distances. This algorithm allows us to evaluate the matching capability taking into account all the descriptors of the images. The results that we obtained are very promising if we take into account the difficulties of the task. Indeed, given the considerable computation time, we have restricted our analysis of descriptor matches to 2D images of thorax. The anatomical structures are understandable only when performing a 3D analysis, the quality of the results obtained is impressive. The shift to 3D descriptors requires no modification of the algorithms used and should provide us with even better anatomical structure matching results

Extraction automatique par apprentissage profond des obstacles et des facilitateurs à la mobilité des personnes à mobilité réduite à partir des données LiDAR mobile

La mobilité est une habitude de vie fondamentale pour la participation sociale des personnes à mobilité réduite (PMRs). L'un des plus grands défis des PMRs est de trouver des itinéraires accessibles pour leur déplacement en ville. À cet égard, plusieurs groupes de recherche, dont MobiliSIG, s'intéressent à l'évaluation de l'accessibilité des lieux en appui au développement des outils d'assistance à la mobilité des PMRs. Cependant, les méthodes traditionnelles de l'acquisition et le traitement de données pertinentes pour l'analyse de l'accessibilité de l'environnement urbain sont généralement peu précises, peu efficaces et très coûteuses en temps et en argent. Dans ce contexte, la technologie lidar présente une alternative intéressante pour l'acquisition de données très détaillées et précises sur l'environnement urbain. De plus, les techniques issues de l'intelligence artificielle ont démontré de grands potentiels pour l'extraction automatique de l'information pertinente à partir de nuages de points lidar. À cet effet, l'objectif global de cette recherche est d'évaluer le potentiel des nouvelles approches basées sur l'apprentissage profond pour la segmentation sémantique de nuages de points lidar afin d'automatiser l'extraction des obstacles et des facilitateurs (trottoirs, ilots de refuge, marches, etc.) en lien avec la mobilité des PMRs. Pour ce faire, nous nous sommes particulièrement intéressés au potentiel des méthodes d'apprentissage profond telles que les algorithmes de Superpoint graph et FKAconv. Les principales étapes de cette recherche consistent à : 1) élaborer une base de données 3D annotée dédiée à la mobilité des PMRs, 2) appliquer et évaluer les algorithmes de l'apprentissage profond, 3) mettre en évidence les défis rencontrés dans l'apprentissage sémantique en 3D à partir de données lidar mobile (données irrégulières et volumineuses, la complexité des scènes urbaines, morphologie très variable des instances, etc.). Les algorithmes visés sont appliqués aux données lidar mobile pour analyser l'accès aux commerces au centre-ville de Québec. Les résultats de cette recherche ont démontré le potentiel des méthodes d'apprentissage profond pour la segmentation sémantique des éléments pertinents à la mobilité des PMRs à partir des données lidar mobile. Cependant, ces méthodes souffrent de plusieurs problèmes qui engendrent de mauvaises classifications menant à des imperfections de segmentation.Mobility is a fundamental life habit for the social participation of people with motor disabilities (PMD). One of the biggest challenges for PMDs is to find accessible itineraries for their movement in the city. In this respect, several research groups, including MobiliSIG, are interested in assessing the accessibility of places to support the development of mobility assistance tools for PMDs. However, traditional methods for acquiring and processing data relevant to the analysis of the accessibility of the urban environments are generally inefficient and very costly in terms of time and money. In this context, the lidar technology presents an interesting alternative for the acquisition of very detailed and accurate data on the urban environment. Moreover, artificial intelligence techniques have shown great potential for the automatic extraction of relevant information from lidar point clouds. To this end, the overall objective of this research is to evaluate the potential of new deep learning-based approaches for the semantic segmentation of lidar point clouds to automate the extraction of obstacles and facilitators (sidewalks, island, steps, etc.) related to the mobility of PMDs. To do so, we were particularly interested in the potential of deep learning methods such as Superpoint graph and FKAconv algorithms. The main steps of this research are: 1) to develop an annotated 3D database dedicated to mobility setoff PMDs, 2) to apply and evaluate the deep learning algorithms, 3) to highlight the challenges encountered in 3D semantic learning (irregular and voluminous data, complexity of urban scenes, highly variable morphology of instances, etc.). The selected algorithms are applied to mobile lidar data to analyze access to shops in downtown Quebec City. The results of this research have demonstrated the potential of deep learning methods for semantic segmentation of elements relevant to PRM mobility from mobile lidar data. However, these methods still suffer from several problems that lead to misclassifications leading to segmentation imperfections

Contribution à l'analyse de la dynamique des écritures anciennes pour l'aide à l'expertise paléographique

Mes travaux de thèse s inscrivent dans le cadre du projet ANR GRAPHEM1 (Graphemebased Retrieval and Analysis for PaleograpHic Expertise of Middle Age Manuscripts). Ilsprésentent une contribution méthodologique applicable à l'analyse automatique des écrituresanciennes pour assister les experts en paléographie dans le délicat travail d étude et dedéchiffrage des écritures.L objectif principal est de contribuer à une instrumetation du corpus des manuscritsmédiévaux détenus par l Institut de Recherche en Histoire des Textes (IRHT Paris) en aidantles paléographes spécialisés dans ce domaine dans leur travail de compréhension de l évolutiondes formes de l écriture par la mise en place de méthodes efficaces d accès au contenu desmanuscrits reposant sur une analyse fine des formes décrites sous la formes de petits fragments(les graphèmes). Dans mes travaux de doctorats, j ai choisi d étudier la dynamique del élément le plus basique de l écriture appelé le ductus2 et qui d après les paléographes apportebeaucoup d informations sur le style d écriture et l époque d élaboration du manuscrit.Mes contributions majeures se situent à deux niveaux : une première étape de prétraitementdes images fortement dégradées assurant une décomposition optimale des formes en graphèmescontenant l information du ductus. Pour cette étape de décomposition des manuscrits, nousavons procédé à la mise en place d une méthodologie complète de suivi de traits à partir del extraction d un squelette obtenu à partir de procédures de rehaussement de contraste et dediffusion de gradients. Le suivi complet du tracé a été obtenu à partir de l application des règlesfondamentales d exécution des traits d écriture, enseignées aux copistes du Moyen Age. Il s agitd information de dynamique de formation des traits portant essentiellement sur des indicationsde directions privilégiées.Dans une seconde étape, nous avons cherché à caractériser ces graphèmes par desdescripteurs de formes visuelles compréhensibles à la fois par les paléographes et lesinformaticiens et garantissant une représentation la plus complète possible de l écriture d unpoint de vue géométrique et morphologique. A partir de cette caractérisation, nous avonsproposé une approche de clustering assurant un regroupement des graphèmes en classeshomogènes par l utilisation d un algorithme de classification non-supervisé basée sur lacoloration de graphe. Le résultat du clustering des graphèmes a conduit à la formation dedictionnaires de formes caractérisant de manière individuelle et discriminante chaque manuscrittraité. Nous avons également étudié la puissance discriminatoire de ces descripteurs afin d obtenir la meilleure représentation d un manuscrit en dictionnaire de formes. Cette étude a étéfaite en exploitant les algorithmes génétiques par leur capacité à produire de bonne sélection decaractéristiques.L ensemble de ces contributions a été testé à partir d une application CBIR sur trois bases demanuscrits dont deux médiévales (manuscrits de la base d Oxford et manuscrits de l IRHT, baseprincipale du projet), et une base comprenant de manuscrits contemporains utilisée lors de lacompétition d identification de scripteurs d ICDAR 2011. L exploitation de notre méthode dedescription et de classification a été faite sur une base contemporaine afin de positionner notrecontribution par rapport aux autres travaux relevant du domaine de l identification d écritures etétudier son pouvoir de généralisation à d autres types de documents. Les résultats trèsencourageants que nous avons obtenus sur les bases médiévales et la base contemporaine, ontmontré la robustesse de notre approche aux variations de formes et de styles et son caractèrerésolument généralisable à tout type de documents écrits.My thesis work is part of the ANR GRAPHEM Project (Grapheme based Retrieval andAnalysis for Expertise paleographic Manuscripts of Middle Age). It represents a methodologicalcontribution applicable to the automatic analysis of ancient writings to assist the experts inpaleography in the delicate work of the studying and deciphering the writing.The main objective is to contribute to an instrumentation of the corpus of medievalmanuscripts held by Institut de Recherche en Histoire de Textes (IRHT-Paris), by helping thepaleographers specialized in this field in their work of understanding the evolution of forms inthe writing, with the establishment of effective methods to access the contents of manuscriptsbased on a fine analysis of the forms described in the form of small fragments (graphemes). Inmy PhD work, I chose to study the dynamic of the most basic element of the writing called theductus and which according to the paleographers, brings a lot of information on the style ofwriting and the era of the elaboration of the manuscript.My major contribution is situated at two levels: a first step of preprocessing of severelydegraded images to ensure an optimal decomposition of the forms into graphemes containingthe ductus information. For this decomposition step of manuscripts, we have proceeded to theestablishment of a complete methodology for the tracings of strokes by the extraction of theskeleton obtained from the contrast enhancement and the diffusion of the gradient procedures.The complete tracking of the strokes was obtained from the application of fundamentalexecution rules of the strokes taught to the scribes of the Middle Ages. It is related to thedynamic information of the formation of strokes focusing essentially on indications of theprivileged directions.In a second step, we have tried to characterize the graphemes by visual shape descriptorsunderstandable by both the computer scientists and the paleographers and thus unsuring themost complete possible representation of the wrting from a geometrical and morphological pointof view. From this characterization, we have have proposed a clustering approach insuring agrouping of graphemes into homogeneous classes by using a non-supervised classificationalgorithm based on the graph coloring. The result of the clustering of graphemes led to theformation of a codebook characterizing in an individual and discriminating way each processedmanuscript. We have also studied the discriminating power of the descriptors in order to obtaina better representation of a manuscript into a codebook. This study was done by exploiting thegenetic algorithms by their ability to produce a good feature selection.The set of the contributions was tested from a CBIR application on three databases ofmanuscripts including two medieval databases (manuscripts from the Oxford and IRHTdatabases), and database of containing contemporary manuscripts used in the writersidentification contest of ICDAR 2011. The exploitation of our description and classificationmethod was applied on a cotemporary database in order to position our contribution withrespect to other relevant works in the writrings identification domain and study itsgeneralization power to other types of manuscripts. The very encouraging results that weobtained on the medieval and contemporary databases, showed the robustness of our approachto the variations of the shapes and styles and its resolutely generalized character to all types ofhandwritten documents.PARIS5-Bibliotheque electronique (751069902) / SudocSudocFranceF

Annotation sémantique 2D/3D d'images spatialisées pour la documentation et l'analyse d'objets patrimoniaux

In the field of architecture and historic preservation , the information and communication technologies enable the acquisition of large amounts of data introducing analysis media for different purposes and at different levels of details ( photographs, point cloud, scientific imaging, ...). The organization and the structure of these resources is now a major problem for the description, the analysis and the understanding of cultural heritage objects. However the existing solutions in semantic annotations on images or on 3D model are insufficient, especially in the linking of different analysis media.This thesis proposes an approach for conducting annotations on different two-dimensional media while allowing the propagation of these annotations between different representations (2D or 3D) of the object. The objective is to identify solutions to correlate (from a spatial, temporal and semantic point of view) sets of annotations within sets of images. Thus, the system is based on the principle of data spatialization for establishing a relationship between the 3D representations, incorporating all the geometric complexity of the object and therefore to the metric information extraction, and 2D representations of object. The approach seeks to the establishment of an information continuity from the image acquisition to the construction of 3D representations semantically enhanced by incorporating multi-media and multi-temporal aspects. This work resulted in the definition and the development of a set of software modules that can be used by specialists of conservation of architectural heritage as by the general public.Dans le domaine de l’architecture et de la conservation du patrimoine historique, les technologies de l’information et de la communication permettent l’acquisition de grandes quantités de données introduisant des supports d’analyses pour différentes finalités et à différents niveaux de détails (photographies, nuages de points, imagerie scientifique, …). L’organisation et la structuration de ces ressources est aujourd’hui un problème majeur pour la description, l’analyse et la compréhension d’objets patrimoniaux. Cependant les solutions existantes d’annotations sémantiques d’images ou de modèle 3D se révèlent insuffisantes notamment sur l’aspect de mise en relation des différents supports d’analyse.Cette thèse propose une approche permettant de conduire des annotations sur les différents supports bidimensionnels tout en permettant la propagation de ces annotations entre les différentes représentations (2D ou 3D) de l’objet. L’objectif est d’identifier des solutions pour corréler (d’un point de vue spatial, temporel et sémantique) des jeux d’annotations au sein d’un jeu d’images. Ainsi le système repose sur le principe de spatialisation des données permettant d’établir une relation entre les représentations 3D, intégrant toute la complexité géométrique de l’objet et par conséquent permettant l’extraction d’informations métriques, et les représentations 2D de l’objet. L’approche cherche donc à la mise en place d’une continuité informationnelle depuis l’acquisition d’images jusqu’à la construction de représentations 3D sémantiquement enrichies en intégrant des aspects multi-supports et multi-temporels. Ce travail a abouti à la définition et le développement d’un ensemble de modules informatiques pouvant être utilisés par des spécialistes de la conservation d’un patrimoine architectural comme par le grand public

Journées Francophones des Langages Applicatifs 2018

National audienceLes 29èmes journées francophones des langages applicatifs (JFLA) se déroulent en 2018 à l'observatoire océanographique de Banyuls-sur-Mer. Les JFLA réunissent chaque année, dans un cadre convivial, concepteurs, développeurs et utilisateurs des langages fonctionnels, des assistants de preuve et des outils de vérification de programmes en présentant des travaux variés, allant des aspects les plus théoriques aux applications industrielles.Cette année, nous avons sélectionné 9 articles de recherche et 8 articles courts. Les thématiques sont variées : preuve formelle, vérification de programmes, modèle mémoire, langages de programmation, mais aussi théorie de l'homotopieet blockchain

Classificateurs aléatoires topologiques à base de graphes de voisinages.

National audienceEn apprentissage supervisé, les Méthodes Ensemble (ME) ont montré leurs qualités. L'une des méthodes de référence dans ce domaine est les Forêts Aléatoires (FA). Cette dernière repose sur des partitionnements de l'espace de représentation selon des frontières parallèles aux axes ou obliques. Les conséquences de cette façon de partitionner l'espace de représentation peuvent affecter la qualité de chaque prédicteur. Il nous a semblé que cette approche pouvait être améliorée si on se libérait de cette contrainte de manière à mieux coller à la structure topologique de l'ensemble d'apprentissage. Dans cet article, nous proposons une nouvelle ME basée sur des graphes de voisinage dont les performances, sur nos premières expérimentations, sont aussi bonnes que celles des FA

Développement d'une nouvelle approche basée objets pour l'extraction automatique de l'information géographique en milieu urbain à partir des images satellitaires à très haute résolution spatiale

Résumé: L'importance de l'information géographique est indéniable pour des prises de décision efficaces dans le milieu urbain. Toutefois, sa disponibilité n'est pas toujours évidente. Les images satellitaires à très résolution spatiale (THRS) constituent une source intéressante pour l'acquisition de ces informations. Cependant, l'extraction de l'information géographique à partir de ces images reste encore problématique. Elle fait face, d'une part, aux spécificités du milieu urbain et celles des images à THRS et d'autre part, au manque de méthodes d'analyse d'images adéquates. Le but de la présente étude est de développer une nouvelle approche basée objets pour l'extraction automatique de l'information géographique en milieu urbain à partir des images à THRS. L'approche proposée repose sur une analyse d'image basée objets. Deux étapes principales sont identifiées : le passage des pixels aux primitives objets et le passage des primitives aux objets finaux. La première étape est assurée par une nouvelle approche de segmentation multispectrale non paramétrée. Elle se base sur la coopération entre les segmentations par régions et par contours. Elle utilise un critère d'homogénéité spectrale dont le seuil est déterminé d'une manière adaptive et automatique. Le deuxième passage part des primitives objets créées par segmentation. Elle utilise une base de règles floues qui traduisent la connaissance humaine utilisée pour l'interprétation des images. Elles se basent sur les propriétés des objets des classes étudiées. Des connaissances de divers types sont prises en considération (spectrales, texturales, géométriques, contextuelles). Les classes concernées sont : arbre, pelouse, sol nu et eau pour les classes naturelles et bâtiment, route, lot de stationnement pour les classes anthropiques. Des concepts de la théorie de la logique floue et celle des possibilités sont intégrés dans le processus d'extraction. Ils ont permis de gérer la complexité du sujet étudié, de raisonner avec des connaissances imprécises et d'informer sur la précision et la certitude des objets extraits. L'approche basée objets proposée a été appliquée sur des extraits d'images Ikonos et Quickbird. Un taux global de 80 % a été observé. Les taux de bonne extraction trouvés pour les classes bâtiment, route et lots de stationnement sont de l'ordre de 81 %, 75 % et 60 % respectivement. Les résultats atteints sont intéressants du moment que la même base des règles a été utilisée. L'aspect original réside dans le fait que son fonctionnement est totalement automatique et qu'elle ne nécessite ni données auxiliaires ni zones d'entraînement. Tout le long des différentes étapes de l'approche, les paramètres et les seuils nécessaires sont déterminés de manière automatique. L'approche peut être transposable sur d'autres sites d'étude. L'approche proposée dans le cadre de ce travail constitue une solution intéressante pour l'extraction automatique de l'information géographique à partir des images à THRS.||Abstract: The importance of the geographical information is incontestable for efficient decision making in urban environment. But, it is not always available.The very high spatial resolution (VHSR) satellite images constitute an interesting source of this information. However, the extraction of the geographical information from these images is until now problematic.The goal of the present study is to develop a new object-based approach for automatic extraction of geographical information in urban environment from very high spatial resolution images.The proposed approach is object-based image analysis. There are two principal steps: passage of pixels to object primitives and passage of primitives to final objects.The first stage uses a new multispectrale cooperative segmentation approach. Cooperation between region and edge information is exploited. Segments are created with respect to their spectral homogeneity.The threshold is adaptive and its determination is automatic.The second passage leaves from object primitives created by segmentation. Fuzzy rule base is generated from the human knowledge used for image interpretation. Several kinds of object proprieties are integrated (spectral, textural, geometric, and contextual).The concerned classes are trees, grass, bare soil and water as natural classes and building, road, parking lot as man made classes. Fuzzy logic and possibilities theories are integrated in the process of extraction. They permitted to manage the complexity of the studied objects, to reason with imprecise knowledge and to inform on precision and certainty of the extracted objects.The approach has been applied with success on various subsets of Ikonos and Quickbird images.The global extraction accuracy was about 80%.The object-based approach was able to extract buildings, roads and parking lots in urban areas with of 81%, 75% and 60% extraction accuracies respectively.The results are interesting with regard to that the same rule base was used.The original aspect resides in the fact that the approach is completely automatic and no auxiliary data or training areas are required. Along the different stages of the approach, the parameters and the thresholds are determined automatically. This allows the transposability of the approach on others VHRS images.The present approach constitutes an interesting solution for automatic extraction of the geographical information from VHSR satellite images