COASTLINE EXTRACTION IN VHR IMAGERY USING MATHEMATICAL MORPHOLOGY WITH SPATIAL AND SPECTRAL KNOWLEDGE

In this article, we are dealing with the problem of coastline extraction in Very High Resolution (VHR) multispectral images (Quickbird) on the Normandy Coast (France). Locating precisely the coastline is a crucial task in the context of coastal resource management and planning. In VHR imagery, some details on coastal zone become visible and the coastline definition depends on the geomorphologic context. According to the type of coastal units (sandy beach, wetlands, dune, cliff), several definitions for the coastline has to be used. So in this paper we propose a new approach in two steps based on morphological tools to extract coastline according to their context. More precisely, we first perform two detections of possible coastline pixels (respectively without false positive and without false negative). To do so, we apply a recent extension to multivariate images of the hit-or-miss transform, the morphological template matching tool, and rely on expert knowledge to define the sought templates. We then combine these two results through a double thresholding procedure followed by a final marker-based watershed to locate the exact coastline. In order to assess the performance and reliability of our method, results are compared with some ground-truth given by expert visual analysis. This comparison is made both visually and quantitatively. Results show the high performance of our method and its relevance to the problem under consideration

Object detection and classification in aerial hyperspectral imagery using a multivariate hit-or-miss transform

High resolution aerial and satellite borne hyperspectral imagery provides a wealth of information about an imaged scene allowing for many earth observation applications to be investigated. Such applications include geological exploration, soil characterisation, land usage, change monitoring as well as military applications such as anomaly and target detection. While this sheer volume of data provides an invaluable resource, with it comes the curse of dimensionality and the necessity for smart processing techniques as analysing this large quantity of data can be a lengthy and problematic task. In order to aid this analysis dimensionality reduction techniques can be employed to simplify the task by reducing the volume of data and describing it (or most of it) in an alternate way. This work aims to apply this notion of dimensionality reduction based hyperspectral analysis to target detection using a multivariate Percentage Occupancy Hit or Miss Transform that detects objects based on their size shape and spectral properties. We also investigate the effects of noise and distortion and how incorporating these factors in the design of necessary structuring elements allows for a more accurate representation of the desired targets and therefore a more accurate detection. We also compare our method with various other common Target Detection and Anomaly Detection techniques

Détection des bâtiments à partir des images multispectrales à très haute résolution spatiale par la transformation Hit-or-Miss

Résumé : La détection des bâtiments dans les images à très haute résolution spatiale (THRS) a plusieurs applications pratiques et représente un domaine de recherche scientifique intensive ces dernières années. Elle fait face à la complexité du milieu urbain et aux spécificités des images provenant des différents capteurs. La performance des méthodes existantes pour l’extraction des bâtiments n’est pas encore suffisante pour qu’elles soient généralisées à grande échelle (différents types de tissus urbains et capteurs). Les opérateurs morphologiques se sont montrés efficaces pour la détection des bâtiments dans les images panchromatiques (images en niveaux de gris) à très haute résolution spectrale (THRS). L’information spectrale issue des images multispectrales est jugée nécessaire pour l’amélioration de leur performance. L’extension des opérateurs morphologiques pour les images multispectrales exige l’adoption d’une stratégie qui permet le traitement des pixels sous forme de vecteurs, dont les composantes sont les valeurs dans les différentes bandes spectrales. Ce travail de recherche vise l’application de la transformation morphologique dite Hit-or-Miss (HMT) à des images multispectrales à THRS, afin de détecter des bâtiments. Pour répondre à la problématique de l’extension des opérateurs morphologiques pour les images multispectrales, nous proposons deux solutions. Comme une première solution nous avons généré des images en niveaux de gris à partir les bandes multispectrales. Dans ces nouvelles images les bâtiments potentiels sont rehaussés par rapport à l’arrière-plan. La HMT en niveaux de gris est alors appliquée à ces images afin de détecter les bâtiments. Pour rehausser les bâtiments nous avons proposé un nouvel indice, que nous avons appelé Spectral Similarity Ratio (SSR). Pour éviter de définir des configurations, des ensembles d’éléments structurants (ES), nécessaires pour l’application de la HMT, au préalable, nous avons utilisé l’érosion et la dilatation floues et poursuivi la réponse des pixels aux différentes valeurs des ES. La méthode est testée sur des extraits d’images représentant des quartiers de type résidentiel. Le taux moyen de reconnaissance obtenu pour les deux capteurs Ikonos et GeoEye est de 85 % et de 80 %, respectivement. Le taux moyen de bonne identification, quant à lui, est de 85 % et 84 % pour les images Ikonos et GeoEye, respectivement. Après certaines améliorations, la méthode a été appliquée sur des larges scènes Ikonos et WorldView-2, couvrant différents tissus urbains. Le taux moyen des bâtiments reconnus est de 82 %. Pour sa part, le taux de bonne identification est de 81 %. Dans la deuxième solution, nous adoptons une stratégie vectorielle pour appliquer la HMT directement sur les images multispectrales. La taille des ES de cette transformation morphologique est définie en utilisant la transformation dite chapeau haut-de-forme par reconstruction. Une étape de post-traitement inclut le filtrage de la végétation par l’indice de la végétation NDVI et la validation de la localisation des bâtiments par l’information d’ombre. La méthode est appliquée sur un espace urbain de type résidentiel. Des extraits d’images provenant des capteurs satellitaires Ikonos, GeoEye et WorldView 2 ont été traités. Le taux des bâtiments reconnus est relativement élevé pour tous les extraits - entre 85 % et 97 %. Le taux de bonne identification démontre des résultats entre 74 % et 88 %. Les résultats obtenus nous permettent de conclure que les objectifs de ce travail de recherche, à savoir, la proposition d’une technique pour l’estimation de la similarité spectrale entre les pixels formant le toit d’un bâtiment, l’intégration de l’information multispectrale dans la HMT dans le but de détecter les bâtiments, et la proposition d’une technique qui permet la définition semi-automatique des configurations bâtiment/voisinage dans les images multispectrales, ont été atteints. // Abstract : Detection of buildings in very high spatial resolution images (THRS) has various practical applications and is recently a subject of intensive scientific research. It faces the complexity of the urban environment and the variety of image characteristics depending on the type of the sensor. The performance of existing building extraction methods is not yet sufficient to be generalized to a large scale (different urban patterns and sensors). Morphological operators have been proven effective for the detection of buildings in panchromatic (greyscale) very high spectral resolution (VHSR) images. The spectral information of multispectral images is jugged efficient to improve the results of the detection. The extension of morphological operators to multispectral images is not straightforward. As pixels of multispectral images are pixels vectors the components of which are the intensity values in the different bands, a strategy to order vectors must be adopted. This research thesis focuses on the application of the morphological transformation called Hit-or-Miss (HMT) on multispectral VHSR images in order to detect buildings. To address the issue of the extension of morphological operators to multispectral images we have proposed two solutions. The first one employs generation of greyscale images from multispectral bands, where potential buildings are enhanced. The grayscale HMT is then applied to these images in order to detect buildings. To enhance potential building locations we have proposed the use of Spectral Similarity Ratio (SSR). To avoid the need to set multiple configurations of structuring elements (SE) necessary for the implementation of the HMT, we have used fuzzy erosion and fuzzy dilation and examined the pixel response to different values of SE. The method has been tested on image subsets taken over residential areas. The average rate of recognition for the two sensors, Ikonos and GeoEye, is 85% and 80%, respectively. The average rate of correct identification is 85% and 84%, for Ikonos and GeoEye subsets, respectively. Having made some improvements, we then applied the method to large scenes from Ikonos and WorldView-2 images covering different urban patterns. The average rate of recognized buildings is 82%. The rate of correct identification is 81%. As a second solution, we have proposed a new vector based strategy which allows the multispectral information to be integrated into the percent occupancy HMT (POHMT). Thus, the POHMT has been directly applied on multispectral images. The parameters for the POHMT have been defined using the morphological transformation dubbed top hat by reconstruction. A post-processing step included filtering the vegetation and validating building locations by proximity to shadow. The method has been applied to urban residential areas. Image subsets from Ikonos, GeoEye and WorldView2 have been processed. The rate of recognized buildings is relatively high for all subsets - between 85% and 97%. The rate of correct identification is between 74 % and 88 %. The results allow us to conclude that the objectives of this research, namely, suggesting a technique for estimating the spectral similarity between the pixels forming the roof of a building, the integration of multispectral information in the HMT in order to detect buildings and the proposition of a semiautomatic technique for the definition of the configurations building/neighbourhood in multispectral images, have been achieved

Contributions en morphologie mathématique pour l'analyse d'images multivariées

This thesis contributes to the field of mathematical morphology and illustrates how multivariate statistics and machine learning techniques can be exploited to design vector ordering and to include results of morphological operators in the pipeline of multivariate image analysis. In particular, we make use of supervised learning, random projections, tensor representations and conditional transformations to design new kinds of multivariate ordering, and morphological filters for color and multi/hyperspectral images. Our key contributions include the following points:• Exploration and analysis of supervised ordering based on kernel methods.• Proposition of an unsupervised ordering based on statistical depth function computed by random projections. We begin by exploring the properties that an image requires to ensure that the ordering and the associated morphological operators can be interpreted in a similar way than in the case of grey scale images. This will lead us to the notion of background/foreground decomposition. Additionally, invariance properties are analyzed and theoretical convergence is showed.• Analysis of supervised ordering in morphological template matching problems, which corresponds to the extension of hit-or-miss operator to multivariate image by using supervised ordering.• Discussion of various strategies for morphological image decomposition, specifically, the additive morphological decomposition is introduced as an alternative for the analysis of remote sensing multivariate images, in particular for the task of dimensionality reduction and supervised classification of hyperspectral remote sensing images.• Proposition of an unified framework based on morphological operators for contrast enhancement and salt- and-pepper denoising.• Introduces a new framework of multivariate Boolean models using a complete lattice formulation. This theoretical contribution is useful for characterizing and simulation of multivariate textures.Cette thèse contribue au domaine de la morphologie mathématique et illustre comment la statistique multivariée et les techniques d'apprentissage numérique peuvent être exploitées pour concevoir un ordre dans l'espace des vecteurs et pour inclure les résultats d'opérateurs morphologiques au processus d'analyse d'images multivariées. En particulier, nous utilisons l'apprentissage supervisé, les projections aléatoires, les représentations tensorielles et les transformations conditionnelles pour concevoir de nouveaux types d'ordres multivariés et de nouveaux filtres morphologiques pour les images multi/hyperspectrales. Nos contributions clés incluent les points suivants :• Exploration et analyse d'ordre supervisé, basé sur les méthodes à noyaux.• Proposition d'un ordre nonsupervisé, basé sur la fonction de profondeur statistique calculée par projections aléatoires. Nous commençons par explorer les propriétés nécessaires à une image pour assurer que l'ordre ainsi que les opérateurs morphologiques associés, puissent être interprétés de manière similaire au cas d'images en niveaux de gris. Cela nous amènera à la notion de décomposition en arrière plan. De plus, les propriétés d'invariance sont analysées et la convergence théorique est démontrée.• Analyse de l'ordre supervisé dans les problèmes de correspondance morphologique de patrons, qui correspond à l'extension de l'opérateur tout-ou-rien aux images multivariées grâce à l‘utilisation de l'ordre supervisé.• Discussion sur différentes stratégies pour la décomposition morphologique d'images. Notamment, la décomposition morphologique additive est introduite comme alternative pour l'analyse d'images de télédétection, en particulier pour les tâches de réduction de dimension et de classification supervisée d'images hyperspectrales de télédétection.• Proposition d'un cadre unifié basé sur des opérateurs morphologiques, pour l'amélioration de contraste et pour le filtrage du bruit poivre-et-sel.• Introduction d'un nouveau cadre de modèles Booléens multivariés en utilisant une formulation en treillis complets. Cette contribution théorique est utile pour la caractérisation et la simulation de textures multivariées

A Multivariate Hit-or-Miss Transform for Conjoint Spatial and Spectral Template Matching

International audienceThe Hit-or-Miss transform is a well-known morphological operator for template matching in binary and grey-level images. However it cannot be used straightforward in multivalued images (such as colour or multispectral images) since Mathematical Morphology needs an ordering relation which is not trivial on multivalued spaces. Moreover, existing definitions of the Hit-Or-Miss Transform in grey-level use only spatial templates (or structuring elements) which could be insufficient for some feature extraction problems. In this paper, we propose a multivariate Hit- or-Miss Transform operator which combines spatial and spectral patterns to perform template matching. We illustrate its relevance with an application in the remote sensing field, the extraction of coastline from very high (spatial) resolution images

Analyse d’images de documents patrimoniaux : une approche structurelle à base de texture

Over the last few years, there has been tremendous growth in digitizing collections of cultural heritage documents. Thus, many challenges and open issues have been raised, such as information retrieval in digital libraries or analyzing page content of historical books. Recently, an important need has emerged which consists in designing a computer-aided characterization and categorization tool, able to index or group historical digitized book pages according to several criteria, mainly the layout structure and/or typographic/graphical characteristics of the historical document image content. Thus, the work conducted in this thesis presents an automatic approach for characterization and categorization of historical book pages. The proposed approach is applicable to a large variety of ancient books. In addition, it does not assume a priori knowledge regarding document image layout and content. It is based on the use of texture and graph algorithms to provide a rich and holistic description of the layout and content of the analyzed book pages to characterize and categorize historical book pages. The categorization is based on the characterization of the digitized page content by texture, shape, geometric and topological descriptors. This characterization is represented by a structural signature. More precisely, the signature-based characterization approach consists of two main stages. The first stage is extracting homogeneous regions. Then, the second one is proposing a graph-based page signature which is based on the extracted homogeneous regions, reflecting its layout and content. Afterwards, by comparing the different obtained graph-based signatures using a graph-matching paradigm, the similarities of digitized historical book page layout and/or content can be deduced. Subsequently, book pages with similar layout and/or content can be categorized and grouped, and a table of contents/summary of the analyzed digitized historical book can be provided automatically. As a consequence, numerous signature-based applications (e.g. information retrieval in digital libraries according to several criteria, page categorization) can be implemented for managing effectively a corpus or collections of books. To illustrate the effectiveness of the proposed page signature, a detailed experimental evaluation has been conducted in this work for assessing two possible categorization applications, unsupervised page classification and page stream segmentation. In addition, the different steps of the proposed approach have been evaluated on a large variety of historical document images.Les récents progrès dans la numérisation des collections de documents patrimoniaux ont ravivé de nouveaux défis afin de garantir une conservation durable et de fournir un accès plus large aux documents anciens. En parallèle de la recherche d'information dans les bibliothèques numériques ou l'analyse du contenu des pages numérisées dans les ouvrages anciens, la caractérisation et la catégorisation des pages d'ouvrages anciens a connu récemment un regain d'intérêt. Les efforts se concentrent autant sur le développement d'outils rapides et automatiques de caractérisation et catégorisation des pages d'ouvrages anciens, capables de classer les pages d'un ouvrage numérisé en fonction de plusieurs critères, notamment la structure des mises en page et/ou les caractéristiques typographiques/graphiques du contenu de ces pages. Ainsi, dans le cadre de cette thèse, nous proposons une approche permettant la caractérisation et la catégorisation automatiques des pages d'un ouvrage ancien. L'approche proposée se veut indépendante de la structure et du contenu de l'ouvrage analysé. Le principal avantage de ce travail réside dans le fait que l'approche s'affranchit des connaissances préalables, que ce soit concernant le contenu du document ou sa structure. Elle est basée sur une analyse des descripteurs de texture et une représentation structurelle en graphe afin de fournir une description riche permettant une catégorisation à partir du contenu graphique (capturé par la texture) et des mises en page (représentées par des graphes). En effet, cette catégorisation s'appuie sur la caractérisation du contenu de la page numérisée à l'aide d'une analyse des descripteurs de texture, de forme, géométriques et topologiques. Cette caractérisation est définie à l'aide d'une représentation structurelle. Dans le détail, l'approche de catégorisation se décompose en deux étapes principales successives. La première consiste à extraire des régions homogènes. La seconde vise à proposer une signature structurelle à base de texture, sous la forme d'un graphe, construite à partir des régions homogènes extraites et reflétant la structure de la page analysée. Cette signature assure la mise en œuvre de nombreuses applications pour gérer efficacement un corpus ou des collections de livres patrimoniaux (par exemple, la recherche d'information dans les bibliothèques numériques en fonction de plusieurs critères, ou la catégorisation des pages d'un même ouvrage). En comparant les différentes signatures structurelles par le biais de la distance d'édition entre graphes, les similitudes entre les pages d'un même ouvrage en termes de leurs mises en page et/ou contenus peuvent être déduites. Ainsi de suite, les pages ayant des mises en page et/ou contenus similaires peuvent être catégorisées, et un résumé/une table des matières de l'ouvrage analysé peut être alors généré automatiquement. Pour illustrer l'efficacité de la signature proposée, une étude expérimentale détaillée a été menée dans ce travail pour évaluer deux applications possibles de catégorisation de pages d'un même ouvrage, la classification non supervisée de pages et la segmentation de flux de pages d'un même ouvrage. En outre, les différentes étapes de l'approche proposée ont donné lieu à des évaluations par le biais d'expérimentations menées sur un large corpus de documents patrimoniaux

A comparison of the CAR and DAGAR spatial random effects models with an application to diabetics rate estimation in Belgium

When hierarchically modelling an epidemiological phenomenon on a finite collection of sites in space, one must always take a latent spatial effect into account in order to capture the correlation structure that links the phenomenon to the territory. In this work, we compare two autoregressive spatial models that can be used for this purpose: the classical CAR model and the more recent DAGAR model. Differently from the former, the latter has a desirable property: its ρ parameter can be naturally interpreted as the average neighbor pair correlation and, in addition, this parameter can be directly estimated when the effect is modelled using a DAGAR rather than a CAR structure. As an application, we model the diabetics rate in Belgium in 2014 and show the adequacy of these models in predicting the response variable when no covariates are available