Adaptivity and group invariance in mathematical morphology

The standard morphological operators are (i) defined on Euclidean space, (ii) based on structuring elements, and (iii) invariant with respect to translation. There are several ways to generalise this. One way is to make the operators adaptive by letting the size or shape of structuring elements depend on image location or on image features. Another one is to extend translation invariance to more general invariance groups, where the shape of the structuring element spatially adapts in such a way that global group invariance is maintained. We review group-invariant morphology, discuss the relations with adaptive morphology, point out some pitfalls, and show that there is no inherent incompatibility between a spatially adaptive structuring element and global translation invariance of the corresponding morphological operators

General Adaptive Neighborhood Image Processing for Biomedical Applications

In biomedical imaging, the image processing techniques using spatially invariant transformations, with fixed operational windows, give efficient and compact computing structures, with the conventional separation between data and operations. Nevertheless, these operators have several strong drawbacks, such as removing significant details, changing some meaningful parts of large objects, and creating artificial patterns. This kind of approaches is generally not sufficiently relevant for helping the biomedical professionals to perform accurate diagnosis and therapy by using image processing techniques. Alternative approaches addressing context-dependent processing have been proposed with the introduction of spatially-adaptive operators (Bouannaya and Schonfeld, 2008; Ciuc et al., 2000; Gordon and Rangayyan, 1984;Maragos and Vachier, 2009; Roerdink, 2009; Salembier, 1992), where the adaptive concept results from the spatial adjustment of the sliding operational window. A spatially-adaptive image processing approach implies that operators will no longer be spatially invariant, but must vary over the whole image with adaptive windows, taking locally into account the image context by involving the geometrical, morphological or radiometric aspects. Nevertheless, most of the adaptive approaches require a priori or extrinsic informations on the image for efficient processing and analysis. An original approach, called General Adaptive Neighborhood Image Processing (GANIP), has been introduced and applied in the past few years by Debayle & Pinoli (2006a;b); Pinoli and Debayle (2007). This approach allows the building of multiscale and spatially adaptive image processing transforms using context-dependent intrinsic operational windows. With the help of a specified analyzing criterion (such as luminance, contrast, ...) and of the General Linear Image Processing (GLIP) (Oppenheim, 1967; Pinoli, 1997a), such transforms perform a more significant spatial and radiometric analysis. Indeed, they take intrinsically into account the local radiometric, morphological or geometrical characteristics of an image, and are consistent with the physical (transmitted or reflected light or electromagnetic radiation) and/or physiological (human visual perception) settings underlying the image formation processes. The proposed GAN-based transforms are very useful and outperforms several classical or modern techniques (Gonzalez and Woods, 2008) - such as linear spatial transforms, frequency noise filtering, anisotropic diffusion, thresholding, region-based transforms - used for image filtering and segmentation (Debayle and Pinoli, 2006b; 2009a; Pinoli and Debayle, 2007). This book chapter aims to first expose the fundamentals of the GANIP approach (Section 2) by introducing the GLIP frameworks, the General Adaptive Neighborhood (GAN) sets and two kinds of GAN-based image transforms: the GAN morphological filters and the GAN Choquet filters. Thereafter in Section 3, several GANIP processes are illustrated in the fields of image restoration, image enhancement and image segmentation on practical biomedical application examples. Finally, Section 4 gives some conclusions and prospects of the proposed GANIP approach

Adaptive morphological filters based on a multiple orientation vector field dependent on image local features

This paper addresses the formulation of adaptive morphological filters based on spatially-variant structuring elements. The adaptivity of these filters is achieved by modifying the shape and orientation of the structuring elements according to a multiple orientation vector field. This vector field is provided by means of a bank of directional openings which can take into account the possible multiple orientations of the contours in the image. After reviewing and formalizing the definition of the spatially-variant dilation, erosion, opening and closing, the proposed structuring elements are described. These spatially-variant structuring elements are based on ellipses which vary over the image domain adapting locally their orientation according to the multiple orientation vector field and their shape (the eccentricity of the ellipses) according to the distance to relevant contours of the objects. The proposed adaptive morphological filters are used on gray-level images and are compared with spatially-invariant filters, with spatially-variant filters based on a single orientation vector field, and with adaptive morphological bilateral filters. Results show that the morphological filters based on a multiple orientation vector field are more adept at enhancing and preserving structures which contains more than one orientation

Morphological bilateral filtering

International audienceA current challenging topic in mathematical morphology is the construction of locally adaptive operators; i.e., structuring functions that are dependent on the input image itself at each position. Development of spatially-variant filtering is well established in the theory and practice of Gaussian filtering. The aim of the first part of the paper is to study how to generalize these convolution-based approaches in order to introduce adaptive nonlinear filters that asymptotically correspond to spatially-variant morphological dilation and erosion. In particular, starting from the bilateral filtering framework and using the notion of counter-harmonic mean, our goal is to propose a new low complexity approach to define spatially-variant bilateral structuring functions. Then, in the second part of the paper, an original formulation of spatially-variant flat morphological filters is proposed, where the adaptive structuring elements are obtained by thresholding the bilateral structuring functions. The methodological results of the paper are illustrated with various comparative examples

Estimación de la orientación múltiple mediante un banco de filtros y su uso en el desarrollo de aplicaciones de procesado de imagen

Mención Europeo / Mención Internacional: Concedido.[SPA] Esta tesis doctoral se presenta bajo la modalidad de compendio de publicaciones. En las últimas décadas, la estimación de orientación se ha convertido en una tarea clave del procesado de imagen, dada su capacidad para extraer características de bajo nivel y su aplicación en el análisis de datos. Existen un gran número de aplicaciones donde la estimación de orientación juega un papel fundamental como son: el análisis de huellas dactilares, extracción de puntos característicos, bifurcaciones, esquinas o intersecciones, filtrado adaptativo o seguimiento de objetos, entre otras. Sin embargo, con el paso del tiempo han aparecido diferentes problemas asociados a la estimación de orientación que pueden complicar este proceso. Los más importantes a destacar son los siguientes: las limitaciones que presentan muchos de los métodos de estimación en estructuras complejas, por ejemplo, estructuras con varias orientaciones asociadas, el incremento de la complejidad computacional de los métodos más modernos o la dependencia de éstos a solo unas determinadas aplicaciones. Resulta en estos momentos, por tanto, una tarea clave conseguir métodos de estimación que sean lo más globales y genéricos posibles, en otras palabras, lo más independientes del tipo de imagen con la que se trabaje y del campo de aplicación. En esta Tesis doctoral, en primer lugar, se aborda una revisión de los conceptos más importantes de la estimación de orientación, como es el concepto de estructura, orientación y sus propiedades principales. También se describen los métodos de estimación de orientaciones más importantes: tensor estructural, bancos de filtros, gradiente al cuadrado promediado, etc. Y las aplicaciones más importantes como la detección de texturas, extracción de características, análisis de huellas dactilares, filtrado variante o seguimiento de objetos, entre otras. Las contribuciones principales a esta Tesis son dos. En primer lugar, la propuesta de un marco de trabajo (de estimación de orientaciones) capaz de sistematizar el proceso de estimación de orientaciones, independientemente del tipo de estructuras o el tipo de aplicación. El marco propuesto está basado en una de las técnicas de estimación de orientación más usadas, los bancos de filtros. Durante este trabajo, éstos han sido probados en multitud de escenarios mientras se consideraban diferentes familias de filtros para su aplicación. En segundo lugar, se abordan casos prácticos de aplicación del marco de trabajo propuesto con el objetivo de mostrar sus excelentes capacidades en aplicaciones muy dispares, mostrando su potencial en multitud de posibilidades. Dado que el método de presentación de la presente Tesis doctoral es mediante un compendio de artículos, la organización de esta memoria constará de un primer capítulo de introducción y estado del arte. Seguidamente se mostrarán, de forma coherente y organizada, los artículos con los resultados obtenidos durante el periodo de investigación de la Tesis, con una introducción para cada uno de los artículos incluidos en este compendio. Finalmente, el capítulo de conclusiones y trabajo futuro cierra la Tesis.[ENG] This doctoral dissertation has been presented in the form of thesis by publication. In the last decades, image orientation estimation has become in a fundamental task of image processing, due to its ability to extract low level features and its application to data analysis. There are a wide number of applications where the image orientation estimation plays and important role, some of these are: fingerprint analysis, feature extractions such as bifurcation, junction and corner, adaptive filtering or tracking applications. However, with the pass of time, different problems related to orientation estimation have appeared and they can complicate this process. The most important problems to highlight are: difficult of a wide number of methods to estimate the orientation of complex object structures, for example, structures with multiple orientations associated, high computational cost of modern methods or dependence on the application framework. Therefore, nowadays, the obtention of global and generics methods, in other words, methods as independent as possible from the image and the application, has become in a important task. In this Thesis, firstly, a review of main concepts of image orientation have been carried out, such as the concept of structure, orientation and their main properties. The most important methods have been described, as e.g., structural tensor, bank of filters, average square gradient, etc. And the most important applications based on image orientation estimation as texture analysis, feature extraction, fingerprint analysis, object tracking and space variant filtering, among others. The main contributions to this Thesis are two. First one is the proposal of a new framework for image orientation estimation, which can systematize this process, making it independent of image type and application. The proposed framework is based on one of the most used estimation orientation techniques, the bank of filters. Throughout this work, it have been tested in a wide variety of scenarios, considering different families of filters for their application. Secondly, the proposed framework has been evaluated in practical applications to show its ability and potential. This Thesis has been carried out by the method of compendium of publications, it has been organized as follows. Chapter one shows an introduction and a review of the state of art. Chapter two shows the journal papers and other contributions done during the research period of this Thesis. Finally, Chapter three shows the conclusion and future work.El trabajo de esta Tesis ha estado financiado parcialmente por el Ministerio de Economía, Industria y Competitividad (Proyecto PI17/00771) y la Universidad Politécnica de Valencia - Instituto Interuniversitario de Investigación en Bioingeniería y Tecnología Orientada al Ser Humano. Labhuman- conjuntamente con la Universidad Politécnica de Cartagena (Proyectos 4106/15TIC y 3626/13TIC).Los artículos y capítulos de libros que forman la tesis son los siguientes: Artículo 1: A.G. Legaz-Aparicio, R. Verdú-Monedero, J. Angulo, “Multiscale Estimation of Multiple Orientations based on Morphological Directional Openings”, Signal, Image and Video Processing, 2018, Accepted, (doi:10.1007/s11760-018-1276-y). ISI-JCR(2017): 1.643, Posición 163 de 260 (T2, Q3), cat ENGINEERING, ELECTRICAL & ELECTRONIC. Artículo 2: Álvar-Ginés Legaz-Aparicio, Rafael Verdú-Monedero, Juan Morales-Sanchez, Jorge Larrey- Ruiz, Jesús Angulo, “Detection of Retinal Vessel Bifurcation by Means of Multiple Orientation Estimation Based on Regularized Morphological Openings”. XIII Medierranean Confe-rence on Medical and Biological Engineering and Computing, Sevilla, 2013. Artículo 3: S. Morales, Á. Legaz-Aparicio, V. Naranjo, R. Verdú-Monedero, “Determination of Bifurcation Angles of the Retinal Vascular Tree through Multiple Orientation Estimation ba-sed on Regularized Morphological Openings”, International Conference on Bio-inspired Systems and Signal Processing (BIOSIGNALS 2015), Lisbon (Portugal), January 2015. Artículo 4: S. Morales, V. Naranjo, J. Angulo, A.G. Legaz-Aparicio, R. Verdú-Monedero, “Retinal network characterization through fundus image processing: signicant point identication on vessel centerline”, Signal Processing: Image Communication, Vol. 59, pp. 50-64, November 2017. ISI-JCR(2017): 2.073, Posición 118 de 260 (T2, Q2), cat ENGINEERING, ELECTRICAL & ELEC-TRONIC. Artículo 5: A.G. Legaz-Aparicio, R. Verdú-Monedero, K. Engan, “Noise Robust and Ro-tation Invariant Framework for Texture Analysis and Classification”, Applied Mathematics and Computation, Volume 335, pp. 124 a 132, October 2018. ISI-JCR(2017): 2.300, Posición 21 de 252 (T1, Q1), cat MATHEMATICS, APPLIED. Artículo 6: Álvar-Ginés Legaz-Aparicio, Rafael Verdú-Monedero, Jesús Angulo, “Adaptive spatially variant morphological filters based on a multiple orientation vector field”, Mathematical modelling in Engineering & Human Behaviour 2016. Artículo 7: A.G. Legaz-Aparicio, R. Verdú-Monedero, J. Angulo, “Adaptive morphological filters based on a multiple orientation vector field dependent on image local features”, Journal of Computational and Applied Mathematics, Vol. 330, pp. 965-981, March 2018. ISI-JCR(2017): 1.632, Posición 49 de 252 (T1, Q1), cat MATHEMATICS, APPLIED.Escuela Internacional de Doctorado de la Universidad Politécnica de CartagenaUniversidad Politécnica de CartagenaPrograma de Doctorado en Tecnologías de la Información y las Comunicaciones por la Universidad Politécnica de Cartagen

Mathematical Morphology on the Sphere: Application to Polarimetric Image processing

Projecte final de carrera fet en col.laboració amb Centre de morphologie mathématique, École des Mines de ParisEnglish: The fully polarimetric synthetic aperture radar (PolSAR) provides data containing the complete scattering information. Therefore, these data have drawn more attention in recent years. PolSAR data can be represented as polarization states on a sphere. We present image processing techniques based on the analysis of the polarimetric information within its location on the sphere. Mathematical morphology is a well-known nonlinear approach for image processing. It is based on the computation of minimum and maximum values of local neighborhoods. That necessitates the existence of an ordering relationship between the points to be treated. The lack of a natural ordering on the sphere presents an inherent problem when defining morphological operators extended to unit sphere. We analyze in this project some proposals to the problem of ordering on the unit sphere, leading to formulations of morphological operators suited to the configuration of the data. The notion of local supremum and infimum is introduced, which allows to define the dilation and erosion on the sphere. Supervised orderings are considered and its associated operators for target recognition issues. We also present various filtering procedures for denoising purposes. The diferent methods studied in this project pursuit the generalization of the morphological operators on the sphere. Through the analysis performed, we pretend to achieve an understanding of the data and automation of the target detection.Castellano: El radar de apertura sintética totalmente polarimétrico (PolSAR) proporciona datos que contienen la información completa de dispersión. Estos datos han captado más atención en los últimos años. Los datos PolSAR pueden ser representados como estados de polarización en una esfera. Se presentan las técnicas de procesamiento de imágenes basadas en el análisis de la información polarimétrica y en su ubicación en la esfera. La morfología matemática es una técnica no lineal para el procesamiento de imágenes. Se basa en el cálculo de los valores mínimos y máximos alrededor de un punto. Precisa de la existencia de una relación de orden entre los puntos a tratar. La falta de un orden natural en la esfera presenta un problema inherente a la hora de definir los operadores morfológicos extendidos a la esfera unidad. En este proyecto se analizan algunas propuestas para el problema del orden en la esfera unidad, lo que da lugar a formulaciones de los operadores morfológicos adaptados a la configuración de los datos. Se introduce la noción de supremo e ínfimo local, lo que permite definir la dilatación y la erosión en la esfera. Consideramos órdenes supervisados y sus operadores asociados para problemas de reconocimiento de objetivos. También se presentan varios procedimientos de filtrado para la eliminación de ruido. Los diferentes métodos estudiados en este proyecto persiguen la generalización de los operadores morfológicos a la esfera. A través del análisis realizado, se pretende lograr una comprensión de los datos y la autCatalà: El radar d'obertura sintètica totalment polarimètric (PolSAR) proporciona dades que contenen la informació completa de dispersió. Aquestes dades han captat més atenció en els últims anys. Les dades PolSAR poden ser representades com a estats de polarizació en una esfera. Es presenten tècniques de processament d'imatge basades en l'anàlisi de la informació polarimètrica i en la seva ubicació en l'esfera. La morfologia matemàtica és una tècnica no lineal per al processament d'imatges. Es basa en el càlcul dels valors mínim i màxim al voltant d'un punt. Precisa de l'existència d'una relació d'ordre entre els punts a tractar. La manca d'un ordre natural en l'esfera presenta un problema inherent a l'hora de definir els operadors morfològics estesos a l'esfera unitat. En aquest projecte s'analitzen algunes propostes per al problema de l'ordre en l'esfera unitat, el que dóna lloc a formulacions dels operadors morfològics adaptats a la configuració de les dades. S'introdueix la noció de suprem i mínim local, el que permet definir la dilatació i l'erosió en l'esfera. Considerem ordres supervisats i els seus operadors associats per a problemes de reconeixement d'objectius. També es presenten diversos procediments de filtratge per a la eliminació de soroll. Els diferents mètodes estudiats en aquest projecte busquen la generalizació dels operadors morfològics a l'esfera. Mitjançcant l'anàlisi realitzat, es pretén aconseguir la comprensió de les dades i l'a

Representations for Morphological Image Operators and Analogies with Linear Operators

1.1 Why a representation theory?...............................