Diffusion, methods and applications

Tesis doctoral inédita leída en la Universidad Autónoma de Madrid, Escuela Politécnica Superior, Departamento de Ingeniería Informática. Fecha de lectura: junio de 2014Big Data, an important problem nowadays, can be understood in terms of a very large number of patterns, a very large pattern dimension or, often, both. In this thesis, we will concentrate on the high dimensionality issue, applying manifold learning techniques for visualizing and analyzing such patterns. The core technique will be Di usion Maps (DM) and its Anisotropic Di usion (AD) version, introduced by Ronald R. Coifman and his school at Yale University, and of which we will give a complete, systematic, compact and self-contained treatment. This will be done after a brief survey of previous manifold learning methods. The algorithmic contributions of the thesis will be centered in two computational challenges of di usion methods: the potential high cost of the similarity matrix eigenanalysis that is needed to define the di usion embedding coordinates, and the di culty of computing this embedding over new patterns not available for the initial eigenanalysis. With respect to the first issue, we will show how the AD set up can be used to skip it when looking for local models. In this case, local patterns will be selected through a k-Nearest Neighbors search using a properly defined local Mahalanobis distance, that enables neighbors to be found over the latent variable space underlying the AD model while we can work directly with the observable patterns and, thus, avoiding the potentially costly similarity matrix eigenanalysis. The second proposed algorithm, that we will call Auto-adaptative Laplacian Pyramids (ALP), focuses in the out-of-sample embedding extension and consists in a modification of the classical Laplacian Pyramids (LP) method. In this new algorithm the LP iterations will be combined with an estimate of the Leave One Out CV error, something that makes possible to directly define during training a criterion to estimate the optimal stopping point of this iterative algorithm. This thesis will also present several application contributions to important problems in renewable energy and medical imaging. More precisely, we will show how DM is a good method for dimensionality reduction of meteorological weather predictions, providing tools to visualize and describe these data, as well as to cluster them in order to define local models. In turn, we will apply our AD-based localized search method first to find the location in the human body of CT scan images and then to predict wind energy ramps on both individual farms and over the whole of Spain. We will see that, in both cases, our results improve on the current state of the art methods. Finally, we will compare our ALP proposal with the well-known Nyström method as well as with LP on two large dimensional problems, the time compression of meteorological data and the analysis of meteorological variables relevant in daily radiation forecasts. In both cases we will show that ALP compares favorably with the other approaches for out-of-sample extension problemsBig Data es un problema importante hoy en día, que puede ser entendido en términos de un amplio número de patrones, una alta dimensión o, como sucede normalmente, de ambos. Esta tesis se va a centrar en problemas de alta dimensión, aplicando técnicas de aprendizaje de subvariedades para visualizar y analizar dichos patrones. La técnica central será Di usion Maps (DM) y su versión anisotrópica, Anisotropic Di usion (AD), introducida por Ronald R. Coifman y su escuela en la Universidad de Yale, la cual va a ser tratada de manera completa, sistemática, compacta y auto-contenida. Esto se llevará a cabo tras un breve repaso de métodos previos de aprendizaje de subvariedades. Las contribuciones algorítmicas de esta tesis estarán centradas en dos de los grandes retos en métodos de difusión: el potencial alto coste que tiene el análisis de autovalores de la matriz de similitud, necesaria para definir las coordenadas embebidas; y la dificultad para calcular este mismo embedding sobre nuevos datos que no eran accesibles cuando se realizó el análisis de autovalores inicial. Respecto al primer tema, se mostrará cómo la aproximación AD se puede utilizar para evitar el cálculo del embedding cuando estamos interesados en definir modelos locales. En este caso, se seleccionarán patrones cercanos por medio de una búsqueda de vecinos próximos (k-NN), usando como distancia una medida de Mahalanobis local que permita encontrar vecinos sobre las variables latentes existentes bajo el modelo de AD. Todo esto se llevará a cabo trabajando directamente sobre los patrones observables y, por tanto, evitando el costoso cálculo que supone el cálculo de autovalores de la matriz de similitud. El segundo algoritmo propuesto, que llamaremos Auto-adaptative Laplacian Pyramids (ALP), se centra en la extensión del embedding para datos fuera de la muestra, y se trata de una modificación del método denominado Laplacian Pyramids (LP). En este nuevo algoritmo, las iteraciones de LP se combinarán con una estimación del error de Leave One Out CV, permitiendo definir directamente durante el periodo de entrenamiento, un criterio para estimar el criterio de parada óptimo para este método iterativo. En esta tesis se presentarán también una serie de contribuciones de aplicación de estas técnicas a importantes problemas en energías renovables e imágenes médicas. Más concretamente, se muestra como DM es un buen método para reducir la dimensión de predicciones del tiempo meteorológico, sirviendo por tanto de herramienta de visualización y descripción, así como de clasificación de los datos con vistas a definir modelos locales sobre cada grupo descrito. Posteriormente, se aplicará nuestro método de búsqueda localizada basado en AD tanto a la búsqueda de la correspondiente posición de tomografías en el cuerpo humano, como para la detección de rampas de energía eólica en parques individuales o de manera global en España. En ambos casos se verá como los resultados obtenidos mejoran los métodos del estado del arte actual. Finalmente se comparará el algoritmo de ALP propuesto frente al conocido método de Nyström y al método de LP, en dos problemas de alta dimensión: el problema de compresión temporal de datos meteorológicos y el análisis de variables meteorológicas relevantes para la predicción de la radiación diaria. En ambos casos se mostrará cómo ALP es comparativamente mejor que otras aproximaciones existentes para resolver el problema de extensión del embedding a puntos fuera de la muestr

Image Stitching

Projecte final de carrera fet en col.laboració amb University of Limerick. Department of Electronic and Computer EngineeringEnglish: Image processing is any form of signal processing for which the input is an image, such as a photograph or video frame; the output of image processing may be either an image or, a set of characteristics or parameters related to the image. Most image processing techniques involve treating the image as a two-dimensional signal and applying standard signal processing techniques to it. Specifically, image stitching presents different stages to render two or more overlapping images into a seamless stitched image, from the detection of features to blending in a final image. In this process, Scale Invariant Feature Transform (SIFT) algorithm can be applied to perform the detection and matching control points step, due to its good properties. The process of create an automatic and effective whole stitching process leads to analyze different methods of the stitching stages. Several commercial and online software tools are available to perform the stitching process, offering diverse options in different situations. This analysis involves the creation of a script to deal with images and project data files. Once the whole script is generated, the stitching process is able to achieve an automatic execution allowing good quality results in the final composite image.Castellano: Procesado de imagen es cualquier tipo de procesado de señal en aquel que la entrada es una imagen, como una fotografía o fotograma de video; la salida puede ser una imagen o conjunto de características y parámetros relacionados con la imagen. Muchas de las técnicas de procesado de imagen implican un tratamiento de la imagen como señal en dos dimensiones, y para ello se aplican técnicas estándar de procesado de señal. Concretamente, la costura o unión de imágenes presenta diferentes etapas para unir dos o más imágenes superpuestas en una imagen perfecta sin costuras, desde la detección de puntos clave en las imágenes hasta su mezcla en la imagen final. En este proceso, el algoritmo Scale Invariant Feature Transform (SIFT) puede ser aplicado para desarrollar la fase de detección y selección de correspondencias entre imágenes debido a sus buenas cualidades. El desarrollo de la creación de un completo proceso de costura automático y efectivo, pasa por analizar diferentes métodos de las etapas del cosido de las imágenes. Varios software comerciales y gratuitos son capaces de llevar a cabo el proceso de costura, ofreciendo diferentes alternativas en distintas situaciones. Este análisis implica la creación de una secuencia de comandos que trabaja con las imágenes y con archivos de datos del proyecto generado. Una vez esta secuencia es creada, el proceso de cosido de imágenes es capaz de lograr una ejecución automática permitiendo unos resultados de calidad en la imagen final.Català: Processament d'imatge és qualsevol tipus de processat de senyal en aquell que l'entrada és una imatge, com una fotografia o fotograma de vídeo, i la sortida pot ser una imatge o conjunt de característiques i paràmetres relacionats amb la imatge. Moltes de les tècniques de processat d'imatge impliquen un tractament de la imatge com a senyal en dues dimensions, i per això s'apliquen tècniques estàndard de processament de senyal. Concretament, la costura o unió d'imatges presenta diferents etapes per unir dues o més imatges superposades en una imatge perfecta sense costures, des de la detecció de punts clau en les imatges fins a la seva barreja en la imatge final. En aquest procés, l'algoritme Scale Invariant Feature Transform (SIFT) pot ser aplicat per desenvolupar la fase de detecció i selecció de correspondències entre imatges a causa de les seves bones qualitats. El desenvolupament de la creació d'un complet procés de costura automàtic i efectiu, passa per analitzar diferents mètodes de les etapes del cosit de les imatges. Diversos programari comercials i gratuïts són capaços de dur a terme el procés de costura, oferint diferents alternatives en diverses situacions. Aquesta anàlisi implica la creació d'una seqüència de commandes que treballa amb les imatges i amb arxius de dades del projecte generat. Un cop aquesta seqüència és creada, el procés de cosit d'imatges és capaç d'aconseguir una execució automàtica permetent uns resultats de qualitat en la imatge final

Décomposition modale empirique et décomposition spectrale intrinsèque : applications en traitement du signal et de l’image

In this thesis, it is about a study on the time-frequency, time-scale analysis methods and more particularly on Empirical Mode Decomposition (EMD), by first a course on traditional methods from Fourier analysis to wavelets, including the multiresolution representation. The need for precision measurements both in time space and in frequency space has always been a major preoccupation. In fact, the Fourier transformation does not reconcile the frequency description and location in time. The Short-Term Fourier Transform (STFT) and its derivatives - including the spectrogram - have long been the most used in practical applications. It must be recognized that despite its many attractive aspects, these technics are naturally limited by the fact that they were ineffective for non-stationary signals analysis. The wavelet transform has been very successful in recent decades with the large number of its applications in signal and image processing. Despite its effectiveness in the representation and manipulation of signals, even non-stationary, a priori knowledge about the signal to be decomposed is necessary for an appropriate wavelet choice for each type of signal. The empirical mode decomposition (EMD) is a decomposition method of non-stationary or from non-linear systems signals, in an amount of modes, each mode being localized in frequency. This decomposition is associated with a Hilbert-Huang transformation (HHT) to locally extract instantaneous amplitude and instantaneous frequency. It is similar to the wavelet decomposition with the added benefit that constitutes its auto-adaptability. In the remainder of this work, we introduced a new decomposition method based on a spectral decomposition of an interpolation intrinsic operator. The new method called Spectral Decomposition Intrinsic (SID) is auto-adaptive and is more general than the basic principle of Empirical Mode Decomposition. The SID method can produce a dictionary of Spectral Proper Mode Functions (SPMF) that are similar to atoms in sparse representationsDans cette thèse, il est question d'une étude sur les méthodes d'analyse temps fréquence, temps échelle et plus particulièrement sur la décomposition modale empirique en faisant d'abord un parcours sur les méthodes traditionnelles, de l'analyse de Fourier à la transformée en ondelettes, notamment la représentation multi-résolution. Le besoin d'une précision sur les mesures aussi bien dans l'espace temporel que dans l'espace fréquentiel a toujours été une préoccupation majeure. En fait, la transformation de Fourier ne permet pas de concilier la description fréquentielle et la localisation dans le temps. La transformée de Fourier à court terme (TFCT) et ses dérivées - notamment le spectrogramme - ont depuis longtemps été les méthodes temps-fréquence les plus utilisées dans les applications pratiques. Il faut cependant reconnaître que malgré ses nombreux aspects séduisants, ces techniques sont naturellement limitées par le fait qu'elles se sont montrées inefficaces pour l'analyse de signaux non-stationnaires. La transformée en ondelettes a connu un grand succès ces dernières décennies avec le nombre important de ses applications en traitement du signal et de l'image. Malgré son efficacité dans la représentation et la manipulation des signaux, même non-stationnaires, une connaissance a priori sur le signal à décomposer est nécessaire pour un choix d'ondelette adéquat à chaque type de signal. La décomposition modale empirique - EMD pour Empirical Mode Decomposition - est une méthode de décomposition de signaux non-stationnaires ou issus de systèmes non linéaires, en une somme de modes, chaque mode étant localisé en fréquence. Cette décomposition est associée à une transformation de Hilbert-Huang (HHT) dans le but d'extraire localement une fréquence instantanée et une amplitude instantanée. Elle s'apparente à la décomposition en ondelettes avec l'avantage supplémentaire que constitue son auto-adaptabilité. Dans la suite de ces travaux, nous avons introduit une nouvelle méthode de décomposition basée sur une décomposition spectrale d'un opérateur d'interpolation basé sur les équations aux dérivées partielles. La nouvelle méthode appelée Décomposition Spectrale Intrinsèque, - SID, pour Spectrale Intrinsic Decomposition - est auto-adaptative et est plus générale que le principe de base de la Décomposition Modale Empirique. La méthode SID permet de produire un dictionnaire de Fonction Mode Spectrale Propre, en - anglais Spectral Proper Mode Function (SPMF) - qui sont semblables à des atomes dans les représentations parcimonieuse

New contributions in overcomplete image representations inspired from the functional architecture of the primary visual cortex = Nuevas contribuciones en representaciones sobrecompletas de imágenes inspiradas por la arquitectura funcional de la corteza visual primaria

The present thesis aims at investigating parallelisms between the functional architecture of primary visual areas and image processing methods. A first objective is to refine existing models of biological vision on the base of information theory statements and a second is to develop original solutions for image processing inspired from natural vision. The available data on visual systems contains physiological and psychophysical studies, Gestalt psychology and statistics on natural images The thesis is mostly centered in overcomplete representations (i.e. representations increasing the dimensionality of the data) for multiple reasons. First because they allow to overcome existing drawbacks of critically sampled transforms, second because biological vision models appear overcomplete and third because building efficient overcomplete representations raises challenging and actual mathematical problems, in particular the problem of sparse approximation. The thesis proposes first a self-invertible log-Gabor wavelet transformation inspired from the receptive field and multiresolution arrangement of the simple cells in the primary visual cortex (V1). This transform shows promising abilities for noise elimination. Second, interactions observed between V1 cells consisting in lateral inhibition and in facilitation between aligned cells are shown efficient for extracting edges of natural images. As a third point, the redundancy introduced by the overcompleteness is reduced by a dedicated sparse approximation algorithm which builds a sparse representation of the images based on their edge content. For an additional decorrelation of the image information and for improving the image compression performances, edges arranged along continuous contours are coded in a predictive manner through chains of coefficients. This offers then an efficient representation of contours. Fourth, a study on contour completion using the tensor voting framework based on Gestalt psychology is presented. There, the use of iterations and of the curvature information allow to improve the robustness and the perceptual quality of the existing method. La presente tesis doctoral tiene como objetivo indagar en algunos paralelismos entre la arquitectura funcional de las áreas visuales primarias y el tratamiento de imágenes. Un primer objetivo consiste en mejorar los modelos existentes de visión biológica basándose en la teoría de la información. Un segundo es el desarrollo de nuevos algoritmos de tratamiento de imágenes inspirados de la visión natural. Los datos disponibles sobre el sistema visual abarcan estudios fisiológicos y psicofísicos, psicología Gestalt y estadísticas de las imágenes naturales. La tesis se centra principalmente en las representaciones sobrecompletas (i.e. representaciones que incrementan la dimensionalidad de los datos) por las siguientes razones. Primero porque permiten sobrepasar importantes desventajas de las transformaciones ortogonales; segundo porque los modelos de visión biológica necesitan a menudo ser sobrecompletos y tercero porque construir representaciones sobrecompletas eficientes involucra problemas matemáticos relevantes y novedosos, en particular el problema de las aproximaciones dispersas. La tesis propone primero una transformación en ondículas log-Gabor auto-inversible inspirada del campo receptivo y la organización en multiresolución de las células simples del cortex visual primario (V1). Esta transformación ofrece resultados prometedores para la eliminación del ruido. En segundo lugar, las interacciones observadas entre las células de V1 que consisten en la inhibición lateral y en la facilitación entre células alineadas se han mostrado eficientes para extraer los bordes de las imágenes naturales. En tercer lugar, la redundancia introducida por la transformación sobrecompleta se reduce gracias a un algoritmo dedicado de aproximación dispersa el cual construye una representación dispersa de las imágenes sobre la base de sus bordes. Para una decorrelación adicional y para conseguir más altas tasas de compresión, los bordes alineados a lo largo de contornos continuos están codificado de manera predictiva por cadenas de coeficientes, lo que ofrece una representacion eficiente de los contornos. Finalmente se presenta un estudio sobre el cierre de contornos utilizando la metodología de tensor voting. Proponemos el uso de iteraciones y de la información de curvatura para mejorar la robustez y la calidad perceptual de los métodos existentes

A hierarchical approach with triangulated surfaces for 3D data segmentation

This article presents a new algorithm for segmenting three-dimensional images . It is based on a dynamic triangulated surface an d on a pyramidal representation . The triangulated surface, which follows a physical modelization and which can as well modify its geometry as its topology, segments images into their components by altering its shape according to internal and externa l constraints . In order to speed up the whole process, an algorithm of pyramid building with any reduction factor allows us t o transform the image into a set of images with progressive resolutions . This organization into a hierarchy, combined with a model that can adapt its mesh refinement to the resolution of the workspace, authorizes a fast estimation of the general forms included i n the image. After that, the model searches for finer and finer details while relying successively on the different levels of the pyramid.Ce travail présente un algorithme de segmentation d'images tridimensionnelles par utilisation de surfaces triangulées et de pyramides. Une triangulation de surface dynamique, dotée d'une modélisation physique et capable de changer sa topologie, va, en se déformant suivant certaines contraintes, segmenter l'image en ses constituants. Afin d'accélérer le processus, un algorithme de construction de pyramide de facteur de réduction quelconque permet de transformer l'image en un ensemble d'images de résolution progressive. Cette hiérarchisation, couplée à un modèle capable d'adapter la précision de sa maille à la résolution de son espace de travail, permet d'estimer très rapidement les formes générales contenues dans une image. Une fois ceci fait, le modèle recherche les détails de plus en plus petits en s'appuyant successivement sur les différents niveaux de la pyramide

Advancements and Breakthroughs in Ultrasound Imaging

Ultrasonic imaging is a powerful diagnostic tool available to medical practitioners, engineers and researchers today. Due to the relative safety, and the non-invasive nature, ultrasonic imaging has become one of the most rapidly advancing technologies. These rapid advances are directly related to the parallel advancements in electronics, computing, and transducer technology together with sophisticated signal processing techniques. This book focuses on state of the art developments in ultrasonic imaging applications and underlying technologies presented by leading practitioners and researchers from many parts of the world