A Knowledge Integration Framework for 3D Shape Reconstruction

The modern emergence of automation in many industries has given impetus to extensive research into mobile robotics. Novel perception technologies now enable cars to drive autonomously, tractors to till a field automatically and underwater robots to construct pipelines. An essential requirement to facilitate both perception and autonomous navigation is the analysis of the 3D environment using sensors like laser scanners or stereo cameras. 3D sensors generate a very large number of 3D data points in sampling object shapes within an environment, but crucially do not provide any intrinsic information about the environment in which the robots operate with. This means unstructured 3D samples must be processed by application-specific models to enable a robot, for instance, to detect and identify objects and infer the scene geometry for path-planning more efficiently than by using raw 3D data. This thesis specifically focuses on the fundamental task of 3D shape reconstruction and modelling by presenting a new knowledge integration framework for unstructured 3D samples. The novelty lies in the representation of surfaces by algebraic functions with limited support, which enables the extraction of smooth consistent shapes from noisy samples with a heterogeneous density. Moreover, many surfaces in urban environments can reasonably be assumed to be planar, and the framework exploits this knowledge to enable effective noise suppression without loss of detail. This is achieved by using a convex optimization technique which has linear computational complexity. Thus is much more efficient than existing solutions. The new framework has been validated by critical experimental analysis and evaluation and has been shown to increase the accuracy of the reconstructed shape significantly compared to state-of-the-art methods. Applying this new knowledge integration framework means that less accurate, low-cost 3D sensors can be employed without sacrificing the high demands that 3D perception must achieve. This links well into the area of robotic inspection, as for example regarding small drones that use inaccurate and lightweight image sensors

Variational Downscaling, Fusion and Assimilation of Hydrometeorological States via Regularized Estimation

Improved estimation of hydrometeorological states from down-sampled observations and background model forecasts in a noisy environment, has been a subject of growing research in the past decades. Here, we introduce a unified framework that ties together the problems of downscaling, data fusion and data assimilation as ill-posed inverse problems. This framework seeks solutions beyond the classic least squares estimation paradigms by imposing proper regularization, which are constraints consistent with the degree of smoothness and probabilistic structure of the underlying state. We review relevant regularization methods in derivative space and extend classic formulations of the aforementioned problems with particular emphasis on hydrologic and atmospheric applications. Informed by the statistical characteristics of the state variable of interest, the central results of the paper suggest that proper regularization can lead to a more accurate and stable recovery of the true state and hence more skillful forecasts. In particular, using the Tikhonov and Huber regularization in the derivative space, the promise of the proposed framework is demonstrated in static downscaling and fusion of synthetic multi-sensor precipitation data, while a data assimilation numerical experiment is presented using the heat equation in a variational setting

A regularization approach for reconstruction and visualization of 3-D data

Esta tesis trata sobre reconstrucción de superficies a partir de imágenes de rango utilizando algunas extensiones de la Regularización de Tikhonov, que produce Splines aplicables a datos en n dimensiones. La idea central es que estos splines se pueden obtener mediante la teoría de regularización, utilizando un equilibrio entre la suavidad y la fidelidad a los datos, por tanto, serán aplicables tanto en la interpolación como en la aproximación de datos exactos o ruidosos. En esta tesis proponemos un enfoque variacional que incluye los datos e información a priori acerca de la solución, dada en forma de funcionales. Solucionamos problemas de optimización que resultan ser una extensión de la teoría de Tikhonov, con el propósito de incluir funcionales con propiedades locales y globales que pueden ser ajustadas mediante parámetros de regularización. El a priori es analizado en términos de las propiedades físicas y geométricas de los funcionales para luego ser agregados a la formulación variacional. Los resultados obtenidos se prueban con datos para reconstrucción de superficies, mostrando notables propiedades de reproducción y aproximación. En particular, utilizamos la reconstrucción de superficies para ilustrar las aplicaciones prácticas, pero nuestro enfoque tiene muchas más aplicaciones. En el centro de nuestra propuesta esta la teoría general de problemas inversos y las aplicaciones de algunas ideas provenientes del análisis funcional. Los splines que obtenemos son combinaciones lineales de las soluciones fundamentales de ciertos operadores en derivadas parciales, frecuentes en la teoría de la elasticidad y no se hace ninguna suposición previa sobre el modelo estadístico de los datos de entrada, de manera que se pueden tomar en términos de una inferencia estadística no paramétrica. Estos splines son implementables en una forma muy estable y se pueden aplicar en problemas de interpolación y suavizado. / Abstract: This thesis is about surface reconstruction from range images using some extensions of Tikhonov regularization that produces splines applicable on n-dimensional data. The central idea is that these splines can be obtained by regularization theory, using a trade-off between fidelity to data and smoothness properties; as a consequence, they are applicable both in interpolation and approximation of exact or noisy data. We propose a variational framework that includes data and a priori information about the solution, given in the form of functionals. We solve optimization problems which are extensions of Tikhonov theory, in order to include functionals with local and global features that can be tuned by regularization parameters. The a priori is thought in terms of geometric and physical properties of functionals and then added to the variational formulation. The results obtained are tested on data for surface reconstruction, showing remarkable reproducing and approximating properties. In this case we use surface reconstruction to illustrate practical applications; nevertheless, our approach has many other applications. In the core of our approach is the general theory of inverse problems and the application of some abstract ideas from functional analysis. The splines obtained are linear combinations of certain fundamental solutions of partial differential operators from elasticity theory and no prior assumption is made on a statistical model for the input data, so it can be thought in terms of nonparametric statistical inference. They are implementable in a very stable form and can be applied for both interpolation and smoothing problems.Doctorad

Graph Spectral Image Processing

Recent advent of graph signal processing (GSP) has spurred intensive studies of signals that live naturally on irregular data kernels described by graphs (e.g., social networks, wireless sensor networks). Though a digital image contains pixels that reside on a regularly sampled 2D grid, if one can design an appropriate underlying graph connecting pixels with weights that reflect the image structure, then one can interpret the image (or image patch) as a signal on a graph, and apply GSP tools for processing and analysis of the signal in graph spectral domain. In this article, we overview recent graph spectral techniques in GSP specifically for image / video processing. The topics covered include image compression, image restoration, image filtering and image segmentation

Towards an Efficient Gas Exchange Monitoring with Electrical Impedance Tomography - Optimization and validation of methods to investigate and understand pulmonary blood flow with indicator dilution

In vielen Fällen sind bei Patienten, die unter stark gestörtem Gasaustausch der Lunge leiden, die regionale Lungenventilation und die Perfusion nicht aufeinander abgestimmt. Besonders bei Patienten mit akutem Lungenversagen sind sehr heterogene räumliche Verteilungen von Belüftung und Perfusion der Lunge zu beobachten. Diese Patienten müssen auf der Intensivstation künstlich beatmet und überwacht werden, um einen ausreichenden Gasaustausch sicherzustellen. Bei schweren Lungenverletzungen ist es schwierig, durch die Anwendung hoher Beatmungsdrücke und -volumina eine optimale Balance zwischen dem Rekrutieren kollabierter Regionen zu finden, und gleichzeitig die Lunge vor weiterem Schaden durch die von außen angelegten Drücke zu schützen. Das Interesse für eine bettseitige Messung und Darstellung der regionalen Belüftungs- und Perfusionsverteilung für den Einsatz auf der Intensivstation ist in den letzten Jahren stark gestiegen, um eine lungenprotektive Beatmung zu ermöglichen und klinische Diagnosen zu vereinfachen. Die Elektrische-Impedanztomographie (EIT) ist ein nicht-invasives, strahlungsfreies und sehr mobil einsetzbares System. Es bietet eine hohe zeitliche Abtastung und eine funktionelle räumliche Auflösung, die es ermöglicht, dynamische (patho-) physiologische Prozesse zu visualisieren und zu überwachen. Die medizinische Forschung an EIT hat sich dabei hauptsächlich auf die Schätzung der räumlichen Belüftung konzentriert. Kommerziell erhältliche Systeme haben gezeigt, dass die EIT eine wertvolle Entscheidungshilfe während der mechanischen Beatmung darstellt. Allerdings ist die Abschätzung der pulmonalen Perfusion mit EIT noch nicht etabliert. Dies könnte das fehlende Glied sein, um die Analyse des pulmonalen Gasaustauschs am Krankenbett zu ermöglichen. Obwohl einige Publikationen die prinzipielle Machbarkeit der indikatorgestützten EIT zur Schätzung der räumlichen Verteilung des pulmonalen Blutflusses gezeigt haben, müssen diese Methoden optimiert und durch Vergleich mit dem Goldstandard des Lungenperfusions-Monitorings validiert werden. Darüber hinaus ist weitere Forschung notwendig, um zu verstehen welche physiologischen Informationen der EIT-Perfusionsschätzung zugrunde liegen. Mit der vorliegenden Arbeit soll die Frage beantwortet werden, ob bei der klinischen Anwendung von EIT neben der regionalen Belüftung auch räumliche Informationen des pulmonalen Blutflusses geschätzt werden können, um damit potenziell den pulmonalen Gasaustausch am Krankenbett beurteilen zu können. Die räumliche Verteilung der Perfusion wurde durch Bolusinjektion einer leitfähigen Kochsalzlösung als Indikator geschätzt, um die Verteilung des Indikators während seines Durchgangs durch das Gefäßsystem der Lunge zu verfolgen. Verschiedene dynamische EIT-Rekonstruktionsmethoden und Perfusionsparameter Schätzmethoden wurden entwickelt und verglichen, um den pulmonalen Blutfluss robust beurteilen zu können. Die geschätzten regionalen EIT-Perfusionsverteilungen wurden gegen Goldstandard Messverfahren der Lungenperfusion validiert. Eine erste Validierung wurde anhand von Daten einer tierexperimentellen Studie durchgeführt, bei der die Multidetektor-Computertomographie als vergleichende Lungenperfusionsmessung verwendet wurde. Darüber hinaus wurde im Rahmen dieser Arbeit eine umfassende präklinische Tierstudie durchgeführt, um die Lungenperfusion mit indikatorverstärkter EIT und Positronen-Emissions-Tomographie während mehrerer verschiedener experimenteller Zustände zu untersuchen. Neben einem gründlichen Methodenvergleich sollte die klinische Anwendbarkeit der indikatorgestützten EIT-Perfusionsmessung untersucht werden, indem wir vor allem die minimale Indikatorkonzentration analysierten, die eine robuste Perfusionsschätzung erlaubte und den geringsten Einfluss für den Patienten darstellt. Neben den experimentellen Validierungsstudien wurden zwei in-silico-Untersuchungen durchgeführt, um erstens die Sensitivität von EIT gegenüber des Durchgangs eines leitfähigen Indikators durch die Lunge vor stark heterogenem pulmonalen Hintergrund zu bewerten. Zweitens untersuchten wir die physiologischen Einflüsse, die zu den rekonstruierten EITPerfusionsbildern beitragen, um die Limitationen der Methode besser zu verstehen. Die Analysen zeigten, dass die Schätzung der Lungenperfusion auf der Basis der indikatorverstärkten EIT ein großes Potenzial für die Anwendung in der klinischen Praxis aufweist, da wir sie mit zwei Goldstandard-Perfusionsmesstechniken validieren konnten. Zudem konnten wertvolle Schlüsse über die physiologischen Einflüsse auf die geschätzten EIT Perfusionsverteilungen gezogen werden

Methods for the Electrical Impedance Tomography Inverse Problem: Deep Learning and Regularization with Wavelets

Electrical impedance tomography, also known as EIT, is a type of diffusive imaging modality that is non-invasive, radiation-free, and cost-effective for recovering electrical properties within a closed domain from surface measurements. The process involves injecting electrical current into a set of electrodes to measure the voltage on the smooth surface of the domain. The recovered EIT images show how well different materials or tissues within the domain conduct or impede electrical flow, which is helpful in detecting and locating anomalies. For the EIT inverse problem, it is challenging to recover reliable and resolvable electrical conductivity images since it is highly nonlinear and severely ill-posed, especially when the data is corrupted with noise. To address this issue, we propose (1) a wavelet-based modified Gauss-Newton (WGN) method that uses wavelets as a form of regularization and parameter reduction. In (1), we enforce regularization through the use of wavelet coefficients by projecting the original formulation to the wavelet domain and then only retaining the wavelet coefficients of highest power. The projected wavelet formulation is of a smaller dimension and, therefore, shows promise in improving the ill-posedness of the EIT inverse problem. Different wavelet families are implemented to capture localized features, smoothness, and irregularities within the domain. In addition, we also propose (2) a novel deep learning algorithm to solve the EIT inverse problem. In (2), we develop a deep neural network (DNN) with multiple transposed convolutional layers and activation functions to recover the EIT images. The DNN is first trained on a large set of EIT images and data, and then we recover EIT images in real-time from the trained DNN. We compare the image reconstructions from the DNN with a benchmark algorithm. For model validation, we employed a set of synthetic examples with various anomalies to test the performance and efficacy of both the DNN and WGN method. The results from both methods show promise in improving EIT image reconstructions

Shrunken Locally Linear Embedding for Passive Microwave Retrieval of Precipitation

This paper introduces a new Bayesian approach to the inverse problem of passive microwave rainfall retrieval. The proposed methodology relies on a regularization technique and makes use of two joint dictionaries of coincidental rainfall profiles and their corresponding upwelling spectral radiative fluxes. A sequential detection-estimation strategy is adopted, which basically assumes that similar rainfall intensity values and their spectral radiances live close to some sufficiently smooth manifolds with analogous local geometry. The detection step employs a nearest neighborhood classification rule, while the estimation scheme is equipped with a constrained shrinkage estimator to ensure stability of retrieval and some physical consistency. The algorithm is examined using coincidental observations of the active precipitation radar (PR) and passive microwave imager (TMI) on board the Tropical Rainfall Measuring Mission (TRMM) satellite. We present promising results of instantaneous rainfall retrieval for some tropical storms and mesoscale convective systems over ocean, land, and coastal zones. We provide evidence that the algorithm is capable of properly capturing different storm morphologies including high intensity rain-cells and trailing light rainfall, especially over land and coastal areas. The algorithm is also validated at an annual scale for calendar year 2013 versus the standard (version 7) radar (2A25) and radiometer (2A12) rainfall products of the TRMM satellite