A Variational Bayesian Superresolution Approach Using Adaptive Image Prior Model

The objective of superresolution is to reconstruct a high-resolution image by using the information of a set of low-resolution images. Recently, the variational Bayesian superresolution approach has been widely used. However, these methods cannot preserve edges well while removing noises. For this reason, we propose a new image prior model and establish a Bayesian superresolution reconstruction algorithm. In the proposed prior model, the degree of interaction between pixels is adjusted adaptively by an adaptive norm, which is derived based on the local image features. Moreover, in this paper, a monotonically decreasing function is used to calculate and update the single parameter, which is used to control the severity of penalizing image gradients in the proposed prior model. Thus, the proposed prior model is adaptive to the local image features thoroughly. With the proposed prior model, the edge details are preserved and noises are reduced simultaneously. A variational Bayesian inference is employed in this paper, and the formulas for calculating all the variables including the HR image, motion parameters, and hyperparameters are derived. These variables are refined progressively in an iterative manner. Experimental results show that the proposed SR approach is very efficient when compared to existing approaches

Facial Texture Super-Resolution by Fitting 3D Face Models

This book proposes to solve the low-resolution (LR) facial analysis problem with 3D face super-resolution (FSR). A complete processing chain is presented towards effective 3D FSR in real world. To deal with the extreme challenges of incorporating 3D modeling under the ill-posed LR condition, a novel workflow coupling automatic localization of 2D facial feature points and 3D shape reconstruction is developed, leading to a robust pipeline for pose-invariant hallucination of the 3D facial texture

Super-Resolution-Techniken zur Steigerung des lateralen Auflösungsvermögens von 3D-PMD-Kameras

PMD-Kameras ermöglichen die 3D-Bilderfassung in Echtzeit und liefern robuste Aufnahmen auch bei schwierigen Lichtverhältnissen. Allerdings limitiert deren geringe Bildauflösung die Detektion kleiner Objekte erheblich. Unter dem Einsatz rechnergestützter Bildverarbeitung verschieben Super-Resolution-Techniken (SR) diese Grenze hin zu einem höheren lateralen Auflösungsvermögen, ohne dabei die spezifischen Eigenschaften des Sensors zu verändern. In der Literatur wird die Leistungsfähigkeit von SR-Methoden mit Rauschanalysen bewertet, indem die SR-Ergebnisse mit ihrem fehlerfreien Ground-Truth-Referenzbild (GT) verglichen werden. Dabei beschränken sich die SR-Methoden zumeist auf definierte Anwendungsfälle und deren Auswertungen auf synthetisch erzeugte Datensätze, ohne die Auflösungssteigerung am realen Aufbau zu verifizieren. Mit dieser Arbeit wird eine generische SR-Methode auf eine echte, niedrig auflösende PMD-Kamera appliziert, die für den Einsatz im Außenbereich konzipiert ist und eine Bildauflösung von lediglich 64 x 16 Bildpunkten aufweist. Zunächst erfolgen simulative Untersuchungen von drei aktuellen SR-Techniken hinsichtlich deren Eignung zur generischen Steigerung der lateralen Ortsauflösung einer PMD-Kamera: 1) KI-lernbasierte Single Image SR (SISR) 2) Inkohärente Fourier Ptychographie (FP) 3) Subpixel-Shift SR (SpS-SR) Ein Vergleich der Simulationsergebnisse zeigt Vorteile für die SpS-SR, sodass diese mit einem neuartigen Lens-Shift-Aufbau in die praktische Anwendung überführt wird. Die geringe Bildauflösung der eingesetzten PMD-Kamera schließt die Bewertung der SR-Ergebnisse nach einer klassischen Rauschanalyse aus. Stattdessen wird die erreichte Bildqualität im SR-Amplitudenbild nach dem optischen Auflösungsvermögen in Linienpaaren pro Pixel [LP/mm] bewertet. Dieses Absolutmaß gewährleistet eine Vergleichbarkeit der SR-Ergebnisse aus Simulation und Messung auch für Kameras, von denen keine hochauflösenden GT-Bilder existieren. Letztlich zeigt diese Arbeit die Möglichkeiten und Grenzen der Auflösungssteigerung mit SR-Methoden in der praktischen Anwendung für den spezifischen Anwendungsfall bei PMD-Kameras auf. Darüber hinaus bildet der hier vorgestellte Lens-Shift-Aufbau die Basis zur flexiblen und kostengünstigen Auflösungssteigerung digitaler Kameras im Allgemeinen, wie sie die bildverarbeitende Optik-Industrie immer häufiger fordert.PMD-Kameras ermöglichen die 3D-Bilderfassung in Echtzeit und liefern robuste Aufnahmen auch bei schwierigen Lichtverhältnissen. Allerdings limitiert deren geringe Bildauflösung die Detektion kleiner Objekte erheblich. Unter dem Einsatz rechnergestützter Bildverarbeitung verschieben Super-Resolution-Techniken (SR) diese Grenze hin zu einem höheren lateralen Auflösungsvermögen, ohne dabei die spezifischen Eigenschaften des Sensors zu verändern. In der Literatur wird die Leistungsfähigkeit von SR-Methoden mit Rauschanalysen bewertet, indem die SR-Ergebnisse mit ihrem fehlerfreien Ground-Truth-Referenzbild (GT) verglichen werden. Dabei beschränken sich die SR-Methoden zumeist auf definierte Anwendungsfälle und deren Auswertungen auf synthetisch erzeugte Datensätze, ohne die Auflösungssteigerung am realen Aufbau zu verifizieren. Mit dieser Arbeit wird eine generische SR-Methode auf eine echte, niedrig auflösende PMD-Kamera appliziert, die für den Einsatz im Außenbereich konzipiert ist und eine Bildauflösung von lediglich 64 x 16 Bildpunkten aufweist. Zunächst erfolgen simulative Untersuchungen von drei aktuellen SR-Techniken hinsichtlich deren Eignung zur generischen Steigerung der lateralen Ortsauflösung einer PMD-Kamera: 1) KI-lernbasierte Single Image SR (SISR) 2) Inkohärente Fourier Ptychographie (FP) 3) Subpixel-Shift SR (SpS-SR) Ein Vergleich der Simulationsergebnisse zeigt Vorteile für die SpS-SR, sodass diese mit einem neuartigen Lens-Shift-Aufbau in die praktische Anwendung überführt wird. Die geringe Bildauflösung der eingesetzten PMD-Kamera schließt die Bewertung der SR-Ergebnisse nach einer klassischen Rauschanalyse aus. Stattdessen wird die erreichte Bildqualität im SR-Amplitudenbild nach dem optischen Auflösungsvermögen in Linienpaaren pro Pixel [LP/mm] bewertet. Dieses Absolutmaß gewährleistet eine Vergleichbarkeit der SR-Ergebnisse aus Simulation und Messung auch für Kameras, von denen keine hochauflösenden GT-Bilder existieren. Letztlich zeigt diese Arbeit die Möglichkeiten und Grenzen der Auflösungssteigerung mit SR-Methoden in der praktischen Anwendung für den spezifischen Anwendungsfall bei PMD-Kameras auf. Darüber hinaus bildet der hier vorgestellte Lens-Shift-Aufbau die Basis zur flexiblen und kostengünstigen Auflösungssteigerung digitaler Kameras im Allgemeinen, wie sie die bildverarbeitende Optik-Industrie immer häufiger fordert

Machine Learning Algorithms for Robotic Navigation and Perception and Embedded Implementation Techniques

L'abstract è presente nell'allegato / the abstract is in the attachmen

Optical System Identification for Passive Electro-Optical Imaging

A statistical inverse-problem approach is presented for jointly estimating camera blur from aliased data of a known calibration target. Specifically, a parametric Maximum Likelihood (ML) PSF estimate is derived for characterizing a camera's optical imperfections through the use of a calibration target in an otherwise loosely controlled environment. The unknown parameters are jointly estimated from data described by a physical forward-imaging model, and this inverse-problem approach allows one to accommodate all of the available sources of information jointly. These sources include knowledge of the forward imaging process, the types and sources of statistical uncertainty, available prior information, and the data itself. The forward model describes a broad class of imaging systems based on a parameterization with a direct mapping between its parameters and physical imaging phenomena. The imaging perspective, ambient light-levels, target-reflectance, detector gain and offset, quantum-efficiency, and read-noise levels are all treated as nuisance parameters. The Cram'{e}r-Rao Bound (CRB) is derived under this joint model, and simulations demonstrate that the proposed estimator achieves near-optimal MSE performance. Finally, the proposed method is applied to experimental data to validate both the fidelity of the forward-models, as well as to establish the utility of the resulting ML estimates for both system identification and subsequent image restoration.PHDElectrical Engineering: SystemsUniversity of Michigan, Horace H. Rackham School of Graduate Studieshttps://deepblue.lib.umich.edu/bitstream/2027.42/153395/1/jwleblan_1.pd