Correspondence problems in computer vision : novel models, numerics, and applications

Correspondence problems like optic flow belong to the fundamental problems in computer vision. Here, one aims at finding correspondences between the pixels in two (or more) images. The correspondences are described by a displacement vector field that is often found by minimising an energy (cost) function. In this thesis, we present several contributions to the energy-based solution of correspondence problems: (i) We start by developing a robust data term with a high degree of invariance under illumination changes. Then, we design an anisotropic smoothness term that works complementary to the data term, thereby avoiding undesirable interference. Additionally, we propose a simple method for determining the optimal balance between the two terms. (ii) When discretising image derivatives that occur in our continuous models, we show that adapting one-sided upwind discretisations from the field of hyperbolic differential equations can be beneficial. To ensure a fast solution of the nonlinear system of equations that arises when minimising the energy, we use the recent fast explicit diffusion (FED) solver in an explicit gradient descent scheme. (iii) Finally, we present a novel application of modern optic flow methods where we align exposure series used in high dynamic range (HDR) imaging. Furthermore, we show how the alignment information can be used in a joint super-resolution and HDR method.Korrespondenzprobleme wie der optische Fluß, gehören zu den fundamentalen Problemen im Bereich des maschinellen Sehens (Computer Vision). Hierbei ist das Ziel, Korrespondenzen zwischen den Pixeln in zwei (oder mehreren) Bildern zu finden. Die Korrespondenzen werden durch ein Verschiebungsvektorfeld beschrieben, welches oft durch Minimierung einer Energiefunktion (Kostenfunktion) gefunden wird. In dieser Arbeit stellen wir mehrere Beiträge zur energiebasierten Lösung von Korrespondenzproblemen vor: (i) Wir beginnen mit der Entwicklung eines robusten Datenterms, der ein hohes Maß an Invarianz unter Beleuchtungsänderungen aufweißt. Danach entwickeln wir einen anisotropen Glattheitsterm, der komplementär zu dem Datenterm wirkt und deshalb keine unerwünschten Interferenzen erzeugt. Zusätzlich schlagen wir eine einfache Methode vor, die es erlaubt die optimale Balance zwischen den beiden Termen zu bestimmen. (ii) Im Zuge der Diskretisierung von Bildableitungen, die in unseren kontinuierlichen Modellen auftauchen, zeigen wir dass es hilfreich sein kann, einseitige upwind Diskretisierungen aus dem Bereich hyperbolischer Differentialgleichungen zu übernehmen. Um eine schnelle Lösung des nichtlinearen Gleichungssystems, dass bei der Minimierung der Energie auftaucht, zu gewährleisten, nutzen wir den kürzlich vorgestellten fast explicit diffusion (FED) Löser im Rahmen eines expliziten Gradientenabstiegsschemas. (iii) Schließlich stellen wir eine neue Anwendung von modernen optischen Flußmethoden vor, bei der Belichtungsreihen für high dynamic range (HDR) Bildgebung registriert werden. Außerdem zeigen wir, wie diese Registrierungsinformation in einer kombinierten super-resolution und HDR Methode genutzt werden kann

Linear scale-spaces in image processing: drift-diffusion and connections to mathematical morphology

Auf Skalenräumen basierende Ideen sind aus dem heutigen Alltag nicht mehr wegzudenken. Wir beginnen mit einem auf der homogenen Diffusionsgleichung aufbauenden Skalenraum und verfolgen zwei Strategien zur Konstruktion neuer Skalenräume. Als erstes beweisen wir, dass der lineare Osmosefilter, welcher auf einer Drift-Diffusionsgleichung beruht, eine Reihe von wichtigen Skalenraumeigenschaften erfüllt. Der zusätzliche Driftterm ermöglicht einen großen Freiraum in der Modellierung und hat sich bereits als vielversprechend in der Bildverarbeitung etabliert. Allerdings sorgt er auch dafür, dass der stationäre Zustand nicht konstant ist, im Gegensatz zu bisher untersuchten Skalenräumen. Bei dem Beweis von Vereinfachungseigenschaften im Sinne von Lyapunov-Funktionalen führt dies zu einer Reihe von Problemen. Während der erste Teil der Arbeit einen neuen Skalenraum einführt, werden wir uns im zweiten Teil den beiden meist studierten Klassen von Skalenräumen widmen: den linearen shift-invarianten und den morphologischen Skalenräumen. Mithilfe der neu eingeführten Cramer-Fourier-Transformation zeigen wir, wie sich beide Klassen sowohl auf struktureller Ebene als auch auf der Ebene der Evolutionsgleichungen verbinden lassen. Dieses Resultat erweitert ein Ergebnis über die strukturelle Gleichheit des Gaußschen Skalenraumes mit seinem morphologischen Gegenstück. Weiterhin beweisen wir, dass die entscheidenden Eigenschaften der bisher verwendeten Cramer-Transformation erhalten bleiben.Scale-space ideas are ubiquitous and indispensable for modern image analysis. Starting from a linear scale-space based on a homogeneous diffusion equation we pursue two strategies to create new scale-spaces. First, we rigorously prove that the linear osmosis filtering, which is based on a drift-diffusion equation, fulfils several important scale-space properties. The additional drift term introduces a modelling choice that has proved valuable in the past for image processing applications. However, in contrast to previously analysed scale-spaces, the steady state is non-constant. This leads to a number of challenges when aiming for image simplification properties in terms of Lyapunov functionals. Whereas we analyse a new scale-space in the first part, the second part picks up the two most studied classes of scale-spaces: linear shift-invariant and morphological scale-spaces. By introducing the Cramer-Fourier transform, we can connect these classes both on a structural level and on the level of evolution equations. This extends a structural similarity result between the Gaussian scale-space and its morphological counterpart. While the decisive properties of the previously used Cramer transform are preserved, our new transformation has many benefits in an image processing context. We use the Cramer-Fourier transform to construct not yet discovered scale-spaces