Correspondence problems in computer vision : novel models, numerics, and applications

Correspondence problems like optic flow belong to the fundamental problems in computer vision. Here, one aims at finding correspondences between the pixels in two (or more) images. The correspondences are described by a displacement vector field that is often found by minimising an energy (cost) function. In this thesis, we present several contributions to the energy-based solution of correspondence problems: (i) We start by developing a robust data term with a high degree of invariance under illumination changes. Then, we design an anisotropic smoothness term that works complementary to the data term, thereby avoiding undesirable interference. Additionally, we propose a simple method for determining the optimal balance between the two terms. (ii) When discretising image derivatives that occur in our continuous models, we show that adapting one-sided upwind discretisations from the field of hyperbolic differential equations can be beneficial. To ensure a fast solution of the nonlinear system of equations that arises when minimising the energy, we use the recent fast explicit diffusion (FED) solver in an explicit gradient descent scheme. (iii) Finally, we present a novel application of modern optic flow methods where we align exposure series used in high dynamic range (HDR) imaging. Furthermore, we show how the alignment information can be used in a joint super-resolution and HDR method.Korrespondenzprobleme wie der optische Fluß, gehören zu den fundamentalen Problemen im Bereich des maschinellen Sehens (Computer Vision). Hierbei ist das Ziel, Korrespondenzen zwischen den Pixeln in zwei (oder mehreren) Bildern zu finden. Die Korrespondenzen werden durch ein Verschiebungsvektorfeld beschrieben, welches oft durch Minimierung einer Energiefunktion (Kostenfunktion) gefunden wird. In dieser Arbeit stellen wir mehrere Beiträge zur energiebasierten Lösung von Korrespondenzproblemen vor: (i) Wir beginnen mit der Entwicklung eines robusten Datenterms, der ein hohes Maß an Invarianz unter Beleuchtungsänderungen aufweißt. Danach entwickeln wir einen anisotropen Glattheitsterm, der komplementär zu dem Datenterm wirkt und deshalb keine unerwünschten Interferenzen erzeugt. Zusätzlich schlagen wir eine einfache Methode vor, die es erlaubt die optimale Balance zwischen den beiden Termen zu bestimmen. (ii) Im Zuge der Diskretisierung von Bildableitungen, die in unseren kontinuierlichen Modellen auftauchen, zeigen wir dass es hilfreich sein kann, einseitige upwind Diskretisierungen aus dem Bereich hyperbolischer Differentialgleichungen zu übernehmen. Um eine schnelle Lösung des nichtlinearen Gleichungssystems, dass bei der Minimierung der Energie auftaucht, zu gewährleisten, nutzen wir den kürzlich vorgestellten fast explicit diffusion (FED) Löser im Rahmen eines expliziten Gradientenabstiegsschemas. (iii) Schließlich stellen wir eine neue Anwendung von modernen optischen Flußmethoden vor, bei der Belichtungsreihen für high dynamic range (HDR) Bildgebung registriert werden. Außerdem zeigen wir, wie diese Registrierungsinformation in einer kombinierten super-resolution und HDR Methode genutzt werden kann

Hardware-accelerated algorithms in visual computing

This thesis presents new parallel algorithms which accelerate computer vision methods by the use of graphics processors (GPUs) and evaluates them with respect to their speed, scalability, and the quality of their results. It covers the fields of homogeneous and anisotropic diffusion processes, diffusion image inpainting, optic flow, and halftoning. In this turn, it compares different solvers for homogeneous diffusion and presents a novel \u27extended\u27 box filter. Moreover, it suggests to use the fast explicit diffusion scheme (FED) as an efficient and flexible solver for nonlinear and in particular for anisotropic parabolic diffusion problems on graphics hardware. For elliptic diffusion-like processes, it recommends to use cascadic FED or Fast Jacobi schemes. The presented optic flow algorithm represents one of the fastest yet very accurate techniques. Finally, it presents a novel halftoning scheme which yields state-of-the-art results for many applications in image processing and computer graphics.Diese Arbeit präsentiert neue parallele Algorithmen zur Beschleunigung von Methoden in der Bildinformatik mittels Grafikprozessoren (GPUs), und evaluiert diese im Hinblick auf Geschwindigkeit, Skalierungsverhalten, und Qualität der Resultate. Sie behandelt dabei die Gebiete der homogenen und anisotropen Diffusionsprozesse, Inpainting (Bildvervollständigung) mittels Diffusion, die Bestimmung des optischen Flusses, sowie Halbtonverfahren. Dabei werden verschiedene Löser für homogene Diffusion verglichen und ein neuer \u27erweiterter\u27 Mittelwertfilter präsentiert. Ferner wird vorgeschlagen, das schnelle explizite Diffusionsschema (FED) als effizienten und flexiblen Löser für parabolische nichtlineare und speziell anisotrope Diffusionsprozesse auf Grafikprozessoren einzusetzen. Für elliptische diffusionsartige Prozesse wird hingegen empfohlen, kaskadierte FED- oder schnelle Jacobi-Verfahren einzusetzen. Der vorgestellte Algorithmus zur Berechnung des optischen Flusses stellt eines der schnellsten und dennoch äußerst genauen Verfahren dar. Schließlich wird ein neues Halbtonverfahren präsentiert, das in vielen Bereichen der Bildverarbeitung und Computergrafik Ergebnisse produziert, die den Stand der Technik repräsentieren

Local Fourier analysis for saddle-point problems

The numerical solution of saddle-point problems has attracted considerable interest in recent years, due to their indefiniteness and often poor spectral properties that make efficient solution difficult. While much research already exists, developing efficient algorithms remains challenging. Researchers have applied finite-difference, finite element, and finite-volume approaches successfully to discretize saddle-point problems, and block preconditioners and monolithic multigrid methods have been proposed for the resulting systems. However, there is still much to understand. Magnetohydrodynamics (MHD) models the flow of a charged fluid, or plasma, in the presence of electromagnetic fields. Often, the discretization and linearization of MHD leads to a saddle-point system. We present vector-potential formulations of MHD and a theoretical analysis of the existence and uniqueness of solutions of both the continuum two-dimensional resistive MHD model and its discretization. Local Fourier analysis (LFA) is a commonly used tool for the analysis of multigrid and other multilevel algorithms. We first adapt LFA to analyse the properties of multigrid methods for both finite-difference and finite-element discretizations of the Stokes equations, leading to saddle-point systems. Monolithic multigrid methods, based on distributive, Braess-Sarazin, and Uzawa relaxation are discussed. From this LFA, optimal parameters are proposed for these multigrid solvers. Numerical experiments are presented to validate our theoretical results. A modified two-level LFA is proposed for high-order finite-element methods for the Lapalce problem, curing the failure of classical LFA smoothing analysis in this setting and providing a reliable way to estimate actual multigrid performance. Finally, we extend LFA to analyze the balancing domain decomposition by constraints (BDDC) algorithm, using a new choice of basis for the space of Fourier harmonics that greatly simplifies the application of LFA. Improved performance is obtained for some two- and three-level variants

On Multilevel Methods Based on Non-Nested Meshes

This thesis is concerned with multilevel methods for the efficient solution of partial differential equations in the field of scientific computing. Further, emphasis is put on an extensive study of the information transfer between finite element spaces associated with non-nested meshes. For the discretization of complicated geometries with a finite element method, unstructured meshes are often beneficial as they can easily be adjusted to the shape of the computational domain. Such meshes, and thus the corresponding discrete function spaces, do not allow for straightforward multilevel hierarchies that could be exploited to construct fast solvers. In the present thesis, we present a class of "semi-geometric" multilevel iterations, which are based on hierarchies of independent, non-nested meshes. This is realized by a variational approach such that the images of suitable prolongation operators in the next (finer) space recursively determine the coarse level spaces. The semi-geometric concept is of very general nature compared with other methods relying on geometric considerations. This is reflected in the relatively loose relations of the employed meshes to each other. The specific benefit of the approach based on non-nested meshes is the flexibility in the choice of the coarse meshes, which can, for instance, be generated independently by standard methods. The resolution of the boundaries of the actual computational domain in the constructed coarse level spaces is a characteristic feature of the devised class of methods. The flexible applicability and the efficiency of the presented solution methods is demonstrated in a series of numerical experiments. We also explain the practical implementation of the semi-geometric ideas and concrete transfer concepts between non-nested meshes. Moreover, an extension to a semi-geometric monotone multigrid method for the solution of variational inequalities is discussed. We carry out the analysis of the convergence and preconditioning properties, respectively, in the framework of the theory of subspace correction methods. Our technical considerations yield a quasi-optimal result, which we prove for general, shape regular meshes by local arguments. The relevant properties of the operators for the prolongation between non-nested finite element spaces are the H1-stability and an L2-approximation property as well as the locality of the transfer. This thesis is a contribution to the development of fast solvers for equations on complicated geometries with focus on geometric techniques (as opposed to algebraic ones). Connections to other approaches are carefully elaborated. In addition, we examine the actual information transfer between non-nested finite element spaces. In a novel study, we combine theoretical, practical and experimental considerations. A thourough investigation of the qualitative properties and a quantitative analysis of the differences of individual transfer concepts to each other lead to new results on the information transfer as such. Finally, by the introduction of a generalized projection operator, the pseudo-L2-projection, we obtain a significantly better approximation of the actual L2-orthogonal projection than other approaches from the literature.Nicht-geschachtelte Gitter in Multilevel-Verfahren Diese Arbeit beschäftigt sich mit Multilevel-Verfahren zur effizienten Lösung von Partiellen Differentialgleichungen im Bereich des Wissenschaftlichen Rechnens. Dabei liegt ein weiterer Schwerpunkt auf der eingehenden Untersuchung des Informationsaustauschs zwischen Finite-Elemente-Räumen zu nicht-geschachtelten Gittern. Zur Diskretisierung von komplizierten Geometrien mit einer Finite-Elemente-Methode sind unstrukturierte Gitter oft von Vorteil, weil sie der Form des Rechengebiets einfacher angepasst werden können. Solche Gitter, und somit die zugehörigen diskreten Funktionenräume, besitzen im Allgemeinen keine leicht zugängliche Multilevel-Struktur, die sich zur Konstruktion schneller Löser ausnutzen ließe. In der vorliegenden Arbeit stellen wir eine Klasse "semi-geometrischer" Multilevel-Iterationen vor, die auf Hierarchien voneinander unabhängiger, nicht-geschachtelter Gitter beruhen. Dabei bestimmen in einem variationellen Ansatz rekursiv die Bilder geeigneter Prolongationsoperatoren im jeweils folgenden (feineren) Raum die Grobgitterräume. Das semi-geometrische Konzept ist sehr allgemeiner Natur verglichen mit anderen Verfahren, die auf geometrischen Überlegungen beruhen. Dies zeigt sich in der verhältnismäßig losen Beziehung der verwendeten Gitter zueinander. Der konkrete Nutzen des Ansatzes mit nicht-geschachtelten Gittern ist die Flexibilität der Wahl der Grobgitter. Diese können beispielsweise unabhängig mit Standardverfahren generiert werden. Die Auflösung des Randes des tatsächlichen Rechengebiets in den konstruierten Grobgitterräumen ist eine Eigenschaft der entwickelten Verfahrensklasse. Die flexible Einsetzbarkeit und die Effizienz der vorgestellten Lösungsverfahren zeigt sich in einer Reihe von numerischen Experimenten. Dazu geben wir Hinweise zur praktischen Umsetzung der semi-geometrischen Ideen und konkreter Transfer-Konzepte zwischen nicht-geschachtelten Gittern. Darüber hinaus wird eine Erweiterung zu einem semi-geometrischen monotonen Mehrgitterverfahren zur Lösung von Variationsungleichungen untersucht. Wir führen die Analysis der Konvergenz- bzw. Vorkonditionierungseigenschaften im Rahmen der Theorie der Teilraumkorrekturmethoden durch. Unsere technische Ausarbeitung liefert ein quasi-optimales Resultat, das wir mithilfe lokaler Argumente für allgemeine, shape-reguläre Gitterfamilien beweisen. Als relevante Eigenschaften der Operatoren zur Prolongation zwischen nicht-geschachtelten Finite-Elemente-Räumen erweisen sich die H1-Stabilität und eine L2-Approximationseigenschaft sowie die Lokalität des Transfers. Diese Arbeit ist ein Beitrag zur Entwicklung schneller Löser für Gleichungen auf komplizierten Gebieten mit Schwerpunkt auf geometrischen Techniken (im Unterschied zu algebraischen). Verbindungen zu anderen Ansätzen werden sorgfältig aufgezeigt. Daneben untersuchen wir den Informationsaustausch zwischen nicht-geschachtelten Finite-Elemente-Räumen als solchen. In einer neuartigen Studie verbinden wir theoretische, praktische und experimentelle Überlegungen. Eine sorgfältige Prüfung der qualitativen Eigenschaften sowie eine quantitative Analyse der Unterschiede verschiedener Transfer-Konzepte zueinander führen zu neuen Ergebnissen bezüglich des Informationsaustauschs selbst. Schließlich erreichen wir durch die Einführung eines verallgemeinerten Projektionsoperators, der Pseudo-L2-Projektion, eine deutlich bessere Approximation der eigentlichen L2-orthogonalen Projektion als andere Ansätze aus der Literatur

Numerical Methods in Shape Spaces and Optimal Branching Patterns

The contribution of this thesis is twofold. The main part deals with numerical methods in the context of shape space analysis, where the shape space at hand is considered as a Riemannian manifold. In detail, we apply and extend the time-discrete geodesic calculus (established by Rumpf and Wirth [WBRS11, RW15]) to the space of discrete shells, i.e. triangular meshes with fixed connectivity. The essential building block is a variational time-discretization of geodesic curves, which is based on a local approximation of the squared Riemannian distance on the manifold. On physical shape spaces this approximation can be derived e.g. from a dissimilarity measure. The dissimilarity measure between two shell surfaces can naturally be defined as an elastic deformation energy capturing both membrane and bending distortions. Combined with a non-conforming discretization of a physically sound thin shell model the time-discrete geodesic calculus applied to the space of discrete shells is shown to be suitable to solve important problems in computer graphics and animation. To extend the existing calculus, we introduce a generalized spline functional based on the covariant derivative along a curve in shape space whose minimizers can be considered as Riemannian splines. We establish a corresponding time-discrete functional that fits perfectly into the framework of Rumpf and Wirth, and prove this discretization to be consistent. Several numerical simulations reveal that the optimization of the spline functional—subject to appropriate constraints—can be used to solve the multiple interpolation problem in shape space, e.g. to realize keyframe animation. Based on the spline functional, we further develop a simple regression model which generalizes linear regression to nonlinear shape spaces. Numerical examples based on real data from anatomy and botany show the capability of the model. Finally, we apply the statistical analysis of elastic shape spaces presented by Rumpf and Wirth [RW09, RW11] to the space of discrete shells. To this end, we compute a Fréchet mean within a class of shapes bearing highly nonlinear variations and perform a principal component analysis with respect to the metric induced by the Hessian of an elastic shell energy. The last part of this thesis deals with the optimization of microstructures arising e.g. at austenite-martensite interfaces in shape memory alloys. For a corresponding scalar problem, Kohn and Müller [KM92, KM94] proved existence of a minimizer and provided a lower and an upper bound for the optimal energy. To establish the upper bound, they studied a particular branching pattern generated by mixing two different martensite phases. We perform a finite element simulation based on subdivision surfaces that suggests a topologically different class of branching patterns to represent an optimal microstructure. Based on these observations we derive a novel, low dimensional family of patterns and show—numerically and analytically—that our new branching pattern results in a significantly better upper energy bound

Understanding and advancing PDE-based image compression

This thesis is dedicated to image compression with partial differential equations (PDEs). PDE-based codecs store only a small amount of image points and propagate their information into the unknown image areas during the decompression step. For certain classes of images, PDE-based compression can already outperform the current quasi-standard, JPEG2000. However, the reasons for this success are not yet fully understood, and PDE-based compression is still in a proof-of-concept stage. With a probabilistic justification for anisotropic diffusion, we contribute to a deeper insight into design principles for PDE-based codecs. Moreover, by analysing the interaction between efficient storage methods and image reconstruction with diffusion, we can rank PDEs according to their practical value in compression. Based on these observations, we advance PDE-based compression towards practical viability: First, we present a new hybrid codec that combines PDE- and patch-based interpolation to deal with highly textured images. Furthermore, a new video player demonstrates the real-time capacities of PDE-based image interpolation and a new region of interest coding algorithm represents important image areas with high accuracy. Finally, we propose a new framework for diffusion-based image colourisation that we use to build an efficient codec for colour images. Experiments on real world image databases show that our new method is qualitatively competitive to current state-of-the-art codecs.Diese Dissertation ist der Bildkompression mit partiellen Differentialgleichungen (PDEs, partial differential equations) gewidmet. PDE-Codecs speichern nur einen geringen Anteil aller Bildpunkte und transportieren deren Information in fehlende Bildregionen. In einigen Fällen kann PDE-basierte Kompression den aktuellen Quasi-Standard, JPEG2000, bereits schlagen. Allerdings sind die Gründe für diesen Erfolg noch nicht vollständig erforscht, und PDE-basierte Kompression befindet sich derzeit noch im Anfangsstadium. Wir tragen durch eine probabilistische Rechtfertigung anisotroper Diffusion zu einem tieferen Verständnis PDE-basierten Codec-Designs bei. Eine Analyse der Interaktion zwischen effizienten Speicherverfahren und Bildrekonstruktion erlaubt es uns, PDEs nach ihrem Nutzen für die Kompression zu beurteilen. Anhand dieser Einsichten entwickeln wir PDE-basierte Kompression hinsichtlich ihrer praktischen Nutzbarkeit weiter: Wir stellen einen Hybrid-Codec für hochtexturierte Bilder vor, der umgebungsbasierte Interpolation mit PDEs kombiniert. Ein neuer Video-Dekodierer demonstriert die Echtzeitfähigkeit PDE-basierter Interpolation und eine Region-of-Interest-Methode erlaubt es, wichtige Bildbereiche mit hoher Genauigkeit zu speichern. Schlussendlich stellen wir ein neues diffusionsbasiertes Kolorierungsverfahren vor, welches uns effiziente Kompression von Farbbildern ermöglicht. Experimente auf Realwelt-Bilddatenbanken zeigen die Konkurrenzfähigkeit dieses Verfahrens auf