Convective regularization for optical flow

We argue that the time derivative in a fixed coordinate frame may not be the most appropriate measure of time regularity of an optical flow field. Instead, for a given velocity field $v$ we consider the convective acceleration $v_t + \nabla v v$ which describes the acceleration of objects moving according to $v$. Consequently we investigate the suitability of the nonconvex functional $\|v_t + \nabla v v\|^2_{L^2}$ as a regularization term for optical flow. We demonstrate that this term acts as both a spatial and a temporal regularizer and has an intrinsic edge-preserving property. We incorporate it into a contrast invariant and time-regularized variant of the Horn-Schunck functional, prove existence of minimizers and verify experimentally that it addresses some of the problems of basic quadratic models. For the minimization we use an iterative scheme that approximates the original nonlinear problem with a sequence of linear ones. We believe that the convective acceleration may be gainfully introduced in a variety of optical flow models

Optical Flow on Moving Manifolds

Optical flow is a powerful tool for the study and analysis of motion in a sequence of images. In this article we study a Horn-Schunck type spatio-temporal regularization functional for image sequences that have a non-Euclidean, time varying image domain. To that end we construct a Riemannian metric that describes the deformation and structure of this evolving surface. The resulting functional can be seen as natural geometric generalization of previous work by Weickert and Schn\"orr (2001) and Lef\`evre and Baillet (2008) for static image domains. In this work we show the existence and wellposedness of the corresponding optical flow problem and derive necessary and sufficient optimality conditions. We demonstrate the functionality of our approach in a series of experiments using both synthetic and real data.Comment: 26 pages, 6 figure

Decomposition of Optical Flow on the Sphere

We propose a number of variational regularisation methods for the estimation and decomposition of motion fields on the $2$-sphere. While motion estimation is based on the optical flow equation, the presented decomposition models are motivated by recent trends in image analysis. In particular we treat $u+v$ decomposition as well as hierarchical decomposition. Helmholtz decomposition of motion fields is obtained as a natural by-product of the chosen numerical method based on vector spherical harmonics. All models are tested on time-lapse microscopy data depicting fluorescently labelled endodermal cells of a zebrafish embryo.Comment: The final publication is available at link.springer.co

Uncertainty Quantification for Scale-Space Blob Detection

We consider the problem of blob detection for uncertain images, such as images that have to be inferred from noisy measurements. Extending recent work motivated by astronomical applications, we propose an approach that represents the uncertainty in the position and size of a blob by a region in a three-dimensional scale space. Motivated by classic tube methods such as the taut-string algorithm, these regions are obtained from level sets of the minimizer of a total variation functional within a high-dimensional tube. The resulting non-smooth optimization problem is challenging to solve, and we compare various numerical approaches for its solution and relate them to the literature on constrained total variation denoising. Finally, the proposed methodology is illustrated on numerical experiments for deconvolution and models related to astrophysics, where it is demonstrated that it allows to represent the uncertainty in the detected blobs in a precise and physically interpretable way

Optical flow on evolving surfaces

Laser-Scanning-Mikroskopie gekoppelt mit der Technologie fluoreszierender Proteine stellt ein vielversprechendes bildgebendes Verfahren für biomedizinische Anwendungen dar, vor allem weil es dreidimensionale Zeitrafferaufnahmen lebender Organismen mit zellulärer Auflösung ermöglicht. Eine verlässliche Analyse der gewonnenen Daten auf Zellbewegungen hat das Potenzial zu einem besseren Verständnis zellulärer Vorgänge beizutragen. Die Schätzung von Objektbewegungen aus einer Folge von Bildern stellt das zentrale Thema dieser Arbeit dar. Die konkrete Motivation hingegen ist eine Reihe von Aufnahmen eines Laser-Scanning-Mikroskops, auf denen ein Zebrafischembryo zu sehen ist, dessen Entoderm mit einem fluoreszierenden Protein markiert wurde. Alle mathematischen Modelle, die im Folgenden vorgestellt werden, bauen auf der Tatsache auf, dass während der Gastrulation das Entoderm eine sogenannte Monolage bildet. Die Bewegungen der markierten Zellen werden infolgedessen als optischer Fluss auf einer Hyperfläche des R^3 formuliert und mittels Tichonow-Regularisierung berechnet. Zunächst nehmen wir an, dass besagte Oberfläche eine statische Sphäre ist, und untersuchen verschiedene Regularisierungsfunktionale sowie Zerlegungsmodelle für Vektorfelder. Basierend auf einer Entwicklung in vektorwertige Kugelflächenfunktionen werden zunächst der optische Fluss und dessen Helmholtz-Zerlegung berechnet. Um mehr Einsicht in die Zellbewegungsmuster zu bekommen, werden darüberhinaus zwei Bildzerlegungsmodelle, nämlich u + v und hierarchische Zerlegung, auf den optischen Fluss umgelegt. In einem zweiten Ansatz wird versucht das Entoderm mit größerer Genauigkeit zu modellieren, was soviel bedeutet wie auf die beiden Annahmen, dass die Oberfläche zeitkonstant und kugelförmig sei, zu verzichten. Folglich wird ein optisches Flußmodell für Daten, deren Definitionsbereich eine sich bewegende Mannigfaltikeit M_t ist, hergeleitet, und das Funktional von Horn und Schunck sowie dessen raumzeitliche Erweiterung von Weickert und Schnörr auf die neue Situation übertragen. Hierbei verfolgen wir zwei unterschiedliche Strategien. Auf der einen Seite wählen wir L^2-Normen der projizierten Ableitungen als Regularisierungsterm. Auf der anderen Seite ist es möglich einen Zugang zu wählen, welcher stärker differentialgeometrisch motiviert ist. Die zweite Strategie besteht demnach darin als Regulariserungsfunktional eine gewichtete Sobolev-Norm bezüglich einer konstruierten Metrik auf der Raumzeit-Mannigfaltigkeit $\bigcup_t \{t\} \times M_t$ zu wählen. Schließlich wird bewiesen, dass das resultierende Variationsproblem korrekt gestellt ist. Alle Modelle wurden implementiert und an besagten Zebrafischdaten, beziehungsweise an synthetischen Daten in letzterem Fall, getestet.The combination of laser-scanning microscopy and fluorescent protein technology is a powerful imaging technique for biomedical applications, as it allows for volumetric time-lapse (4D) imaging of living organisms at cellular resolution. A reliable motion analysis of the produced datasets can contribute to a better understanding of cellular dynamics. While the problem of motion estimation from a given sequence of images is the central theme of this thesis, the particular motivation is a set of laser-scanning-microscopy images. This dataset depicts a zebrafish embryo during gastrulation whose endodermal cells have been labelled with a fluorescent protein. Throughout we exploit the fact that during this period endodermal cells form a mono-layer. Consequently, we formulate the problem of estimating their velocities as a Tikhonov-regularized optical flow problem on a surface. First, we assume the surface to be a static sphere and study different regularization functionals as well as vector field decomposition models. More precisely, expanding vector fields in tangent vector spherical harmonics we compute the optical flow on the sphere together with its Helmholtz decomposition. Furthermore, in order to gain deeper insight into cell migration patterns, we translate two recent image decomposition models to the optical flow setting, namely u+v and hierarchical image decomposition. In a second approach we try to model the endoderm layer more accurately. This means dropping both the assumption that it is spherical and that is does not alter its shape over time. In consequence, we devise an optical flow model for images defined on a moving manifold M_t and extend the classical Horn-Schunck functional and its spatiotemporal extension by Weickert and Schnörr to the new setting. For this extension we make two different suggestions. On the one hand, we propose to regularize with L^2 norms of projected derivatives. On the other hand, this extension can be done from a more differential geometric viewpoint: by regularizing with a weighted Sobolev norm with respect to an almost product metric on the time-space manifold $\bigcup_t \{t\} \times M_t$. Finally, we prove well-posedness and test the proposed models on both synthetic data and the aforementioned microscopy data