Dense Optical Flow Estimation from the Monogenic Curvature Tensor ⋆

Abstract. In this paper, we address the topic of estimating two-frame dense optical flow from the monogenic curvature tensor. The monogenic curvature tensor is a novel image model, from which local phases of image structures can be obtained in a multi-scale way. We adapt the combined local and global (CLG) optical flow estimation approach to our framework. In this way, the intensity constraint equation is replaced by the local phase vector information. Optical flow estimation under the illumination change is investigated in detail. Experimental results demonstrate that our approach gives accurate estimation and is robust against noise contamination. Compared with the intensity based approach, the proposed method shows much better performance in estimating flow fields under brightness variations. Key words: Optical flow estimation, phase, monogenic curvature tensor

Compression, pose tracking, and halftoning

In this thesis, we discuss image compression, pose tracking, and halftoning. Although these areas seem to be unrelated at first glance, they can be connected through video coding as application scenario. Our first contribution is an image compression algorithm based on a rectangular subdivision scheme which stores only a small subsets of the image points. From these points, the remained of the image is reconstructed using partial differential equations. Afterwards, we present a pose tracking algorithm that is able to follow the 3-D position and orientation of multiple objects simultaneously. The algorithm can deal with noisy sequences, and naturally handles both occlusions between different objects, as well as occlusions occurring in kinematic chains. Our third contribution is a halftoning algorithm based on electrostatic principles, which can easily be adjusted to different settings through a number of extensions. Examples include modifications to handle varying dot sizes or hatching. In the final part of the thesis, we show how to combine our image compression, pose tracking, and halftoning algorithms to novel video compression codecs. In each of these four topics, our algorithms yield excellent results that outperform those of other state-of-the-art algorithms.In dieser Arbeit werden die auf den ersten Blick vollkommen voneinander unabhängig erscheinenden Bereiche Bildkompression, 3D-Posenschätzung und Halbtonverfahren behandelt und im Bereich der Videokompression sinnvoll zusammengeführt. Unser erster Beitrag ist ein Bildkompressionsalgorithmus, der auf einem rechteckigen Unterteilungsschema basiert. Dieser Algorithmus speichert nur eine kleine Teilmenge der im Bild vorhandenen Punkte, während die restlichen Punkte mittels partieller Differentialgleichungen rekonstruiert werden. Danach stellen wir ein Posenschätzverfahren vor, welches die 3D-Position und Ausrichtung von mehreren Objekten anhand von Bilddaten gleichzeitig verfolgen kann. Unser Verfahren funktioniert bei verrauschten Videos und im Falle von Objektüberlagerungen. Auch Verdeckungen innerhalb einer kinematischen Kette werden natürlich behandelt. Unser dritter Beitrag ist ein Halbtonverfahren, das auf elektrostatischen Prinzipien beruht. Durch eine Reihe von Erweiterungen kann dieses Verfahren flexibel an verschiedene Szenarien angepasst werden. So ist es beispielsweise möglich, verschiedene Punktgrößen zu verwenden oder Schraffuren zu erzeugen. Der letzte Teil der Arbeit zeigt, wie man unseren Bildkompressionsalgorithmus, unser Posenschätzverfahren und unser Halbtonverfahren zu neuen Videokompressionsalgorithmen kombinieren kann. Die für jeden der vier Themenbereiche entwickelten Verfahren erzielen hervorragende Resultate, welche die Ergebnisse anderer moderner Verfahren übertreffen

Utilisation de signaux hypercomplexes en estimation du mouvement et recalage multimodal

L'imagerie médicale est d'une nécessité certaine pour aider les médecins à comprendre et interpréter les comportements mécaniques et fonctionnels du corps humain. Les différentes modalités existantes fournissent des informations complémentaires qui peuvent améliorer cette compréhension. En particulier, la déformation d'organes ou de tissus peut fournir une indication sur la présence ou non d'une pathologie. Cette appréciation qualitative est facile à effectuer à l'œil nu, mais une estimation automatisée et précise de cette déformation peut être nécessaire. Le choix le plus naturel pour traiter les images est de se baser sur l'intensité des pixels. Cependant, certaines approches d'estimation du mouvement décomposent d'abord l'image en différents descripteurs, tels que la phase spatiale, qui porte l'information structurelle de l'image. L'objectif de cette thèse est d'évaluer l'apport de ce type de descripteurs dans le cadre de séquences ultrasonores (US) et de recalage multimodal entre images par résonance magnétique (IRM) et US. Pour cela, nous avons d'abord montré que pour des images US, une approche basée sur la phase issue du signal monogène constituait un bon compromis vis-à-vis de techniques de mise en correspondance de blocs ou de flux optique basé sur la phase extraite du signal analytique complexe 2D. Nous avons ensuite poursuivi cette étude en considérant les différentes informations issues du signal monogène, avec son extension au cas 3D. Cela nous a permis de proposer un estimateur de translations basé sur un autre descripteur : l'orientation principale locale. Nous avons ensuite évalué l'apport de la phase dans le cadre du recalage IRM-US basé sur l'information mutuelle. Nous avons remarqué que dans ce cas, la phase donnait de meilleurs résultats que l'intensité dans la direction latérale mais pas axiale. Finalement, nous présentons les enjeux cliniques du prolapsus génito-urinaire chez la femme. Nous avons ainsi introduit un estimateur de mise en correspondance de blocs déformables basé sur la phase, que nous avons appliqué à des séquences échographiques in vivo. Bien que cet estimateur ait tendance à minimiser le stade du prolapsus, il permet un meilleur suivi des tissus au fil de la séquence que l'estimateur de blocs déformables initial basé sur l'intensitéNowadays, medical imaging is necessary to help doctors to understand and interpret the mechanical and functional behavior of the human body. The different existing modalities provide complementary information, which can improve this comprehension. In particular, the tissue deformation provide an indication on the presence of a pathology. This qualitative appreciation is easy to perform for the human eye, but it would be useful to get an automatic and accurate estimation of this deformation. The most natural choice to process images is to use the intensities of the pixels. However, some approaches estimate the motion decomposing the image in several descriptors, such as spatial phase, which is a strucural information of the image. The aim of this thesis is to evaluate the contribution of this kind of descriptors, when they are used for motion estimation on ultrasound (US) sequences and multimodal registration, between a magnetic resonance images (MRI) and US images. For this, we first showed that for ultrasound images, an approach based on the monogenic spatial phase was a good compromise, facing block matching technics or optical flow estimation based on 2D analytic complex signal. Then, we continued this study, considering all the features extracted from the 3D monogenic signal. It allowed us to propose a translation estimator based on another descriptor : the main local orientation. Afterward, we evaluated the contribution of the phase for MR-US registration based on the mutual information. We noted that, in this case, the spatial phase gave more accurate results than the intensity-based approach in the lateral direction, but not in the axial direction. Finally, we present the clinical issues of the pelvic organ prolaps. Thus, we introduced a phase-based block deformable block matching estimator. We applied this estimator on in vivo US sequences. Although this estimator tends to minimize the degree of the pelvic floor disorders, it allows a better tissues monitoring than the intensity-based block deformable estimator all along the sequenc