Optical Flow Constraints on Deformable Models With Applications to Face Tracking

Optical flow provides a constraint on the motion of a deformable model. We derive and solve a dynamic system incorporating flow as a hard constraint, producing a model-based least-squares optical flow solution. Our solution also ensures the constraint remains satisfied when combined with edge information, which helps combat tracking error accumulation. Constraint enforcement can be relaxed using a Kalman filter, which permits controlled constraint violations based on the noise present in the optical flow information, and enables optical flow and edge information to be combined more robustly and efficiently. We apply this framework to the estimation of face shape and motion using a 3D deformable face model. This model uses a small number of parameters to describe a rich variety of face shapes and facial expressions. We present experiments in extracting the shape and motion of a face from image sequences which validate the accuracy of the method. They also demonstrate that our treatment of optical flow as a hard constraint, as well as our use of a Kalman filter to reconcile these constraints with the uncertainty in the optical flow, are vital for improving the performance of our system

Nonparametric Identification of nonlinear dynamic Systems

In der vorliegenden Arbeit wird eine nichtparametrische Identifikationsmethode für stark nichtlineare Systeme entwickelt, welche in der Lage ist, die Nichtlinearitäten basierend auf Schwingungsmessungen in Form von allgemeinen dreidimensionalen Rückstellkraft-Flächen zu rekonstruieren ohne Vorkenntnisse über deren funktionale Form. Die Vorgehensweise basiert auf nichtlinearen Kalman Filter Algorithmen, welche durch Ergänzung des Zustandsvektors in Parameterschätzer verwandelt werden können. In dieser Arbeit wird eine Methode beschrieben, die diese bekannte parametrische Lösung zu einem nichtparametrischen Verfahren weiterentwickelt. Dafür wird ein allgemeines Nichtlinearitätsmodell eingeführt, welches die Rückstellkräfte durch zeitvariable Koeffizienten der Zustandsvariablen beschreibt, die als zusätzliche Zustandsgrößen geschätzt werden. Aufgrund der probabilistischen Formulierung der Methode, können trotz signifikantem Messrauschen störfreie Rückstellkraft-Charakteristiken identifiziert werden. Durch den Kalman Filter Algorithmus ist die Beobachtbarkeit der Nichtlinearitäten bereits durch eine Messgröße pro Systemfreiheitsgrad gegeben. Außerdem ermöglicht diese Beschreibung die Durchführung einer vollständigen Identifikation, wobei die restlichen konstanten Parameter des Systems zusätzlich geschätzt werden. Die Leistungsfähigkeit des entwickelten Verfahrens wird anhand von virtuellen und realen Identifikationsbeispielen nichtlinearer mechanischen Systeme mit ein und drei Freiheitsgraden demonstriert

Syntactic and semantic image representations for computer vision

Thesis (M.S.)--Massachusetts Institute of Technology, Dept. of Architecture, 1991.Includes bibliographical references (leaves 70-72).by Bradley Joseph Horowitz.M.S

Optical Flow in Mostly Rigid Scenes

The optical flow of natural scenes is a combination of the motion of the observer and the independent motion of objects. Existing algorithms typically focus on either recovering motion and structure under the assumption of a purely static world or optical flow for general unconstrained scenes. We combine these approaches in an optical flow algorithm that estimates an explicit segmentation of moving objects from appearance and physical constraints. In static regions we take advantage of strong constraints to jointly estimate the camera motion and the 3D structure of the scene over multiple frames. This allows us to also regularize the structure instead of the motion. Our formulation uses a Plane+Parallax framework, which works even under small baselines, and reduces the motion estimation to a one-dimensional search problem, resulting in more accurate estimation. In moving regions the flow is treated as unconstrained, and computed with an existing optical flow method. The resulting Mostly-Rigid Flow (MR-Flow) method achieves state-of-the-art results on both the MPI-Sintel and KITTI-2015 benchmarks.Comment: 15 pages, 10 figures; accepted for publication at CVPR 201