6 research outputs found
An improvement to MBASIC algorithm for 3D motion and depth estimation
Cataloged from PDF version of article.In model-based coding of facial images, the accuracy of motion and depth parameter estimates strongly affects the coding efficiency. MBASIC is a simple and effective iterative algorithm (recently proposed by Aizawa et al.) for 3-D motion and depth estimation when the initial depth estimates are relatively accurate. In this correspondence, we analyze its performance in the presence of errors in the initial depth estimates and propose a modification to MBASIC algorithm that significantly improves its robustness to random errors with only a small increase in the computational load
Three-dimensional facial motion and structure estimation in video coding
Ankara : Department of Electrical and Electronics Engineering and the Institute of Engineering and Science of Bilkent Univ., 1994.Thesis (Ph.D.) -- Bilkent University, 1994.Includes bibliographical references leaves 81-89.We propose a novel formulation where 3-D global and local motion estimation and
the adaptation of a generic wire-frame model to a particular speaker are considered
simultaneously within an optical flow based framework including the photometric effects
of the motion. We use a flexible wire-frame model whose local structure is characterized
by the normal vectors of the patches which are related to the coordinates of the nodes.
Geometric constraints that describe the propagation of the movement of the nodes are
introduced, which are then efficiently utilized to reduce the number of independent
structure parameters. A stochastic relaxation algorithm has been used to determine
optimum global motion estimates and the parameters describing the structure of the
wire-frame model. For the initialization of the motion and structure parameters, a
modified feature based algorithm is used whose performance has also been compared
with the existing methods. Results with both simulated and real facial image sequences
are provided.Bozdağı, GözdePh.D
Video coding for compression and content-based functionality
The lifetime of this research project has seen two dramatic developments in the area of digital video coding. The first has been the progress of compression research leading to a factor of two improvement over existing standards, much wider deployment possibilities and the development of the new international ITU-T Recommendation H.263. The second has been a radical change in the approach to video content production with the introduction of the content-based coding concept and the addition of scene composition information to the encoded bit-stream. Content-based coding is central to the latest international standards efforts from the ISO/IEC MPEG working group.
This thesis reports on extensions to existing compression techniques exploiting a priori knowledge about scene content. Existing, standardised, block-based compression coding techniques were extended with work on arithmetic entropy coding and intra-block prediction. These both form part of the H.263 and MPEG-4 specifications respectively. Object-based coding techniques were developed within a collaborative simulation model, known as SIMOC, then extended with ideas on grid motion vector modelling and vector accuracy confidence estimation. An improved confidence measure for encouraging motion smoothness is proposed.
Object-based coding ideas, with those from other model and layer-based coding approaches, influenced the development of content-based coding within MPEG-4. This standard made considerable progress in this newly adopted content based video coding field defining normative techniques for arbitrary shape and texture coding. The means to generate this information, the analysis problem, for the content to be coded was intentionally not specified. Further research work in this area concentrated on video segmentation and analysis techniques to exploit the benefits of content based coding for generic frame based video. The work reported here introduces the use of a clustering algorithm on raw data features for providing initial segmentation of video data and subsequent tracking of those image regions through video sequences. Collaborative video analysis frameworks from COST 21 l qual and MPEG-4, combining results from many other segmentation schemes, are also introduced
Object-based 3-d motion and structure analysis for video coding applications
Ankara : Department of Electrical and Electronics Engineering and the Institute of Engineering and Sciences of Bilkent University, 1997.Thesis (Ph.D.) -- -Bilkent University, 1997.Includes bibliographical references leaves 102-115Novel 3-D motion analysis tools, which can be used in object-based video codecs, are proposed. In these tools, the movements of the objects, which are observed through 2-D video frames, are modeled in 3-D space. Segmentation of 2-D frames into objects and 2-D dense motion vectors for each object are necessary as inputs for the proposed 3-D analysis. 2-D motion-based object segmentation is obtained by Gibbs formulation; the initialization is achieved by using a fast graph-theory based region segmentation algorithm which is further improved to utilize the motion information. Moreover, the same Gibbs formulation gives the needed dense 2-D motion vector field. The formulations for the 3-D motion models are given for both rigid and non- rigid moving objects. Deformable motion is modeled by a Markov random field which permits elastic relations between neighbors, whereas, rigid 3-D motion parameters are estimated using the E-matrix method. Some improvements on the E-matrix method are proposed to make this algorithm more robust to gross errors like the consequence of incorrect segmentation of 2-D correspondences between frames. Two algorithms are proposed to obtain dense depth estimates, which are robust to input errors and suitable for encoding, respectively. While the former of these two algorithms gives simply a MAP estimate, the latter uses rate-distortion theory. Finally, 3-D motion models are further utilized for occlusion detection and motion compensated temporal interpolation, and it is observed that for both applications 3-D motion models have superiority over their 2-D counterparts. Simulation results on artificial and real data show the advantages of the 3-D motion models in object-based video coding algorithms.Alatan, A AydinPh.D
From Image-based Motion Analysis to Free-Viewpoint Video
The problems of capturing real-world scenes with cameras and automatically analyzing the visible motion have traditionally been in the focus of computer vision research. The photo-realistic rendition of dynamic real-world scenes, on the other hand, is a problem that has been investigated in the field of computer graphics. In this thesis, we demonstrate that the joint solution to all three of these problems enables the creation of powerful new tools that are benecial for both research disciplines. Analysis and rendition of real-world scenes with human actors are amongst the most challenging problems. In this thesis we present new algorithmic recipes to attack them. The dissertation consists of three parts: In part I, we present novel solutions to two fundamental problems of human motion analysis. Firstly, we demonstrate a novel hybrid approach for markerfree human motion capture from multiple video streams. Thereafter, a new algorithm for automatic non-intrusive estimation of kinematic body models of arbitrary moving subjects from video is detailed. In part II of the thesis, we demonstrate that a marker-free motion capture approach makes possible the model-based reconstruction of free-viewpoint videos of human actors from only a handful of video streams. The estimated 3D videos enable the photo-realistic real-time rendition of a dynamic scene from arbitrary novel viewpoints. Texture information from video is not only applied to generate a realistic surface appearance, but also to improve the precision of the motion estimation scheme. The commitment to a generic body model also allows us to reconstruct a time-varying reflectance description of an actor`s body surface which allows us to realistically render the free-viewpoint videos under arbitrary lighting conditions. A novel method to capture high-speed large scale motion using regular still cameras and the principle of multi-exposure photography is described in part III. The fundamental principles underlying the methods in this thesis are not only applicable to humans but to a much larger class of subjects. It is demonstrated that, in conjunction, our proposed algorithmic recipes serve as building blocks for the next generation of immersive 3D visual media.Die Entwicklung neuer Algorithmen zur optischen Erfassung und Analyse der
Bewegung in dynamischen Szenen ist einer der Forschungsschwerpunkte in der
computergestützten Bildverarbeitung. Während im maschinellen Bildverstehen
das Augenmerk auf der Extraktion von Informationen liegt, konzentriert sich die
Computergrafik auf das inverse Problem, die fotorealistische Darstellung bewegter Szenen. In jüngster Vergangenheit haben sich die beiden Disziplinen kontinuierlich angenähert, da es eine Vielzahl an herausfordernden wissenschaftlichen Fragestellungen gibt, die eine gemeinsame Lösung des Bilderfassungs-, des Bildanalyse- und des Bildsyntheseproblems verlangen.
Zwei der schwierigsten Probleme, welche für Forscher aus beiden Disziplinen
eine große Relevanz besitzen, sind die Analyse und die Synthese von dynamischen
Szenen, in denen Menschen im Mittelpunkt stehen. Im Rahmen dieser
Dissertation werden Verfahren vorgestellt, welche die optische Erfassung dieser
Art von Szenen, die automatische Analyse der Bewegungen und die realistische
neue Darstellung im Computer erlauben. Es wid deutlich werden, dass eine Integration
von Algorithmen zur Lösung dieser drei Probleme in ein Gesamtsystem
die Erzeugung völlig neuartiger dreidimensionaler Darstellungen von Menschen
in Bewegung ermöglicht. Die Dissertation ist in drei Teile gegliedert:
Teil I beginnt mit der Beschreibung des Entwurfs und des Baus eines Studios
zur zeitsynchronen Erfassung mehrerer Videobildströme. Die im Studio aufgezeichneten
Multivideosequenzen dienen als Eingabedaten für die im Rahmen
dieser Dissertation entwickelten videogestützten Bewegunsanalyseverfahren und
die Algorithmen zur Erzeugung dreidimensionaler Videos.
Im Anschluß daran werden zwei neu entwickelte Verfahren vorgestellt,
die Antworten auf zwei fundamentale Fragen in der optischen Erfassung
menschlicher Bewegung geben, die Messung von Bewegungsparametern und
die Erzeugung von kinematischen Skelettmodellen. Das erste Verfahren ist ein
hybrider Algorithmus zur markierungslosen optischen Messung von Bewegunsgparametern
aus Multivideodaten. Der Verzicht auf optische Markierungen
wird dadurch ermöglicht, dass zur Bewegungsanalyse sowohl aus den Bilddaten
rekonstruierte Volumenmodelle als auch leicht zu erfassende Körpermerkmale
verwendet werden. Das zweite Verfahren dient der automatischen Rekonstruktion
eines kinematischen Skelettmodells anhand von Multivideodaten. Der Algorithmus
benötigt weder optischen Markierungen in der Szene noch a priori
Informationen über die Körperstruktur, und ist in gleicher Form auf Menschen,
Tiere und Objekte anwendbar.
Das Thema das zweiten Teils dieser Arbeit ist ein modellbasiertes Verfahrenzur Rekonstruktion dreidimensionaler Videos von Menschen in Bewegung aus
nur wenigen zeitsynchronen Videoströmen. Der Betrachter kann die errechneten
3D Videos auf einem Computer in Echtzeit abspielen und dabei interaktiv
einen beliebigen virtuellen Blickpunkt auf die Geschehnisse einnehmen. Im
Zentrum unseres Ansatzes steht ein silhouettenbasierter Analyse-durch-Synthese
Algorithmus, der es ermöglicht, ohne optische Markierungen sowohl die Form
als auch die Bewegung eines Menschen zu erfassen. Durch die Berechnung
zeitveränderlicher Oberächentexturen aus den Videodaten ist gewährleistet,
dass eine Person aus jedem beliebigen Blickwinkel ein fotorealistisches Erscheinungsbild
besitzt. In einer ersten algorithmischen Erweiterung wird gezeigt, dass
die Texturinformation auch zur Verbesserung der Genauigkeit der Bewegunsgssch
ätzung eingesetzt werden kann. Zudem ist es durch die Verwendung eines
generischen Körpermodells möglich, nicht nur dynamische Texturen sondern
sogar dynamische Reektionseigenschaften der Körperoberäche zu messen.
Unser Reektionsmodell besteht aus einer parametrischen BRDF für jeden Texel
und einer dynamischen Normalenkarte für die gesamte Körperoberäche. Auf
diese Weise können 3D Videos auch unter völlig neuen simulierten Beleuchtungsbedingungen
realistisch wiedergegeben werden.
Teil III dieser Arbeit beschreibt ein neuartiges Verfahren zur optischen
Messung sehr schneller Bewegungen. Bisher erforderten optische Aufnahmen
von Hochgeschwindigkeitsbewegungen sehr teure Spezialkameras mit hohen
Bildraten. Im Gegensatz dazu verwendet die hier beschriebene Methode einfache
Digitalfotokameras und das Prinzip der Multiblitzfotograe. Es wird gezeigt, dass
mit Hilfe dieses Verfahrens sowohl die sehr schnelle artikulierte Handbewegung
des Werfers als auch die Flugparameter des Balls während eines Baseballpitches
gemessen werden können. Die hochgenau erfaßten Parameter ermöglichen es, die
gemessene Bewegung in völlig neuer Weise im Computer zu visualisieren.
Obgleich die in dieser Dissertation vorgestellten Verfahren vornehmlich der
Analyse und Darstellung menschlicher Bewegungen dienen, sind die grundlegenden
Prinzipien auch auf viele anderen Szenen anwendbar. Jeder der beschriebenen
Algorithmen löst zwar in erster Linie ein bestimmtes Teilproblem, aber in Ihrer
Gesamtheit können die Verfahren als Bausteine verstanden werden, welche die
nächste Generation interaktiver dreidimensionaler Medien ermöglichen werden