LCrowdV: Generating Labeled Videos for Simulation-based Crowd Behavior Learning

We present a novel procedural framework to generate an arbitrary number of labeled crowd videos (LCrowdV). The resulting crowd video datasets are used to design accurate algorithms or training models for crowded scene understanding. Our overall approach is composed of two components: a procedural simulation framework for generating crowd movements and behaviors, and a procedural rendering framework to generate different videos or images. Each video or image is automatically labeled based on the environment, number of pedestrians, density, behavior, flow, lighting conditions, viewpoint, noise, etc. Furthermore, we can increase the realism by combining synthetically-generated behaviors with real-world background videos. We demonstrate the benefits of LCrowdV over prior lableled crowd datasets by improving the accuracy of pedestrian detection and crowd behavior classification algorithms. LCrowdV would be released on the WWW

High quality dynamic reflectance and surface reconstruction from video

The creation of high quality animations of real-world human actors has long been a challenging problem in computer graphics. It involves the modeling of the shape of the virtual actors, creating their motion, and the reproduction of very fine dynamic details. In order to render the actor under arbitrary lighting, it is required that reflectance properties are modeled for each point on the surface. These steps, that are usually performed manually by professional modelers, are time consuming and cumbersome. In this thesis, we show that algorithmic solutions for some of the problems that arise in the creation of high quality animation of real-world people are possible using multi-view video data. First, we present a novel spatio-temporal approach to create a personalized avatar from multi-view video data of a moving person. Thereafter, we propose two enhancements to a method that captures human shape, motion and reflectance properties of amoving human using eightmulti-view video streams. Afterwards we extend this work, and in order to add very fine dynamic details to the geometric models, such as wrinkles and folds in the clothing, we make use of the multi-view video recordings and present a statistical method that can passively capture the fine-grain details of time-varying scene geometry. Finally, in order to reconstruct structured shape and animation of the subject from video, we present a dense 3D correspondence finding method that enables spatiotemporally coherent reconstruction of surface animations directly frommulti-view video data. These algorithmic solutions can be combined to constitute a complete animation pipeline for acquisition, reconstruction and rendering of high quality virtual actors from multi-view video data. They can also be used individually in a system that require the solution of a specific algorithmic sub-problem. The results demonstrate that using multi-view video data it is possible to find the model description that enables realistic appearance of animated virtual actors under different lighting conditions and exhibits high quality dynamic details in the geometry.Die Entwicklung hochqualitativer Animationen von menschlichen Schauspielern ist seit langem ein schwieriges Problem in der Computergrafik. Es beinhaltet das Modellieren einer dreidimensionaler Abbildung des Akteurs, seiner Bewegung und die Wiedergabe sehr feiner dynamischer Details. Um den Schauspieler unter einer beliebigen Beleuchtung zu rendern, müssen auch die Reflektionseigenschaften jedes einzelnen Punktes modelliert werden. Diese Schritte, die gewöhnlich manuell von Berufsmodellierern durchgeführt werden, sind zeitaufwendig und beschwerlich. In dieser These schlagen wir algorithmische Lösungen für einige der Probleme vor, die in der Entwicklung solch hochqualitativen Animationen entstehen. Erstens präsentieren wir einen neuartigen, räumlich-zeitlichen Ansatz um einen Avatar von Mehransicht-Videodaten einer bewegenden Person zu schaffen. Danach beschreiben wir einen videobasierten Modelierungsansatz mit Hilfe einer animierten Schablone eines menschlichen Körpers. Unter Zuhilfenahme einer handvoll synchronisierter Videoaufnahmen berechnen wir die dreidimensionale Abbildung, seine Bewegung und Reflektionseigenschaften der Oberfläche. Um sehr feine dynamische Details, wie Runzeln und Falten in der Kleidung zu den geometrischen Modellen hinzuzufügen, zeigen wir eine statistische Methode, die feinen Details der zeitlich variierenden Szenegeometrie passiv erfassen kann. Und schließlich zeigen wir eine Methode, die dichte 3D Korrespondenzen findet, um die strukturierte Abbildung und die zugehörige Bewegung aus einem Video zu extrahieren. Dies ermöglicht eine räumlich-zeitlich zusammenhängende Rekonstruktion von Oberflächenanimationen direkt aus Mehransicht-Videodaten. Diese algorithmischen Lösungen können kombiniert eingesetzt werden, um eine Animationspipeline für die Erfassung, die Rekonstruktion und das Rendering von Animationen hoher Qualität aus Mehransicht-Videodaten zu ermöglichen. Sie können auch einzeln in einem System verwendet werden, das nach einer Lösung eines spezifischen algorithmischen Teilproblems verlangt. Das Ergebnis ist eine Modelbeschreibung, das realistisches Erscheinen von animierten virtuellen Schauspielern mit dynamischen Details von hoher Qualität unter verschiedenen Lichtverhältnissen ermöglicht

TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement

We present TOCH, a method for refining incorrect 3D hand-object interaction sequences using a data prior. Existing hand trackers, especially those that rely on very few cameras, often produce visually unrealistic results with hand-object intersection or missing contacts. Although correcting such errors requires reasoning about temporal aspects of interaction, most previous works focus on static grasps and contacts. The core of our method are TOCH fields, a novel spatio-temporal representation for modeling correspondences between hands and objects during interaction. TOCH fields are a point-wise, object-centric representation, which encode the hand position relative to the object. Leveraging this novel representation, we learn a latent manifold of plausible TOCH fields with a temporal denoising auto-encoder. Experiments demonstrate that TOCH outperforms state-of-the-art 3D hand-object interaction models, which are limited to static grasps and contacts. More importantly, our method produces smooth interactions even before and after contact. Using a single trained TOCH model, we quantitatively and qualitatively demonstrate its usefulness for correcting erroneous sequences from off-the-shelf RGB/RGB-D hand-object reconstruction methods and transferring grasps across objects

Perceived quality assessment in object-space for animated 3D models

Ankara : The Department of Computer Engineering and the Graduate School of Engineering and Science of Bilkent University, 2012.Thesis (Master's) -- Bilkent University, 2012.Includes bibliographical refences.Computational models and methods to handle 3D graphics objects continue to emerge with the wide-range use of 3D models and rapid development of computer graphics technology. Many 3D model modification methods exist to improve computation and transfer time of 3D models in real-time computer graphics applications. Providing user with the least visually-deformed model is essential for 3D modification tasks. In this thesis, we propose a method to estimate the visually perceived differences on animated 3D models. The model makes use of Human Visual System models to mimic visual perception. It can also be used to generate a 3D sensitivity map for a model to act as a guide during the application of modifications. Our approach gives a perceived quality measure using 3D geometric representation by incorporating two factors of Human Visual System (HVS) that contribute to perception of differences. First, spatial processing of human vision model enables us to predict deformations on the surface. Secondly, temporal effects of animation velocity are predicted. Psychophysical experiment data is used for both of these HVS models. We used subjective experiments to verify the validity of our proposed method.Yakut, Işıl DoğaM.S

Animated surfaces in physically-based simulation

Physics-based animation has become a ubiquitous element in all application areas of computer animation, especially in the entertainment sector. Animation and feature films, video games, and advertisement contain visual effects using physically-based simulation that blend in seamlessly with animated or live-action productions. When simulating deformable materials and fluids, especially liquids, objects are usually represented by animated surfaces. The visual quality of these surfaces not only depends on the actual properties of the surface itself but also on its generation and relation to the underlying simulation. This thesis focuses on surfaces of cloth simulations and fluid simulations based on Smoothed Particle Hydrodynamics (SPH), and contributes to improving the creation of animations by specifying surface shapes, modeling contact of surfaces, and evaluating surface effects of fluids. In many applications, there is a reference given for a surface animation in terms of its shape. Matching a given reference with a simulation is a challenging task and similarity is often determined by visual inspection. The first part of this thesis presents a signature for cloth animations that captures characteristic shapes and their temporal evolution. It combines geometric features with physical properties to represent accurately the typical deformation behavior. The signature enables calculating similarities between animations and is applied to retrieve cloth animations from collections by example. Interactions between particle-based fluids and deformable objects are usually modeled by sampling the deformable objects with particles. When interacting with cloth, however, this would require resampling the surface at large planar deformations and the thickness of cloth would be bound to the particle size. This problem is addressed in this thesis by presenting a two-way coupling technique for cloth and fluids based on the simulation mesh of the textile. It allows robust contact handling and intuitive control of boundary conditions. Further, a solution for intersection-free fluid surface reconstruction at contact with thin flexible objects is presented. The visual quality of particle-based fluid animation highly depends on the properties of the reconstructed surface. An important aspect of the reconstruction method is that it accurately represents the underlying simulation. This thesis presents an evaluation of surfaces at interfaces of SPH simulations incorporating the connection to the simulation model. A typical approach in computer graphics is compared to surface reconstruction used in material sciences. The behavior of free surfaces in fluid animations is highly influenced by surface tension. This thesis presents an evaluation of three types of surface tension models in combination with different pressure force models for SPH to identify the individual characteristics of these models. Systematic tests using a set of benchmark scenes are performed to reveal strengths and weaknesses, and possible areas of applications.Physikalisch basierte Animationen sind ein allgegenwärtiger Teil in jeglichen Anwendungsbereichen der Computeranimation, insbesondere dem Unterhaltungssektor. Animations- und Spielfilme, Videospiele und Werbung enthalten visuelle Effekte unter Verwendung von physikalisch basierter Simulation, die sich nahtlos in Animations- oder Realfilme einfügen. Bei der Simulation von deformierbaren Materialien und Fluiden, insbesondere Flüssigkeiten, werden die Objekte gewöhnlich durch animierte Oberflächen dargestellt. Die visuelle Qualität dieser Oberflächen hängt nicht nur von den Eigenschaften der Fläche selbst ab, sondern auch von deren Erstellung und der Verbindung zu der zugrundeliegenden Simulation. Diese Dissertation widmet sich Oberflächen von Textil- und Fluidsimulationen mit der Methode der Smoothed Particle Hydrodynamics (SPH) und leistet einen Beitrag zur Verbesserung der Erstellung von Animationen durch die Beschreibung von Oberflächenformen, der Modellierung von Kontakt von Oberflächen und der Evaluierung von Oberflächeneffekten von Fluiden. In vielen Anwendungen gibt es eine Referenz für eine Oberflächenanimation, die ihre Form beschreibt. Das Abgleichen einer Referenz mit einer Simulation ist eine große Herausforderung und die Ähnlichkeit wird häufig visuell überprüft. Im ersten Teil der Dissertation wird eine Signatur für Textilanimationen vorgestellt, die charakteristische Formen und ihre zeitliche Veränderung erfasst. Sie ist eine Kombination aus geometrischen Merkmalen und physikalischen Eigenschaften, um das typische Deformationsverhalten genau zu repräsentieren. Die Signatur erlaubt es, Ähnlichkeiten zwischen Animationen zu berechnen, und wird angewendet, um Textilanimationen aus Kollektionen anhand eines Beispiels aufzufinden. Interaktionen zwischen partikelbasierten Fluiden und deformierbaren Objekten werden gewöhnlich durch das Abtasten des deformierbaren Objekts mit Partikeln modelliert. Bei der Interaktion mit Textilien würde dies jedoch ein neues Abtasten bei großen planaren Deformation erfordern und die Stärke des Textils wäre an die Partikelgröße gebunden. Mit diesem Problem befasst sich diese Dissertation und stellt eine Technik für die wechselseitige Kopplung zwischen Textilien und Fluiden vor, die auf dem Simulationsnetz des Textils beruht. Diese erlaubt eine robuste Kontaktbehandlung und intuitive Kontrolle von Randbedingungen. Des Weiteren wird ein Lösungsansatz für eine durchdringungsfreie Oberflächenrekonstruktion beim Kontakt mit dünnen flexiblen Objekten präsentiert. Die visuelle Qualität von partikelbasierten Fluidanimationen hängt stark von den Eigenschaften der rekonstruierten Oberfläche ab. Wichtig bei Rekonstruktionsmethoden ist, dass sie die zugrundeliegende Simulation genau repräsentieren. Die Dissertation präsentiert eine Evaluierung von Oberflächen an Grenzflächen, die den Zusammenhang zum Simulationsmodell miteinbezieht. Ein typischer Ansatz aus der Computergrafik wird mit der Oberflächenrekonstruktion in der Werkstoffkunde verglichen. Das Verhalten von freien Oberflächen in Fluidanimationen wird stark von der Oberflächenspannung beeinflusst. In dieser Dissertation wird eine Evaluierung von drei Oberflächenspannungsmodellen in Kombination mit verschiedenen Druckmodellen für SPH präsentiert, um die Charakteristika der jeweiligen Modelle zu identifizieren. Es werden systematische Tests mit Hilfe von Benchmark-Tests durchgeführt, um Stärken, Schwächen und mögliche Anwendungsbereiche deutlich zu machen