A Real-time Cinematography System for 3D Environments

International audienceNous proposons une méthode temps-réel d'automatisation de la construction d'un film à partir d'une liste d'éléments bas-niveau (eg. actions/mouvements des personnages, mouvement des objets). Notre système calcule des points de vue appropriés sur ces éléments, et effectue des coupures de montage selon des conventions cinématographiques définies par l'utilisateur et le style. Les points de vue sont sélectionnés dans des régions spécifiques de l'environnement (les volumes directeurs) en utilisant l'intersection de volumes de visibilité et de volumes sémantiques (partitions des points de vue définies autour des personnages principaux selon des placements caractéristiques de la cinématographie). Nous raisonnons ensuite sur ces volumes directeurs pour choisir où positionner la caméra, et quand effectuer des coupures étant donnés des règles de continuité cinématographiques. Les problèmes de visibilité dû à des occultants dynamiques sont gérés par un échantillonnage local basé sur des rendus. En construisant une partition en points de vue annotés qui gèrent la visibilité, nous proposons une représentation haut-niveau et un moyen de raisonner sur le processus de montage. Cela représente une approche originale et expressive qui associe la planification du positionnement et des sauts de la caméra, qui contraste avec les techniques existantes qui sont pour la plupart procédurales et ne prennent pas en compte la visibilité dynamique dans le montage

Control of constraint weights for an autonomous camera

Constraint satisfaction based techniques for camera control has the flexibility to add new constraints easily to increase the quality of a shot. We address the problem of deducing and adjusting constraint weights at run time to guide the movement of the camera in an informed and controlled way in response to the requirement of the shot. This enables the control of weights at the frame level. We analyze the mathematical representation of the cost structure of the domain of constraint search so that the constraint solver can search the domain efficiently. We start with a simple tracking shot of a single target. The cost structure of the domain of search suggests the use of a binary search which searches along a curve for 2D and on a surface for 3D by utilizing the information about the cost structure. The problems of occlusion and collision avoidance have also been addressed

Automated cinematography for games.

This thesis deals with the issue of automated cinematography for games. In 3D videogames, the system must continuously provide the player with a view of the virtual world and its characters. The difficulty is that contrary to the cinema the actors are unpredictable. In particular the player continuously modifies the virtual environment by moving objects or by interacting with the other non-playable characters. The latter, because of their more and more sophisticated artificial intelligence, can have behaviours that were not predicted by the developers themselves (such as the complex behaviours that emerge from the combination of basic behaviours). Some games have solved the problem by predefining the possible positions of the camera during the game development while some others give control of the camera system to the player, so that he can find by himself the best possible view. I aim however at finding an intermediate solution, where the camera system would automatically generate both engaging and usable views. The camera system should be able to adapt to every situation of the virtual world without user intervention, and should allow the player to interact with his surrounding in the most efficient way. Such a camera system could be of interest for the game industry. Currently, in many games, the camera movements, positions, etc. are set using scripts manually written by the developers. Having a fully automated system could potentially save hours of work. This system could also be used for the 3D virtual worlds or “3D chats” on the Internet. For example, the avatars – the characters played by the users – could be “filmed” in a different way depending on the mood of the users. I aim to develop techniques which can be generalised to these and other areas of application. Existing approaches to automated cinematography will be reviewed – focusing on the constraint-based and idiom-based ones – in order to highlight the strength and limitations of each one. A solution to the problems found will be proposed in the form of a camera system implemented using Adobe Director. It will be based on “rules” derived from existing cinematographic knowledge. One of my aims will also be to show that using generic rules can give results close to the idiom-based approaches with the convenience of being able to adapt to any type of scene

Aesthetic choices: Defining the range of aesthetic views in interactive digital media including games and 3D virtual environments (3D VEs)

Defining aesthetic choices for interactive digital media such as games is a challenging task. Objective and subjective factors such as colour, symmetry, order and complexity, and statistical features among others play an important role for defining the aesthetic properties of interactive digital artifacts. Computational approaches developed in this regard also consider objective factors such as statistical image features for the assessment of aesthetic qualities. However, aesthetics for interactive digital media, such as games, requires more nuanced consideration than simple objective and subjective factors, for choosing a range of aesthetic features. From the study it was found that the there is no one single optimum position or viewpoint with a corresponding relationship to the aesthetic considerations that influence interactive digital media. Instead, the incorporation of aesthetic features demonstrates the need to consider each component within interactive digital media as part of a range of possible features, and therefore within a range of possible camera positions. A framework, named as PCAWF, emphasized that combination of features and factors demonstrated the need to define a range of aesthetic viewpoints. This is important for improved user experience. From the framework it has been found that factors including the storyline, user state, gameplay, and application type are critical to defining the reasons associated with making aesthetic choices. The selection of a range of aesthetic features and characteristics is influenced by four main factors and sub-factors associated with the main factors. This study informs the future of interactive digital media interaction by providing clarity and reasoning behind the aesthetic decision-making inclusions that are integrated into automatically generated vision by providing a framework for choosing a range of aesthetic viewpoints in a 3D virtual environment of a game. The study identifies critical juxtapositions between photographic and cinema-based media aesthetics by incorporating qualitative rationales from experts within the interactive digital media field. This research will change the way Artificial Intelligence (AI) generated interactive digital media in the way that it chooses visual outputs in terms of camera positions, field-view, orientation, contextual considerations, and user experiences. It will impact across all automated systems to ensure that human-values, rich variations, and extensive complexity are integrated in the AI-dominated development and design of future interactive digital media production

Simulateur tutoriel intelligent pour les opérations robotisées application au bras canadien sur la station spatiale internationale

Cette thèse a pour objectif de développer un simulateur tutoriel intelligent pour l'apprentissage de manipulations robotisées, applicable au bras robot canadien sur la station spatiale internationale. Le simulateur appelé Roman Tutor est une preuve de concept de simulateur d'apprentissage autonome et continu pour des manipulations robotisées complexes. Un tel concept est notamment pertinent pour les futures missions spatiales sur Mars ou sur la Lune, et ce en dépit de l'inadéquation du bras canadien pour de telles missions en raison de sa trop grande complexité. Le fait de démontrer la possibilité de conception d'un simulateur capable, dans une certaine mesure, de donner des rétroactions similaires à celles d'un enseignant humain, pourrait inspirer de nouvelles idées pour des concepts similaires, applicables à des robots plus simples, qui seraient utilisés dans les prochaines missions spatiales. Afin de réaliser ce prototype, il est question de développer et d'intégrer trois composantes originales : premièrement, un planificateur de trajectoires pour des environnements dynamiques présentant des contraintes dures et flexibles ; deuxièmement, un générateur automatique de démonstrations de tâches, lequel fait appel au planificateur de trajectoires pour trouver une trajectoire solution à une tâche de déplacement du bras robot et à des techniques de planification des animations pour filmer la solution obtenue ; et troisièmement, un modèle pédagogique implémentant des stratégies d'intervention pour donner de l'aide à un opérateur manipulant le SSRMS. L'assistance apportée à un opérateur sur Roman Tutor fait appel d'une part à des démonstrations de tâches générées par le générateur automatique de démonstrations, et d'autre part au planificateur de trajectoires pour suivre la progression de l'opérateur sur sa tâche, lui fournir de l'aide et le corriger au besoin

Contrôle de caméra virtuelle à base de partitions spatiales dynamiques

Le contrôle de caméra virtuelle est aujourd'hui un composant essentiel dans beaucoup d'applications d'infographie. Malgré cette importance, les approches actuelles restent limitées en terme d'expressivité, d'interactivité et de performances. Typiquement, les éléments de style ou de genre cinématographique sont difficiles à modéliser et à simuler dû à l'incapacité des systèmes actuels de calculer simultanément des points de vues, des trajectoires et d'effectuer le montage. Deuxièmement, elles n'explorent pas assez le potentiel créatif offert par le couplage potentiel d'un humain et d'un système intelligent pour assister les utilisateurs dans une tâche complexe de construction de séquences cinématographiques. Enfin, la plupart des approches existantes se basent sur des techniques d'optimisation dans un espace de recherche 6D, qui s'avèrent coûteuses et donc inadaptées à un contexte interactif. Dans cette thèse, nous proposons tout d'abord un cadre unique intégrant les quatre aspects clés de la cinématographie (le calcul de point de vue, la planification de trajectoires, le montage et la visibilité). Ce cadre expressif permet de simuler certaines dimensions de style cinématographique. Nous proposons ensuite une méthodologie permettant de combiner les capacités d'un système automatique avec une interaction utilisateur. Enfin, nous présentons un modèle de contrôle de caméra efficace qui réduit l'espace de recherche de 6D à 3D. Ce modèle a le potentiel pour remplacer un certain nombre de formulations existantes.Virtual camera control is nowadays an essential component in many computer graphics applications. Despite its importance, current approaches remain limited in their expressiveness, interactive nature and performances. Typically, elements of directorial style and genre cannot be easily modeled nor simulated due to the lack of simultaneous control in viewpoint computation, camera path planning and editing. Second, there is a lack in exploring the creative potential behind the coupling of a human with an intelligent system to assist users in the complex task of designing cinematographic sequences. Finally, most techniques are based on computationally expensive optimization techniques performed in a 6D search space, which prevents their application to real-time contexts. In this thesis, we first propose a unifying approach which handles four key aspects of cinematography (viewpoint computation, camera path planning, editing and visibility computation) in an expressive model which accounts for some elements of directorial style. We then propose a workflow allowing to combine automated intelligence with user interaction. We finally present a novel and efficient approach to virtual camera control which reduces the search space from 6D to 3D and has the potential to replace a number of existing formulations.RENNES1-Bibl. électronique (352382106) / SudocSudocFranceF