Automated Conversion of Text Instructions to Human Motion Animation

Text to animation is the conversion of textual instructions to animations following and depicting those instructions. Text to animation is important to fields such as crime scene investigation, military special operations and storytelling where text is utilized. It is also useful for physical therapy where a doctor can factor in disability parameters in the 3D models and determine the safest therapy exercises for patients. It can be used in robotics, where robot assistants can be instructed to perform tasks through text instructions. In this research, a system was created to generate 3D animation of workouts from their textual instructions. An algorithm was developed to generate animation sequences from test cases. The algorithm utilized an animation graph which was created from a training set of 100 workouts with the nodes as postures and the links as animation-clip names along with their action data. The algorithm is designed to find and generate the closest animations available. A testing set of 40 similar workouts was used to test the algorithm and obtain an output of sequence of animations which were later depicted by the Unity Game Engine. In user evaluations, for 25 of the 40 test workouts, or 62.5% of the test workouts, the animation was determined by the users, to have the same or almost the same human motions as compared to a video of a human performing the workout. Analysis of the 15 workouts that were not similar to the human video (37.5%) showed that their issues can be fixed and the animation search can be improved by training the animation graph on more varieties of the workouts and on different text instructions of the same workouts from different sources. For 64.5% of the 156 sentences of all the text workouts, the animations were determined to correctly depict the text instructions. This research provides an initial animation graph and animation library which can be expanded to include more poses and animations from other domains such as yoga or dance. In the future system has the potential to provide users with no 3D modelling/animation expertise, a way to create 3D animations with just texts

Constraint-based conversion of fiction text to a time-based graphical representation

This paper presents a method for converting unrestricted fiction text into a time-based graphical form. Key concepts extracted from the text are used to formulate constraints describing the interaction of entities in a scene. The solution of these constraints over their respective time intervals provides the trajectories for these entities in a graphical representation

Constraint-based conversion of fiction text to a time-based graphical representation

This paper presents a method for converting unrestricted fiction text into a time-based graphical form. Key concepts extracted from the text are used to formulate constraints describing the interaction of entities in a scene. The solution of these constraints over their respective time intervals provides the trajectories for these entities in a graphical representation.Three types of entity are extracted from fiction books to describe the scene, namely Avatars, Areas and Objects. We present a novel method for modeling the temporal aspect of a fiction story using multiple time-line representations after which the information extracted regarding entities and time-lines is used to formulate constraints. A constraint solving technique based on interval arithmetic is used to ensure that the behaviour of the entities satisfies the constraints over multiple universally quantified time intervals. This approach is demonstrated by finding solutions to multiple time-based constraints, and represents a new contribution to the field of Text-to-Scene conversion. An example of the automatically produced graphical output is provided in support of our constraint-based conversion scheme.<br /

Représentation abstraite pour la génération automatique de scènes par planification spatiale

RÉSUMÉ La création d'environnements 3D constitue une tâche manuelle ardue qui demande beaucoup de temps et qui gagnerait à être automatisée. La planification spatiale regroupe des techniques reposant sur la programmation par contraintes qui visent à placer correctement des objets à l'intérieur d'une scène statique. Les principales lacunes de ces techniques relèvent du manque de flexibilité introduit par les formats d'entrée et les représentations sémantiques utilisées. Le but de notre projet de recherche est d'évaluer la possibilité de définir un format de représentation abstraite pouvant être utilisé dans le cadre du placement spatial. Notre recherche repose sur la supposition qu'il est possible de définir une abstraction des concepts intervenant dans le placement spatial, et que cette représentation pourrait représenter un problème résoluble. Nous proposons une solution basée sur un format de représentation abstraite et une ontologie. La représentation abstraite permet de spécifier des configurations dans lesquelles des objets sont impliqués dans des actions selon des modalités spatiales définies. L'ontologie définit une hiérarchie des objets, contrôleurs et actions impliqués dans le placement spatial, ainsi que des relations permettant d'étendre ou de caractériser la représentation abstraite. Notre expérimentation repose sur la génération aléatoire d'un grand nombre de descriptions de scènes abstraites. Ces descriptions sont générées de manière à contenir un nombre croissant d'objets et de relations, pour identifier les limites de notre solution. Au terme de notre expérimentation, nous avons généré des scènes impliquant jusqu'à 15 objets et 16 relations. L'analyse de nos résultats nous a permis de confirmer qu'il est possible d'utiliser une représentation abstraite pour la génération automatique de scènes par placement spatial. Les limitations de notre modélisation nous ont permis d'orienter les travaux futurs vers l'optimisation de la résolution à partir de notre modélisation, la modélisation d'une ontologie de grande envergure pour le placement spatial et l'évaluation de l'utilisation d'une représentation abstraite dans des problèmes plus complexes. La réalisation de ces travaux faciliterait la création de scènes 3D dans divers domaines d'applications multimédia tels que le cinéma ou les jeux vidéo.----------ABSTRACT The creation of 3D environments is a tedious and costly task. Space Layout Planning techniques aim to use constraint programming in order to automatically assign a spatial position to the objects of a 3D scene. We aim to address the lack of flexibility of these techniques in regards to the input formats and the semantic representations. The goal of our research project is to create a new space layout planning input format that would offer a higher level of abstraction. This goal is based on the supposition that it is possible to express the concepts of a space layout planning problem as an abstraction, and that this abstraction can be transformed into a solvable constraint satisfaction problem. Our solution involves using an abstract representation input format and an ontology. The abstract representation can be used to define multiple configurations, which describe several objects that can take part into actions based on clearly defined spatial modalities. The ontology's role is to define a hierarchy of objects that can be used in space layout planning, as well as several relations that can complement the abstract representation. Our experimentation relies on a random generation of many abstract representations. Each step of the generation algorithm involves a growing number of objects and a growing number of relations. The goal of this experimental approach is to identify the limits of our solution in regards to the query's complexity. At the end of our experimentation, we were able to generate scenes with a maximal number of 15 objects and 16 relations. We have been able to confirm that space layout planning based on an abstract input format is a possible approach for the resolution of space layout planning problems in order to automatically generate 3D scenes. Future work on this approach involves the optimisation of the problem's modeling the creation of a larger ontology for space layout planning, and the evaluation of an abstract representation with more complicated space layout problems. The completion of this future work would address the limitations of our current approach, and could be the key to the application of space layout planning techniques for the automatic creation of 3D scenes for movies or video games

Création automatique des animations 3D

RÉSUMÉ La production traditionnelle d'animations 3D pour un jeu vidéo ou un film d'animation est un processus lourd. Les animateurs ont besoin de plusieurs années de pratique et de bons logiciels de création de contenu numérique pour réussir à créer des animations 3D. Cela est dû à la complexité du logiciel et à la complexité de la tâche. La création d'un cycle de marche réaliste dans une scène complexe nécessite de nombreux détails de bas niveau pour atteindre un niveau élevé de réalisme. Ce mémoire propose une vue de haut niveau dans la création automatique des animations 3D afin de simplifier le processus global de production de l'animation. Afin d'aborder cette problématique, l'objectif général de la recherche a consisté à élaborer un prototype logiciel capable de générer automatiquement des animations 3D qui représentent le sens d'une phrase simple. Ce projet faisait partie intégrale du projet GITAN dans le domaine de l'infographie. GITAN proposait une solution pour générer des animations 3D à partir du texte. La solution proposée dans ce mémoire constitue principalement le module graphique qui génère la scène 3D animée qui représente la phrase d'entrée. Avec ce système, la complexité de la construction de la scène animée est considérablement réduite, puisque nous utilisons une représentation textuelle pour décrire l'animation et les différents objets dans la scène. La revue bibliographique a suggéré que les systèmes semblables qui permettent de générer automatiquement des animations 3D à partir du texte sont souvent très orientés vers un domaine d'application spécifique, par exemple les accidents automobiles, les comportements ou les interactions des personnages. L'automatisation de la génération de la scène sur ces systèmes se base souvent sur des langages script ou des formalismes qui étaient souvent orientés au domaine d'application. De plus, nous voulions générer l'animation en utilisant un format d'échange 3D à la place d'afficher directement l'animation. Nous pensons que l'utilisation d'un format d'échange 3D nous permet de bien générer la scène 3D, puisqu'un bon format d'échange intermédiaire permet de bien définir une animation de façon standard et fournit des outils nécessaires pour son utilisation. Pour cette raison, nous avons utilisé COLLADA comme format 3D pour représenter nos animations. D'après ces observations, nous avons émis trois hypothèses de recherche. La première supposait qu'il était possible de créer un formalisme capable de décrire une scène animée à partir d'une phrase simple. Le formalisme nous permet de faire une description de la scène animée en utilisant des noeuds,des contraintes et des images clés. La deuxième hypothèse supposait qu'il est possible de traduire le script qui décrit la scène vers le fichier COLLADA. Nous avons proposé un système logiciel qui permet de traduire le script vers un fichier COLLADA qui contient l'animation 3D. Finalement, la troisième hypothèse supposait que l'animation générée par le système permet de communiquer le sens de la phrase initiale. Le système doit pouvoir communiquer le message de la phrase qui décrit la scène vers les observateurs. Pour tester ces hypothèses, la méthodologie que nous avons retenue consiste, premièrement, à la création du formalisme qui permet de décrire la scène 3D. Nous avons proposé un schéma XML qui permet de déclarer des noeuds, des animations prédéfinies, des contraintes et des images clés qui décrivent la scène la générer. Par la suite, nous avons proposé une architecture logicielle modulaire qui traduit le script vers le fichier COLLADA. Le système utilise des algorithmes pour positionner correctement les objets dans la scène et pour synchroniser les animations. Finalement, nous avons effectué un sondage pour valider la communication du message par les scènes 3D générées. Le résultat du sondage nous permet d'analyser la compréhension du message par les observateurs et l'influence de l'environnement de la scène 3D sur le message, et ainsi, déterminer s'il est possible de transmettre le sens de la phrase initiale avec l'animation 3D. Les résultats que nous avons obtenus sont très satisfaisants. Nous avons été capables de décrire les scènes avec le formalisme proposée. De plus, le système logiciel génère des fichiers COLLADA bien structurés et il est capable de générer deux types de scènes : des scènes statiques et des scènes animées. Finalement, l'analyse des résultats du sondage montre que les scènes animées permettent de mieux communiquer les messages que les scènes statiques, mais l'utilisation correcte de deux types de scènes en fonction de la phrase permet de bien communiquer le message. En eet, les phrases qui contiennent des verbes d'état seront mieux représentées par des scènes statiques, tandis que des animations 3D permettent de mieux représenter des phrases qui contiennent des verbes d'action. De plus, l'analyse de l'influence de l'environnement nous a permis de constater qu'il n'offre pas d'amélioration dans la communication du message. Ces résultats nous ont permis de constater que le système est capable de générer de façon automatique des animations 3D qui transmettent le sens d'une phrase simple ce qui permet de simplifier le processus de production traditionnelle des animations 3D.----------ABSTRACT The traditional production of 3D animations for a video game or an animated film is a cumbersome process. Animators need several years of practice and excellent skills using Digital Content Creation (DCC) software to successfully create 3D animations. This is due to the complexity of the software and the complexity of the task. Creating a realistic walk cycle in a complex scene requires many low-level details for achieving a high level of realism. This thesis proposes a high-level view in the automatic creation of 3D animations to simplify the overall process of animation production. To address this problem, the overall objective of the research was to develop a software prototype able to automatically generate 3D animations that represent the meaning of a simple sentence. This project was an integral part of the project GITAN in computer graphics. GITAN proposed a solution to generate 3D animations from text. The solution proposed in this paper is mainly the graphics module that generates animated 3D scene representing the input sentence. With this system, the complexity of building the animated scene is greatly reduced, since we use a textual representation to describe the animation and the various objects in the scene. The literature review suggested that similar systems that automatically generate 3D animations from text are often related to a specific application domain such as automobile accidents, behavior or interactions of the characters. The automation of the scene generation for these systems is often based on scripting languages related to an application domain. In addition, we wanted to generate the animation using a 3D exchange format instead of directly display the animation. We believe that using a 3D exchange format allows us to better generate the 3D scene, since a good intermediate exchange format allows to define animations as building blocks and provides the tools to use them. For this reason, we used COLLADA as 3D format to represent our animations. From these observations, we formulated three research hypotheses. The first one assumed that it was possible to create a formalism able to describe an animated scene from a simple sentence. The formalism allows us to make an animated description of the scene using nodes, constraints and keyframes. The second hypothesis assumed that it is possible to translate the script that described the scene to a COLLADA file. We proposed a software system that translates the script to a COLLADA file that contains the 3D animation. Finally, the third hypothesis assumed that the animation generated by the system communicate the original meaning of the sentence. The system must be able to communicate the message of the sentence describing the scene to the observers. To test these hypotheses, the methodology we have adopted consists, rst of all, in the creation of the formalism for describing the 3D scene. We have proposed an XML schema for declaring nodes, animation presets, constraints and keyframes to describe the scene. Subsequently, we proposed a modular software architecture that translates the script into the COLLADA file. The system uses algorithms to correctly position the objects in the scene and to synchronize animations. Finally, we conducted a survey to validate the communication of the message contained in the 3D scenes. The result of the survey allows us to analyze the transmission of the message to the observers and the influence of the environment of the 3D scene on the message, and so, determine if it's possible to transmit the original meaning of the sentence with the 3D animation. The results we obtained are very rewarding. We were able to describe the scenes with the proposed script language. In addition, the software system is generating well structured COLLADA files and it is capable of generating two types of scenes: static scenes and animated scenes. Finally, analysis of survey results shows that the animated scenes can better communicate messages than static scenes, but the proper use of the two types of scenes according to the phrase can eectively communicate the message. Indeed, sentences that contain state verbs will be better represented by static scenes, while 3D animations can more adequately represent sentences that contain action verbs. Furthermore, in the analysis of the influence of the environment, we found that it offers no improvement in communicating the message. These results revealed that the system is able to automatically generate 3D animations that convey the sense of a simple sentence to simplify the production process of traditional animation