Face cloning and video spatialization : tools for virtual teleconference

In this paper, we propose powerful virtual image processing tools (face cloning and video spatialization) which can be useful to design new teleconferencing systems offering a better comfort for users even if very low bit rate links are used . These tools allow a new teleconferencing concept, relying on the metaphor of a virtual meeting room where participants can choose their position and point of view. In particular, we propose video cloning modules to represent all participants vith 3D synthetic models of their face, constructed from range data with simplex meshes . These models are meant to be visualized under a point of view different from the camera which analyses the facial motion of the speakers . Besides, the realism of the virtual meeting room is improved by video spatialization techniques, which aims at synthesizing new points of view from a limited set of uncalibrated views of an existing room .Dans cet article, nous proposons des algorithmes de traitement d'image vidéo (tels que le clonage de visages et la spatialisation vidéo) qui peuvent être utilisés pour définir de nouveaux systèmes de vidéoconférence offrant plus de « confort d'utilisation » que les systèmes actuels, malgré des liaisons très bas-débit. Ce nouveau concept repose sur la métaphore d'une salle de réunion virtuelle où les utilisateurs pourront choisir leur place. En particulier, nous proposons des modules de clonage vidéo pour représenter les participants par l'intermédiaire de modèles synthétiques 3D de leur visage, obtenus par création de maillages simplexes sur des données Cyberware. Ces modèles sont visualisables sous des points de vue différents de celui de la caméra qui analyse les mouvements des participants. Par ailleurs, le réalisme de l'espace de réunion virtuelle est renforcé par des techniques de spatialisation vidéo qui a pour but de créer des points de vue inédits à partir d'images statiques non-calibrées d'une salle de réunion existante

Virtual Reality Games for Motor Rehabilitation

This paper presents a fuzzy logic based method to track user satisfaction without the need for devices to monitor users physiological conditions. User satisfaction is the key to any product’s acceptance; computer applications and video games provide a unique opportunity to provide a tailored environment for each user to better suit their needs. We have implemented a non-adaptive fuzzy logic model of emotion, based on the emotional component of the Fuzzy Logic Adaptive Model of Emotion (FLAME) proposed by El-Nasr, to estimate player emotion in UnrealTournament 2004. In this paper we describe the implementation of this system and present the results of one of several play tests. Our research contradicts the current literature that suggests physiological measurements are needed. We show that it is possible to use a software only method to estimate user emotion

La prévisualisation comme activité ludique : jouer à faire un film

Pour respecter les droits d’auteur, la version électronique de cette thèse a été dépouillée de certains documents visuels. La version intégrale de la thèse a été déposée à la Division de la gestion des documents et des archives.La prévisualisation cinématographique, c’est-à-dire la mise en forme visuelle du scénario visant à préciser le film à venir, constitue une pratique dont les origines remontent aux débuts du cinéma. À travers le prisme ludique, notre thèse propose que la récente transition des outils traditionnels de prévisualisation vers des dispositifs numériques apparentés aux technologies vidéoludiques transforme cette préparation visuelle en l’apparentant sur plusieurs points à un jeu, voire à un jouet. Nos recherches portent sur la démarche créative du réalisateur, et comment l’exercice de son imagination mène à la fabrication d’un simulacre du film par le biais d’une dynamique itérative et de différents supports propres à représenter l’œuvre envisagée. Cette démarche est étudiée principalement dans le cadre de longs métrages impliquant une part substantielle d’effets visuels, un corpus particulièrement susceptible d’impliquer des stratégies élaborées de préparation logistique ou créative. À la suite d’un résumé historique impliquant une typologie des formes de prévisualisation et l’identification de variables propices à orienter les analyses subséquentes, notre thèse présente les notions d’imagination et d’attitude ludique, et précise comment ces ancrages théoriques sont utilisés pour mieux définir les aspects de la conception du film qui s’apparente au jeu. Par la suite, et au moyen d’une étude de cas impliquant un jeu vidéo remédié en un outil de machinima, elle détaille l’élaboration de la double figure dite « jeu de construction/jouet à construire » propre à représenter la nature et la dynamique de la prévisualisation selon un point de vue ludique. Nos recherches examinent ensuite les différents contextes de la production cinématographique quant à leur pertinence à l’exercice de la préparation visuelle par le réalisateur, tout en déterminant les aspects de la fabrication du film qui échappent à une telle mise en forme, lorsque réalisée au moyen des dispositifs conventionnels. À la lumière de cet examen, notre thèse propose l’émergence d’un nouvel espace de jeu, déployé transversalement à la chaine de production traditionnelle, et susceptible de favoriser la pratique d’une prévisualisation d’inspiration ludique qui répond de manière satisfaisante aux principales lacunes préalablement relevées.Film previsualization (or previs), that is to say the visual formatting of the scenario aimed at anticipating the film to come, constitutes a practice whose origins date back to early cinema. According to a lusory perspective, our thesis proposes that the recent transition from traditional previs tools to digital devices involving videogame technologies transforms visual preparation by making it more similar to a game, or eventually to a toy. Our thesis focuses on the creative approach of the director, more specifically the process of imagination and how it leads to the design of a simulacrum of the film through an iterative method while using a variety of media fit to represent the intended work. This approach takes place mainly in the context of feature films involving a substantial part of visual effects, a corpus particularly likely to involve elaborate strategies relating to logistical or creative preparation. Following a historical background, a typology of the main forms of previsualization and the identification of variables suited to guide subsequent analysis, both notions of imagination and lusory attitude are studied in order to better define the aspects of film creation that relate to play and game. Afterwards, our thesis details the twin figure of the “construction game” and the “toy to build” representing the nature and dynamics of previsualization from a lusory perspective. This will be achieved by means of a case study involving a videogame remedied as a machinima tool. Our thesis then examines the different contexts of film production as to their relevance to previsualization practices performed by the director, while exposing the aspects of filmmaking that elude such practices when carried out by means of traditional devices. In the light of this examination, our thesis suggests the emergence of a new context of play, deployed transversally to the traditional production chain, and likely to favor the practice of a lusory-inspired previsualization that addresses in a successful way some of the shortcomings previously listed

La diégétisation transmédiatique : processus de construction de représentations fictionnelles à travers les médias

Pour respecter les droits d’auteur, la version électronique de cette thèse a été dépouillée de certains documents visuels et audio‐visuels. La version intégrale du mémoire [de la thèse] a été déposée à la Division de la gestion des documents et des archivesDes convergences technologiques, économiques et socio-culturelles ont contribué à favoriser, depuis la fin du siècle dernier, le déploiement à grande échelle de représentations d’univers, réels comme fictionnels, sur de nombreux médias et plateformes. Des pratiques de création et de consommation médiatique renouvelées sont ainsi apparues autour d’objets médiatiques que, faute d’autres termes, on a pu un temps qualifier de nouveaux médias. Le transmédia s’est inscrit dans cette dynamique de médias non plus envisagés comme des entités stables, mais comme des flux aux contours changeants, poreux. Représentant l’avenir de notre rapport aux médias et au monde pour certains, mort-né pour d’autres, le transmédia, ou plutôt le transmédiatique, a fait l’objet de nombreux fantasmes et d’un certain nombre d’études qui sont loin d’avoir fait le tour de la question. Cette recherche propose de poser les bases théoriques d’une réflexion dépassionnée sur les phénomènes transmédiatiques. Ils seront essentiellement envisagés dans leur dimension fictionnelle, telle qu’elle est pensée par des créateurs d’univers diégétiques, c’est à dire d’univers habitables et navigables par un personnage et, in-fine, par un.e interprète, c’est à dire un.e lecteur-spectateur-auditeur-joueur-interacteur. C’est en se transportant physiquement ou en pensée dans ces univers, par l’entremise de modalités médiatisées construisant le Texte transmédiatique, que créateurs et interprètes participeront éventuellement d’une diégétisation transmédiatique, dont il s’agira de comprendre la nature, les tenants et les aboutissants. C’est ainsi que nous préciserons les termes de médias, plateformes, modalités et diégèse qui nous seront utiles afin d’appréhender comment, dans ce contexte de convergences, se déploient différents types de diégétisations transmédiatiques. Ces dernières seront alors envisagées comme des processus impliquant trois instances, soient les créateurs, les Textes transmédiatiques et les interprètes, se déployant paradoxalement sur des territoires se situant parfois à côté ou en dehors des médias et/ou de leur propre Texte. Enfin, nous ne manquerons pas de souligner les défis et les enjeux soulevés par ces déploiements diégétiques tous azimuts.Since the end of the last century, technological, economic and socio-cultural convergences have helped to promote the large-scale deployment of representations of universes, real and fictional, on many media and platforms. Renewed media creation and consumption practices have thus emerged around media objects that, in the absence of other terms, could for a time be described as new media. Transmedia has become part of this media dynamic, no longer seen as stable entities, but as flows with changing, porous contours. Representing the future of our relationship with the media and the world for some, stillborn for others, transmedia has been the subject of many fantasies and a number of studies that are far from complete. This research proposes to lay the theoretical foundations for a dispassionate reflection on transmedia phenomena. They will essentially be considered in their fictional dimension, as conceived by creators of diegetic universes, i.e. universes that can be inhabited and navigated by a character and by an interpreter, i.e. a reader-spectator-listener-player-interactor. It is by transporting oneself physically or in thought into these universes, through mediatized modalities constructing the Transmedia Text, that creators and interpreters will eventually participate in a transmedia diegetization, the nature, ins and outs of which will have to be understood. We will define the terms media, platforms, modalities and diegesis that will be useful to us in order to understand how, in this context of convergences, different types of transmedia diegetization are deployed. The latter will then be considered as processes involving three instances, namely creators, transmedia Texts and interpreters, paradoxically unfolding in territories that are sometimes located next to or outside the media and/or their own Text. Finally, we will highlight the challenges and issues raised by these all-out diegetic deployments

Le pragmatisme comme épistémologie pour le design de jeux : enquête sur la créativité et le processus de design

Cette thèse se propose d’étudier la pratique créative des designers de jeux sous l’angle de la philosophie pragmatiste. Le design de jeux a pour ambition de se constituer comme une discipline scientifique. A l’instar des autres disciplines du design, son principal objet d’étude est la pratique. Outre la problématique des savoirs professionnels, le terme « pratique » convoque aussi celle des pratiques pédagogiques qui sous-tendent la formation des praticiens en design de jeux, ainsi que celle des pratiques de recherche scientifique. En s’inscrivant dans la lignée des travaux de Donald Schön touchant l’épistémologie de la pratique en design, cette thèse explore la philosophie pragmatiste comme approche globale permettant d’étudier aussi bien la pratique du chercheur en design de jeux que la pratique créative des futurs designers de jeux, c’est-à-dire l’apprentissage du processus de design. Nos questions de recherche sont ainsi : 1. Quels sont les auteurs et les cadres conceptuels de la philosophie pragmatiste qui ont le potentiel d’asseoir une nouvelle épistémologie de la pratique ? 2. Comment ces concepts de la philosophie pragmatiste permettent-ils de comprendre et décrire le processus créatif de design de jeux en situation pédagogique ? Dans un premier temps, les épistémologies dominantes des études en design de jeux et des théories de la créativité sont explorées et critiquées. Puis nous proposons un cadre théorique composé d’une alliance inédite entre les travaux de Donald Schön, Hans Joas, Charles Sanders Peirce et John Dewey. Ces quatre auteurs, par-delà leur appartenance au courant du pragmatisme, partagent un concept central de cette philosophie : celui de l’enquête. En effet, la théorie de l’enquête chez ces auteurs est à la fois une philosophie, une épistémologie et une méthodologie (aussi bien de la recherche que de la pratique). Notre terrain d’expérimentation se focalise sur la pratique et la créativité du designer de jeux. Nous examinons des dizaines de projets de design au sein du Baccalauréat de l’École des arts Numériques, de l’Animation et du Design (NAD – UQAC). Dans une approche de recherche-projet-collaborative inspirée des travaux d’Alain Findeli et Serge Desgagné, nos participants sont les étudiants ainsi que les designers de l’entreprise de jeux vidéo montréalaise Juicy Beast. Nos résultats proposent une vision où le designer devient un enquêteur (au sens pragmatiste), cherchant à structurer une situation indéterminée. Il doit pour cela dialoguer avec cette situation afin d’éviter de sombrer dans un agir rigide. Il doit aussi valoriser le raisonnement par abduction (raisonnement métaphorique) pour explorer des problèmes et trouver de nouvelles idées de solution. Enfin, il ne peut se contenter « d’avoir des idées » : il doit transformer concrètement la situation à l’aide de différents prototypes. Le modèle de l’enquête pragmatiste informe aussi le processus de la recherche, et le chercheur est à son tour un enquêteur qui examine une situation intellectuelle indéterminée. Notre recherche est ainsi une « enquête sur l’enquête ». La philosophie pragmatiste est une voie épistémologique qui produit des connaissances sur la recherche, la pratique et l’enseignement, participant ainsi à la transformation et l’amélioration du monde.This dissertation examines the creative practice of game designers from the perspective of the pragmatist philosophy. Game design aims to be a scientific discipline. Like other design disciplines, its main research focus is practice. In addition to professional knowledge, the term ‘practice’ also refers to the pedagogical practices that underlie practitioners’ training in game design and to scientific research practices. Aligned with Donald Schön’s work on the epistemology of design practice, this thesis explores pragmatism as a global approach to studying scientific research practices in game design as well as the creative practice of game design students, in other words, the way they learn the design process. The research question is twofold: 1. What pragmatist authors and conceptual frameworks have the potential to inform a new epistemology of practice? 2. How do these pragmatist concepts make it possible to understand and describe the game design process in an educational setting? This dissertation begins by exploring and criticizing dominant epistemologies of game design studies and theories of creativity. It then presents a theoretical framework that builds on a combination of concepts from Donald Schön, Hans Joas, Charles Sanders Peirce and John Dewey. Beyond belonging to the pragmatist school of philosophy, these four authors share an understanding of a central concept to this philosophy: inquiry. They position the theory of inquiry as a philosophy, an epistemology and a methodology (of research and of practice). Next, the dissertation focuses on game designers’ practice and creativity by examining dozens of design projects in the Bachelor program at the School of Digital Arts, Animation and Design (NAD-UQAC) and using a collaborative-project-grounded-research approach, inspired by the works of Alain Findeli and Serge Desgagné. Participants of this collaborative-project-grounded research are students in this university program and designers at the Montreal video game company Juicy Beast. The results of the research show that the game designer becomes an “inquirer” (in the pragmatist sense) with the goal of organizing an indeterminate situation. The designer must engage in a dialogue with the situation to avoid rigid action. He/she must also use abduction (metaphorical reasoning) to explore new problems and find new ideas. Finally, the designer cannot be satisfied with only “having ideas”; the situation needs to be transformed concretely, using different prototypes. The model of pragmatist inquiry also informs the research process. Similarly, the researcher is an inquirer who examines an indeterminate intellectual situation. This research is therefore “an inquiry on inquiry.” The pragmatist philosophy thus becomes an epistemological alternative that produces knowledge about research, practice and teaching, and contributes to the transformation and improvement of the world

Le jeu vidéo dans ses rapports à la psychologie clinique: Une approche psychanalytique

Video games interrogate more and more the clinical psychology since early 2000's. They are in the center of numerous controversies about its uses and its alleged misdeeds. Despite this, some video game practices tend to trivialize today. However, the discourse of addictologists, media, parents and educators, players themselves or of psychoanalysis, often convey a truth obscured by the language that continues to question us. Notably, it raises the issue of the origins, history, and the effects of this truth on the subject that interests us. Say that play "maybe like drugs" is very eloquent about the representations we make, as a society, relating to the game, as the video game. But it's very eloquent, too, about some discontent about new technologies and youth in general. It is this discontent, we think carefully collect in certain demands, and in some symptomatic clinical manifestations, even in some "synthomatical" manifestations. This thesis attempts to question the history and characteristics of the video game as a playful object, before presenting the reports of the video game to the clinic, to finally conclude with a reflection on the discourse about the video game and their possible effects in the clinic.L’objet jeu vidéo interroge de plus en plus la psychologie clinique depuis le début des années 2000. Au centre de divers controverses quant à ses usages et ses prétendus méfaits ; certaines pratiques videoludiques tendent aujourd’hui à se banaliser. Pour autant, le discours des addictologues, des médias, des parents et éducateurs, des joueurs eux-mêmes, voire de la psychanalyse, véhiculent souvent une vérité masquée par le langage qui ne cesse de nous interroger. Notamment, c’est la question des origines, de l’histoire, et des effets de cette vérité sur le sujet qui nous intéresse. Dire que jouer « peut-être comme la drogue » en dit long sur les représentations que nous nous faisons, en tant que société, du jeu, comme du jeu vidéo. Mais cela en dit long, également, sur un certain malaise à propos des nouvelles technologies et de la jeunesse en général. C’est ce malaise, que nous pensons percevoir dans certaines demandes de soin, et dans certaines manifestations cliniques symptomatiques, voir « synthomatiques ». La présente thèse tente de s’interroger sur l’histoire et les caractéristiques du jeu vidéo en tant qu’objet du champ du ludique, avant de présenter les rapports du jeu vidéo à la clinique, pour enfin conclure sur une réflexion autour des discours propos du vidéoludique et de leurs possibles effets en clinique

Dance performance in cyberspace - transfer and transformation

The aim of this research undertaking is to understand the potential development of dance performance in the context of cyberculture, by examining the way practitioners use new media to create artworks that include audience participation, and by endeavouring in their theorization. With specific reference to cyberspace as a concept of electronic, networked and navigable space, the enquiry traces the connections such practices have with conventions of the medium of dance, which operate in its widely known condition as a live performing art. But acknowledgement that new media and new contexts of production and reception inform the characteristics of these artworks and their discursive articulation, in terms of the way people and digital technologies interact in contemporary culture, is a major principle to their analysis and evaluation. This qualitative research is based on case-study design as a means of finding pragmatic evidence in particulars, to illustrate abstract concepts, technological processes and aesthetic values that are underway in a new area of knowledge. The field where this research operates within is located by a mapping of published literature that informs a theoretical interdisciplinary framework, which contextualizes the interpretation of artworks. The selected case studies have been subject to a process of systematic and detailed analysis, entailed with a model devised for the purpose of this enquiry. From this undertaking it can be claimed that while an extensive array of technologies, media and interactive models is available in this field, the artists pursue a commitment to demonstrate their worth for specifically developing (new media) dance performance, and for dance performance to articulate technological and critical issues for cyberculture studies. The results of this enquiry also contribute to conceptual understanding of what dance can be, today, in the light of technological changes

Ewva European Women's Video Art in The 70sand 80s

EWVA European Women's Video Art in the 70s and 80s is the main output of the eponymous research project funded by the Arts and Humanities Research Council and based at Duncan of Jordanstone College of Art and Design. The research team consisted of the Principal Investigator, Professor Elaine Shemilt, the Co-investigator Professor Stephen Partridge, Dr Laura Leuzzi, as Post-Doctoral Researcher and Adam Lockhart as Media Archivist. The book retraces some of the stories of early women artists video experimentation in Europe, and their achievements, and features chapters on fundamental case studies of early video artworks, themes, genres and geographical areas, to interest curators, academics, artists and the general public. This publication aims to contribute to a reassessment of women artists involvement in early video art and strength their profiles and identities within the art historical canon. Authors include: Jon Blackwood, Maeve Connolly, Cinzia Cremona, Sean Cubitt, Malcolm Dickson, Catherine Elwes, Slavko Kazunko, Marika Kumicz, Laura Leuzzi, Adam Lockhart, Stephen Partridge, Lorella Scacco, Elaine Shemilt, Emile Shemilt. The book will be opened by an Introduction by Laura Leuzzi, with a Foreword by Laura Mulvey and Preface by Siegfried Zielinski