Apport des méthodes de planification automatique dans les simulations interactives d'industrialisation et de maintenance en réalité virtuelle

Ce document explore l'utilisation de méthodes de planification automatique dans des simulations interactives. Lors de simulations de montage et de démontage de composants industriels en environnement virtuel, l'utilisateur peut nécessiter une assistance. Cette assistance est réalisée par l'utilisation d'une solution de planification de trajectoire en temps réel. Cette solution permet la construction interactive d'une chemin par la combinaison de l'avis de l'utilisateur avec la performance de planificateurs automatiques. ABSTRACT : This PhD thesis explores the use of motion planning methods in interactive simulations. In the context of assembling and disassembling simulations of industrial components using haptic devices, the user may require assistance to find collision free paths. This assistance can be provided using real time interactive path planning methods. Our solution allows an interactive construction of free paths by combining the opinion of the user with the performance of fast modified automatic path planners

Former à la conception d’expériences de réalité étendue : vers un champ d’études et de pratique en design et médiation de futurs

Ce mémoire porte sur l’enseignement universitaire du design formant à la conception des expériences de la réalité étendue (RE). Il s’agit d’une modalité évolutive de médiation expérientielle qui intègre l’ensemble de celles établies (RA, RV, RM). Nous étudions les potentialités des expériences qui, lorsqu’elles sont actualisées grâce à des technologies prêt-à- porter sur ou en soi, peuvent modifier in situ la réalité perçue pour fluidifier, enrichir, ou enchanter l’existence de l’être humain évoluant à l’intersection de l’actuel-physique et du virtuel- numérique. Dans une perspective prospectiviste révélant la pratique du projet de design comme la conception de ces expériences constitutives de nos futurs préférables, nous abordons la médiation du cadre de la vie quotidienne au prisme expérientiel du modèle ontophanique unifiant de la « réalité multiplis » (Courchesne, 2012). Si le projet, nous amenant à avoir une expérience mémorable et indivisible des multiples plis de notre réalité qui s’enrichit, génère de nouveaux axes de recherche et de création au croisement des disciplines œuvrant à son avancement, il pose aussi des défis croissants aux divers programmes d’études et de pratique qui y préparent – défis pourtant peu abordés au sein des écoles de design. Notre recherche vise à développer l’enseignement universitaire du design formant à la conception des expériences à la fois immersives et nomades de la réalité étendue (RE). À cette fin, nous avons effectué une revue de littérature qui porte sur les principales modalités établies de médiation expérientielle, sur la nomadisation des expériences immersives dans la vie de tous les jours, et sur la méthodologie de la recherche en éducation. Ce chapitre qui constitue la charpente de notre cadre théorique nous conduit à élaborer une stratégie méthodologique mixte organisant la recherche sur le terrain en trois parties. Nous débutons par la réalisation 1) d’une étude de cas visant à mieux comprendre, par la pratique réflexive, la conception de l’expérience immersive et nomade dont nous modélisons le projet. Le modèle est ensuite mis à l’épreuve dans l’enseignement, grâce à 2) une enquête par questionnaire (n = 54), afin d’identifier les principaux défis rencontrés par les étudiants. Ces défis servent à vérifier la pertinence de l’offre de cours dans l’analyse comparative de 3) deux recensements comprenant trente-six programmes d’un système universitaire développé. À la lumière de nos résultats, nous concluons la recherche en introduisant un modèle synthèse inédit qui structure un nouvel axe d’enseignement en design et médiation des futurs. Nous espérons que ce modèle pourra contribuer au développement de l’enseignement universitaire qui forme à la conception des expériences de la réalité étendue (RE) dans les divers champs d’études et de pratique du design.This thesis focuses on design education aimed at the design practice of extended reality (XR) experiences defined as an evolving modality of experiential mediation which integrates all of those established (AR, VR, MR). We study the potential of these experiences which, when they are actualized using wearable technologies on or in ourselves, can modify in situ our perceived reality to fluidify, enrich, or enchant the existence of the human being evolving at the intersection of the actual-physical and the virtual-digital. From a foresight perspective revealing design practice as the conception of these constitutive experiences of our preferable futures, we approach the mediation of the daily life through the experiential prism of the unifying ontophanic “multifold reality” model (Courchesne, 2012). If the project leading us to have a memorable and indivisible experience of the multiple folds of our extending reality generates new research and creation axes, at the crossroads of disciplines working towards its advancement, it also poses growing challenges to most programs of studies and practice in design – challenges that are not often addressed in design schools. Our research seeks to develop design education that trains to both immersive and nomad extended reality (XR) experiences. To this end, we conducted a review of the literature on the main established modalities of experiential mediation, on the nomadization of immersive experiences in everyday life, and on the research methodology in education. This chapter, which constitutes our theoretical framework, leads us to develop a mixed methods strategy by organizing our research into three parts. We begin by 1) a case study aimed at better understanding, through reflective practice, of the design of immersive and nomad experience, which we model the project. The model is then put to the test in teaching, using a 2) a questionnaire survey (n = 54), to identify the main challenges encountered by the students. These challenges are crossed with the comparative analysis of 3) two lists comprising thirty-six programs of a developed university system, with the aim of verifying the relevance of the course offer. In the light of our results, we conclude the research by introducing a novel synthesis model that structures a new teaching axis in design and futures mediation. We hope that this model can contribute to the development of design education training to extended reality (XR) experiences in the various fields of studies and practice of design

Virtualia 2016. La réalité virtuelle au service de la recherche: Actes du séminaire organisé par le CIREVE à Caen (19 octobre 2016),

International audienceLe séminaire Virtualia est né en 2006 en même temps que le Centre Interdisciplinaire de Réalité Virtuelle (CIREVE) de l’Université de Caen Normandie. Son objectif est de permettre aux équipes associées au CIREVE d’exposer leurs méthodologies et les résultats de leurs travaux dans le domaine de la Réalité Virtuelle, tout en s’ouvrant à des communications extérieures. Il a connu quatre éditions de 2006 à 2009.2016 fut l’occasion de relancer VIRTUALIA et de concrétiser le partenariat avec les Universités de Rouen et du Havre dans le cadre de la COMUE. Une Structure Fédérative de Recherche « CIREVE » est en effet en cours de labellisation au sein de Normandie Université. 2016 est également une année importante car elle marque à la fois le dixième anniversaire du CIREVE et la finalisation d’une plate-forme de réalité virtuelle normande, unique en son genre sur le territoire français. Elle est composée d’une salle immersive quatre faces de 45 m2, équipée d’un tapis roulant particulièrement adapté pour l’analyse de la marche en temps réel (GRAIL de Motek Medical). Les calculateurs de cette salle immersive sont mutualisés avec un amphithéâtre attenant de 150 places, de manière que les expérimentations effectuées avec un sujet unique dans la salle immersive puissent être suivies par un auditoire nombreux (besoins de formation notamment). Les équipes utilisent le matériel au fur et à mesure des développements informatiques et de nouveaux protocoles d’expérimentation germent dans l’esprit des chercheurs qui voient dans la réalité virtuelle des possibilités de tests jamais atteintes.Une centaine de chercheurs utilise régulièrement le plateau technique CIREVE, dans des visées de recherche qui leur sont propres. Il est toutefois apparu qu’un certain nombre de problématiques concernaient toutes les disciplines et qu’une partie de la réflexion sur les mondes virtuels pouvait être mutualisée. Le séminaire VIRTUALIA permet d’offrir un espace de rencontre à ces chercheurs, issus d’horizons différents, pour discuter de l’utilisation de l’outil d’un point de vue épistémologique. Il est par exemple capital de s’interroger sur la notion de présence. Le sujet se comporte-il de la même façon dans l’environnement virtuel et dans le monde réel ? Les chemins de circulation choisis dans le modèle virtuel sont-ils les mêmes que ceux qui seraient empruntés en réalité ? Les conclusions établies dans le modèle virtuel sont-elles directement transposables à la réalité ? Un des enjeux du travail est d’évaluer la pertinence subjective des modèles virtuels, ce qui est capital avant de généraliser leur utilisation dans des actions de formation par exemple. L’utilisation d’une technologie n’est jamais complètement neutre. Dans le cadre des mondes virtuels, l’interaction de l’homme avec le monde de synthèse n’est possible qu’au travers de logiciels et d’interfaces matérielles. Il faut s’assurer que les processus cognitifs soient adéquats avant de s’interroger sur le résultat des simulations. Naturellement, le séminaire permet également à chaque discipline d’exposer les résultats des dernières recherches réalisées grâce à la réalité virtuelle.Les domaines scientifiques concernés par la réalité virtuelle sont multiples : les civilisations et les patrimoines culturels, la médecine, les neurosciences, la psychologie, les sciences du mouvement et du sport, l’ingénierie, l’informatique. L’Université de Caen Normandie étant pluridisciplinaire, le spectre des utilisations est très large. Elles se répartissent en trois axes principaux et un axe en émergence :LA REPRÉSENTATION : la réalité virtuelle permet de représenter et de visualiser, interactivement et en trois dimensions, des environnements disparus, dégradés, inaccessibles, ou des environnements futurs.Domaines concernés : civilisations, patrimoine, linguistique...L'EXPÉRIMENTATION : en permettant d'interagir en temps réel avec un monde numérique 3D, la réalité virtuelle offre de nouvelles perspectives d'expérimentations dans des environnements de plus en plus proches du réel et en même temps parfaitement contrôlables.Domaines concernés : santé, neuropsychologie, psychologie, activités physiques et sportives...LA CREATION ET LE DEVELOPPEMENT D’OUTILS : les informaticiens créent et testent des applications concernant les méthodes de navigation en monde virtuel, de restitution de la réalité.Domaine concerné : informatique.LA FORMATION (axe en émergence) : par la représentation de la connaissance, par les diverses possibilités d'expérimentation, la réalité virtuelle est un formidable outil de formation.Domaines concernés : sciences du langage, médecine, informatique (serious game, simulation...).Une partie importante de la réflexion développée lors du séminaire Virtualia 2016 a été consacrée aux enjeux sociétaux liés à la réalité virtuelle : notions de mémoire, d’apprentissage des gestes techniques, d’être humain « augmenté » etc. Les articles publiés attestent du savoir-faire, bien réel cette fois, que le CIREVE a acquis en termes de création de mondes virtuels pour représenter, expérimenter et former. La publication des actes du séminaire Virtualia vise à mettre en lumière des recherches particulièrement innovantes qui s’effectuent dans un cadre technologique exceptionnel.- S. Madeleine, Virtualia 2016. Introduction (et direction de l'édition)- J. Grieu, F. Lecroq, Th. Galinho, H. Boukachour, Environnements industriels virtualisés et processus d’apprentissage- Ph. Brunet, J. Dehut, Images 3D et humanités numériques : modélisation et restitution du geste théâtral- G. Lecouvey, J. Gonneaud, N. Legrand, G. Rauchs, F. Eustache, B. Desgranges, Réalité virtuelle et mémoire- N. Benguigui, C. Mandil, M. Mallek, L. Lejeune, R. Thouvarecq, Étude des liens entre perception et action dans des environnements virtuels- E.-G. Dupuy, A. Maneuvrier, E. Vlamynck, S. Besnard, B. Bienvenu, L.-M. Decker, Le syndrome d’Ehlers-Danlos type hypermobile : évolution des stratégies posturales en réponse à un programme de rééducation à visée somesthésique- C. Weismann-Arcache, Réalité virtuelle et humain augmenté : subjectivation, désubjectivation ?- L. Haddouk, Réalité psychique en visioconsultatio

Effets d'un contrôleur avec reconnaissance de gestes écologiques sur l'immersion dans un jeu sérieux adapté

Le vieillissement de la population va amener une augmentation du nombre de cas pour les individus atteints de la maladie d'Alzheimer. En retour, celle-ci risque de décupler les coûts financiers et humains reliés aux soins de ces personnes. Pour atténuer le problème, des habitats intelligents, utilisant l'intelligence ambiante, ont été mis au point pour permettre aux patients de la maladie d'être assistés par des agents artificiels dans leur quotidien, leur permettant de demeurer autonomes plus longtemps durant le développement de la maladie. De plus, ces habitats permettent aux intervenants du domaine de surveiller l'état de leurs résidents sans nécessiter d'être présent physiquement. Cependant, cette solution demeure dispendieuse et peu accessible. Les jeux sérieux offrent une avenue de solutions actives intéressantes pour cette situation. En plus d'êtres très accessibles, plusieurs jeux sérieux ont émergé au fil des dernières années dans le domaine du traitement et de la réadaptation pour des individus âgés. Ces jeux parviennent à fortement engager leurs utilisateurs et à être bien perçus par ces derniers. De plus, plusieurs recherches tendent à démontrer les bénéfices de l'utilisation d'une console de jeu chez les personnes âgées. Un jeu sérieux développé pour les individus atteints de la maladie d'Alzheimer dans l'objectif de mettre en pratique leurs facultés cognitives représente une solution plus active et complémentaire à l'habitat intelligent. Son utilisation permettrait de ralentir le déclin des capacités cognitives causé par la maladie. L'immersion joue un rôle clé dans un tel concept puisqu'elle participe à la création d'un bon niveau d'engagement au jeu. En effet, il est important de préserver l'intérêt du joueur dû à l'aspect répétitif d'un jeu. Plusieurs jeux sérieux possédant divers degrés d'immersion emploient des interfaces qui utilisent la reconnaissance de gestes écologiques pour aider à l'amélioration des compétences ou bien encore à la réadaptation de leurs utilisateurs. L'impact de l'utilisation de ces contrôleurs sur le niveau d'immersion et d'engagement dans un jeu demeure incertain. Ce mémoire étudie la relation entre les interfaces tangibles employant la reconnaissance de gestes écologiques sur l'immersion, et ce, dans le contexte d'un jeu sérieux développé pour aider au maintien des fonctions cognitives chez des individus atteints de la maladie d'Alzheimer. Il propose notamment l'implémentation d'un concept de jeu dont l'interface tangible d'utilisation peut être une souris d'ordinateur ou bien une télécommande Wii employant la reconnaissance de gestes écologiques. Une expérience a été menée à l'aide du prototype afin d'établir l'indice d'immersion moyen pour chacune des méthodes d'interaction. Les résultats ont été analysés dans le but d'établir les conditions sous lesquelles l'utilisation d'une interface tangible employant la reconnaissance de gestes écologiques pourrait permettre d'augmenter le niveau d'immersion d'un jeu

Stratégie nationale des infrastructures de recherche : édition 2021

Le ministère de l’Enseignement supérieur, de la Recherche et de l’Innovation a publié le 8 mars 2022 la nouvelle Feuille de route nationale des infrastructures de recherche caractérisée, notamment, par une attention renforcée aux questions transversales de la science ouverte et des données

Conception d’une interface adaptative en réalité augmentée pour gérer des systèmes autonomes dans le déroulement de missions critiques

RÉSUMÉ : Dans une situation critique, de nombreux humains risquent leur vie pour en sauver d’autres. Les technologies innovantes pourraient grandement améliorer la conscience de la situation des acteurs de l’urgence, réduire le risque humain ainsi qu’augmenter la facilité de résolution des missions. Nous avons étudié cette idée en concevant une interface en réalité augmentée (RA) pour contrôler un essaim de drones durant une situation d’urgence.Durant ce travail, nous avons conçu cette interface pour gérer plusieurs drones et accroître la connaissance de la situation dans les situations critiques. L’essaim était composé de drones autonomes qui fournissaient un flux important d’informations. Le projet consistait à com-prendre les besoins humains dans les situations d’urgence et concevoir une application AR pour un visiocasque.Nous nous sommes concentrés sur la situation et les besoins du SIM (Service de sécurité incen-die de Montréal). Nous avons développé une solution qui conjointement avec un planificateur de mission dirige l’essaim fonctionnant sous l’infrastructure développée par le partenaire in-dustriel. Nous avons ensuite mis en place une simulation d’urgence avec un bâtiment de grande hauteur en feu où les participants devaient comprendre la situation en utilisant le visiocasque AR.Pour tester notre technologie et valider nos hypothèses, nous avons conçu une une simula-tion stressante et diÿcile pour être testée avec des gens de Polytechnique Montréal. Nous comparons l’eÿcacité d’un ordinateur basique et d’un visiocasque de réalité augmentée afin d’établir une comparaison et de mesurer l’eÿcacité de la RA. Nous terminons en expliquant que le casque de RA était moins eÿcace qu’un ordinateur dû notamment à la toute première utilisation de cet outil. Cependant, le visiocasque montre des résultats proches de l’ordina-teur et la technologie a été appréciée par tous les participants.----------ABSTRACT : In critical situations, many humans risk their lives to save others. Innovative technologies could greatly improve the situational awareness of emergency responders, reduce human risk and increase the resolution’s mission. We investigated this idea by designing an augmented reality (AR) interface to control a swarm of drones during an emergency situation.During this work, we designed an interface to manage multiple unmanned aerial vehicles (UAVs) and increase situational awareness in critical situations. The swarm was composed of autonomous UAVs that provided a significant flow of information. The project consisted of understanding human needs in emergency situations and designing an AR application for a headset.We focused on the situation and the needs of the SIM (Montreal Fire Safety Service). We developed a solution that, simultaneously with a mission planner, manages drones in the field operating with the infrastructure developed by the industrial partner. We then set up an emergency simulation with a high-rise building on fire where participants had to understand the situation using AR headset.To test our technology and validate our hypotheses, we tested our solution with people from Polytechnique Montreal during a stressful and diÿcult simulation. We compare the e˙ectiveness of a basic computer and an augmented reality headset to compare and measure the e˙ectiveness of AR. We concluded by explaining that the AR headset was less e˙ective than a computer, due in part to the very first use of this tool. However, the headset shows results close to the basic computer, and the technology was appreciated by all participants. We saw an improvement with the headset almost similar to the computer. Our results showed that augmented reality could, with more training and practice, improve conditions in emergency situations

Évaluation et calibration des comportements des agents pour les simulations immersives

abstrac

Les piliers perceptuels du cinéma d’animation

Toute discipline devrait reposer sur des bases théoriques solides ; mais ce n’est pas nécessairement le cas des études en animation. Au mieux, la pratique est encadrée par douze « principes » d’animation codifiés dans The Illusion of Life (1985) par deux animateurs de Disney, Ollie Johnson et Frank Thomas. Parmi ces principes, certains s’appliquent au cinéma en général ou sont techniques ; alors que d’autres visent l’essentiel artistique de l’animation : comment produire des mouvements fluides, expressifs et crédibles. Les principes sont utilisés parce qu’ils fonctionnent ; mais personne du domaine n’a tenté de déterminer les mécanismes perceptifs qui expliqueraient pourquoi ils fonctionnent. Pire, la seule « théorie » généralement acceptée par le milieu prétend toujours que la « persistance rétinienne » explique la perception de mouvement au cinéma; et cette théorie a été démontrée fausse, il y a plus de quarante ans. Le premier objectif de cette thèse est d’identifier et de décrire les phénomènes perceptifs sur lesquels l’art de l’animation repose ; et, deuxièmement, de structurer ces connaissances avec de nouveaux concepts qui seront utiles sur le plan pratique, théorique et pédagogique. Cette thèse se veut transdisciplinaire et mobilise un ensemble important de connaissances hétéroclites, traitantà la fois de la vision et du cinéma. Le premier chapitre donne un aperçu des grandes théories psychologiques et cinématographiques auxquelles nous nous référerons. Ensuite, les concepts psychophysiques et anatomiques élémentaires de la vision seront décrits au chapitre 2. Le chapitre 3 vise à démystifier la « théorie » de la persistance visuelle. Nous rappelons que l’œil et la rétine se bornent à transmettre une suite d’images au cortex qui utilise une série de procédés pour percevoir le mouvement. Au chapitre 4, nous étudierons deux types de mouvements animés (mouvement apparent de longue portée et de courte portée) et présenterons les axiomes qui les gouvernent. Le chapitre 5 amorce la deuxième partie de la thèse où nous faisons le lien entre les mécanismes de la vision et les principes d’animation de Disney. Nous présentons un modèle de notre invention qui distingue une hiérarchie de cinq paliers perceptuels en animation : 1) le mouvement apparent (décrit précédemment) ; 2) le mouvement inanimé ; 3) le mouvement animé ; 4) le mouvement émouvant (c’est-à-dire les émotions et performances) ; et 5) le monde (Umwelt) animé. Ensuite, nous examinons quelques autres « principes » qui visent à maximiser la qualité visuelle d’une animation, en particulier : la cadence, le tempo, et le principe de l’étirement et de la compression. Poursuivant dans cette voie, le chapitre 6 explore la question : « à quel degré une animation doit-elle être réaliste pour fonctionner ? ». D’abord, nous explorerons le rôle de l’exagération (principe no 10), typique des cartoons ; puis les différences fondamentales entre un mouvement « animé » effectué par une entité vivante, et les mouvements passifs associés aux objets « inanimés ». Il se trouve qu’une expérience positive repose sur une harmonisation perceptive des différents éléments d’un film en portant une attention particulière à l’apparence des yeux des personnages, car des divergences de style peuvent provoquer le phénomène de la « vallée de l’étrangeté ». Enfin, au dernier chapitre, nous proposons quatre nouveaux concepts pratiques pour guider les animateurs à créer des animations et des univers expressifs et convaincants. Ces derniers sont : 1) la molette de l’exagération, 2) la pyramide de l’exagération, 3) la cape de la crédibilité et 4) l’Umwelt animé. Nous terminons la thèse en suggérant qu’il n’est plus suffisant pour l’animation de suivre des principes pratiques sans vraiment les comprendre. Il est grand temps que l’animation, à la fois comme art et comme champ d’études, s’intéresse aux principes et illusions qui l’animent