71 research outputs found

    Interaction indirecte en réalité virtuelle à l'aide d'un médiateur

    Get PDF
    Currently many researches in the field of multimodal interfaces (input, output) have been made in order to be able to achieve complex tasks merely, naturally, and quickly. Expert interfaces should be considering the risks resulting from an ordered action, to prevent any harmful action and to suggest possible alternatives. Taking into account the complexity of the tasks to achieve and exponential growth of information, the adaptive systems are henceforth essential to make possible and facilitate the work of the operator. A good man-machine interface is thus strongly required. We note that multiple interaction and manipulation techniques are currently available, but at this time, the characteristic tools of the WIMP paradigm (Windows, Icons, Menus and Ppointing device) did not find their equivalent in 3D interfaces. There still remains way to make to be able to find the perfect tool and to enforce it as a standard for the 3D interfaces and applications. Therefore, our research was focused gradually towards the proposal for a mediating interface: a very adaptive and functional interface, intended to simplify to the maximum the human interaction in the execution of complex work. The concept of the "mediator" might be clarified in the following way, i.e.: A user in full immersive system named mediator world will be able to control or interact a front distance, through an intermediary haptic devices, on another virtual or real world named controlled world. Let us recall that the Human needs simple tools to be able to achieve complicated tasks. In such a case, one of the ultimate goals is to make the machine adapt to the human instead of forcing the human to adapt to the machine

    Interaction avec des environnements virtuels affichés au moyens d'interfaces de visualisation collective

    Get PDF
    Les interfaces de visualisation collective à base de grands écrans permettent à plusieurs participants, localisés en un lieu unique, d'être immergés dans un même environnement virtuel (EV). Malgré leur potentiel pour le travail de groupe, ces interfaces restent souvent sousutilis ées, car les utilisateurs n'ont pas la possibilité d'interagir facilement et efficacement avec les EV qu'ils sont en train de visualiser. Nous nous proposons d'étudier les caractéristiques des interfaces de visualisation collective afin de définir un ensemble de recommandations pour l'interaction avec des EV. A partir de ces recommandations, nous critiquons les interfaces d'action existantes et proposons une nouvelle interface appelée le CAT. Le CAT est une interface d'action à six degrés de liberté fonctionnant à partir de modes de résistances isotoniques et isométriques. Un plateau mobile articulé autour d'un pied fixe permet la réalisation de tâches d'interaction 3D (navigation, manipulation). Une tablette graphique, fixée sur le plateau permet la réalisation de tâches d'interaction 2D (sélection, contrôle du système). La structure du CAT favorise une interaction non contraignante, rapide et efficace pour des utilisateurs novices. Une évaluation formelle a permis de montrer que le CAT était plus performant qu'une spacemouse pour des tâches de manipulation d'objets 3D, et que les préférences des utilisateurs étaient en sa faveur. Le CAT a été utilisé pour des applications de revue de projet et de théâtre interactif. Cette nouvelle interface d'action favorise le développement d'applications concrètes utilisant des EV affichés au moyen d'interfaces de visualisation collective.Large-displays used as collective visualization interfaces allow several co-located participants to be immersed in virtual environments (VE). In spite of their potential for group works, large-displays are often under-used because the users cannot interact easily and e_ciently with the visualized VE. The study of the characteristics of the large-displays allows us to propose a set of recommendations for interaction with the VE. From these recommendations, we criticize the existing input devices, and propose a new input device : the CAT (Control Action Table). The CAT is a 6 degrees of freedom device mixing isotonic and isometric resistance modes. It consists of a freestanding sensitive top, which can be orientated in space. The manipulation of this top allows to perform 3D tasks (manipulation, navigation). A tablet, _xed on the top, allows to perform 2D tasks (selection, system control). The CAT design favours a nonconstraining, quick and e_cient interaction for novice users. A user study has shown that the CAT is more e_cient than a standard 6 DOF rate controller for 3D manipulation tasks, and that the user preferences are in its favour. The CAT has been used for applications of project review and interactive theatre. This new input device favours the development of real applications using VE visualized on large-displays

    Interaction en réalité mixte appliquée à l'archéologie sous-marine

    Get PDF
    L intérêt porté par l archéologie à la réalité virtuelle est croissant. La réalité virtuelle est devenue un outil nécessaire pour l exploration et l étude des sites archéologiques, et plus particulièrement, les sites archéologiques sous-marins qui se révèlent parfois difficile d accès. Les études actuelles proposent des solutions en réalité virtuelle ou en réalité augmentée sous forme d environnements virtuels avec une interaction virtuelle et/ou augmentée mais aucune étude n a vraiment essayé de comparer ces deux aspects de l interaction. Nous présentons dans ce mémoire trois environnements en réalité virtuelle et un environnement en réalité augmentée où nous proposons des nouvelles méthodes d interaction. Ainsi, nous évaluons leurs fonctionnalités d un point de vue archéologique, nous étudions l influence du niveau d immersion sur les performances de l interaction et nous réalisons une comparaison entre l interaction en réalité virtuelle et en réalité augmentée.The interest in archeology virtual reality is growing. Virtual reality has become a necessary tool for exploration and study of archaeological sites, and more specifically, the underwater archaeological sites that sometimes prove difficult to access. Current studies suggest solutions in virtual reality or augmented reality in the form of virtual environments with virtual interaction and/or augmented interaction but no studies have really tried to compare these two aspects of interaction. We present in this thesis three environments in virtual reality and an environment in augmented reality when we propose new methods of interaction. Thus, we evaluate their archaeological functionality, we study the influence of level of immersion on performance of the interaction and we make a comparison between interaction in virtual reality and interaction in augmented reality.EVRY-Bib. électronique (912289901) / SudocSudocFranceF

    Réalité Augmentée et Environnement Collaboratif : Un Tour d'Horizon

    Get PDF
    National audienceLa Réalité Augmentée (RA) est généralement définie comme une branche dérivée de la Réalité Virtuelle. D'une façon plus générale, le concept de réalité augmentée regroupe une approche multidisciplinaire visant un mélange entre réel et virtuel. La forte potentialité induite par cette connexion promet un cadre adéquat pour l'interaction 3D ou les applications collaboratives. On présente dans cet article un tour d'horizon des principaux travaux menés à ce jour dans le cadre de l'image et de la RA et plus particulièrement le cadre collaboratif

    Étude de performance des interfaces humain-machine à base de métaphores visuelles pour les systèmes de réalité virtuelle

    Get PDF
    Les interfaces humain- machine dans le domaine des environnements virtuels -- Concepts de design et d'évaluation -- Manipulation des panneaux de dialogue à l'intérieur d'un environnement virtuel -- Manipulation des éléments d'interface virtuels d'un panneau de dialogue -- Interactions avec des menus flottant dans un contexte d'application RV concrète -- Conclusion et avenues de recherche futures

    Conception d’une interface adaptative en réalité augmentée pour gérer des systèmes autonomes dans le déroulement de missions critiques

    Get PDF
    RÉSUMÉ : Dans une situation critique, de nombreux humains risquent leur vie pour en sauver d’autres. Les technologies innovantes pourraient grandement améliorer la conscience de la situation des acteurs de l’urgence, réduire le risque humain ainsi qu’augmenter la facilité de résolution des missions. Nous avons étudié cette idée en concevant une interface en réalité augmentée (RA) pour contrôler un essaim de drones durant une situation d’urgence.Durant ce travail, nous avons conçu cette interface pour gérer plusieurs drones et accroître la connaissance de la situation dans les situations critiques. L’essaim était composé de drones autonomes qui fournissaient un flux important d’informations. Le projet consistait à com-prendre les besoins humains dans les situations d’urgence et concevoir une application AR pour un visiocasque.Nous nous sommes concentrés sur la situation et les besoins du SIM (Service de sécurité incen-die de Montréal). Nous avons développé une solution qui conjointement avec un planificateur de mission dirige l’essaim fonctionnant sous l’infrastructure développée par le partenaire in-dustriel. Nous avons ensuite mis en place une simulation d’urgence avec un bâtiment de grande hauteur en feu où les participants devaient comprendre la situation en utilisant le visiocasque AR.Pour tester notre technologie et valider nos hypothèses, nous avons conçu une une simula-tion stressante et diÿcile pour être testée avec des gens de Polytechnique Montréal. Nous comparons l’eÿcacité d’un ordinateur basique et d’un visiocasque de réalité augmentée afin d’établir une comparaison et de mesurer l’eÿcacité de la RA. Nous terminons en expliquant que le casque de RA était moins eÿcace qu’un ordinateur dû notamment à la toute première utilisation de cet outil. Cependant, le visiocasque montre des résultats proches de l’ordina-teur et la technologie a été appréciée par tous les participants.----------ABSTRACT : In critical situations, many humans risk their lives to save others. Innovative technologies could greatly improve the situational awareness of emergency responders, reduce human risk and increase the resolution’s mission. We investigated this idea by designing an augmented reality (AR) interface to control a swarm of drones during an emergency situation.During this work, we designed an interface to manage multiple unmanned aerial vehicles (UAVs) and increase situational awareness in critical situations. The swarm was composed of autonomous UAVs that provided a significant flow of information. The project consisted of understanding human needs in emergency situations and designing an AR application for a headset.We focused on the situation and the needs of the SIM (Montreal Fire Safety Service). We developed a solution that, simultaneously with a mission planner, manages drones in the field operating with the infrastructure developed by the industrial partner. We then set up an emergency simulation with a high-rise building on fire where participants had to understand the situation using AR headset.To test our technology and validate our hypotheses, we tested our solution with people from Polytechnique Montreal during a stressful and diÿcult simulation. We compare the e˙ectiveness of a basic computer and an augmented reality headset to compare and measure the e˙ectiveness of AR. We concluded by explaining that the AR headset was less e˙ective than a computer, due in part to the very first use of this tool. However, the headset shows results close to the basic computer, and the technology was appreciated by all participants. We saw an improvement with the headset almost similar to the computer. Our results showed that augmented reality could, with more training and practice, improve conditions in emergency situations

    Analyse, commande et intégration d'un mécanisme parallèle entraîné par des câbles pour la réalisation d'une interface haptique comme métaphore de navigation dans un environnement virtuel

    Get PDF
    Un domaine de la recherche en ingénierie des systèmes est de développer des systèmes supervisés semi-autonomes qui interagissent à un très haut niveau avec l'humain. Ces systèmes intelligents ont les capacités d'analyser et de traiter certaines informations pour produire un comportement général observable par les capacités sensorielles et temporelles de l'humain. Il est donc nécessaire de définir un environnement créatif qui interface efficacement l'humain aux informations pour rendre de nouvelles expériences multi-sensorielles optimisant et facilitant la prise de décision. En d'autres mots, il est possible de définir un système multi-sensoriel par sa capacité à augmenter l'optimisation de la prise de décision à l'aide d'une interface qui définit un environnement adapté à l'humain. Un système haptique dans un environnement virtuel incluant une collaboration et une interaction entre l'humain, les mécanismes robotisés et la physique de la réalité virtuelle est un exemple. Un système haptique doit gérer un système dynamique non-linéaire sous-contraint et assurer sa stabilité tout en étant transparent à l'humain. La supervision de l'humain permet d'accomplir des tâches précises sans se soucier de la complexité de la dynamique d'interactions alors que le système gère les différents problèmes antagonistes dont de stabilité (délai de la communication en réseau, stabilité des rendus, etc.), de transparence et de performance. Les travaux de recherche proposés présentent un système multi-sensoriel visuo-haptique qui asservisse l'interaction entre l'humain, un mécanisme et la physique de l'environnement virtuel avec une commande bilatérale. Ce système permet à l'humain de réaliser des fonctions ou des missions de haut niveau sans que la complexité de la dynamique d'interaction limite la prise de décision. Plus particulièrement, il sera proposé de réaliser une interface de locomotion pour des missions de réadaptation et d'entraînement. Ce projet, qui est nommé NELI (Network Enabled Locomotion Interface), est divisé en plusieurs sous-systèmes dont le mécanisme entraîné par des câbles nommé CDLI ( Cable Driven Locomotion Interface ), le système asservi avec une commande bilatérale qui assure le rendu de la locomotion, la réalité virtuelle qui inclut la physique de l'environnement, le rendu haptique et le rendu visuel. Dans un premier temps, cette thèse propose une méthode qui assure la qualité de la réponse de la transmission en augmentant la transparence dynamique de l'asservissement articulaire d'une manière automatique. Une approche d'optimisation, basée sur une amélioration des Extremum Seeking Tuning, permet d'ajuster adéquatement les paramètres des régulateurs et définit le critère de l'assurance qualité dans le cas d'une production massive. Cet algorithme est ensuite utilisé, pour étudier le rendu d'impédance avec l'aide de la modélisation d'un câble et de l'enrouleur. Cette modélisation permet de définir un asservissement articulaire hybride qui est utilisé dans la commande hybride cartésienne afin d'assurer le rendu haptique. Dans un troisième temps, dans un contexte de sécurité, la gestion des interférences entre les pièces mécaniques de l'interface de locomotion est décrite avec une méthode d'estimation des collisions des câbles. Une démonstration des interférences entre les câbles de deux plates-formes est simulée démontrant la faisabilité de l'approche. Finalement, la définition d'un moteur physique par un rendu haptique hybride au niveau de la commande cartésienne est présentée en considérant la géométrie des points de contact entre le modèle du pied virtuel et un objet virtuel. Cette approche procure la stabilité d'interaction recherchée lors de la simulation d'un contact infiniment rigide. Un robot marcheur de marque Kondo est embarqué sur l'interface de locomotion pour interagir avec les objets virtuels. Les résultats de la marche du robot dans l'environnement virtuel concrétisent le projet et servent de démonstrateur technologique

    Contributions au développement d'une interface haptique à contacts intermittents

    Get PDF
    Haptic interfaces allow an operator to interact with a virtual environment through the sense of touch. Nowadays, most existing interfaces are mechanically connected to the user's hand throughout the simulation. Therefore he or she interacts with the virtual environment by means of a handle. Thus the interaction is neither natural nor intuitive, and the permanent connection between the robot and the operator is the source of perturbations which prevent the interaction from being perfectly transparent and realistic. The goal of this study is to increase transparency as much as possible by disconnecting the robot from the user when s/he is not in contact with the virtual environment, through the design of a dexterous haptic interface allowing for a more natural interaction than with a classical interface taking into account only one contact point. A state-of-the-art of dexterous haptic interfaces and another for intermittent contact devices are first gathered, and the human performances that should be taken into account for the design of a dexterous haptic interface are analysed. A bidirectional end-effector for intermittent contact is then devised. It is set up at the tip of a haptic interface and several solutions are tested for its control. The performances of six users are compared on the context of a contact detection task, first using the intermittent contact end-effector, then using a classical haptic device. A methodology for the choice of the hand contact areas that should be taken into account in the design of a dexterous haptic interface to enhance the naturalness of the interaction is proposed. Finally, some perspectives are given as for the extension of this study for the design of a dexterous encounter-type haptic interface.Les interfaces haptiques permettent à un opérateur d'interagir avec un environnement virtuel ou distant via le sens du toucher.La majorité des interfaces de l'état de l'art restent au contact de l’utilisateur pendant toute la durée de la manipulation. La liaison permanente entre le robot et l’opérateur nuit à la qualité de l’interaction, notamment en réduisant la transparence en espace libre. Ce problème est d’autant plus prégnant dans le cadre des interfaces haptiques dextres.Cette thèse a pour objectif d'étudier la possibilité d'augmenter la transparence et le réalisme de l'interaction à travers le développement d’interfaces à contacts intermittents. Il s’agit de déconnecter le robot de l'utilisateur lorsqu’aucun contact avec l’environnement n’est nécessaire. Un état de l’art des performances de la manipulation humaine, des interfaces haptiques dextres ainsi que des travaux relatifs au contact intermittent, est d’abord présenté. Un effecteur plan pour le contact intermittent est ensuite conçu. Il est installé à l’extrémité distale d'une interface haptique et plusieurs solutions sont envisagées pour sa loi de commande. Les performances de dix utilisateurs sont comparées dans le cadre d'une tâche de détection de contact en utilisant d'une part l'effecteur adapté au contact intermittent, d'autre part une interface haptique classique. L'élaboration d'une interface permettant une interaction plus naturelle avec l'environnement est ensuite initiée par l'élaboration d'une méthodologie de choix des zones de contact de la main à prendre en compte dans la conception d'une interface haptique. Des perspectives sont finalement données quant à l'extension de ces résultats à une interface haptique dextre à contacts intermittents

    Simulateur collaboratif de chirurgie d'instrumentation du rachis scoliotique en réalité virtuelle avec interface haptique logicielle

    Get PDF
    RÉSUMÉ La scoliose est une déformation tridimensionnelle de la colonne vertébrale qui nécessite, dans les cas graves, une intervention chirurgicale invasive et très délicate visant à redresser la colonne. Les outils disponibles pour l’entraînement des médecins, tels que les cadavres et les rachis synthétiques, présentent des inconvénients majeurs : les jeunes cadavres disponibles atteints de scoliose se font rares; le réalisme du comportement biomécanique est questionnable; ces deux types d’outils ne peuvent être réutilisés; ils ne représentent pas toute la variété des cas scoliotiques. Les technologies de la réalité virtuelle et les simulations numériques peuvent offrir des solutions pour contourner ces inconvénients. Afin d’aborder cette problématique, l’objectif général de la recherche a consisté à élaborer un prototype logiciel de simulateur collaboratif de chirurgie d’instrumentation du rachis scoliotique en réalité virtuelle incluant un retour d’effort logiciel pour les manoeuvres correctrices principales de la chirurgie, offrant ainsi un outil d’entraînement et d’apprentissage alternatif aux outils traditionnels. Ce projet est entré dans la continuité des travaux de recherche d’étudiants et d’associés de recherche de la Chaire de recherche industrielle CRSNG/Medtronic en biomécanique de la colonne vertébrale, et s’est distingué principalement par la mise en place de l’aspect collaboratif pour un contexte d’entraînement réaliste avec des participants distants, ainsi que le développement et l’évaluation d’une interface haptique logicielle. La revue bibliographique a suggéré que la chirurgie orthopédique ne semble pas encore bénéficier du potentiel offert par la réalité virtuelle et les interfaces haptiques quant à la simulation et à l’entraînement virtuel autant que d’autres types de chirurgies. La plupart des chirurgies pour lesquelles des simulateurs ont été développés impliquent des organes démontrant une certaine compliance, un espace de travail relativement restreint et des forces de faibles amplitudes, pouvant être simulées à l’aide de systèmes haptiques commerciaux génériques. Au contraire, la chirurgie d’instrumentation du rachis scoliotique nécessite l’application d’efforts de grande amplitude pour des mouvements relativement lents à peu de degrés de liberté, requérant un système haptique spécifique. De plus, les modèles physiques, bien que plus complexes et lourds en termes de temps de calculs que les modèles géométriques, sont nécessaires à l’obtention d’une expérience haptique réaliste. À la lumière de ces observations, nous avons émis deux hypothèses de recherche. La première hypothèse supposait que les principales manoeuvres correctrices effectuées lors d’une chirurgie d’instrumentation du rachis scoliotique peuvent être modélisées et simulées en réalité virtuelle immersive à l’aide d’une interface haptique logicielle et d’un modèle biomécanique personnalisé à ±15 % des valeurs d’efforts réelles telles que perçues par des chirurgiens experts. La seconde hypothèse supposait qu’une boucle de rendu haptique multifréquence, basée sur un algorithme de prédiction / correction, permettra d’atteindre la fréquence minimale requise (1000 Hz) pour un retour d’effort fonctionnel dans un contexte d’entraînement réaliste.---------ABSTRACT Scoliosis is a three-dimensional deformation of the spine requiring, in severe cases, a highly delicate and invasive surgical operation to correct the spinal deformities. Available tools for surgical training, such as cadavers and synthetic spines, have major drawbacks: limited availability of young cadaveric spines with scoliosis; questionable behaviour realism; destruction after first use; limited variability in scoliotic cases for training. Virtual reality technologies and computer simulations can offer solutions to these drawbacks. To address this problem, the general objective of this research consisted in elaborating the software prototype of a collaborative virtual reality scoliosis instrumentation surgery simulator, including force feedback for the main corrective surgical manoeuvres, as an alternative training and learning tool. This project has been a continuation of previous work from graduate students and research associates of the NSERC/Medtronic Industrial Research Chair in Spine Biomechanics, and focused on setting up and testing the collaborative aspect for a realistic training context with remote participants, as well as developing and evaluating a software haptic interface. The literature review suggested that orthopaedic surgery does not seem to benefit from virtual reality technologies and haptic interfaces regarding simulation and virtual training as much as other types of surgeries. Most surgeries for which simulators have been developed involve organs with a certain compliance, a relatively confined workspace and “delicate” forces, and can be simulated with generic commercial haptic devices. On the contrary, scoliosis instrumentation surgery involves the application of high forces through moderately slow and of few degrees of freedom movements, requiring a haptic device specific to scoliosis surgery. Also, physical models, although more complex and computationally expensive than geometric models, are necessary for a realistic haptic experience. In light of these observations, we stated two hypotheses. The first hypothesis was that the main corrective manoeuvres of scoliosis instrumentation surgery can be modeled and simulated in immersive virtual reality with a software haptic interface and a patient-specific biomechanical model at ±15 % of the actual force values as perceived by expert surgeons. The second hypothesis was that a multirate haptic rendering loop, based on a prediction / correction algorithm, will achieve the minimal required update rate (1000 Hz) for a functional force feedback in a realistic training context

    MĂ©thodes infographiques pour l'apprentissage des agents autonomes virtuels

    Get PDF
    There are two primary approaches to behavioural animation of an Autonomous Virtual Agent (AVA). The first one, or behavioural model, defines how AVA reacts to the current state of its environment. In the second one, or cognitive model, this AVA uses a thought process allowing it to deliberate over its possible actions. Despite the success of these approaches in several domains, there are two notable limitations which we address in this thesis. First, cognitive models are traditionally very slow to execute, as a tree search, in the form of mapping: states → actions, must be performed. On the one hand, an AVA can only make sub-optimal decisions and, on the other hand, the number of AVAs that can be used simultaneously in real-time is limited. These constraints restrict their applications to a small set of candidate actions. Second, cognitive and behavioural models can act unexpectedly, producing undesirable behaviour in certain regions of the state space. This is because it may be impossible to exhaustively test them for the entire state space, especially if the state space is continuous. This can be worrisome for end-user applications involving AVAs, such as training simulators for cars and aeronautics. Our contributions include the design of novel learning methods for approximating behavioural and cognitive models. They address the problem of input selection helped by a novel architecture ALifeE including virtual sensors and perception, regardless of the machine learning technique utilized. The input dimensionality must be kept as small as possible, this is due to the "curse of dimensionality", well known in machine learning. Thus, ALifeE simplifies and speeds up the process for the designer
    • …
    corecore