Using virtual reality and 3D industrial numerical models for immersive interactive checklists

At the different stages of the PLM, companies develop numerous checklist-based procedures involving prototype inspection and testing. Besides, techniques from CAD, 3D imaging, animation and virtual reality now form a mature set of tools for industrial applications. The work presented in this article develops a unique framework for immersive checklist-based project reviews that applies to all steps of the PLM. It combines immersive navigation in the checklist, virtual experiments when needed and multimedia update of the checklist. It provides a generic tool, independent of the considered checklist, relies on the integration of various VR tools and concepts, in a modular way, and uses an original gesture recognition. Feasibility experiments are presented, validating the benefits of the approach

Interaction haptique pour la conception de formes en CAO immersive

Cette thèse présente l utilisation de la Réalité Virtuelle (RV) et en particulier le retour d effort pour améliorer l'interaction dans les systèmes de Conception Assistée par Ordinateur (CAO). Deux principales approches ont été explorées, l utilisation de l haptique pour guider l utilisateur ainsi que pour percevoir des informations géométriques. Le travail du concepteur s'articulant autour de deux catégories de tâches : la sélection et la modification de la maquette CAO, nous avons structuré nos travaux de recherche en haptique autour de ces deux grandes classes. De fait, nous abordons d abord les problématiques de sélection dans une maquette 3d. Cette sélection est assistée par des retours haptiques adaptés pour permettre une perception fine des composants topologiques. Dans un second temps, nous présentons l apport de l haptique pour la manipulation de paramètre sur deux tâches représentatives des activités de modification en CAO : l'édition de courbes et surfaces et l'extrusion. Nous nous intéressons à l'impact de différents facteurs comme le contexte de réalisation de la tâche, la manipulation simultanée des paramètres, la cohabitation de multiples retours haptiques, ou la prise en main, par les utilisateurs, des solutions haptiques. L'analyse des expérimentations relatées dans cette thèse montre des résultats mitigés sur l'apport de l'haptique. Si ce canal sensorimoteur est généralement plébiscité, il convient néanmoins de faire attention au paramétrage des retours d'effort et à la mise en relation des différentes méthodes haptiques, au risque de gêner le travail de l'utilisateur du système CAO.This thesis addresses the use of Virtual Reality and focuses on haptic feedback to enhance users' interaction in systems of Computer Aided Design. Two main approaches have been studied: use of force feedback to guide the user and to allow perception of geometrical information. The work of the designer work is separated into two main types of task: the selection and the modification of the digital mock-up. Our research on new haptic interaction is structured around these two types. First, we describe the issues linked to the selection process: the research of an adapted haptic feedback and the creation of an appropriate method to select "in context" the different elements of the mock-up. Second, we present two tasks that are typical of CAD modification: the editing of curves and surfaces, and the extrusion. These two functionalities are used to highlight the benefits of haptics in order to edit parameters of two different CAD operations. We focused our study on the impact of different factors such as the context of the task, the simultaneous manipulation of parameters, and the user ease to understand our solutions. The analysis of the experimental results does not clearly support haptic usefulness. It has been noted that this is usually well-welcomed by users, although special care is required for the tuning of the feedback and for the integration of the different methods to prevent disturbing and uncomfortable manipulation.ORSAY-PARIS 11-BU Sciences (914712101) / SudocSudocFranceF

Interaction haptique pour la conception de formes en CAO immersive

This thesis addresses the use of Virtual Reality and focuses on haptic feedback to enhance users' interaction in systems of Computer Aided Design. Here we describe the place of Product Lifecycle Management in the production process, specifically, the role of Computer Aided Design. CAD encompasses numerous functionalities for the 3D editing of numerical mock-ups, but lacks recent methods of interaction. This is why we investigate the use of VR : to ease editing of forms. To have a better understanding of our proposed haptic solutions, we first present some relevant properties of CAD, such as data structures and the concepts of Boundary Representation, history graph of conception and persistent naming. We also describe three main categories of perceptible information : referents, geometrical information and haptic guides. Then, we present the tactile and force feedbacks used to map these information. The work of the designer is separated into two main types of task : the selection and the modification of the digital mock-up. Our research on new haptic interaction is structured around these two types. First, we describe the issues linked to the selection process : the research of an adapted haptic feedback and the creation of an appropriate method to select "in context" the different elements of the mock-up. Second, we present two tasks that are typical of CAD modification : the editing of curves and surfaces, and the extrusion. These two functionalities are used to highlight the benefits of haptics in order to edit parameters of two different CAD operations. We focused our study on the impact of different factors such as the context of the task, the simultaneous manipulation of parameters, and the user ease to understand our solutions. The analysis of the experimental results does not clearly support haptic usefulness. It has been noted that this is usually well-welcomed by users, although special care is required for the tuning of the feedback and for the integration of the different methods to prevent disturbing and uncomfortable manipulation. Nevertheless, future prospects on haptic integration for CAD editing look promising. We conclude by providing some guidelines about the integration of VR in CAD, which will be mandatory for a thorough evaluation of our solution with CAD experts.Les travaux présentés dans cette thèse traitent de l'utilisation de la Réalité Virtuelle (RV) et plus particulièrement du retour d'effort pour améliorer l'interaction dans les applications de Conception Assistée par Ordinateur (CAO). Dans ce document, nous décrivons le rôle actuel du Product Lifecycle Management (PLM) dans l'industrie, et plus spécifiquement la place tenue par l'outil CAO. Celui-ci offre de nombreuses fonctionnalités pour l'édition d'une maquette en trois dimensions, mais, actuellement, ne bénéficie pas pleinement des méthodes d'interactions les plus récentes. Notre positionnement de recherche concerne l'utilisation des dispositifs de visualisation ainsi que les nouvelles méthodes d'interaction offertes par la RV, pour rendre l'édition de forme plus intuitive. Toutefois, de nombreuses applications industrielles du PLM, telles que l'assemblage ou l'ergonomie, utilisent déjà des solutions de RV pour augmenter l'interaction avec le produit. Afin de bien appréhender les solutions haptiques que nous proposons, un rappel des principaux concepts de la CAO est effectué, en particulier relatif à ses modèles de données (B-Rep, graphe d'historique, persistent naming). On décrit également les informations perceptibles autour de trois principales catégories : référents, informations géométriques et guides, puis les retours tactiles et d'efforts envisagés pour traduire les différents types d'informations que l'on peut rencontrer. Le travail du concepteur s'articulant autour de deux catégories de tâches : la sélection et la modification de la maquette CAO, nous avons structuré nos travaux de recherche en haptique autour de ces deux grandes classes. De fait, nous abordons ensuite les problématiques de sélection dans une maquette 3d, sélection assistée par des retours haptiques adaptés, et ce en particulier pour permettre une perception fine des composants topologiques. Dans un second temps, nous présentons deux tâches représentatives des activités de modification en CAO : l'édition de courbes et surfaces et l'extrusion. Ces deux fonctionnalités permettent de montrer l'apport de l'haptique pour la manipulation de paramètres sur deux types d'édition CAO très différents. Nous nous intéressons à l'impact de différents facteurs comme le contexte de réalisation de la tâche, la manipulation simultanée des paramètres, la cohabitation de multiples retours haptiques, ou la prise en main, par les tilisateurs, des solutions haptiques. L'analyse des expérimentations relatées dans cette thèse montre des résultats mitigés sur l'apport de l'haptique. Si ce canal sensorimoteur est généralement plebiscité, il convient néanmoins de faire attention au paramétrage des retours d'effort et à la mise en relation des différentes méthodes haptiques, au risque de gener le travail de l'utilisateur du système CAO. Au demeurant, une fois cet écueil évité, les perspectives de l'intégration de l'interaction haptique pour l'aide 'a l'édition CAO semblent prometteuses. Nous concluons cette recherche en esquissant la méthodologie d'intégration RV-CAO qu'il conviendrait de suivre pour mener à bien une évaluation complète de nos solutions avec des utilisateurs CAO experts

Planification interactive de trajectoire en Réalité Virtuelle sur la base de données géométriques, topologiques et sémantiques

Pour limiter le temps et le coût de développement de nouveaux produits, l’industrie a besoin d’outils pour concevoir, tester et valider le produit avec des prototypes virtuels. Ces prototypes virtuels doivent permettre de tester le produit à toutes les étapes du Product Lifecycle Management (PLM). Beaucoup d’opérations du cycle de vie du produit impliquent la manipulation par un humain des composants du produit (montage, démontage ou maintenance du produit). Du fait de l’intégration croissante des produits industriels, ces manipulations sont réalisées dans un environnement encombré. La Réalité Virtuelle (RV) permet à des opérateurs réels d’exécuter ces opérations avec des prototypes virtuels. Ce travail de recherche introduit une nouvelle architecture de planification de trajectoire permettant la collaboration d’un utilisateur de RV et d’un système de planification de trajectoire automatique. Cette architecture s’appuie sur un modèle d’environnement original comprenant des informations sémantiques, topologiques et géométriques. Le processus de planification automatique de trajectoire est scindé en deux phases. Une planification grossière d’abord exploitant les données sémantiques et topologiques. Cette phase permet de définir un chemin topologique. Une planification fine ensuite exploitant les données sémantiques et géométriques détermine un trajectoire géométrique dans le chemin topologique défini lors de la planification grossière. La collaboration entre le système de planification automatique et l’utilisateur de RV s’articule autour de deux modes : en premier lieu, l’utilisateur est guidé sur une trajectoire pré-calculée à travers une interface haptique ; en second lieu, l’utilisateur peut quitter la solution proposée et déclencher ainsi une re-planification. L’efficacité et l’ergonomie des ces deux modes d’interaction est enrichie grâce à des méthodes de partage de contrôle : tout d’abord, l’autorité du système automatique est modulée afin de fournir à la fois un guidage prégnant lorsque l’utilisateur le suit, et plus de liberté à l’utilisateur (un guidage atténué) lorsque celui-ci explore des chemins alternatifs potentiellement meilleurs. Ensuite, lorsque l’utilisateur explore des chemins alternatifs, ses intentions sont prédites (grâce aux données géométriques associées aux éléments topologiques) et intégrées dans le processus de re-planification pour guider la planification grossière. Ce mémoire est organisé en cinq chapitres. Le premier expose le contexte industriel ayant motivé ces travaux. Après une description des outils de modélisation de l’environnement, le deuxième chapitre introduit le modèle multi-niveaux de l’environnement proposé. Le troisième chapitre présente les techniques de planification de trajectoire issues de la robotique et détaille le processus original de planification de trajectoire en deux phases développé. Le quatrième introduit les travaux précurseurs de planification interactive de trajectoire et les techniques de partage de contrôle existantes avant de décrire les modes d’interaction et les techniques de partage de contrôle mises en œuvre dans notre planificateur interactif de trajectoire. Enfin le dernier chapitre présente les expérimentations menées avec le planificateur de trajectoire et en analyse leurs résultats. ABSTRACT : To save time and money while designing new products, industry needs tools to design, test and validate the product using virtual prototypes. These virtual prototypes must enable to test the product at all Product Lifecycle Management (PLM) stages. Many operations in product’s lifecycle involve human manipulation of product components (product assembly, disassembly or maintenance). Cue to the increasing integration of industrial products, these manipulations are performed in cluttered environment. Virtual Reality (VR) enables real operators to perform these operations with virtual prototypes. This research work introduces a novel path planning architecture allowing collaboration between a VR user and an automatic path planning system. This architecture is based on an original environment model including semantic, topological and geometric information. The automatic path planning process split in two phases. First, coarse planning uses semantic and topological information. This phase defines a topological path. Then, fine planning uses semantic and geometric information to define a geometrical trajectory within the topological path defined by the coarse planning. The collaboration between VR user and automatic path planner is made of two modes: on one hand, the user is guided along a pre-computed path through a haptic device, on the other hand, the user can go away from the proposed solution and doing it, he starts a re-planning process. Efficiency and ergonomics of both interaction modes is improved thanks to control sharing methods. First, the authority of the automatic system is modulated to provide the user with a sensitive guidance while he follows it and to free the user (weakened guidance) when he explores possible better ways. Second, when the user explores possible better ways, his intents are predicted (thanks to geometrical data associated to topological elements) and integrated in the re-planning process to guide the coarse planning. This thesis is divided in five chapters. The first one exposes the industrial context that motivated this work. Following a description of environment modeling tools, the second chapter introduces the multi-layer environment model proposed. The third chapter presents the path planning techniques from robotics research and details the two phases path planning process developed. The fourth introduce previous work on interactive path planning and control sharing techniques before to describe the interaction modes and control sharing techniques involved in our interactive path planner. Finally, last chapter introduces the experimentations performed with our path planner and analyses their results