Tangible Interaction in Mixed Reality Systems

chapitre 6, ISBN 978-1-84882-732-5In this chapter, we discuss the design of tangible interaction techniques for Mixed Reality environments. We begin by recalling some conceptual models of tangible interaction. Then, we propose an engineering-oriented software/hardware co-design process, based on our experience in developing tangible user interfaces. We present three different tangible user interfaces for real-world applications, and analyse the feedback from the user studies that we conducted. In summary, we conclude that, since tangible user interfaces are part of the real world and provide a seamless interaction with virtual words, they are well-adapted to mix together reality and virtuality. Hence, tangible interaction optimizes a users' virtual tasks, especially in manipulating and controlling 3D digital data in 3D space

The activation of modality in virtual objects assembly

International audienceManual assembly of virtual 3D objects is required in several application fields. We focus on tangible user interfaces which offer the opportunity to the user to perform virtual assemblies efficiently and easily. In each hand, the user manipulates a tracked prop, and the translations and rotations are directly mapped to the corresponding virtual object. However, with such interfaces, both hands are requisitioned, and the user cannot drop the props without changing the action or the expected results. We list and discuss the choice of four possible modalities to activate/deactivate the assembly modality: vocal modality, gestural modality, buttons, and foot pedals. We conclude that when using the foot pedals, the user's gesture is closer to the real-world behaviour

Semi-automatic geometry-driven reassembly of fractured archeological objects

Nombre pages : 6International audience3D laser scanning of broken cultural heritage content is becoming increasingly popular, resulting in large collections of detailed fractured archeological 3D objects that have to be reassembled virtually. In this paper, we present a new semi-automatic reassembly approach for pairwise matching of the fragments, that makes it possible to take into account both the archeologist's expertise, as well as the power of automatic geometry-driven matching algorithms. Our semi-automatic reassembly approach is based on a real-time interaction loop: an expert user steadily specifies approximate initial relative positions and orientations between two fragments by means of a bimanual tangible user interface. These initial poses are continuously corrected and validated in real-time by an algorithm based on the Iterative Closest Point (ICP): the potential contact surface of the two fragments is identified by efficiently pruning insignificant areas of a pair of two bounding sphere hierarchies, that is combined with a k-d tree for closest vertex queries. The locally optimal relative pose for the best match is robustly estimated by taking into account the distance of the closest vertices as well as their normals. We provide feedback to the user by a visual representation of the locally optimal best match and its associated error. Our first results on a concrete dataset show that our system is capable of assisting an expert user in real-time during the pairwise matching of downsampled 3D fragments

Analyse de l'influence des systèmes de visualisation immersif sur l'assemblage virtuel de fragments en archéologie

4 pagesNational audienceDans ce papier, nous présentons une analyse de l'influence des systèmes de visualisation immersifs associés à une interface d'interaction multimodale pour la résolution d'une tâche complexe. L'utilisateur est chargé de résoudre des puzzles 3D à deux pièces en utilisant une interface à deux fois 6 degrés de liberté. Nous avons ainsi testé les performances des utilisateurs en utilisant trois modes d'affichage différents : un affichage monoscopique, un système de vision stéréoscopique et enfin un dispositif de suivi de position de la tête pour adapter le positionnement du point de vue à la posture physique associé à un affichage stéréoscopique. Notre comparaison des données est réalisée à partir du temps nécessaire aux utilisateurs pour réaliser la tâche d'assemblage. Malgré le faible nombre d'utilisateurs testés, cette étude montre que l'apprentissage avec le mode d'affichage stéréoscopique est plus important qu'avec les deux autres modes. On observe aussi qu'après cette phase d'apprentissage effectuée, les utilisateurs travaillant avec un affichage stéréoscopique sont globalement plus performants que ceux des autres groupes

Interaction Tangible sur Table, définitions et modèles

International audienceIn recent years, tangible user interfaces, which imply interactions performed with one or several objects, gain more and more interest in research in Human-Computer Interaction (HCI). The tangible object represents a subject or an action. It acts on the system, as an action in classical user interfaces (e.g,. GUI). Interaction on a table, which is a common furniture in everyday life and used in multiple activities (desktop, coffee table, kitchen table, etc.), opens a new way for research and development in HCI. In this article, we present definitions, models, and key issues elicited from the literature that enable understanding and reasoning about the couple within an interactive system. Then, we propose a framework that allows to characterize applications supported by the couple in a domain-independent manner.Depuis quelques années les interfaces tangibles impliquant des interactions réalisées via un objet (ou plusieurs) prennent de plus en plus d’importance dans les recherches en interaction homme-machine. L’objet tangible représente un sujet ou une action ; l’objet agit sur le système, telle une action sur une interface « classique ». L’interaction sur table, c’est-à-dire sur un meuble présent dans la vie courante et utilisé à diverses fins (bureau, table à manger, table de salon, table bar, etc.), ouvre un champ nouveau de recherche et de développement. La mise en exergue, issue de l’état de l’art, des définitions, modèles et problématiques, permet d’abord d’appréhender le couple (table, objet tangible) au sein d’un système interactif. Puis, nous proposons un cadre qui permet de positionner des applications mettant en oeuvre le couple (table, objet tangible). Le cadre est décrit de manière à être utilisé pour positionner des applications indépendamment du domaine

Analysis of 3D objects at multiple scales (application to shape matching)

Depuis quelques années, l évolution des techniques d acquisition a entraîné une généralisation de l utilisation d objets 3D très dense, représentés par des nuages de points de plusieurs millions de sommets. Au vu de la complexité de ces données, il est souvent nécessaire de les analyser pour en extraire les structures les plus pertinentes, potentiellement définies à plusieurs échelles. Parmi les nombreuses méthodes traditionnellement utilisées pour analyser des signaux numériques, l analyse dite scale-space est aujourd hui un standard pour l étude des courbes et des images. Cependant, son adaptation aux données 3D pose des problèmes d instabilité et nécessite une information de connectivité, qui n est pas directement définie dans les cas des nuages de points. Dans cette thèse, nous présentons une suite d outils mathématiques pour l analyse des objets 3D, sous le nom de Growing Least Squares (GLS). Nous proposons de représenter la géométrie décrite par un nuage de points via une primitive du second ordre ajustée par une minimisation aux moindres carrés, et cela à pour plusieurs échelles. Cette description est ensuite derivée analytiquement pour extraire de manière continue les structures les plus pertinentes à la fois en espace et en échelle. Nous montrons par plusieurs exemples et comparaisons que cette représentation et les outils associés définissent une solution efficace pour l analyse des nuages de points à plusieurs échelles. Un défi intéressant est l analyse d objets 3D acquis dans le cadre de l étude du patrimoine culturel. Dans cette thèse, nous nous étudions les données générées par l acquisition des fragments des statues entourant par le passé le Phare d Alexandrie, Septième Merveille du Monde. Plus précisément, nous nous intéressons au réassemblage d objets fracturés en peu de fragments (une dizaine), mais avec de nombreuses parties manquantes ou fortement dégradées par l action du temps. Nous proposons un formalisme pour la conception de systèmes d assemblage virtuel semi-automatiques, permettant de combiner à la fois les connaissances des archéologues et la précision des algorithmes d assemblage. Nous présentons deux systèmes basés sur cette conception, et nous montrons leur efficacité dans des cas concrets.Over the last decades, the evolution of acquisition techniques yields the generalization of detailed 3D objects, represented as huge point sets composed of millions of vertices. The complexity of the involved data often requires to analyze them for the extraction and characterization of pertinent structures, which are potentially defined at multiple scales. Amongthe wide variety of methods proposed to analyze digital signals, the scale-space analysis istoday a standard for the study of 2D curves and images. However, its adaptation to 3D dataleads to instabilities and requires connectivity information, which is not directly availablewhen dealing with point sets.In this thesis, we present a new multi-scale analysis framework that we call the GrowingLeast Squares (GLS). It consists of a robust local geometric descriptor that can be evaluatedon point sets at multiple scales using an efficient second-order fitting procedure. We proposeto analytically differentiate this descriptor to extract continuously the pertinent structuresin scale-space. We show that this representation and the associated toolbox define an effi-cient way to analyze 3D objects represented as point sets at multiple scales. To this end, we demonstrate its relevance in various application scenarios.A challenging application is the analysis of acquired 3D objects coming from the CulturalHeritage field. In this thesis, we study a real-world dataset composed of the fragments ofthe statues that were surrounding the legendary Alexandria Lighthouse. In particular, wefocus on the problem of fractured object reassembly, consisting of few fragments (up to aboutten), but with missing parts due to erosion or deterioration. We propose a semi-automaticformalism to combine both the archaeologist s knowledge and the accuracy of geometricmatching algorithms during the reassembly process. We use it to design two systems, andwe show their efficiency in concrete cases.BORDEAUX1-Bib.electronique (335229901) / SudocSudocFranceF

Analysis of 3D objects at multiple scales (application to shape matching)

Depuis quelques années, l évolution des techniques d acquisition a entraîné une généralisation de l utilisation d objets 3D très dense, représentés par des nuages de points de plusieurs millions de sommets. Au vu de la complexité de ces données, il est souvent nécessaire de les analyser pour en extraire les structures les plus pertinentes, potentiellement définies à plusieurs échelles. Parmi les nombreuses méthodes traditionnellement utilisées pour analyser des signaux numériques, l analyse dite scale-space est aujourd hui un standard pour l étude des courbes et des images. Cependant, son adaptation aux données 3D pose des problèmes d instabilité et nécessite une information de connectivité, qui n est pas directement définie dans les cas des nuages de points. Dans cette thèse, nous présentons une suite d outils mathématiques pour l analyse des objets 3D, sous le nom de Growing Least Squares (GLS). Nous proposons de représenter la géométrie décrite par un nuage de points via une primitive du second ordre ajustée par une minimisation aux moindres carrés, et cela à pour plusieurs échelles. Cette description est ensuite derivée analytiquement pour extraire de manière continue les structures les plus pertinentes à la fois en espace et en échelle. Nous montrons par plusieurs exemples et comparaisons que cette représentation et les outils associés définissent une solution efficace pour l analyse des nuages de points à plusieurs échelles. Un défi intéressant est l analyse d objets 3D acquis dans le cadre de l étude du patrimoine culturel. Dans cette thèse, nous nous étudions les données générées par l acquisition des fragments des statues entourant par le passé le Phare d Alexandrie, Septième Merveille du Monde. Plus précisément, nous nous intéressons au réassemblage d objets fracturés en peu de fragments (une dizaine), mais avec de nombreuses parties manquantes ou fortement dégradées par l action du temps. Nous proposons un formalisme pour la conception de systèmes d assemblage virtuel semi-automatiques, permettant de combiner à la fois les connaissances des archéologues et la précision des algorithmes d assemblage. Nous présentons deux systèmes basés sur cette conception, et nous montrons leur efficacité dans des cas concrets.Over the last decades, the evolution of acquisition techniques yields the generalization of detailed 3D objects, represented as huge point sets composed of millions of vertices. The complexity of the involved data often requires to analyze them for the extraction and characterization of pertinent structures, which are potentially defined at multiple scales. Amongthe wide variety of methods proposed to analyze digital signals, the scale-space analysis istoday a standard for the study of 2D curves and images. However, its adaptation to 3D dataleads to instabilities and requires connectivity information, which is not directly availablewhen dealing with point sets.In this thesis, we present a new multi-scale analysis framework that we call the GrowingLeast Squares (GLS). It consists of a robust local geometric descriptor that can be evaluatedon point sets at multiple scales using an efficient second-order fitting procedure. We proposeto analytically differentiate this descriptor to extract continuously the pertinent structuresin scale-space. We show that this representation and the associated toolbox define an effi-cient way to analyze 3D objects represented as point sets at multiple scales. To this end, we demonstrate its relevance in various application scenarios.A challenging application is the analysis of acquired 3D objects coming from the CulturalHeritage field. In this thesis, we study a real-world dataset composed of the fragments ofthe statues that were surrounding the legendary Alexandria Lighthouse. In particular, wefocus on the problem of fractured object reassembly, consisting of few fragments (up to aboutten), but with missing parts due to erosion or deterioration. We propose a semi-automaticformalism to combine both the archaeologist s knowledge and the accuracy of geometricmatching algorithms during the reassembly process. We use it to design two systems, andwe show their efficiency in concrete cases.BORDEAUX1-Bib.electronique (335229901) / SudocSudocFranceF

WHERE DO YOU LOOK? RELATING VISUAL ATTENTION TO LEARNING OUTCOMES AND URL PARSING

Visual behavior provides a dynamic trail of where attention is directed. It is considered the behavioral interface between engagement and gaining information, and researchers have used it for several decades to study user\u27s behavior. This thesis focuses on employing visual attention to understand user\u27s behavior in two contexts: 3D learning and gauging URL safety. Such understanding is valuable for improving interactive tools and interface designs. In the first chapter, we present results from studying learners\u27 visual behavior while engaging with tangible and virtual 3D representations of objects. This is a replication of a recent study, and we extended it using eye tracking. By analyzing the visual behavior, we confirmed the original study results and added more quantitative explanations for the corresponding learning outcomes. Among other things, our results indicated that the users allocate similar visual attention while analyzing virtual and tangible learning material. In the next chapter, we present a user study\u27s outcomes wherein participants are instructed to classify a set of URLs wearing an eye tracker. Much effort is spent on teaching users how to detect malicious URLs. There has been significantly less focus on understanding exactly how and why users routinely fail to vet URLs properly. This user study aims to fill the void by shedding light on the underlying processes that users employ to gauge the UR L\u27s trustworthiness at the time of scanning. Our findings suggest that users have a cap on the amount of cognitive resources they are willing to expend on vetting a URL. Also, they tend to believe that the presence of www in the domain name indicates that the URL is safe

An optimizational approach for an algorithmic reassembly of fragmented objects

In Cambodia close to the Thai border, lies the Angkor-style temple of Banteay Chhmar. Like all nearly forgotten temples in remote places, it crumbles under the ages. By today most of it is only a heap of stones. Manually reconstructing these temples is both complex and challenging: The conservation team is confronted with a pile of stones, the original position of which is generally unkown. This reassembly task resembles a large-scale 3D puzzle. Usually, it is resolved by a team of specialists who analyze each stone, using their experience and knowledge of Khmer culture. Possible solutions are tried and retried and the stones are placed in different locations until the correct one is found. The major drawbacks of this technique are: First, since the stones are moved continuously they are further damaged, second, there is a threat to the safety of the workers due to handling very heavy weights, and third because of the high complexity and labour-intensity of the work it takes several months up to several years to solve even a small part of the puzzle. These risks and conditions motivated the development of a virtual approach to reassemble the stones, as computer algorithms are theoretically capable of enumerating all potential solutions in less time, thereby drastically reducing the amount of work required for handling the stones. Furthermore the virtual approach has the potential to reduce the on-site costs of in-situ analysis. The basis for this virtual puzzle algorithm are high-resolution 3D models of more than one hundred stones. The stones can be viewed as polytopes with approximately cuboidal form although some of them contain additional indentations. Exploiting these and related geometric features and using a priori knowledge of the orientation of each stone speeds up the process of matching the stones. The aim of the current thesis is to solve this complex large-scale virtual 3D puzzle. In order to achieve this, a general workflow is developed which involves 1) to simplify the high-resolution models to their most characteristic features, 2) apply an advanced similarity analysis and 3) to match best combinations as well as 4) validate the results. The simplification step is necessary to be able to quickly match potential side-surfaces. It introduces the new concept of a minimal volume box (MVB) designed to closely and storage efficiently resemble Khmer stones.Additionally, this reduced edge-based model is used to segment the high-resolution data according to each side-surface. The second step presents a novel technique allowing to conduct a similarity analysis of virtual temple stones. It is based on several geometric distance functions which determine the relatedness of a potential match and is capable of sorting out unlikely ones. The third step employs graph theoretical methods to combine the similarity values into a correct solution of this large-scale 3D puzzle. The validation demonstrates the high quality and robustness of this newly constructed puzzle workflow. The workflow this thesis presents virtually puzzles digitized stones of fallen straight Khmer temple walls. It is able to virtually and correctly reasemble up to 42 digitized stones requiring a minimum of user-interaction

Interaction en réalité mixte appliquée à l'archéologie sous-marine

L intérêt porté par l archéologie à la réalité virtuelle est croissant. La réalité virtuelle est devenue un outil nécessaire pour l exploration et l étude des sites archéologiques, et plus particulièrement, les sites archéologiques sous-marins qui se révèlent parfois difficile d accès. Les études actuelles proposent des solutions en réalité virtuelle ou en réalité augmentée sous forme d environnements virtuels avec une interaction virtuelle et/ou augmentée mais aucune étude n a vraiment essayé de comparer ces deux aspects de l interaction. Nous présentons dans ce mémoire trois environnements en réalité virtuelle et un environnement en réalité augmentée où nous proposons des nouvelles méthodes d interaction. Ainsi, nous évaluons leurs fonctionnalités d un point de vue archéologique, nous étudions l influence du niveau d immersion sur les performances de l interaction et nous réalisons une comparaison entre l interaction en réalité virtuelle et en réalité augmentée.The interest in archeology virtual reality is growing. Virtual reality has become a necessary tool for exploration and study of archaeological sites, and more specifically, the underwater archaeological sites that sometimes prove difficult to access. Current studies suggest solutions in virtual reality or augmented reality in the form of virtual environments with virtual interaction and/or augmented interaction but no studies have really tried to compare these two aspects of interaction. We present in this thesis three environments in virtual reality and an environment in augmented reality when we propose new methods of interaction. Thus, we evaluate their archaeological functionality, we study the influence of level of immersion on performance of the interaction and we make a comparison between interaction in virtual reality and interaction in augmented reality.EVRY-Bib. électronique (912289901) / SudocSudocFranceF