Interaction indirecte en réalité virtuelle à l'aide d'un médiateur

Currently many researches in the field of multimodal interfaces (input, output) have been made in order to be able to achieve complex tasks merely, naturally, and quickly. Expert interfaces should be considering the risks resulting from an ordered action, to prevent any harmful action and to suggest possible alternatives. Taking into account the complexity of the tasks to achieve and exponential growth of information, the adaptive systems are henceforth essential to make possible and facilitate the work of the operator. A good man-machine interface is thus strongly required. We note that multiple interaction and manipulation techniques are currently available, but at this time, the characteristic tools of the WIMP paradigm (Windows, Icons, Menus and Ppointing device) did not find their equivalent in 3D interfaces. There still remains way to make to be able to find the perfect tool and to enforce it as a standard for the 3D interfaces and applications. Therefore, our research was focused gradually towards the proposal for a mediating interface: a very adaptive and functional interface, intended to simplify to the maximum the human interaction in the execution of complex work. The concept of the "mediator" might be clarified in the following way, i.e.: A user in full immersive system named mediator world will be able to control or interact a front distance, through an intermediary haptic devices, on another virtual or real world named controlled world. Let us recall that the Human needs simple tools to be able to achieve complicated tasks. In such a case, one of the ultimate goals is to make the machine adapt to the human instead of forcing the human to adapt to the machine

Incidence de la représentation contextuelle immersive sur l’activité de co-idéation

La phase d’idéation constitue les premiers grands pas d’itération dans le processus de design. Elle est dans une position d’amorce propice pour influencer fortement la direction des propositions conceptuelles fondatrices des projets et leur raffinement ultérieur. Ainsi, la possibilité d’intervenir sur la démarche du travail d’idéation présente une excellente occasion d’inclure et d’outiller des participants non-professionnels du design de manière à leur accorder un rôle qui outrepasse celui de personnes ordinairement consultées qu’en aval. Cependant, les formes de représentation traditionnellement employées pendant le processus d’idéation introduisent un décalage important entre la manière courante de vivre les environnements et la manière de les penser lors de leur conception, un décalage où le contexte de l’activité de conception marque une rupture vis-à-vis le contexte préexistant du projet. Nous proposons d’explorer l’utilisation de la représentation photogrammétrique immersive de contextes en réalité virtuelle (RV) – i.e. la numérisation spatio-visuelle d’environnements réels en tant que modèles 3D – comme piste de réponse aux problèmes soulevés par les représentations traditionnelles. Dès lors, une question se pose : quelle incidence porte la RV sociale et sans lunette, couplée à la photogrammétrie immersive du contexte du projet de design, sur la cognition de design des collaborateurs lors de la co-idéation ? Partant du design comme processus social où s’opère une négociation collaborative, nous identifions l’expression verbale comme principal outil des designers et l’expression graphique par la production d’esquisses comme mode complémentaire de communication et de réflexion. Toutefois, en approchant l’activité de design sous l’angle d’une activité fondamentalement cognitive, et plus spécifiquement dans le cadre de la cognition incarnée, la gestuelle ressort comme troisième mode essentiel pour peindre un portrait plus détaillé du rôle de la représentation contextuelle immersive en design. Nous proposons une étude comparative entre trois différentes conditions de travail observées lors des séances d’un atelier de design industriel universitaire : (i) la co-idéation en atelier traditionnel avec papier et crayon, (ii) la co-idéation en RV sans contexte, et (iii) en RV avec contexte 3D immersif. Nous avons retenu 21 enregistrements audio-vidéos (environ 20 minutes chaque) pour l’analyse, soit : un par condition pour sept équipes de trois collaborateurs. Sur le plan verbal, les séquences observées ont été segmentées puis codées selon le cadre des conversations de design. Notre codage de la gestuelle organise quant à lui chaque occurrence de geste co-discours selon le caractère dominant parmi les types communément distingués dans la littérature (organisationnel, déictique, iconique, et métaphorique) ; puis précise diverses caractéristiques intra-gestuelles dont la deixis de mise en place. En opérationnalisant ainsi la deixis gestuelle selon un ancrage disjoint ou conjoint de l’imagerie gestuelle avec la représentation graphique utilisée, nous mettons au jour les moments de dissociation ou de symbiose de la cognition de design avec les différents types de représentation. Les résultats indiquent que, malgré des processus de co-idéation semblables au niveau des dynamiques de conversation, la production d’esquisse est la moins fréquente en RV avec contexte, mais que dans cette même condition les gestes iconiques spontanés sont presque trois fois plus souvent liés à la représentation (64%) qu’en RV sans contexte (24%) et en papier et crayon (20%). Nous interprétons ces résultats comme l’annonce d’un processus créatif qui se retrouve, à ses fondements, plus souvent marié à l’expérience de l’environnement visuo-spatial représenté lorsqu’un modèle contextuel immersif est utilisé. Les résultats de l’analyse des gestes déictiques nous mènent aussi à explorer l’idée de qualités cognitivement plus affordantes pour le support de ce qui paraît être une perception « augmentée », où les participants projettent plus fréquemment des éléments imaginés dans la représentation lorsqu’en RV avec contexte.The ideation phase constitutes the first great iterative steps in the design process. Holding a launch position in the process, this phase encompasses developments that can have a strong influence on the creative directions of the core conceptual propositions and their subsequent refinements. Thus, one can foresee the possibility of revisiting some of the common tools and practices ideation adheres to as an access-point to foster participation from people of varied backgrounds beyond a passive stance of providing input on propositions conceived upstream. Yet, the forms of representation traditionally put in place throughout the ideation process induce a significant gap between the way we live environments in our daily experiences – at their reception – and the way they are reflected upon, grasped and imagined during their conception, a shift that tends to bear with it a rupture from the pre-existing contexts of projects. We propose to explore the use of immersive photogrammetric representations of contexts in virtual reality (VR) – where photogrammetry implies visuo-spatial scanning, or digitization, of actual environments to produce textured 3D models – as a means to overcome these problems of traditional representations. One can then ask: what influence does headset-free social VR have on the design cognition of collaborators during co-ideation when coupled with the immersive photogrammetric representation of the design project’s context? Viewing the design process as an inherently social one where takes place a collaborative negotiation, we identify verbal expression as the primary tool of designers and graphical expression, through the production of sketches, as a complementary mode of communication and reflection. However, moving to a cognitive view of the design activity, more specially under the lens of embodied cognition, gesturing emerges as a third fundamental mode to in a quest to depict a more detailed portrait of the role of immersive contextual representations in design. This research is structured as a comparative study contrasting three studio conditions observed during the sessions of an undergraduate level industrial design studio: (i) the traditional pen and paper design studio, (ii) collaborative VR without context, and (iii) collaborative VR with 3D immersive context. A total of 21 audio-video recordings (around 15 to 20 minutes each) were analyzed, corresponding to one per condition for each of seven teams of three collaborators. Verbal-wise, the observed session recordings were segmented and coded according to the design conversations framework. Gesture-wise, every occurrence of co-speech gesturing was defined and organized according to the dominant dimension among the types commonly established in literature (organisational, deictic, iconic, and metaphoric) before being coded with various intra-gestural characteristics including their deixis of enaction. Through this characterisation of gestures’ deixis, operationalized as the independent or joint anchoring of gestural imagery with the graphical representation at hand, we reveal the instances of dissociation or symbiosis of the participants’ design cognition with the different representational setups. Results indicate that, despite similar co-ideation processes in terms of verbal dynamics, sketching is least used in VR with context, yet in this same condition spontaneous iconic gestures were observed to be representation-dependant (anchored) nearly three times (64%) the proportions observed in VR without context (24%) and pen and paper (20%). We interpret these results as highlighting a creative process that is, at its foundations, notably more often wed to the experience of the represented environment when an immersive contextual model is used. Furthermore, our analysis of deictic gestures also confronts us with the idea of greater affordance for supporting what appears to be a form of “augmented” perception, where participants more frequently project mentally imagined elements in the representation when in VR with context

Techniques d'interaction 'phygitales' pour l'exploration de systèmes informationnels complexes

Durant cette dernière décennie, la quantité de données numériques n'a cessé d'augmenter. Ces données provenant de l'Internet des Objets ou de smartphones permettent aux utilisateurs de comprendre et d'analyser leur santé, leur mode de vie ou encore leur consommation énergétique, et aux différentes institutions (villes, campus, promoteurs immobiliers) de gérer le flux de population, le trafic routier ou les pertes énergétiques dans les bâtiments administrés. Le domaine de la "ville intelligente" en tire particulièrement profit. Il est donc capital de mettre à disposition des visualisations interactives de ces données pour pouvoir faire émerger des connaissances et faciliter la prise de décision. Une approche récente propose de représenter ces données proches de l'objet qui les capte ou les produit. Cependant, ce domaine est encore assez récent et il reste de nombreux défis à explorer. Un des défis majeurs identifié par Thomas et collab. (Thomas et al., 2018) est le développement et la conception de techniques d'interaction pour faciliter l'analyse de données situées. L'objectif de nos travaux de thèse est de concevoir et d'évaluer des solutions interactives tirant profit du référent physique pour interagir avec des données numériques situées en se focalisant sur une tâche interactive fondamentale en IHM : la sélection. Dans ce manuscrit nous abordons cette tâche selon une approche fonctionnelle et une approche conceptuelle.Over the past decade, the amount of digital data has been increasing. This data from the Internet of Things or smartphones allows users to understand and analyse their health, lifestyle or energy consumption, and different institutions (cities, campuses, real estate developers) to manage the flow of people, road traffic or energy losses in the buildings they manage. One particular topic that benefits from this is the "smart city". It is therefore essential to make interactive visualisations of this data available in order to generate knowledge and facilitate decision-making. A recent approach proposes to represent these data close to the object that captures or produces them. However, this field is still quite new and there are still many challenges to explore. One of the major challenges identified by Thomas et al. (Thomas et al., 2018) is the development and design of interaction techniques to facilitate the analysis of situated data. The objective of our thesis work is to design and evaluate interactive solutions leveraging the physical referent to interact with situated digital data by focusing on a fundamental interactive task in HCI: selection. In this manuscript we study this task from both a practical and a conceptual approach

Réalité évoquée, des rêves aux simulations (un cadre conceptuel de la réalité au regard de la présence)

Dans cette recherche, nous présentons le concept de Réalité Évoquée ( Evoked Reality ) afin d'essayer de relier différentes notions entourant la présence et la réalité au sein d'un cadre commun. Nous introduisons et illustrons le concept en tant que illusion de la réalité (Réalité Évoquée) qui évoque un sentiment de présence (Présence Évoquée) dans nos esprits. Nous distinguons les concepts de Réalité Média-Évoquée et Réalité Auto-Évoquée et nous les définissons clairement. Le concept de Réalité Évoquée nous permet d'introduire un modèle tripolaire de la réalité, qui remet en cause le modèle classique des deux pôles. Nous présentons également un modèle graphique appelé Reality-Presence Map (Carte Réalité-Présence) qui nous permet de localiser et d'analyser toutes les expériences cognitives concernant la présence et la réalité. Nous explorons également les qualia et la subjectivité de nos expériences de Réalité Évoquée. Deux expériences ont été réalisées : l'une dans le domaine de la Réalité Média-Évoquée et l'autre dans celui de l'Auto-Évoquée. Les expériences nous ont permis de valider nos hypothèses et de réaliser que nos recherches empiriques pouvaient encore être poussées plus loin encore. Enfin, nous illustrons les différentes implications et nous examinons les applications et les utilisations possibles de notre concept, en particulier dans le domaine de la recherche sur la présence. En outre, nous proposons d'étendre la recherche sur la présence au-delà du domaine de la réalité virtuelle et des moyens de communication et de l'étudier dans une perspective plus large que celle des sciences cognitives. Nous sommes convaincus que ce concept de Réalité Évoquée et le modèle proposé peuvent avoir des applications significatives dans l'étude de la présence et dans l'exploration des possibilités qui dépassent la réalité virtuelle.In this research, we introduce the concept of "Evoked Reality" in an attempt to bring together various ideas on presence and reality onto a common platform. The concept we propose and illustrate is in fact an 'illusion of reality' (Evoked Realty) that simply evokes a 'sense of presence' (Evoked Presence) in our minds. We clearly define and differentiate between a Media-Evoked and a Self-Evoked Reality. That helped us introduce the Three Pole Reality Model that redefines the classical Two Pole Reality Model. We also present a graphical model called Reality-Presence Map, which would help us locate and analyse every possible cognitive experience relating to presence and reality. We also explore the qualia and subjectivity of our experiences of Evoked Reality. Two experiments were conducted, one in the area of Media-Evoked Reality and one in Self-Evoked Reality. The experiments in fact lead to fruitful conclusions regarding our hypotheses and help us understand what could be further empirically studied. Ultimately, we illustrate different implications and shed light on prospective applications and uses of our concept, especially in the area of research on presence. In addition, we strongly suggest that we must open up presence research beyond the domain of virtual reality and communication media, and examine it from a broader perspective of cognitive science. We strongly believe that this concept of Evoked Reality and the proposed model may have significant applications in the study of presence, and in exploring the possibilities beyond virtual reality.PARIS-Arts et Métiers (751132303) / SudocSudocFranceF

Espace de conception et modèle d'interaction multi-tactile gestuel : un environnement de développement pour enrichir le modèle

The technical refinement and the recent adoption of multi-touch technologies by both the industry and users made these technologies a major concern for interaction designers. While many studies on human-computer interaction have started to compare this type of interface with traditional WIMP interfaces performance-wise, few have included in their approach the gestural and system mapping specificities of multi-touch interactions. In this study, I defend the idea that such interaction design should follow a specific interaction model taking into account physical, cognitive, sensitive and motor aspects of gestures in the human-computer relation. I define a design space, sort of socio-technical approach, which participates in the definition of a descriptive and generative interaction model. I establish a set of conceptual and technical principles that allow the evaluation and conception of multi-touch interfaces, in a systemic and extensible way. Throughout this study, I emphasize the limits of the « natural user interface » paradigm by having a better understanding of how interaction realism affects system efficiency. Finally, I present a multi-touch framework developed as part of a CIFRE collaboration, which helped this study in the design and the extension of the conceptual model.L’affinage technique et l’adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l’attention des designers d’interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d’interactions multi-tactiles. Dans cette étude, je défends l’idée que le design de telles interactions ne peut être approché qu’en suivant un modèle d’interaction spécifique intégrant l’ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J’articule ma recherche autour d’un espace de conception, courte analyse sociotechnique de mon objet d’étude, dans lequel je définis un modèle d’interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l’évaluation et la conception du design d’interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d’ « interface naturelle » en nuançant les effets du réalisme des interactions dans l’efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d’un environnement de développement réalisé dans le cadre d’un dispositif CIFRE qui a accompagné cette étude et permis d’enrichir le modèle théorique

Nouvelles modalités d'interaction pour des opérateurs de maintenance en milieu contraint : Contribution d'une approche conjointe FH et IHM dans le contexte d'un projet multipartenaire

RESUME Dans un monde où la continuité de service est impérative, la qualité et la rapidité des interventions en maintenance deviennent des éléments clés. Pour conserver leur compétitivité, les industriels recherchent activement des solutions pour améliorer l'efficacité et la productivité des opérations de maintenance tout en préservant un très haut niveau de sécurité. L'objectif du projet est de permettre à un opérateur de maintenance, sur des terminaux mobiles de type smartphone, tablette, casque ou lunette, de disposer d'une information parfaitement contextualisée à la situation opérationnelle dans laquelle il se trouve (visualiser sur des documents, notices ou des schémas techniques, interagir avec un expert distant, se connecter à un système d'information…). Cette étude à orientation prospective propose, à partir d'une approche ergonomique centrée sur les usages (observations in situ, entretiens semi-dirigés, analyse cognitivo-discursive-ACD-, caractérisation des besoins), d'identifier un panel de nouvelles technologies d'interaction répondant aux besoins des opérateurs, aux exigences industrielles et pouvant s'adapter à des environnements opérationnels contraints.As service continuity is compelling for companies in order to satisfy their customers, maintenance quality and efficiency has become key points in the industry. To maintain their competitiveness, industrial companies strive to improve the efficiency and productivity of maintenance operations while keeping a very high level of safety. By equipping maintenance operators with a smartphone or tablet and smartglasses, the project aims at giving the right contextualized information. So that operators can better comprehend the context in which they work (e.g. for visualizing documents, notices or technical diagrams, interacting with a remote expert, connecting to an information system...) The prospective study presented is based on an ergonomic approach and user-centered approach (observations, interviews, cognitive-discursive analysis-CDA-and need characterization). It identifies a panel of new interaction technologies that best respond to operators' expectations and industrial requirements and still being able to adapt to complex and diverse environments

Couplage de techniques d'interaction avancées avec des environnements virtuels 3D interactifs

The work of this thesis fit on the boundary between two complementary research areas: the field of 3D Virtual Environment (3DVE) from Computer Graphics (CG) and Virtual Reality (RV) and the field of Human-Computer Interaction (HCI). They rely on three assessments. Firstly, we observe that 3DVE takes more importance in our daily life (video games, serious games, e-commerce, museums, through the web and on mobile devices). Secondly, HCI becomes more complex with the emergence of advance forms of interaction like ambient computing, tangible interaction or spatial and gestural interactions. This evolution goes along with a diversification of devices (3D mouse, the Wiimote, the Kinect or the Leap Motion). Thirdly, the design of interaction techniques with 3DVE brings up some different considerations taken into account by the communities in the field of 3DVE and HCI. Therefore, take advantage of the latest considerations of EV3D communities (metaphors, quality of 3D interaction) and HCI (advance forms of interaction) results in the need to develop the coupling between advance forms of interaction techniques and EV3D. In this context, the objective of this thesis work is to contribute to the development of interactive 3D environments in multiple situations, including large audience situations. The approach we developed aimed to create a bridge between 3D and HCI design considerations. We intend to improve the coupling of advance interaction techniques with interactive 3D virtual environment. After analyzing methods for the design of interaction techniques for 3DVE, a first contribution consists in a design framework of 3D interaction. This framework aggregates design issues stem from 3D and HCI and help the designer to identify several elements involve in the coupling of interaction with a 3DVE. This design framework is based on the analysis of the links between user tasks and elements of the 3DVE impacted by these tasks. In order to precisely characterize each link, we have introduced the 3DIM (3D Interaction Modality) notation that describes the characteristics of the different elements constituting a "3D Interaction Modality" for the accomplishment of a user's interaction task in a 3DVE. We have grouped these elements into six blocks: the user, the physical actions, the physical objects, the input devices, the 3D behaviors and the 3D interactive objects. We complete our framework with analytical properties for guiding the designer and provide descriptive, evaluative and generative power at our conceptual model of advanced interaction techniques for 3DVE. Collaborating with the Museum of "Le Pic du Midi" observatory in France, we used our framework to design and implement tangible interaction and technique based on smartphone usage. Museum visitors can use these techniques in a 3DVE of the "Telescope Bernard Lyot" to explore and understand its functioning. We have conducted three users' studies in order to explore the design space of using a smartphone to interact with 3DVE. We used the smartphone in different ways to navigate, select and manipulate a 3D object displayed on a large remote screen. We explored several design solutions with a smartphone as a touch device, as a tangible object or mid-air interaction around the device.Les travaux de cette thèse s'inscrivent à la frontière entre deux domaines de recherche complémentaires : le domaine des Environnements Virtuels 3D (EV3D) issus de l'Informatique Graphique (IG) et de la Réalité Virtuelle (RV) et le domaine de l'Interaction Homme-Machine (IHM). Ils s'appuient sur trois constats. D'une part, on observe une place grandissante des EV3D dans notre quotidien (jeux vidéo, jeux sérieux, e-commerce, dans les musées, à travers le web et sur les dispositifs mobiles). D'autre part, les IHM se complexifient notamment avec l'apparition de formes avancées d'interaction comme l'informatique ambiante, l'interaction tangible, ou encore l'interaction spatiale et gestuelle, et s'accompagne d'une diversification des dispositifs d'interaction (souris 3D, la Wiimote, la Kinect, le Leap Motion). Enfin, la conception de techniques d'interaction avancées avec des EV3D fait apparaitre des considérations différentes prises en compte par les communautés des domaines EV3D et IHM. Par conséquent, tirer profit des considérations les plus récentes des communautés EV3D (métaphores, qualité de l'interaction 3D) et IHM (formes avancées de technique d'interaction) se traduit par un besoin de développer le couplage entre formes avancées de technique d'interaction et EV3D. Dans ce contexte, l'objectif de ces travaux de thèse est de contribuer à l'essor des environnements 3D interactifs dans de multiples situations, et notamment des situations grand public, en adoptant une approche visant à faire converger les approches 3D et IHM pour mieux établir le couplage de Techniques d'Interaction Avancées avec des Environnements Virtuels 3D Interactifs. Après une analyse des méthodes de conception de techniques d'interaction pour les EV3D, une première contribution de nos travaux consiste en un cadre de conception de l'interaction 3D. En y agrégeant les problématiques issues de la 3D et de l'IHM, ce cadre de conception permet d'identifier les différents éléments de couplages impliqués lors d'une interaction avec un EV3D. Il se base sur l'analyse des liens entre les tâches utilisateurs et les éléments de l'EV3D impactés par ces tâches. Afin de caractériser finement chaque lien, nous avons introduit la notation 3DIM (3D Interaction Modality) qui décrit les caractéristiques des différents éléments constituant une " modalité d'interaction 3D " permettant la réalisation d'une tâche d'interaction de l'utilisateur dans un EV3D. Nous avons regroupé ces éléments en 6 blocs : l'utilisateur, les actions physiques, les objets physiques manipulés, les dispositifs utilisés, les comportements 3D et les éléments 3D. Nous complétons ce cadre conceptuel par des propriétés analytiques qui permettent de guider le concepteur et procurent ainsi un caractère descriptif, évaluatif et génératif à notre modèle conceptuel de techniques d'interaction avancées pour des EV3D. Dans la cadre d'une collaboration avec le musée de l'observatoire du Pic du Midi, une mise en œuvre de ce cadre nous a conduit à concevoir et développer des techniques d'interaction tangibles et basées smartphone. Ces techniques sont utilisées par les visiteurs du musée dans un EV3D représentatif du Télescope Bernard Lyot pour l'explorer et comprendre son fonctionnement. Nous avons mené trois évaluations utilisateur afin d'explorer l'usage d'un smartphone utilisé de trois manière différentes : comme dispositif tactile, comme un objet tangible ou comme support pour une interaction gestuelle autour du dispositif pour naviguer, sélectionner ou manipuler un objet 3D dans un EV3D affiché sur un grand écran distant