Techniques d'interaction 'phygitales' pour l'exploration de systèmes informationnels complexes

Durant cette dernière décennie, la quantité de données numériques n'a cessé d'augmenter. Ces données provenant de l'Internet des Objets ou de smartphones permettent aux utilisateurs de comprendre et d'analyser leur santé, leur mode de vie ou encore leur consommation énergétique, et aux différentes institutions (villes, campus, promoteurs immobiliers) de gérer le flux de population, le trafic routier ou les pertes énergétiques dans les bâtiments administrés. Le domaine de la "ville intelligente" en tire particulièrement profit. Il est donc capital de mettre à disposition des visualisations interactives de ces données pour pouvoir faire émerger des connaissances et faciliter la prise de décision. Une approche récente propose de représenter ces données proches de l'objet qui les capte ou les produit. Cependant, ce domaine est encore assez récent et il reste de nombreux défis à explorer. Un des défis majeurs identifié par Thomas et collab. (Thomas et al., 2018) est le développement et la conception de techniques d'interaction pour faciliter l'analyse de données situées. L'objectif de nos travaux de thèse est de concevoir et d'évaluer des solutions interactives tirant profit du référent physique pour interagir avec des données numériques situées en se focalisant sur une tâche interactive fondamentale en IHM : la sélection. Dans ce manuscrit nous abordons cette tâche selon une approche fonctionnelle et une approche conceptuelle.Over the past decade, the amount of digital data has been increasing. This data from the Internet of Things or smartphones allows users to understand and analyse their health, lifestyle or energy consumption, and different institutions (cities, campuses, real estate developers) to manage the flow of people, road traffic or energy losses in the buildings they manage. One particular topic that benefits from this is the "smart city". It is therefore essential to make interactive visualisations of this data available in order to generate knowledge and facilitate decision-making. A recent approach proposes to represent these data close to the object that captures or produces them. However, this field is still quite new and there are still many challenges to explore. One of the major challenges identified by Thomas et al. (Thomas et al., 2018) is the development and design of interaction techniques to facilitate the analysis of situated data. The objective of our thesis work is to design and evaluate interactive solutions leveraging the physical referent to interact with situated digital data by focusing on a fundamental interactive task in HCI: selection. In this manuscript we study this task from both a practical and a conceptual approach

De la Métaphore à la tâche (une bibliothèque de concepts métaphoriques pour le prototypage de techniques d'interactions.)

Nous présentons dans cette thèse les bases d un dialogue entre le modèle cognitif dit incarné et le développement de styles et techniques d interaction pour les interfaces graphiques en 3 dimensions. Ce modèle cognitif, structuré entre autres par Lakoff et Johnson, décrit les correspondances métaphoriques que nous construisons naturellement entre des idées abstraites et les modèles mentaux provenant de notre expérience perceptive. Dortier résume la cognition incarnée en disant que les idées ont des formes, des couleurs, suscitent des goûts et des dégoûts. Cette vision intégrée des systèmes perceptifs et cognitifs s applique non seulement à la représentation mentale des objets ou des personnes, mais aussi aux idées abstraites quelles soient morales, philosophiques ou scientifiques.Ce modèle met en évidence le rôle de ces corrélations en tant que source de compréhension et d action et a fait émerger le concept d interfaces énactives. Aujourd hui elles se présentent comme un regard commun sur les projets émergents d interfaces homme-machine. Des projets, tels que les interfaces tangibles, les systèmes de capture de gestes et d autres solutions logicielles et matérielles multimodales, se servent de notre aptitude à structurer métaphoriquement l information produite par notre action sur le monde, pour créer des interfaces universellement appréhendables.Nous avons illustré l application de ce modèle sur des projets d interfaces graphiques pour la réalisation de tâches dans des contextes hétérogènes. Nous avons ciblé les dispositifs multimédia pour le grand public et les stratégies pour la réussite de ces interfaces en tant qu outil pédagogique pour les musées, expositions et outils de travail collaboratifs. Notre première application est le projet de médiation graphique pour accéder à une base de données d'objets numérisés en 3D pour le Musée des Arts et Métiers. Dans ce projet les objets numérisés sont affichés selon une métaphore de fluides et particules dotés d électromagnétisme. La navigation dans ce catalogue se veut claire et pervasive. Nous avons analysons la capacité des métaphores de construire des ponts cohérents entre les diverses plateformes d accès au catalogue. Dans une seconde implémentation nous employons les métaphores liés à la notion visuelle de profondeur et de densité pour proposer une ligne du temps en 3 dimensions pour la visualisation de donnés temporelles pour EDF. Finalement nos synthétisons les relations entre les ensembles de métaphores pour les appliquer aux composantes d interaction. La structure résultante se présente sous forme d un Framework conceptuel d agents et styles d interaction qui peut servir en tant qu outil de prototypage mais aussi comme catalyseur pour la conception d interfaces innovantes.Embodied cognition has emerged over the last decades as a new paradigm of the human reasoning system. Large numbers of researchers agree on the influences of perceptual and motor activity on our thinking and representational mechanisms. The importance of embodied mind theory is growing in the field of cognitive science. It is now the conceptual support for innovative projects in human computer interaction (HCI). The new paradigms of HCI are shifting towards the venue of natural, invisible and pervasive interfaces. Office tasks of the 80s and their related interfaces are now being replaced by multimodal commands (gesture, voice) and contextual or social inputs. From graphical user interfaces to tangible and multimodal devices, new sets of innovative interaction techniques are emerging and these can no longer rely on classic metaphors and visual analogies. To increase the meaning of new commands and representations of post-wimp interaction techniques and to build coherent and consistent metaphors between different platforms and embedded devices in our environment, researchers have turned their attention to the embodied vision of the cognitive system.We present in this thesis the embodied cognitive paradigm and how it has been adopted by the HCI community. We illustrate this model by analyzing several tasks carried out in heterogeneous environments. Thereafter, proposals are made on how museums, exhibitions and collaboration tools may use embodied metaphors as a design strategy to produce innovative multimedia devices. The first application was one of mediating access to a database of digitized 3D objects for the Museum of Arts and Crafts in Paris. In this project the digitized objects are displayed in a metaphor of fluids and particles managed by electromagnetic forces that guide the semantics of the user s search. Browsing tasks in this catalog are intended to be clear and coherent between different platforms in order to respect the user s levels of desired engagement. An analysis is made of the ability of metaphors to build bridges between the various platform interfaces. In the second application, metaphors related to the concept of visual depth and density was used to propose a 3D timeline so as to visualize temporal data. Finally, the framework synthesizes the embodied metaphorical mappings in a large set of components which will be applied as building blocks when prototyping interaction techniques. This structure takes the form of a conceptual Framework of interaction agents which might serve not only as a tool for prototyping interfaces but also as a catalyst for generating innovative ideas.PARIS-CNAM (751032301) / SudocSudocFranceF

Étude empirique de huit cas d'application de la réalité augmentée spatiale pour la communication événementielle

RÉSUMÉ : Le secteur des Nouvelles Technologies de l’Information et des Communications (NTIC) a créé de nouvelles attentes chez les consommateurs (mobilité, recherche de lien social, besoin de divertissement…) et a profondément bouleversé les schémas de communication traditionnelle. Pour répondre à ces nouvelles problématiques, de nouvelles approches de médiation ont fait leur apparition au sein des agences de communications. Depuis quelques années, l’usage de la Réalité Augmentée Spatiale (RAS), consistant à faire coexister spatialement et temporellement un monde virtuel avec le monde réel pour l'utilisateur placé dans l'environnement de réalité mixte, a permis aux agences de communication de mettre en place un nouveau modèle d’affaires, misant sur la dimension virale qu’ont les réalisations innovantes sur les réseaux sociaux. Certaines vidéos mettant en scène la dimension spectaculaire de la RAS à des fins publicitaires ont ainsi été partagées et visionnées plusieurs millions de fois, permettant de maximiser la diffusion du message publicitaire à moindre coût, grâce au partage des internautes. Le problème soulevé par cette recherche est le manque de littérature opérationnelle concernant ces prestations de services émergents. Les tâches de conception sont nombreuses, contextuelles et interconnectées, et impliquent plusieurs corps de métiers. Aussi, il est difficile de spécifier les fonctions d’usages de l’objet à concevoir principalement à cause de l’absence d’objet préexistant ou de client capable de formuler une demande claire. Il s’agit pour les acteurs de ces projets de conception innovante de créer des environnements de réalité mixte dans un environnement non contrôlé. Dans le cadre d'une communication événementielle nécessitant le développement d'un système de de Réalité Augmentée Spatiale (SRAS), cette recherche a pour objectif de répondre aux questions suivantes : quelles sont les tâches à faire, quelle est la démarche à suivre, à quels types de spécialistes faut-il faire appel, quels sont les outils informatiques à utiliser, et quels défis pratiques se posent? Nous espérons ainsi contribuer à l’amélioration des processus de développement et à la gestion de la connaissance associée à un champ d’applications industrielles émergentes. La méthode retenue pour ce projet de recherche est celle de la Recherche-Action (R-A). Elle a été réalisée dans le cadre d’un partenariat industriel de deux ans avec une agence de communication de nouveaux médias spécialisée dans les installations de projections à grande échelle et les expériences immersives et interactives. Au cours de ces deux années en milieu pratique, nous avons activement collaboré au développement de huit installations de RAS pour des cas de communication événementielle. La première contribution de ce mémoire, à travers la présentation de huit cas de projets industriels d’augmentations spatiales, est de permettre la réutilisation des processus opérationnels mis en place et des solutions techniques développées éprouvées par la pratique. Pour chaque cas, nous explicitons le mandat du commanditaire, le concept et le scénario d’augmentation retenu pour répondre aux besoins d'estime et d'usage, et les stratégies employées pour assurer la cohérence spatiale et temporelle de l'augmentation de la réalité. Ces cas permettront ainsi aux concepteurs d’appréhender les propriétés hédoniques et pragmatiques associées à ces produits émergents et représentent autant de pistes pour relever les défis qui se poseront lors de la conception de nouveaux SRAS. La deuxième contribution de ce mémoire est la proposition d'une démarche de conception et de réalisation dédiée. Pour cela, nous nous sommes basés sur nos expériences pratiques, nos observations et l’analyse du développement de ces huit produits de RAS. Nous explicitons la pluralité des expertises nécessaires, les tâches de conception génériques des différents acteurs et leurs interconnexions. Nous avons formulé des lignes directrices pour les tâches associées à l’augmentation numérique d’un environnement physique en contexte industriel (conception de l’expérience, conception matérielle et logicielle) et pour l’établissement du cadre de référence, permettant de faire le pont entre les dimensions réelle et virtuelle durant le développement. La troisième contribution de ce mémoire est l'analyse comparative de différents processus opérationnels pour la RAS par projection vidéo et des outils informatiques utilisables. Nous en avons utilisé certains pour des besoins réels de projets d’augmentation, ce qui nous a permis d’identifier leurs limites opérationnelles, de les indexer, et de formuler des conseils concernant leur utilisation contextuelle. Ce projet de recherche vise ainsi globalement à regrouper et structurer le savoir-faire technique et méthodique d'experts pionniers de l'usage de la RAS en tant que prestation de service de communication.----------ABSTRACT : The sector of New Technologies of Information and Communications (NICT) has created new expectations among consumers (mobility, social link seeking, entertainment need...) and profoundly disrupted traditional strategies for communication. To meet these new challenges, new approaches have appeared in communications agencies. In recent years, the use of Spatial Augmented Reality (SAR), consisting in overlaying an object or a physical environment with a digital layer of video, enabled agencies to establish a new business model, focusing on the viral dimension of innovative achievements on social networks. Indeed, some videos featuring the spectacular dimension of SAR for advertising purposes have been shared and viewed millions of times, maximizing the dissemination of the advertisement cost. The problem raised by this research is the lack of literature on the operational aspects of those emerging services and the design process of Spatial Augmented Reality Systems (SARS). Tasks are numerous, contextual, interconnected and involve several types of expertise. Our study is intended to help the designers of these projects by structuring the technical and methodical know-how. We hope to contribute to improve the development processes and the knowledge management associated with an emerging field of industrial applications. The method used for this research is Action Research. It was conducted as part of an industrial two-year partnership with a communication agency specializing in new media installations and large-scale projections experiences. During these two years in practice environment, we worked on the development of eight SARS used for event communication cases. The first contribution of this memoir is to present these eight cases of industrial projects to enable the reuse of processes and technical solutions that were developed. We described the mandate of the sponsor, the concept and scenario retained to meet his needs, and the strategies used to ensure spatial and temporal coherence of the augmentation of the reality for the end user. These cases should allow designers to understand the pragmatic and hedonic properties associated with these emerging products and represent examples for facing their own challenges when designing a specific SARS. The second contribution of this memoir is to suggest an approach to design SARS, based on our practical experience, our observations and the iterative development of these eight products. We expose the plurality of expertise that was required, the generic design tasks of the various actors and their interconnections. We have developed guidelines for the design tasks associated with the augmentation of a physical environment in an industrial context (experience design, hardware and software design) and have established a reference framework, building a bridge between the real and virtual dimension during the development of SARS. The third contribution of this memoir is a comparative analysis of different processes for projection mapping and of different computer tools used to fill the needs of this sector. We used some of them in the eight projects, which allowed us to identify their operational limits and give advice on their contextual uses

Espace de conception et modèle d'interaction multi-tactile gestuel : un environnement de développement pour enrichir le modèle

The technical refinement and the recent adoption of multi-touch technologies by both the industry and users made these technologies a major concern for interaction designers. While many studies on human-computer interaction have started to compare this type of interface with traditional WIMP interfaces performance-wise, few have included in their approach the gestural and system mapping specificities of multi-touch interactions. In this study, I defend the idea that such interaction design should follow a specific interaction model taking into account physical, cognitive, sensitive and motor aspects of gestures in the human-computer relation. I define a design space, sort of socio-technical approach, which participates in the definition of a descriptive and generative interaction model. I establish a set of conceptual and technical principles that allow the evaluation and conception of multi-touch interfaces, in a systemic and extensible way. Throughout this study, I emphasize the limits of the « natural user interface » paradigm by having a better understanding of how interaction realism affects system efficiency. Finally, I present a multi-touch framework developed as part of a CIFRE collaboration, which helped this study in the design and the extension of the conceptual model.L’affinage technique et l’adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l’attention des designers d’interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d’interactions multi-tactiles. Dans cette étude, je défends l’idée que le design de telles interactions ne peut être approché qu’en suivant un modèle d’interaction spécifique intégrant l’ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J’articule ma recherche autour d’un espace de conception, courte analyse sociotechnique de mon objet d’étude, dans lequel je définis un modèle d’interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l’évaluation et la conception du design d’interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d’ « interface naturelle » en nuançant les effets du réalisme des interactions dans l’efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d’un environnement de développement réalisé dans le cadre d’un dispositif CIFRE qui a accompagné cette étude et permis d’enrichir le modèle théorique

Interaction indirecte en réalité virtuelle à l'aide d'un médiateur

Currently many researches in the field of multimodal interfaces (input, output) have been made in order to be able to achieve complex tasks merely, naturally, and quickly. Expert interfaces should be considering the risks resulting from an ordered action, to prevent any harmful action and to suggest possible alternatives. Taking into account the complexity of the tasks to achieve and exponential growth of information, the adaptive systems are henceforth essential to make possible and facilitate the work of the operator. A good man-machine interface is thus strongly required. We note that multiple interaction and manipulation techniques are currently available, but at this time, the characteristic tools of the WIMP paradigm (Windows, Icons, Menus and Ppointing device) did not find their equivalent in 3D interfaces. There still remains way to make to be able to find the perfect tool and to enforce it as a standard for the 3D interfaces and applications. Therefore, our research was focused gradually towards the proposal for a mediating interface: a very adaptive and functional interface, intended to simplify to the maximum the human interaction in the execution of complex work. The concept of the "mediator" might be clarified in the following way, i.e.: A user in full immersive system named mediator world will be able to control or interact a front distance, through an intermediary haptic devices, on another virtual or real world named controlled world. Let us recall that the Human needs simple tools to be able to achieve complicated tasks. In such a case, one of the ultimate goals is to make the machine adapt to the human instead of forcing the human to adapt to the machine

Écrire à l'œuvre : pratiques de la trans|écriture en art actuel : pouvoirs de l'art en acte_s

Mon mémoire présente une réflexion sur l'écriture en art à l'ère du numérique, investissant les enjeux actuels de cette pratique au regard des principes fragmentaire, hétérogène et labile que présente l'œuvre hypermédiatique, considérant les effets de sa conjoncture associative qui sollicite la participation du spectateur de manière singulière. J'y observe un corpus de quatre créations – Prenez soin de vous, de Sophie Calle, For Chicago, de Jenny Holzer, Listening Post, de Ben Rubin et Mark Hansen et Flußgeist, de Gregory Chatonsky –, dégageant les modalités propres et communes à leur dispositif interactif, en envisageant l'écriture qui leur est endogène et exogène sous le concept performatif de la trans|écriture. Un second corpus, textuel celui-ci, se distingue du cadre théorique – où Jacques Rancière, Jean-François Lyotard, Jean-Marie Schaeffer, Jean-Pierre Fourmentraux, Roberto Barbanti et Pierre Lévy font figure de proue – en ce qu'il fait l'objet d'une mise en dialogue avec les œuvres qui travaille littéralement sa matière. Les auteurs de ces textes sont Anne Cauquelin, Samuel Archibald, François Recanati, Samuel Bianchini et Jens Hauser. L'écriture est ici envisagée dans une perspective politique, pour son pouvoir de transformation, poétique, pour ses portées littéraires, et poïétique, pour la dimension processuelle de son travail en acte_s, qui engage des boucles de lecture et d'écriture dans un potentiel infini, un jeu de langages qui est le cœur problématique du mémoire. Ce dernier se présente sous la forme de quatre actes, ceux-ci correspondant respectivement aux scènes d'introduction, de lectures, d'écritures et d'ouverture. La dialogique coconstructiviste qui anime le mémoire, inspirée d'Edgar Morin, fait cohabiter plusieurs éléments sans chercher à réduire les tensions qu'implique leur corps à corps. Ma méthodologie de recherche est de nature exploratoire, faisant intervenir des expériences théoriques et pratiques, notamment des textes qui ont été créés et publiés dans le cadre de la maîtrise, sortes de réflexions pratiques qui ont servi de tremplin à son développement. L'ensemble du projet relève ainsi d'une recherche-création. Au final, mon mémoire propose des modes alternatifs de savoir et d'écriture de l'œuvre, qui, sans exclure les ascendants théoriques et scientifiques qui les conditionnent traditionnellement, font place à la subjectivité, à la littérarité et à la performativité comme vecteurs sensibles de l'histoire de l'œuvre. Le mémoire tente lui-même de mettre ces motifs en pratique. En somme, ma visée est de valoriser et de renouveler la pratique de l'écriture sur l'art, de positionner son ouvrage en tant qu'œuvre de l'œuvre dans l'économie de l'art, de situer ces idées au sein de l'écologie de ses pensées.\ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : art actuel, art hypermédiatique, écriture, trans|écriture, performativité, littérarité, politique, poïétique, recherche-création

Visualisation interactive de données volumiques texturées pour la détection supervisée de failles en imagerie sismique

L'interprétation des images sismiques tridimensionnelles est une étape clé de léxploration pétrolière. Les enjeux de cette activité sont de produire un modèle des différentes structures, telles que les failles, incluses au sein des données sismiques. Les objectifs multiples de cette thèse, menée en partenariat avec le groupe TOTAL, sont de concevoir, d'implémenter et de valider des techniques innovantes de visualisation et d'interaction aidant à la détection et à la modélisation des failles, supervisée par un interprétateur. Bien que spécifiquement développés à destination d'un contexte opérationnel particulier, les outils proposés s'appliquent plus généralement à lénsemble des données volumiques texturées ainsi qu'à la segmentation manuelle de structures tridimensionnelles. Ils s'inscrivent dans un cadre théorique et méthodologique nécessairement pluridisciplinaire qui concerne des domaines aussi divers que la psychologie expérimentale, l'ingénierie cognitive, la réalité virtuelle ou encore l'interaction homme-machine.The interpretation of seismic 3D imagery is a step key leading to hydrocarbon exploitation. The challenge of this activity is to produce a model of several geological structures, like faults, embedded in seismic dataset. The aim of this thesis, carried out with TOTAL company, is to elaborate, design and evaluate new techniques of visualization and interaction for fault detection and modelization supervised by a human expert. Even if specially designed for an operational context, our tools are also dedicated to other volumetric data and manual segmentation of 3D structures. The theorical foundation of our works are based on a pluridisciplinary approach and concerns several scientific fields like experimental psychology, cognitive engineering, virtual reality or human computer interaction

La représentation des interfaces utilisateur au cinéma : d'une image informatique à une image cinématographique

La bulle bleue d’un message texte, la fenêtre d’un navigateur web, les lignes de programmation dans un terminal informatique, les diagrammes affichés sur les écrans de contrôle d’un vaisseau spatial : de 2001 à 2020, ces images d’interfaces s’insinuent partout dans les films. En informatique, l’interface utilisateur est l’environnement virtuel utile à l’usager pour interagir avec la machine. Au cinéma, la représentation de l'interface est le moyen de figurer cette interaction tout en empruntant immédiatement aux images de la machine. Si les interfaces sont de plus en plus fréquentes au cinéma, leur représentation est néanmoins très normée, obéissant le plus souvent très fidèlement aux conventions des genres cinématographiques qui l’ont modelée. Pourtant, en dressant leur inventaire en quatre grands types et en observant quelques cas d’exceptions, leur représentation révèle une grammaire cinématographique dotée de moyens narratifs, de trucages filmiques et d’effets de montage nouveaux qui restent à définir et dont on mesurera la valeur ajoutée.The blue bubble of a text message, the window of a web browser, the programming lines in a computer terminal, the diagrams displayed on the control screens of a spaceship: from 2001 to 2020, these images of interfaces are everywhere in the movies. In computer science, the user interface is the virtual environment useful to the user to interact with the machine. In cinema, the representation of the interface is the way to represent this interaction while immediately borrowing from the machine's images. If the interfaces are more and more frequent in the cinema, their representation is nevertheless very standardized, obeying most often very faithfully the conventions of the cinematographic genres that have shaped it. However, by drawing up an inventory of four main types and observing a few exceptions, their representation reveals a cinematographic grammar endowed with new narrative means, filmic tricks and editing effects that remain to be defined and whose added value will be measured