Interactions humain-machine et différences culturelles : l'utilisabilité Bantu comparée

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Un outil d’évaluation neurocognitive des interactions humain-machine

De plus en plus de recherches sur les Interactions Humain-Machine (IHM) tentent d’effectuer des analyses fines de l’interaction afin de faire ressortir ce qui influence les comportements des utilisateurs. Tant au niveau de l’évaluation de la performance que de l’expérience des utilisateurs, on note qu’une attention particulière est maintenant portée aux réactions émotionnelles et cognitives lors de l’interaction. Les approches qualitatives standards sont limitées, car elles se fondent sur l’observation et des entrevues après l’interaction, limitant ainsi la précision du diagnostic. L’expérience utilisateur et les réactions émotionnelles étant de nature hautement dynamique et contextualisée, les approches d’évaluation doivent l’être de même afin de permettre un diagnostic précis de l’interaction. Cette thèse présente une approche d’évaluation quantitative et dynamique qui permet de contextualiser les réactions des utilisateurs afin d’en identifier les antécédents dans l’interaction avec un système. Pour ce faire, ce travail s’articule autour de trois axes. 1) La reconnaissance automatique des buts et de la structure de tâches de l’utilisateur, à l’aide de mesures oculométriques et d’activité dans l’environnement par apprentissage machine. 2) L’inférence de construits psychologiques (activation, valence émotionnelle et charge cognitive) via l’analyse des signaux physiologiques. 3) Le diagnostic de l‘interaction reposant sur le couplage dynamique des deux précédentes opérations. Les idées et le développement de notre approche sont illustrés par leur application dans deux contextes expérimentaux : le commerce électronique et l’apprentissage par simulation. Nous présentons aussi l’outil informatique complet qui a été implémenté afin de permettre à des professionnels en évaluation (ex. : ergonomes, concepteurs de jeux, formateurs) d’utiliser l’approche proposée pour l’évaluation d’IHM. Celui-ci est conçu de manière à faciliter la triangulation des appareils de mesure impliqués dans ce travail et à s’intégrer aux méthodes classiques d’évaluation de l’interaction (ex. : questionnaires et codage des observations).More and more researches on Human-Computer Interactions (HCI) are trying to perform detailed analyses of interaction to determine its influence on users’ behaviours. A particular emphasis is now put on emotional reactions during the interaction, whether it’s from the perspective of user experience evaluation or user performance. Standard qualitative approaches are limited because they are based on observations and interviews after the interaction, therefore limiting the precision of the diagnosis. User experience and emotional reactions being, by nature, highly dynamic and contextualized, evaluation approaches should be the same to accurately diagnose the quality of interaction. This thesis presents an evaluation approach, both dynamic and quantitative, which allows contextualising users’ emotional reactions to help identify their causes during the interaction with a system. To this end, our work focuses on three main axes: 1) automatic task recognition using machine learning modeling of eye tracking and interaction data; 2) automatic inference of psychological constructs (emotional activation, emotional valence, and cognitive load) through physiological signals analysis; and 3) diagnosis of users’ reactions during interaction based on the coupling of the two previous operations. The ideas and development of our approach are illustrated using two experimental contexts: e-commerce and simulation-based training. We also present the tool we implemented in order to allow HCI professionals (e.g.: user experience expert, training supervisor, or game designer) to use our evaluation approach to assess interaction. This tool is designed to facilitate the triangulation of measuring instruments and the integration with more classical Human-Computer Interaction methods (ex.: surveys and observation coding)

Vers une intégration transparente de l'informatique dans notre environnement : application à un système de rappels informatique diffus

Un des projets de recherche du laboratoire DOMUS vise à réaliser une maison intelligente qui fournit une aide cognitive à des personnes en légère perte d'autonomie. La recherche présentée dans ce mémoire vise principalement à réaliser un système informatique diffus qui intègre des réseaux, appareils électriques et systèmes informatiques, tous hétérogènes, dans le but de coopérer pour réaliser une tâche qui sera bénéfique à l'occupant des lieux. Le système se base sur les principes de l'informatique diffuse pour intégrer l'informatique à l'environnement physique. Nos travaux développent une étude de cas visant à implémenter un système de messagerie de notification et de rappel dans un environnement informatique diffus. Nos travaux ont atteint les buts visés en réalisant trois scénarios qui illustrent différents aspects de l'informatique diffuse. Le premier scénario vise la détection et l'adaptation du système face à la présence de l'usager lorsque celui-ci entre dans une pièce. Le deuxième scénario réalise la migration d'une session dans une application d'un appareil vers un autre appareil qui est mieux adapté au besoin de l'usager. La session dans l'application du premier appareil migre sur un autre appareil et est récréée le plus fidèlement possible pour ne pas que l'usager ait à refaire les mêmes étapes deux fois de suite. Le troisième scénario représente une tentative par le système de localiser l'usager pour lui transmettre un message. Ce scénario implique une grande coopération entre divers services qui sont disponibles dans l'architecture Domus

Etude empirique de l'interaction multimodale mobile en situation naturelle

Ubiquity of mobile interactive devices either in professional, cultural or domestic domain constitutes a new research perspective to both individual and cooperative usage of new communication technologies. Mobile technologies rise, among others, new questioning about mobile usability specific issues, adapted methodologies and field data collection, identification of relevant contextual factors for mobile systems design, superimposition of interaction spaces. We believe that mobility is a new interaction paradigm carrying potential contextual variations, preventing traditional direct manipulation from being the most appropriate interaction style without serious adaptation because it currently requires a high level of visual attention . In this PhD, we first present a review of current knowledge concerning Context Aware Computing (CAC) as well as mobile and multimodal interaction. We then present an empirical study of a mobile multimodal application in the context of a situated collaborative quiz-answering task. Based on quantitative and qualitative results, our research first describes global and individual usage of the available modalities (tactile and vocal). In a second time, we study the influence of some identified internal and external contextual factors on the modalities selection,. For instance, we examinate the impact of factors such as noise context, social context or history of the interaction on the modalities usage. A third part of our results highlights the relation between users choice of a modality depending on the attentional resources required by the mobile interaction. All along the quantitative results, an extensive analysis of qualitative data such as user‘s verbalisation during self confrontation sessions, or activity chronicles examination, allowed us to argue and explain some modality choices and helped us identify some new factors taken into account by the users. Finally, we use these results to propose some models for mobile multimodal applications, as well as some criteria and recommendations for their design.L'ubiquité des dispositifs interactifs mobiles dans les sphères professionnelles, culturelles et domestiques constitue une occasion d'ouverture de nouveaux champs de recherche dans le domaine de l'étude des usages individuels et coopératifs des Nouvelles technologies de l'information et de la communication (NTICs). Les technologies mobiles amènent notamment à renouveler les points de vue sur des questions telles que, les problèmes d'utilisabilité spécifiques posés par la mobilité, les méthodes et les dispositifs de recueil de données, la question de l'identification des facteurs contextuels pertinents pour la conception de systèmes mobiles, la superposition des espaces d'interaction. De ce point de vue, nous posons que la mobilité constitue un nouveau paradigme d'interaction facteur potentiel de variations contextuelles pour lequel le style d'interaction de manipulation directe n'est pas forcément le plus approprié sans des adaptations fortes. Dans cette thèse, nous nous attachons, après avoir posé les bases théoriques concernant le Context Aware Computing (CAC), l'interaction mobile, et multimodale, à étudier empiriquement les usages d'une application multimodale mobile.dans le contexte d'un jeu collaboratif en mobilité. Dans un premier temps, des résultats quantitatifs permettent d'aborder une description des usages globaux et intra individuels des modalités, puis décrivent l'influence d'un certain nombre de facteurs contextuels (internes ou externes) influençant les choix d'usage des modalités, tels que le contexte sonore, social ou encore l'historique de l'interaction. Dans un second temps, une analyse plus fine de données qualitatives telles que les verbalisations des utilisateurs ou l'examen de chroniques d'activités, permet d‘expliquer en partie ces choix d'usages mais également d'identifier de nouveaux facteurs pris en compte par les sujets. Nous nous servons de ces résultats pour proposer des modèles et des recommendations pour la conception d'interfaces multimodales mobiles

Méthodologie et outils pour la conception d'un habitat intelligent

La réalisation de systèmes complexes de mesures, de contrôle et de surveillance nécessite une méthodologie de conception rigoureuse et des outils adaptés pour aboutir à un système sans faute. La démarche méthodologique proposée vise à aider à la conception d'un système complexe dédié à la gestion intelligente du confort et à la sécurité des personnes au sein de l'habitat. Cette démarche s'intègre dans un processus d'Ingénierie Système et s'appuie sur les standards UML et SYSML, mais également sur le formalisme HiLes, développé par le LAAS et adapté à la conception de modèle commande, la vérification formelle et la simulation numérique. Ces travaux de thèse présentent les méthodes et les outils de conception préconisés pour un habitat intelligent intégrant les objectifs de confort et de sécurité. Deux expérimentations sont décrites utilisant une commande auto-adaptative basée sur l'apprentissage des habitudes des utilisateurs dans leur environnement de vie et implémentés sur site réel

Méthodologie et outils pour la conception d'un habitat intelligent

La réalisation de systèmes complexes de mesures, de contrôle et de surveillance nécessite une méthodologie de conception rigoureuse et des outils adaptés pour aboutir à un système sans faute. La démarche méthodologique proposée vise à aider à la conception d'un système complexe dédié à la gestion intelligente du confort et à la sécurité des personnes au sein de l'habitat. Cette démarche s'intègre dans un processus d'Ingénierie Système et s'appuie sur les standards UML et SYSML, mais également sur le formalisme HiLes, développé par le LAAS et adapté à la conception de modèle commande, la vérification formelle et la simulation numérique. Ces travaux de thèse présentent les méthodes et les outils de conception préconisés pour un habitat intelligent intégrant les objectifs de confort et de sécurité. Deux expérimentations sont décrites utilisant une commande auto-adaptative basée sur l'apprentissage des habitudes des utilisateurs dans leur environnement de vie et implémentés sur site réel. ABSTRACT : The realization of complex systems for measurement, control and monitoring requires a rigorous design methodology and adapted tools to get a no-fault system. The methodological approach is designed to assist in the design of a complex system dedicated to the intelligent management of the comfort and safety of persons at home. This approach is part of a System Engineering process and based on the UML and SYSML standards, but also on the HiLes formalism developed by the LAAS and adapted to the design of command model, formal verification and simulation. This work presents methods and design tools suggested for a smart home integrating the goals of comfort and safety. Two experiments are described using a self-adaptive learning based on the habits of users in their living environment and implemented on real site