De plus en plus de recherches sur les Interactions Humain-Machine (IHM) tentent d’effectuer des analyses fines de l’interaction afin de faire ressortir ce qui influence les comportements des utilisateurs. Tant au niveau de l’évaluation de la performance que de l’expérience des utilisateurs, on note qu’une attention particulière est maintenant portée aux réactions émotionnelles et cognitives lors de l’interaction. Les approches qualitatives standards sont limitées, car elles se fondent sur l’observation et des entrevues après l’interaction, limitant ainsi la précision du diagnostic. L’expérience utilisateur et les réactions émotionnelles étant de nature hautement dynamique et contextualisée, les approches d’évaluation doivent l’être de même afin de permettre un diagnostic précis de l’interaction. Cette thèse présente une approche d’évaluation quantitative et dynamique qui permet de contextualiser les réactions des utilisateurs afin d’en identifier les antécédents dans l’interaction avec un système. Pour ce faire, ce travail s’articule autour de trois axes. 1) La reconnaissance automatique des buts et de la structure de tâches de l’utilisateur, à l’aide de mesures oculométriques et d’activité dans l’environnement par apprentissage machine. 2) L’inférence de construits psychologiques (activation, valence émotionnelle et charge cognitive) via l’analyse des signaux physiologiques. 3) Le diagnostic de l‘interaction reposant sur le couplage dynamique des deux précédentes opérations. Les idées et le développement de notre approche sont illustrés par leur application dans deux contextes expérimentaux : le commerce électronique et l’apprentissage par simulation. Nous présentons aussi l’outil informatique complet qui a été implémenté afin de permettre à des professionnels en évaluation (ex. : ergonomes, concepteurs de jeux, formateurs) d’utiliser l’approche proposée pour l’évaluation d’IHM. Celui-ci est conçu de manière à faciliter la triangulation des appareils de mesure impliqués dans ce travail et à s’intégrer aux méthodes classiques d’évaluation de l’interaction (ex. : questionnaires et codage des observations).More and more researches on Human-Computer Interactions (HCI) are trying to perform detailed analyses of interaction to determine its influence on users’ behaviours. A particular emphasis is now put on emotional reactions during the interaction, whether it’s from the perspective of user experience evaluation or user performance. Standard qualitative approaches are limited because they are based on observations and interviews after the interaction, therefore limiting the precision of the diagnosis. User experience and emotional reactions being, by nature, highly dynamic and contextualized, evaluation approaches should be the same to accurately diagnose the quality of interaction. This thesis presents an evaluation approach, both dynamic and quantitative, which allows contextualising users’ emotional reactions to help identify their causes during the interaction with a system. To this end, our work focuses on three main axes: 1) automatic task recognition using machine learning modeling of eye tracking and interaction data; 2) automatic inference of psychological constructs (emotional activation, emotional valence, and cognitive load) through physiological signals analysis; and 3) diagnosis of users’ reactions during interaction based on the coupling of the two previous operations. The ideas and development of our approach are illustrated using two experimental contexts: e-commerce and simulation-based training. We also present the tool we implemented in order to allow HCI professionals (e.g.: user experience expert, training supervisor, or game designer) to use our evaluation approach to assess interaction. This tool is designed to facilitate the triangulation of measuring instruments and the integration with more classical Human-Computer Interaction methods (ex.: surveys and observation coding)
