Étude de performance des interfaces humain-machine à base de métaphores visuelles pour les systèmes de réalité virtuelle

Les interfaces humain- machine dans le domaine des environnements virtuels -- Concepts de design et d'évaluation -- Manipulation des panneaux de dialogue à l'intérieur d'un environnement virtuel -- Manipulation des éléments d'interface virtuels d'un panneau de dialogue -- Interactions avec des menus flottant dans un contexte d'application RV concrète -- Conclusion et avenues de recherche futures

Description assistée d'un environnement intelligent en réalité augmentée

Les technologies d'assistance modernes offrent d'augmenter, de maintenir ou d'améliorer les capacités fonctionnelles d'une personne avec incapacités. Parmi ces technologies, les environnements intelligents favorisent effectivement le maintien à domicile des personnes âgées. Pourtant, les taux d'abandon des technologies d'assistance sont aujourd'hui élevés. L'absence d'inclusion de l'utilisateur dans la construction et la personnalisation de ces technologies est fortement pointée du doigt par la littérature. Un système fait soi-même (Do-it-Yourself) centré sur le partage et où l'utilisateur conçoit lui-même son assistance est donc à privilégier. Cette thèse s'intéresse à développer les interactions entre l'humain et l'intelligence artificielle pour la description assistée d'environnements intelligents personnalisés selon les habitudes du résident. Le but est de déterminer les interfaces et le langage à adopter pour favoriser l'échange entre un descripteur humain, expert des besoins du résident, et une intelligence artificielle, experte des environnements intelligents. Les habitudes que le descripteur doit transmettre au système d'assistance sont spatialisées par définition, elles prennent place à des endroits spécifiques de l'environnement, avec des objets spécifiques de cet environnement et à des moments précis. La réalité augmentée s'inscrit ainsi parfaitement dans cette approche puisqu'elle permet d'ancrer dans le monde réel les éléments virtuels représentant l'environnement et les habitudes dans celui-ci. Les habitudes que le descripteur détaille sont également spécifiques à la façon de faire du résident tandis que les connaissances des environnements intelligents de l'intelligence artificielle proposée sont davantage génériques. Aussi, un langage compréhensible par l'humain et assez puissant pour représenter à la fois ces concepts spécifiques et génériques est nécessaire. Les ontologies, base de données sémantiques, répondent à ces besoins grâce à leur représentation textuelle et au raisonnement ontologique qui permet de définir le niveau d'abstraction adéquat pour l'échange. En combinant la réalité augmentée à la sémantique, le conseiller virtuel de description assistée des environnements intelligents présenté dans cette thèse accompagne le descripteur dans la spécification des habitudes du résident. De plus, en agrégeant l'expérience acquise avec l'ensemble des descriptions précédentes, ce conseiller fournit des conseils en temps-réel pour favoriser l'idéation. Ce conseiller virtuel a été testé auprès d'experts et de proches aidants. Les résultats obtenus confirment que le conseiller virtuel proposé permet la description de l'environnement et des activités, notamment grâce à ses interactions intuitives et naturelles. Les habitudes numérisées avec le conseiller virtuel pourraient à terme permettre à l'environnement intelligent de mieux comprendre les besoins de son résident et de s'y adapter