Modeling and design of a distributed and multimodal interactive system for ambient intelligence

Cette thèse s’inscrit dans le domaine de l’intelligence ambiante et de l’interaction homme-machine. Elle a pour thème la génération d’interfaces homme-machine adaptées au contexte d’interaction dans les environnements ambiants. Les travaux de recherche présentés traitent des problèmes rencontrés lors de la conception d’IHM dans l'ambiant et notamment de la réutilisation de techniques d’interaction multimodales et multi-périphériques. Ce travail se divise en trois phases. La première est une étude des problématiques de l’IHM spécifiques à l’Ambiant et des architectures logicielles adaptées à ce cadre théorique. Cette étude permet d’établir les limites des approches actuelles et de proposer, dans la seconde phase, une nouvelle approche pour la conception d’IHM ambiante appelée DAME. Cette approche repose sur l’association automatique de composants logiciels qui construisent dynamiquement une IHM. Nous proposons deux modèles complémentaires qui permettent de décrire les caractéristiques ergonomiques et architecturales des composants. La conception de ces derniers est guidée par une architecture logicielle composée de plusieurs couches qui permet d’identifier les différents niveaux d’abstraction réutilisables d’un langage d’interaction. Un troisième modèle, appelé modèle comportemental, permet de spécifier des recommandations quant à l’instanciation de ces composants. Nous proposons un algorithme permettant de générer des IHM adaptées au contexte et d’évaluer la qualité de celles-ci par rapport aux recommandations du modèle comportemental. Dans la troisième phase, nous avons implémenté une plateforme réalisant la vision soutenue par DAME. Cette implémentation est confrontée aux utilisateurs finaux dans une expérience de validation qualitative. De ces travaux ressortent des résultats encourageants, ouvrant la discussion sur de nouvelles perspectives de recherche dans le cadre de l’IHM en informatique ambiante.This thesis deals with ambient intelligence and the design of Human-Computer Interaction (HCI). It studies the automatic generation of user interfaces that are adapted to the interaction context in ambient environments. This problem raises design issues that are specific to ambient HCI, particularly in the reuse of multimodal and multidevice interaction techniques. The present work falls into three parts. The first part is an analysis of state-of-the-art software architectures designed to solve those issues. This analysis outlines the limits of current approaches and enables us to propose, in the second part, a new approach for the design of ambient HCI called DAME. This approach relies on the automatic and dynamic association of software components that build a user interface. We propose and define two complementary models that allow the description of ergonomic and architectural properties of the software components. The design of such components is organized in a layered architecture that identifies reusable levels of abstraction of an interaction language. A third model, called behavioural model, allows the specification of recommendations about the runtime instantiation of components. We propose an algorithm that allows the generation of context-adapted user interfaces and the evaluation of their quality according to the recommendations issued from the behavioural model. In the third part, we detail our implementation of a platform that implements the DAME approach. This implementation is used in a qualitative experiment that involves end-users. Encouraging preliminary results have been obtained and open new perspectives on multi-devices and multimodal HCI in ambient computing

Modélisation et conception d’une plateforme pour l’interaction multimodale distribuée en intelligence ambiante

This thesis deals with ambient intelligence and the design of Human-Computer Interaction (HCI). It studies the automatic generation of user interfaces that are adapted to the interaction context in ambient environments. This problem raises design issues that are specific to ambient HCI, particularly in the reuse of multimodal and multidevice interaction techniques. The present work falls into three parts. The first part is an analysis of state-of-the-art software architectures designed to solve those issues. This analysis outlines the limits of current approaches and enables us to propose, in the second part, a new approach for the design of ambient HCI called DAME. This approach relies on the automatic and dynamic association of software components that build a user interface. We propose and define two complementary models that allow the description of ergonomic and architectural properties of the software components. The design of such components is organized in a layered architecture that identifies reusable levels of abstraction of an interaction language. A third model, called behavioural model, allows the specification of recommendations about the runtime instantiation of components. We propose an algorithm that allows the generation of context-adapted user interfaces and the evaluation of their quality according to the recommendations issued from the behavioural model. In the third part, we detail our implementation of a platform that implements the DAME approach. This implementation is used in a qualitative experiment that involves end-users. Encouraging preliminary results have been obtained and open new perspectives on multi-devices and multimodal HCI in ambient computing.Cette thèse s’inscrit dans le domaine de l’intelligence ambiante et de l’interaction homme-machine. Elle a pour thème la génération d’interfaces homme-machine adaptées au contexte d’interaction dans les environnements ambiants. Les travaux de recherche présentés traitent des problèmes rencontrés lors de la conception d’IHM dans l'ambiant et notamment de la réutilisation de techniques d’interaction multimodales et multi-périphériques. Ce travail se divise en trois phases. La première est une étude des problématiques de l’IHM spécifiques à l’Ambiant et des architectures logicielles adaptées à ce cadre théorique. Cette étude permet d’établir les limites des approches actuelles et de proposer, dans la seconde phase, une nouvelle approche pour la conception d’IHM ambiante appelée DAME. Cette approche repose sur l’association automatique de composants logiciels qui construisent dynamiquement une IHM. Nous proposons deux modèles complémentaires qui permettent de décrire les caractéristiques ergonomiques et architecturales des composants. La conception de ces derniers est guidée par une architecture logicielle composée de plusieurs couches qui permet d’identifier les différents niveaux d’abstraction réutilisables d’un langage d’interaction. Un troisième modèle, appelé modèle comportemental, permet de spécifier des recommandations quant à l’instanciation de ces composants. Nous proposons un algorithme permettant de générer des IHM adaptées au contexte et d’évaluer la qualité de celles-ci par rapport aux recommandations du modèle comportemental. Dans la troisième phase, nous avons implémenté une plateforme réalisant la vision soutenue par DAME. Cette implémentation est confrontée aux utilisateurs finaux dans une expérience de validation qualitative. De ces travaux ressortent des résultats encourageants, ouvrant la discussion sur de nouvelles perspectives de recherche dans le cadre de l’IHM en informatique ambiante

Modélisation et conception d'une plateforme pour l'interaction multimodale distribuée en intelligence ambiante

Cette thèse s inscrit dans le domaine de l intelligence ambiante et de l interaction homme-machine. Elle a pour thème la génération d interfaces homme-machine adaptées au contexte d interaction dans les environnements ambiants. Les travaux de recherche présentés traitent des problèmes rencontrés lors de la conception d IHM dans l'ambiant et notamment de la réutilisation de techniques d interaction multimodales et multi-périphériques. Ce travail se divise en trois phases. La première est une étude des problématiques de l IHM spécifiques à l Ambiant et des architectures logicielles adaptées à ce cadre théorique. Cette étude permet d établir les limites des approches actuelles et de proposer, dans la seconde phase, une nouvelle approche pour la conception d IHM ambiante appelée DAME. Cette approche repose sur l association automatique de composants logiciels qui construisent dynamiquement une IHM. Nous proposons deux modèles complémentaires qui permettent de décrire les caractéristiques ergonomiques et architecturales des composants. La conception de ces derniers est guidée par une architecture logicielle composée de plusieurs couches qui permet d identifier les différents niveaux d abstraction réutilisables d un langage d interaction. Un troisième modèle, appelé modèle comportemental, permet de spécifier des recommandations quant à l instanciation de ces composants. Nous proposons un algorithme permettant de générer des IHM adaptées au contexte et d évaluer la qualité de celles-ci par rapport aux recommandations du modèle comportemental. Dans la troisième phase, nous avons implémenté une plateforme réalisant la vision soutenue par DAME. Cette implémentation est confrontée aux utilisateurs finaux dans une expérience de validation qualitative. De ces travaux ressortent des résultats encourageants, ouvrant la discussion sur de nouvelles perspectives de recherche dans le cadre de l IHM en informatique ambiante.This thesis deals with ambient intelligence and the design of Human-Computer Interaction (HCI). It studies the automatic generation of user interfaces that are adapted to the interaction context in ambient environments. This problem raises design issues that are specific to ambient HCI, particularly in the reuse of multimodal and multidevice interaction techniques. The present work falls into three parts. The first part is an analysis of state-of-the-art software architectures designed to solve those issues. This analysis outlines the limits of current approaches and enables us to propose, in the second part, a new approach for the design of ambient HCI called DAME. This approach relies on the automatic and dynamic association of software components that build a user interface. We propose and define two complementary models that allow the description of ergonomic and architectural properties of the software components. The design of such components is organized in a layered architecture that identifies reusable levels of abstraction of an interaction language. A third model, called behavioural model, allows the specification of recommendations about the runtime instantiation of components. We propose an algorithm that allows the generation of context-adapted user interfaces and the evaluation of their quality according to the recommendations issued from the behavioural model. In the third part, we detail our implementation of a platform that implements the DAME approach. This implementation is used in a qualitative experiment that involves end-users. Encouraging preliminary results have been obtained and open new perspectives on multi-devices and multimodal HCI in ambient computing.PARIS11-SCD-Bib. électronique (914719901) / SudocSudocFranceF

Ambient Multimodal Human Computer Interaction

International audienceabstrac

Influence des modalités de sortie d’un système sur les modalités de l’utilisateur. Cas des environnements ambiants de type pièces intelligentes

Les entrées et les sorties ne sont pas des phénomènes indépendants dans les systèmes interactifs en général et plus particulièrement lorsque l’on considère le cas de l’interaction multimodale. Dans cet article, nous étudions les relations d’influence existant entre des modalités de sortie d’un système ambiant et les modalités d’entrée des utilisateurs. Nous présentons les résultats issus d’une expérimentation de type « Magicien d’Oz » qui suggère que les modalités de sortie, utilisées par un système multimodal, ont une influence sur les modalités d’entrée effectivement employées par une large catégorie d’utilisateurs du grand public. Certains sujets ont cependant une modalité favorite et ne sont donc pas influençables. Les expériences ont été conduites dans un environnement de type « pièce intelligente ». En effet ce type d’environnement ne requiert pas de connaissances en informatique et peut donc être utilisé par des personnes du grand public. Les expériences ont aussi fait ressortir que la modalité d’expression orale est la favorite lorsqu’on se situe dans une pièce intelligente, ceci pour une large proportion des sujets, sauf si la modalité graphique est utilisée par le système lui-même. Dans ce dernier cas, la modalité « pointage tactile » surpasse l’oralité

A location-aware virtual character in a smart room: effects on performance, presence and adaptivity

International audienceabstrac

A location-aware virtual character in a smart room: effects on performance, presence and adaptivity

International audienceabstrac

Multimodal Interaction within Ambient Environments: An Exploratory Study

International audienceInputs and outputs are not two independent phenomena in multimodal systems. This paper examines the relationship that exists between them. We present the results of a Wizard of Oz experiment which shows that output modalities used by the system have an influence on the users' input modalities for a large category of users. The experiment took place in a smart room. This kind of environment does not require any particular knowledge about computers and their use and thus allowed us to study the behavior of ordinary people including subjects who are not familiar with computers. The experiment also shows that speech is a favorite modality within smart room environments for a large part of users. We think that the results presented in this paper will be useful for the design of intelligent multimodal systems

Symbiotic ecologies in next generation ambient intelligent environments

International audienceThis paper describes a novel approach to realize symbiotic ecologies within Next Generation Ambient Intelligent Environments (NGAIEs). The proposed approach comprises novel ontology and agent technologies allowing for adaptation on a variety of levels. The metaphor of symbiotic ecologies reflects a meaningful integration of relevant entities (i.e., services, devices, agents) and information within NGAIEs to accomplish a specific user’s task by relying on the symbiotic relationship of the user and his/her intelligent environment. We adopt a service-oriented architecture, combined with (a) intelligent agents that support adaptive task realization and enhanced human-machine interaction and (b) ontologies that provide knowledge representation, management of heterogeneity at user and device level, semantically rich resource discovery and adaptation using ontology alignment mechanisms. In this article, we analyse heterogeneity concerning user behaviour and adaptive user interaction modelling. Furthermore, we focus on heterogeneity regarding the representation of the states of entities and their availability over different networks. The paper will also report on the deployment of a system prototype in a real world setting which is the intelligent flat (iSpace) at the University of Essex