A Framework for a Priori Evaluation of Multimodal User Interfaces Supporting Cooperation

International audienceIn this short paper we will present our latest research on a new framework being developed for aiding novice designers of highly interactive, cooperative, multimodal systems to make expert decisions in choice of interaction modalities depending on the type of activity and its cooperative nature. Our research is conducted within the field of maritime surveillance the next generation distributed multimodal work support

Multimodal information presentation for high-load human computer interaction

This dissertation addresses the question: given an application and an interaction context, how can interfaces present information to users in a way that improves the quality of interaction (e.g. a better user performance, a lower cognitive demand and a greater user satisfaction)? Information presentation is critical to the quality of interaction because it guides, constrains and even determines cognitive behavior. A good presentation is particularly desired in high-load human computer interactions, such as when users are under time pressure, stress, or are multi-tasking. Under a high mental workload, users may not have the spared cognitive capacity to cope with the unnecessary workload induced by a bad presentation. In this dissertation work, the major presentation factor of interest is modality. We have conducted theoretical studies in the cognitive psychology domain, in order to understand the role of presentation modality in different stages of human information processing. Based on the theoretical guidance, we have conducted a series of user studies investigating the effect of information presentation (modality and other factors) in several high-load task settings. The two task domains are crisis management and driving. Using crisis scenario, we investigated how to presentation information to facilitate time-limited visual search and time-limited decision making. In the driving domain, we investigated how to present highly-urgent danger warnings and how to present informative cues that help drivers manage their attention between multiple tasks. The outcomes of this dissertation work have useful implications to the design of cognitively-compatible user interfaces, and are not limited to high-load applications

On the critical role of the sensorimotor loop on the design of interaction techniques and interactive devices

People interact with their environment thanks to their perceptual and motor skills. This is the way they both use objects around them and perceive the world around them. Interactive systems are examples of such objects. Therefore to design such objects, we must understand how people perceive them and manipulate them. For example, haptics is both related to the human sense of touch and what I call the motor ability. I address a number of research questions related to the design and implementation of haptic, gestural, and touch interfaces and present examples of contributions on these topics. More interestingly, perception, cognition, and action are not separated processes, but an integrated combination of them called the sensorimotor loop. Interactive systems follow the same overall scheme, with differences that make the complementarity of humans and machines. The interaction phenomenon is a set of connections between human sensorimotor loops, and interactive systems execution loops. It connects inputs with outputs, users and systems, and the physical world with cognition and computing in what I call the Human-System loop. This model provides a complete overview of the interaction phenomenon. It helps to identify the limiting factors of interaction that we can address to improve the design of interaction techniques and interactive devices.Les humains interagissent avec leur environnement grâce à leurs capacités perceptives et motrices. C'est ainsi qu'ils utilisent les objets qui les entourent et perçoivent le monde autour d'eux. Les systèmes interactifs sont des exemples de tels objets. Par conséquent, pour concevoir de tels objets, nous devons comprendre comment les gens les perçoivent et les manipulent. Par exemple, l'haptique est à la fois liée au sens du toucher et à ce que j'appelle la capacité motrice. J'aborde un certain nombre de questions de recherche liées à la conception et à la mise en œuvre d'interfaces haptiques, gestuelles et tactiles et je présente des exemples de contributions sur ces sujets. Plus intéressant encore, la perception, la cognition et l'action ne sont pas des processus séparés, mais une combinaison intégrée d'entre eux appelée la boucle sensorimotrice. Les systèmes interactifs suivent le même schéma global, avec des différences qui forme la complémentarité des humains et des machines. Le phénomène d'interaction est un ensemble de connexions entre les boucles sensorimotrices humaines et les boucles d'exécution des systèmes interactifs. Il relie les entrées aux sorties, les utilisateurs aux systèmes, et le monde physique à la cognition et au calcul dans ce que j'appelle la boucle Humain-Système. Ce modèle fournit un aperçu complet du phénomène d'interaction. Il permet d'identifier les facteurs limitatifs de l'interaction que nous pouvons aborder pour améliorer la conception des techniques d'interaction et des dispositifs interactifs

Understanding Mode and Modality Transfer in Unistroke Gesture Input

Unistroke gestures are an attractive input method with an extensive research history, but one challenge with their usage is that the gestures are not always self-revealing. To obtain expertise with these gestures, interaction designers often deploy a guided novice mode -- where users can rely on recognizing visual UI elements to perform a gestural command. Once a user knows the gesture and associated command, they can perform it without guidance; thus, relying on recall. The primary aim of my thesis is to obtain a comprehensive understanding of why, when, and how users transfer from guided modes or modalities to potentially more efficient, or novel, methods of interaction -- through symbolic-abstract unistroke gestures. The goal of my work is to not only study user behaviour from novice to more efficient interaction mechanisms, but also to expand upon the concept of intermodal transfer to different contexts. We garner this understanding by empirically evaluating three different use cases of mode and/or modality transitions. Leveraging marking menus, the first piece investigates whether or not designers should force expertise transfer by penalizing use of the guided mode, in an effort to encourage use of the recall mode. Second, we investigate how well users can transfer skills between modalities, particularly when it is impractical to present guidance in the target or recall modality. Lastly, we assess how well users' pre-existing spatial knowledge of an input method (the QWERTY keyboard layout), transfers to performance in a new modality. Applying lessons from these three assessments, we segment intermodal transfer into three possible characterizations -- beyond the traditional novice to expert contextualization. This is followed by a series of implications and potential areas of future exploration spawning from our work

Designing Text Entry Methods for Non-Verbal Vocal Input

Katedra počítačové grafiky a interakc

Conception, prototypage et évaluation d’un système pour l'exploration audio-tactile et spatiale de pages web par des utilisateurs non-voyants

RÉSUMÉ : L’accès à l’information a drastiquement changé depuis l’apparition des nouvelles technologies et du monde en ligne. Il est maintenant possible d’accéder à une multitude d’informations en tout temps et en tout lieu. Cette apparente facilité d’accès à l’information est cependant très loin de la réalité des personnes ayant un handicap pour qui l’arrivée des nouvelles technologies et du monde en ligne a créé de nouvelles situations de handicap. La présente thèse se concentre sur les situations de handicap rencontrées par les personnes non-voyantes, au cours de l’exploration de pages Web. Heureusement, des technologies adaptées sont actuellement disponibles pour les personnes non-voyantes qui désirent accéder au monde du Web : les lecteurs d’écran. Ceux-ci permettent une exploration linéaire de la page à l’aide d’un retour sonore généré par une synthèse vocale. Cette adaptation améliore grandement l’accès au monde du Web mais engendre son lot de frustrations. Celles-ci sont principalement liées au non-respect des lignes de conduite d’accessibilité dans plusieurs sites Web et à la présentation strictement linéaire de l’information par les lecteurs d’écran. L’objectif de notre recherche est d’améliorer l’accès au Web pour les utilisateurs non-voyants, en leur proposant une alternative à l’exploration linéaire : l’exploration spatiale de pages Web, c.-à-d. à l’aide de retours tactiles et sonores. Par l’intermédiaire de l’exploration spatiale, nous souhaitons passer outre certains problèmes d’accessibilité dans les pages Web, en donner une meilleure idée globale, et permettre de mieux associer les informations de cette page entre elles. Notre hypothèse principale est la suivante : L’exploration spatiale d’un site Web est plus efficace et plus efficiente que l’exploration linéaire pour des utilisateurs non-voyants. L’exploration spatiale se fait par l’intermédiaire du fureteur d’écran multimodal TactoWeb que nous avons développé. TactoWeb est contrôlé par le Tactograph, un appareil générant des sensations tactiles sous forme de vibrations et d’ondulations qui dépendent de l’emplacement du curseur sur la page Web. Les retours sonores sont une combinaison entre une synthèse vocale et un ensemble d’audicônes. Cette approche multimodale permet de recréer les liens entre les différents éléments d’une page Web qui pourraient disparaître au cours de la linéarisation de l’information. Avant de concevoir notre système, nous avons identifié les points forts et les points faibles des lecteurs d’écrans. La thèse présente ensuite le processus de conception de notre fureteur multimodal du point de vue logiciel, ainsi que l’amélioration du matériel utilisé. Un tutoriel d’apprentissage a été conçu afin de guider les utilisateurs non-voyants dans l’exploration spatiale. Nous procédons ensuite à l’évaluation de notre système à l’aide d’une étude comparative. Cette étude prend la forme d’une expérimentation comparant JAWS, un lecteur d’écran permettant l’exploration linéaire, avec TactoWeb, notre système d’exploration spatiale. Il est évident que les deux outils ont différents degrés de maturité. En effet, JAWS existe depuis presque 20 ans alors que TactoWeb n’en est qu’à sa première version. Cette différence de maturité peut clairement influer sur les résultats de notre évaluation en faveur de l’exploration linéaire avec JAWS. À cela s’ajoute le fait que nos participants avaient plusieurs années d’expérience avec JAWS alors qu’ils faisaient de l’exploration spatiale avec TactoWeb pour la première fois et pour une courte période. L’étude porte sur 14 participants non-voyants et met en relief les différents aspects de l’exploration spatiale qui permettent de réduire les situations de handicap rencontrées au cours de l’exploration de pages Web. Pour ce faire, nous avons étudié les taux de succès, la difficulté rencontrée et le temps d’exécution pour huit tâches effectuées selon les deux types d’exploration. Ces tâches sont divisées en deux types en fonction de leur but : rechercher une information dans un site Web et remplir un formulaire. De plus, chacun de ces sous-ensembles de tâches contient deux tâches à effectuer dans des sites accessibles, et deux tâches à effectuer dans des sites non-accessibles. Chaque participant a donc effectué quatre tâches avec chacun des deux outils (JAWS et TactoWeb), soit une tâche de chaque type, dans des sites accessibles ou non. Cela nous a permis d’étudier les deux types d’exploration dans quatre situations différentes et d’observer leurs avantages et inconvénients dans chacune de ces situations. De plus, nous avons observé s’il y avait des différences dans l’utilisation des deux types d’exploration en fonction de la période d’apparition de la cécité chez nos participants (cécité de naissance ou tardive). L’étude a infirmé notre hypothèse principale. Les deux types d’exploration sont aussi efficaces l’un que l’autre pour ce qui est de la capacité des participants à réaliser les tâches et l’exploration linéaire est plus efficiente avec un temps d’exécution plus court. Tel que mentionné ci-dessus, cette différence d’efficience peut s’expliquer par le fait que les participants avaient beaucoup d’expérience avec l’outil d’exploration linéaire et aucune avec l’outil d’exploration spatiale, à part la durée de notre tutoriel (moyenne de 38 min) et la durée de l’expérience elle-même (entre deux et trois heures). De plus, la différence de maturité entre les deux outils est à considérer. Notre hypothèse principale est infirmée en tenant compte de ces biais mais il pourrait en être autrement lorsque TactoWeb aura une plus grande maturité et lorsque les participants auront plus d’expérience avec notre outil. Néanmoins, malgré les différences d’expérience des participants et de maturité entre les deux outils, nous obtenons une efficacité similaire, ce qui est un gros point positif pour l’exploration spatiale. Cette dernière semble donc demander beaucoup moins de temps d’apprentissage que l’exploration linéaire. De plus, l’exploration spatiale génère moins de difficulté dans les tâches de remplissage de formulaire et a un temps d’exécution similaire à l’exploration linéaire dans les tâches de ce type, effectuées dans des sites non-accessibles. D’ailleurs, les écarts de temps d’exécution entre les deux types d’exploration sont globalement plus réduits dans les tâches effectuées dans des sites non-accessibles, par rapport à celles effectuées dans des sites accessibles. Même si l’exploration spatiale améliore l’accès aux sites Web pour les personnes non-voyantes dans certaines situations de handicap (non-respect de l’ordre logique de lecture dans le code, non-respect de l’association entre un champ et son étiquette dans les formulaires), notre outil TactoWeb peut être amélioré. L’exploration horizontale devrait être plus guidée et la qualité de la synthèse vocale grandement améliorée. Enfin, si on regarde globalement les résultats de notre expérimentation, on se rend compte que l’exploration linéaire semble plus pertinente lorsqu’il s’agit de naviguer entre les différentes pages d’un même site Web, et que l’exploration spatiale semble plus adaptée lorsqu’il faut explorer dans une même page Web. Les deux types d’explorations semblent donc complémentaires.----------ABSTRACT : The emergence of new technologies and the online world changed the way we access information. It is now possible to access any information, at any time, and in any place. This apparent ease of access to information is however far from the reality of people with disabilities. The emergence of new technologies and the online world have created new situations of handicap for them. This thesis focuses on situations of handicap faced by blind people when they browse Web pages. Fortunately, appropriate technologies are currently available for blind people wishing to access the World Wide Web: screen readers. These systems allow a linear exploration of a Web page, using audio feedback generated by speech synthesis. This adaptation greatly improves Web accessibility but also creates a lot of frustration. This frustration is mainly produced by non-compliance with accessibility guidelines in several Web sites, as well as the strictly linear presentation of information by screen readers. The goal of our research is to improve access to the Web for blind users, offering them an alternative to linear exploration: spatial exploration of Web pages, i.e. with tactile and audible feedbacks. Through spatial exploration, we want to override some accessibility issues in Web pages, give a better overall picture of the pages, and give a better connection between linked information in these pages. Our main hypothesis is: Spatial exploration of a Web site is more effective and more efficient than linear exploration for blind users. Spatial exploration is done through TactoWeb, a multimodal Web browser we developed. TactoWeb is controlled by the Tactograph, a tactile feedback device producing undulations and vibrations, depending on where the cursor is on the Web page. Audio feedback is a combination between speech synthesis and a set of earcons. This multimodal approach allows the user to recreate connections between the different elements composing a Web page that could have disappeared during the linearization of the information. Before designing our system, we identified the strengths and weaknesses of screen readers. The thesis presents the process of designing our multimodal Web browser, and improving the hardware we used. A training tutorial was designed to guide blind users in spatial exploration. Then, we evaluate our system using a comparative study. This study takes the form of an experiment comparing JAWS, a screen reader using linear exploration, with TactoWeb, our browser allowing spatial exploration. It is obvious the degree of maturity of each tool is different. JAWS actually exists since 1995 whereas we are still using the first version of TactoWeb. This difference of maturity could affect the results of our evaluation in favour of the linear exploration with JAWS. In addition, one must remind that our participants have several years of experience with JAWS whereas they will use space exploration with TactoWeb for the first time during the tutorial (average of 38 min) and the experiment (between two and three hours). The study involves 14 blind participants and highlights the different aspects of space exploration that reduce handicap situations encountered when browsing Web pages. To do so, we studied the success rate, the difficulty and the execution time for eight tasks performed with both types of exploration. These tasks are divided into two types according to their purpose: finding information in a Web site and filling out a form. Moreover, each of these subsets includes two tasks performed in accessible Web sites and two in non-accessible Web sites. Each type of task, in an accessible Web site or not, has been performed by each participant, with each tool (JAWS and TactoWeb). This allowed us to study the two types of exploration in four different situations, observing their advantages and disadvantages for each of these situations. Moreover, we observed whether there were differences between congenital and late blind, depending of the type of exploration used. The study invalidated our main hypothesis. The two types of exploration are in fact as effective as each other, but linear exploration is more efficient thanks to a shorter execution time. This efficiency difference could be explained by the fact that participants had much more experience with the linear exploration tool than with the spatial exploration tool, which is limited to the time they used our tutorial (average of 38 min) and to the duration of the experiment. Moreover, one must take into account the difference of maturity between the two tools. Our main hypothesis is not validated but it could be different when TactoWeb will have greater maturity and when participants will have more experience with our tool. However we obtain a similar effectiveness despite the difference of user experience among the participants and the difference of maturity between the two tools, and this is a major positive point for spatial exploration. Learning spatial exploration seems to take a lot less time than learning linear exploration. Moreover, spatial exploration generates less difficulty when filling out a form, as well as a similar execution time as the linear exploration for tasks of this type is made in non-accessible Web sites. Also, differences in execution time between the two types of exploration are generally smaller in the tasks performed in non-accessible Web sites than those made in accessible Web sites. Even if spatial exploration improves Web accessibility for blind people in some situations of handicap (non-compliance with the logical reading order in the code, no association between a field and its label in forms), the TactoWeb browser can be improved. The horizontal exploration could be more guided and the quality of speech synthesis greatly improved. Finally, if we look at the overall results of our experiment, we realize that linear exploration seems more relevant when it comes to navigating between the different pages of the same Web site, and spatial exploration seems more relevant when exploring in a single Web page. So the two types of exploration seem to be complementary

Design space for multimodal interaction

Abstract: One trend in Human Computer Interaction is to extend the sensory-motor capabilities of computer systems to better match the natural communication means of humans. Although the multiplicity of modalities opens a vast world of experience, our understanding of how they relate to each other is still unclear and the terminology is unstable. In this paper we present our definitions and existing frameworks useful for the design of multimodal interaction. Key words: Multimodal UI, I/O devices, Interaction Languages, Combination. 1