Conception de techniques d'interaction mixtes dédiées aux environnements virtuels hétérogènes : approche centrée sur les usages et guidée par les modèles

Les environnements 3D sont de plus en plus prégnants dans notre quotidien (jeux, situations culturelles ou applications professionnelles). En parallèle, de nouvelles techniques d'interaction émergent sans cesse dans le but de faciliter l'interaction de l'utilisateur avec les systèmes. Des évaluations sont généralement mises en place afin de tester la mise en œuvre d'une technique d'interaction dans un environnement type pour des tâches élémentaires (e.g. sélection ou navigation) et déterminer son adéquation en termes de performance et de satisfaction. Nos travaux visent à proposer une méthode d'évaluation en environnement virtuel 3D qui s'appuie sur une adaptation de la norme ISO 9241-9. Pour répondre à des problématiques portées par les systèmes à multi-vues liées, nous avons également adapté la norme ISO 9241-9 à un environnement hétérogène mêlant 2D et 3D.3D environments are increasingly present in our life (games, cultural situation, or professional applications). At the same time, new interaction techniques continuously appear to improve the user interaction with systems. Evaluations are usually proposed to assess the implementation of an interaction technique in a specific type of environment for elementary tasks (e.g. selection or navigation) to determine the consistency of the technique in terms of performance and satisfaction. Our works aim at defining an evaluation method in 3D environment that is based on the standard ISO 9241-9. To answer to issues of linked multi-views systems, we adapt the standard ISO 9241-9 to a heterogeneous environment that mixes 2D and 3D

Étude comparative de cinq dispositifs d'interaction pour les grands écrans tactiles verticaux : tactile direct, pavé tactile, tablette, souris, boules de commande

RÉSUMÉ : Cette recherche à été réalisée au sein de L-3 MAPPS, une entreprise montréalaise qui conçoit, développe et commercialise des systèmes de simulation et d'entraînement pour les domaines maritime, spatial et énergétique. Certains de ces systèmes font usage d'écrans tactiles de grandes dimensions devant lesquels les opérateurs doivent se déplacer pour les utiliser. L'objectif de cette recherche était d'évaluer la performance et la satisfaction relatives à l’utilisation de six dispositifs d'interaction à l'écran. À noter : il y a cinq types de dispositifs, mais l’un d’eux comprenant deux modèles, six dispositifs ont finalement été évalués. C’est pourquoi dans le reste du document, il est question de six dispositifs. L'hypothèse formulée est que l'utilisation d'un dispositif d'interaction déporté (c'est-à-dire placé à distance du Grand Écran Vertical Tactile (GETV)) comparativement à une commande tactile directe améliore significativement la performance à la tâche de pilotage d'un curseur sur un écran tactile de grandes dimensions disposé verticalement. Pour tester cette hypothèse, on a comparé la performance et la satisfaction humaine relatives à l’utilisation de six dispositifs de pointage suivant la méthodologie proposée par ISO 9241-9 (International Standards Organization [ISO], 2000). La partie 9 de cette norme (Exigences relatives aux dispositifs d'entrée autres que les claviers) définit un essai d'utilisabilité de façon à permettre d'évaluer la précision atteinte pour le test de frappe par unité de temps (débit), le taux de cibles atteintes par rapport au total de cibles (taux d’erreur), et la satisfaction liée à l’utilisation d’un dispositif de pointage. Les six dispositifs retenus pour l'étude sont : un GETV de diagonale 46 pouces, une tablette tactile de diagonale 12 pouces, un pavé tactile (plus communément appelé trackpad), une souris, et deux modèles de boule de commande : un modèle militarisé, et un modèle commercial. Chaque dispositif a été testé suivant six conditions expérimentales différentes : deux types de tâches (multidirectionnelle et unidirectionnelle) et trois niveaux de difficultés (par variation de la taille des cibles). La tâche multidirectionnelle consistait à frapper 24 cibles apparaissant successivement sur un cercle. La tâche unidirectionnelle consistait à frapper 24 cibles apparaissant successivement de part et d’autre de l’écran.----------ABSTRACT : This study is based off a research carried out at L-3 MAPPS, Montréal. L-3 MAPPS is a company that designs, develop and sells simulation and training systems for the the naval, spatial and energy industries. Some of those systems use large touch screens requiring the user to move during use. The initial goal of this work was to evaluate alternative interaction methods for the pointing devices currently employed by the company. The starting hypothesis states that the use of a remote pointing device (as in placed at some distance from the Large Vertical Touch Screen (LVTS)), when compared with a touch command significantly improves the performances for a pointing task on a large vertical screen. To test this hypothesis, a comparative experimental study following the methodology prescribed by ISO 9241-9 standard (International Standards Organization [ISO], 2000) was conducted. Section 9 of this standard (Requirements for non-keyboard input devices) defines a usability test allowing the evaluation of a pointing device in terms of speed, error rate, and user satisfaction (measured as throughput, error rate, and satisfaction rate, respectively). The six pointing devices selected for this study are : a LVTS, a touch screen tablet, a touchpad, a mouse, and two trackball models. The six experimental conditions were defined by two task types (multi and unidirectional) and three difficulty levels (defined by target size). For the multidirectional task the subjects hit 24 successive targets distributed on a circle. For the unidirectional task the subjects hit 24 successive targets on the left and right of the screen. Twenty subjects participated in this study. All subjects tested each device in each of the six conditions, resulting in 36 series for each subject. The results of this study show that, comparatively to the other devices, the LVTS comes 3rd in throughput (with 2,31 bits/s against 4,66 for the tablet, fastest device), 5th in error rate (with 17,62% against 8,73 for the mouse, most reliable device), and 6th in satisfaction rate. We conclude that seeking better interaction methods for the LVTS is not only legitimate, but desirable. Furthermore, amongst the other touch pointing devices evaluated, we notice a significant speed advantage for the tablet (high throughput with 4,66 bits/s against 2,31 for the LVTS, second fastest touch device), and a significant reliability advantage for the touchpad (low error rate with 10,51% against 17,62 for the LVTS, second most reliable touch device). Finally, the mouse remains the overall best performing device, whether in throughput or error rate

Towards Unification for Pointing Task Evaluation in 3D Desktop Virtual Environment

International audienceNew visualization systems for large and complex datasets are emerging and 3D Virtual Environments turn out to be a relevant solution. Interaction tasks in these 3D VE have been defined, especially to support evaluation of these applications. Nevertheless there is a lack of unified protocol to assess these elementary tasks in this context. Moreover it can be complex to determine the appropriate technique to perform these tasks as there is a lack of reference data. A standard is available for 2D pointing task, but there is no equivalence in 3D. In this paper, we propose an adaptation of this standard to a pointing task in a 3D VE. We detail our protocol and an instrumentation, which aims at assessing performance, comfort of techniques and satisfaction of users. We also present results of a user experimentation conducted according to this standard’s adaptation

Apport d'une conception centrée utilisateur adaptée selon les besoins des personnes en situation de handicap

Les personnes en situation de handicap moteur des membres supérieurs ont besoin de système de suppléance pour leur autonomie. Cependant 1/3 de ces aides de compensation sont abandonnées car pas encore suffisamment centrées sur les besoins et les aptitudes de l'utilisateur. La problématique centrale de cette thèse concerne la mise en œuvre d'une méthode de conception centrée utilisateur, adaptée en fonction de la population d'études (personnes en situation de handicap ayant des troubles neuro-moteurs langagiers) pour la conception de trois aides de compensation. La première concerne la commande d'un bras robotique de préhension JACO pour laquelle la conception centrée utilisateur classique a été appliquée. Celle-ci est adaptée pour les personnes pouvant s'exprimer oralement mais qu'en est-il lorsque ces personnes ne peuvent participer directement ou bien ont besoin de leurs aidants pour exprimer leurs besoins ou répondre aux questionnaires? Une alternative est de recueillir les besoins par l'intermédiaire d'experts. Nous montrerons comment la méthode de conception centrée utilisateur a été adaptée pour la conception du système HandiMathKey pour la saisie de formules Mathématiques. Notre dernière adaptation est d'utiliser l'écosystème de la personne comme médiateur pour communiquer et un profil utilisateur. Cette méthode a permis de concevoir l'interface de communication intégrée et de contrôle d'environnement nommée CECI. Nous décrirons également comment la plateforme SoKeyTo permet le prototypage des aides de compensation. Pour chacune des aides de compensation, nous rapporterons les évaluations réalisées et nous discuterons la manière dont la méthode de conception a été adaptée.People with motor impairment of the upper limbs need an assistive technology for their autonomy. However, 1/3 of these assistive technologies are abandoned because they are not yet sufficiently focused on the needs and abilities of the user. The central problem of this thesis concerns the implementation of a user-centered design method adapted to the study population (persons with disabilities with neuro-motor language impairments) for the design of three applications. The first concerns the control of a robot arm JACO for which the classic user centered design has been applied. This is appropriate for people who can speak orally, but what if they cannot participate directly or need their caregivers to express their needs or answer questionnaires? An alternative is to gather needs through experts. We will show how the user centered design method has been adapted for the design of the HandiMathKey system for entering mathematical formulas. Our last adaptation is to use the person's ecosystem as a mediator to communicate and a user profile. This method allowed to design the integrated communication and environmental control interface named CECI. We will also describe how the SoKeyTo platform allows prototyping of assistive technologies. For each of the assistive technologies, we will report the assessments made and discuss how the design method has been adapted

Approches outillées pour le développement de systèmes interactifs intégrant les aspects sûreté de fonctionnement et utilisabilité

Since the Airbus A380 and with the introduction of ARINC 661 standard, the glass cockpits are being replaced by interactive cockpits, by allowing the crew to control aircraft systems through display unit by using keyboard and cursor control unit (KCCU). Currently only secondary aircraft systems which are non-critical are managed using such interactive cockpits. To be able to generalize such features to critical aircraft system, the main question remains to understand how to match dependability requirements for such systems while preserving usability properties. To reach the goal of using such interactive techniques within safety critical aircraft systems, our research work has followed three main directions. The first approach is to tend to zero default design, by realizing the precise and unambiguous description of software components of interactive system, using formal description technique. The second approach consists in the use of fault tolerant mechanisms, to treat design residual fault, physical fault or environmental fault. These fault tolerant mechanisms enable the continuity of service despite the occurrence of fault. The third approach is the clarification of the impact of different fault tolerant mechanisms on the usability of the interactive system. This clarification is done by using and analyzing task models, describing the user activity of the systemDepuis l'A380 et avec l'introduction du standard ARINC 661, les systèmes d'affichage et de contrôle des cockpits sont passés d'un rôle de simple afficheur, à celui d'un système interactif permettant à l'équipage d'interagir sur les écrans grâce à l'utilisation d'un ensemble clavier/dispositif de pointage appelé KCCU. L'utilisation de cette nouvelle capacité d'interaction est à ce jour limitée à des interactions avec des systèmes avions non critiques. Pour envisager son extension à des systèmes critiques il faut se poser la question du respect d'exigences de sureté de fonctionnement imposées à de tels systèmes sans pour autant diminuer son niveau d'utilisabilité. Dans cette optique, nous proposons dans le cadre de nos travaux de recherche, différentes approches pour contribuer au développement d'un tel système interactif critique. La première approche est de tendre vers une conception zéro défaut, en réalisant une description précise et non ambigüe des composants logiciels du système interactif en utilisant une technique de description formelle. La seconde approche est l'utilisation de techniques de tolérance aux fautes car il existe toujours des fautes résiduelles de conception, des fautes matérielles ou venant de l'environnement. Dans ce cas, l'utilisation de technique de tolérance aux fautes permet au système de continuer à remplir ses fonctions en dépit de l'occurrence de fautes. La troisième approche est l'explicitation de l'impact des différentes approches de tolérance aux fautes sur l'utilisabilité du système interactif. Cette explicitation est faite au travers de la réalisation et de l'analyse des modèles de tâche, décrivant l'activité de l'utilisateur du système

Nouvelles techniques d'interaction pour les dispositifs miniaturisés de l'informatique mobile

Thanks to the availability of powerful miniaturized electronic coponents, this last decade have seen the popularization of small mobile devices such as smartphones, and even smaller devices for wearable computing. These new devices bring new interaction problems, such as the small size of the screen and the "fat-finger" problem (a relatively large portion of the sreen is occluded and pointing lacks precision). the objective of the work reported here is twofold : 1) to aquire a better understanding of pointing on small devices, thanks to an advanced study of Fitts' law, 2) to design new interaction techniques for increasing the interaction bandwidth between the user and the device.Du fait de la disponibilité de capteurs éléctroniques de plus en plus puissant, la dernière décennie a vu la popularisation de nouveaux dispositifs mobiles, comme les téléphones intelligents (smartphone), et même des dispositifs miniatures comme ceux de l'informatique portée. Ces nouveaux dispositifs apportent de nouveaux problèmes interactionnels, du fait de la petite taille de l'écran et du problème du "fat-finger" (lors de l'interaction, une large portion de l'écran se retrouve occultée par le doigt, et les tâches de pointage perdent en précision. L'objectif de ce travail est double : 1) d'acquérir une meilleure compréhension du pointage sur les petits dispositifs mobiles, grâce à une étude poussée de la loi Fitts, 2) de créer de nouvelles techniques d'interaction afin d'augmenter la bande passante interactionnelle entre l'utilisateur et le dispositi

Approches outillées pour le développement des systèmes interactifs intégrant les aspects sûreté de fonctionnement et utilisabilité

Depuis l'A380 et avec l'introduction du standard ARINC 661, les systèmes d'affichage et de contrôle des cockpits sont passés d'un rôle de simple afficheur, à celui d'un système interactif permettant à l'équipage d'interagir sur les écrans grâce à l'utilisation d'un ensemble clavier/dispositif de pointage appelé KCCU. L'utilisation de cette nouvelle capacité d'interaction est à ce jour limitée à des interactions avec des systèmes avions non critiques. Pour envisager son extension à des systèmes critiques il faut se poser la question du respect d'exigences de sureté de fonctionnement imposées à de tels systèmes sans pour autant diminuer son niveau d'utilisabilité. Dans cette optique, nous proposons dans le cadre de nos travaux de recherche, différentes approches pour contribuer au développement d'un tel système interactif critique. La première approche est de tendre vers une conception zéro défaut, en réalisant une description précise et non ambigüe des composants logiciels du système interactif en utilisant une technique de description formelle. La seconde approche est l'utilisation de techniques de tolérance aux fautes car il existe toujours des fautes résiduelles de conception, des fautes matérielles ou venant de l'environnement. Dans ce cas, l'utilisation de technique de tolérance aux fautes permet au système de continuer à remplir ses fonctions en dépit de l'occurrence de fautes. La troisième approche est l'explicitation de l'impact des différentes approches de tolérance aux fautes sur l'utilisabilité du système interactif. Cette explicitation est faite au travers de la réalisation et de l'analyse des modèles de tâche, décrivant l'activité de l'utilisateur du système.Since the Airbus A380 and with the introduction of ARINC 661 standard, the glass cockpits are being replaced by interactive cockpits, by allowing the crew to control aircraft systems through display unit by using keyboard and cursor control unit (KCCU). Currently only secondary aircraft systems which are non-critical are managed using such interactive cockpits. To be able to generalize such features to critical aircraft system, the main question remains to understand how to match dependability requirements for such systems while preserving usability properties. To reach the goal of using such interactive techniques within safety critical aircraft systems, our research work has followed three main directions. The first approach is to tend to zero default design, by realizing the precise and unambiguous description of software components of interactive system, using formal description technique. The second approach consists in the use of fault tolerant mechanisms, to treat design residual fault, physical fault or environmental fault. These fault tolerant mechanisms enable the continuity of service despite the occurrence of fault. The third approach is the clarification of the impact of different fault tolerant mechanisms on the usability of the interactive system. This clarification is done by using and analyzing task models, describing the user activity of the system

Comprendre et concevoir l'interaction tactile avec identification des doigts

During the last decade, touch interfaces have become more and more ubiquitous.A lot of software applications initially designed for desktop computers have now a tactile counterpart. However, the limited expressiveness of the touch modality restricts drastically the amount of features available on touch applications. Researchers have been exploring different tracks on how to augment this expressiveness, notably through finger identification. While the literature mainly focuses on tackling the technological challenge, this dissertation aims at better understanding its use in order to provide guidelines for designing interaction techniques.We first summarize existing technologies, present our prototypes and evaluate the use of fingerprint recognition, that we perceive as the most promising solution with the aim of being integrated in consumer devices. Through controlled experiments, we study the differences of performance and preference between fingers, the influence of finger identification on user strategies to complete tasks. We also explore how to integrate this new information along existing interaction techniques and help users grasp the rich vocabulary provided. Our works lead to guidelines for designing interaction techniques leveraging finger identification that we implement in three different interaction contexts (tabletops, tablets and smartphones) through Adoiraccourcix, an interaction technique combining command selection and parameter manipulation.La dernière décennie a vu s'établir la démocratisation des interfaces tactiles. De nombreux logiciels jusque là réservés aux ordinateurs de bureau offrent désormais une version qui se contrôle du bout des doigts. Cependant, l'expressivité limitée de la modalité tactile restreint drastiquement le nombre de fonctionnalités disponibles. La recherche explore donc différentes pistes pour augmenter cette expressivité notamment par l'identification des doigts. Alors que la littérature se focalise principalement sur les méthodes d'identification des doigts, cette thèse vise à mieux en comprendre l'utilisation afin de guider la conception de techniques d'interaction. Nous réalisons d'abord une revue des technologies existantes, présentons nos prototypes et évaluons l'utilisation de la reconnaissance des empreintes digitales, qui nous semble la solution la plus prometteuse en vue d'une intégration dans des systèmes commerciaux. Par la réalisation d'expériences contrôlées, nous étudions ensuite les différences de performances et de préférences entre les doigts, l'influence de l'identification des doigts sur la stratégie de réalisation de tâches. Nous explorons également comment intégrer cette information au sein des techniques d'interaction existantes et aider les utilisateurs à appréhender le riche vocabulaire offert. Nos travaux aboutissent à des recommandations pour la conception des techniques d'interaction basées sur l'identification des doigts que nous mettons en oeuvre dans trois contextes d'interaction (grands écrans, tablettes et smartphones) au travers d'Adoiraccourcix, une technique d'interaction qui combine sélection de commandes et contrôle continu de paramètres