Rôle de la vision pour le contrôle de la dynamique du mouvement lors d'un geste de pointage manuel chez l'adulte ainsi que chez l'enfant

Thèse numérisée par la Division de la gestion de documents et des archives de l'Université de Montréal

Les contrôleurs de nouvelle génération

Ce document a pour objectif de faire un tour d’horizon sur les interfaces hommemachine d’ancienne et de nouvelle génération et plus spécifiquement sur les contrôleurs utilisés par ces interfaces. Le document est séparé en trois parties principales. La première partie tente de retracer l’histoire des principaux contrôleurs dit « classiques », comme le clavier et la souris, ainsi que de ceux qui les ont précédés. La deuxième partie concerne les contrôleurs de nouvelle génération ainsi que leurs technologies. La dernière partie est un dossier sur l’application de démonstration développée pour le contrôleur de nouvelle génération Kinect

L'estimation kinesthésique des distances : études comportementales et analyse probabiliste

National audienceThe purpose of the present paper is to review studies examining the estimation of distances on the basis of kinesthetic cues. In this kind of task, blindfolded participant explores a path (target distance) with one arm-hand system and reproduces later its distance with the same arm-hand system. The analysis of data shows the estimations depend on three types of factor : 1) the geometrical cues ; 2) the force cues ; and 3) the cognitive factors. Moreover, the analysis about the different variables used by researchers to measure the performance shows that the different types of errors - constant, absolute and variable errors- have been processed either conjointly or independently. By casting these error measures in the probabilistic modeling framework, we show that none of these is inherently more adequate than the others; they differ in the underlying, implicit hypotheses they assume. Discussing the relevance of these error measures thus amounts to discussing the validity of these hypotheses, which fortunately, could be assessed experimentally.Cette revue critique concerne les processus psychologiques par lesquels nous estimons des distances en utilisant les indices kinesthésiques en l'absence d'informations visuelles. Le paradigme expérimental utilisé par les chercheurs consiste à demander à des sujets (sous occlusion visuelle momentanée) d'explorer avec le système bras-main une distance cible et puis de la reproduire avec la même main. L'analyse des données de la littérature scientifique montre que l'estimation kinesthésique des distances dépend de trois types de facteurs : 1) les indices géométriques, 2) les indices de force et 3) les facteurs cognitifs. De plus, l'analyse des mesures utilisées par les chercheurs pour quantifier cette estimation révèle que les différents types de mesure -l'erreur constante, l'erreur variable et l'erreur absolue- sont traités soit conjointement soit indépendamment. En replaçant ces mesures dans le cadre d'une analyse probabiliste, il apparaît qu'aucune de ces dernières n'est intrinsèquement meilleure que les autres. En réalité, elles font des hypothèses implicites différentes. Discuter de la pertinence de ces mesures d'erreurs revient donc à discuter de la validité de ces hypothèses sous-jacentes, ce qui, heureusement, peut être examiné expérimentalement

Étude comparative de cinq dispositifs d'interaction pour les grands écrans tactiles verticaux : tactile direct, pavé tactile, tablette, souris, boules de commande

RÉSUMÉ : Cette recherche à été réalisée au sein de L-3 MAPPS, une entreprise montréalaise qui conçoit, développe et commercialise des systèmes de simulation et d'entraînement pour les domaines maritime, spatial et énergétique. Certains de ces systèmes font usage d'écrans tactiles de grandes dimensions devant lesquels les opérateurs doivent se déplacer pour les utiliser. L'objectif de cette recherche était d'évaluer la performance et la satisfaction relatives à l’utilisation de six dispositifs d'interaction à l'écran. À noter : il y a cinq types de dispositifs, mais l’un d’eux comprenant deux modèles, six dispositifs ont finalement été évalués. C’est pourquoi dans le reste du document, il est question de six dispositifs. L'hypothèse formulée est que l'utilisation d'un dispositif d'interaction déporté (c'est-à-dire placé à distance du Grand Écran Vertical Tactile (GETV)) comparativement à une commande tactile directe améliore significativement la performance à la tâche de pilotage d'un curseur sur un écran tactile de grandes dimensions disposé verticalement. Pour tester cette hypothèse, on a comparé la performance et la satisfaction humaine relatives à l’utilisation de six dispositifs de pointage suivant la méthodologie proposée par ISO 9241-9 (International Standards Organization [ISO], 2000). La partie 9 de cette norme (Exigences relatives aux dispositifs d'entrée autres que les claviers) définit un essai d'utilisabilité de façon à permettre d'évaluer la précision atteinte pour le test de frappe par unité de temps (débit), le taux de cibles atteintes par rapport au total de cibles (taux d’erreur), et la satisfaction liée à l’utilisation d’un dispositif de pointage. Les six dispositifs retenus pour l'étude sont : un GETV de diagonale 46 pouces, une tablette tactile de diagonale 12 pouces, un pavé tactile (plus communément appelé trackpad), une souris, et deux modèles de boule de commande : un modèle militarisé, et un modèle commercial. Chaque dispositif a été testé suivant six conditions expérimentales différentes : deux types de tâches (multidirectionnelle et unidirectionnelle) et trois niveaux de difficultés (par variation de la taille des cibles). La tâche multidirectionnelle consistait à frapper 24 cibles apparaissant successivement sur un cercle. La tâche unidirectionnelle consistait à frapper 24 cibles apparaissant successivement de part et d’autre de l’écran.----------ABSTRACT : This study is based off a research carried out at L-3 MAPPS, Montréal. L-3 MAPPS is a company that designs, develop and sells simulation and training systems for the the naval, spatial and energy industries. Some of those systems use large touch screens requiring the user to move during use. The initial goal of this work was to evaluate alternative interaction methods for the pointing devices currently employed by the company. The starting hypothesis states that the use of a remote pointing device (as in placed at some distance from the Large Vertical Touch Screen (LVTS)), when compared with a touch command significantly improves the performances for a pointing task on a large vertical screen. To test this hypothesis, a comparative experimental study following the methodology prescribed by ISO 9241-9 standard (International Standards Organization [ISO], 2000) was conducted. Section 9 of this standard (Requirements for non-keyboard input devices) defines a usability test allowing the evaluation of a pointing device in terms of speed, error rate, and user satisfaction (measured as throughput, error rate, and satisfaction rate, respectively). The six pointing devices selected for this study are : a LVTS, a touch screen tablet, a touchpad, a mouse, and two trackball models. The six experimental conditions were defined by two task types (multi and unidirectional) and three difficulty levels (defined by target size). For the multidirectional task the subjects hit 24 successive targets distributed on a circle. For the unidirectional task the subjects hit 24 successive targets on the left and right of the screen. Twenty subjects participated in this study. All subjects tested each device in each of the six conditions, resulting in 36 series for each subject. The results of this study show that, comparatively to the other devices, the LVTS comes 3rd in throughput (with 2,31 bits/s against 4,66 for the tablet, fastest device), 5th in error rate (with 17,62% against 8,73 for the mouse, most reliable device), and 6th in satisfaction rate. We conclude that seeking better interaction methods for the LVTS is not only legitimate, but desirable. Furthermore, amongst the other touch pointing devices evaluated, we notice a significant speed advantage for the tablet (high throughput with 4,66 bits/s against 2,31 for the LVTS, second fastest touch device), and a significant reliability advantage for the touchpad (low error rate with 10,51% against 17,62 for the LVTS, second most reliable touch device). Finally, the mouse remains the overall best performing device, whether in throughput or error rate

Espace de conception et modèle d'interaction multi-tactile gestuel : un environnement de développement pour enrichir le modèle

The technical refinement and the recent adoption of multi-touch technologies by both the industry and users made these technologies a major concern for interaction designers. While many studies on human-computer interaction have started to compare this type of interface with traditional WIMP interfaces performance-wise, few have included in their approach the gestural and system mapping specificities of multi-touch interactions. In this study, I defend the idea that such interaction design should follow a specific interaction model taking into account physical, cognitive, sensitive and motor aspects of gestures in the human-computer relation. I define a design space, sort of socio-technical approach, which participates in the definition of a descriptive and generative interaction model. I establish a set of conceptual and technical principles that allow the evaluation and conception of multi-touch interfaces, in a systemic and extensible way. Throughout this study, I emphasize the limits of the « natural user interface » paradigm by having a better understanding of how interaction realism affects system efficiency. Finally, I present a multi-touch framework developed as part of a CIFRE collaboration, which helped this study in the design and the extension of the conceptual model.L’affinage technique et l’adoption récente des technologies tactiles multi-points par les industriels et les utilisateurs ont fixé l’attention des designers d’interaction sur ces technologies. Tandis que de nombreuses études en interaction homme-machine se sont intéressées à comparer la performance de ces interfaces à celle des interfaces WIMP traditionnelles, peu se sont attachées à intégrer dans leur approche les spécificités du canal gestuel et les modalités d’interactions multi-tactiles. Dans cette étude, je défends l’idée que le design de telles interactions ne peut être approché qu’en suivant un modèle d’interaction spécifique intégrant l’ensemble des composantes physiques, cognitives, sensorielles et motrices du geste dans le couplage homme-machine. J’articule ma recherche autour d’un espace de conception, courte analyse sociotechnique de mon objet d’étude, dans lequel je définis un modèle d’interaction descriptif et génératif. Je détermine un ensemble de principes conceptuels et techniques permettant l’évaluation et la conception du design d’interfaces multi-tactiles de manière systémique et extensible. Au cours de cette étude, je précise les limites du paradigme d’ « interface naturelle » en nuançant les effets du réalisme des interactions dans l’efficacité de tels systèmes. Enfin, je présente les travaux de conception et de développement d’un environnement de développement réalisé dans le cadre d’un dispositif CIFRE qui a accompagné cette étude et permis d’enrichir le modèle théorique

Effet d'un dispositif d'assistance au mouvement sur la cinématique, l'activité musculaire et la performance musicale de violonistes experts

Jusqu’à 93% des musiciens sont affectés par des troubles musculo-squelettiques liés à la pratique instrumentale, dont particulièrement les violonistes qui combinent les facteurs de risque principaux : une posture asymétrique et contraignante, le maintien d’une charge (le violon et le membre supérieur gauche) dans une position quasi-statique, la répétition de mouvements à haute vitesse et la pression des doigts (sur le manche de l’instrument), tous entrainant l’accumulation de fatigue musculaire. Il est crucial d’aménager leur environnement de travail afin de réduire l’accumulation de la fatigue. Les dispositifs d’assistance au mouvement sont utilisés dans le milieu industriel pour réduire les activations musculaires et potentiellement ralentir le développement de la fatigue musculaire. La modification de la dynamique de l’environnement des violonistes via l’application d’une force antigravitationnelle nécessaire au maintien du membre supérieur gauche et de l’instrument pourrait cependant perturber leurs mouvements et affecter leur performance musicale. L’objectif de ce projet de maîtrise est donc d’évaluer l’adaptation motrice à un dispositif d’assistance au mouvement en comparant (O1) la cinématique et (O2) l’électromyographie des membres supérieurs et du cou ainsi que (O3) la performance musicale avec et sans assistance. Quinze violonistes issus d’orchestres professionnels et de programmes de cycles supérieurs en interprétation musicale ont été recrutés. Les participants ont été équipés de 61 marqueurs réfléchissants et de 11 capteurs électromyographiques pour enregistrer leurs mouvements et activations musculaires. Afin de quantifier l’adaptation motrice, les violonistes ont répété une séquence musicale de 13 secondes sans (contrôle), avec (adaptation), et sans (post-adaptation) assistance par un dispositif passif (Kinova O110, Boisbriand, QC, Canada) exerçant une force antigravitationnelle au niveau du coude gauche. Les conditions ont été répétées une semaine plus tard pour évaluer la réadaptation. Neuf à douze mois plus tard, les participants ont écouté des enregistrements audio de leur performance avec et sans assistance et ont évalué leur performance musicale en aveugle. Des modèles linéaires mixtes ont été utilisés afin de comparer la cinématique, l’électromyographie et la performance musicale des conditions avec et sans assistance. L’augmentation de l’erreur angulaire de tous les degrés de liberté du membre supérieur gauche suggère que l’utilisation d’un dispositif d’assistance au mouvement a perturbé la cinématique des violonistes. L’adaptation très sélective de la cinématique articulaire observée au cours de la condition d’adaptation était probablement due à l’absence d’erreur de prédiction de la performance musicale nécessaire pour guider l’adaptation motrice. En effet, la comparaison de la performance musicale avec et sans dispositif n’a montré aucune différence significative, indiquant que les violonistes experts peuvent maintenir un haut niveau de performance malgré la modification de leur patron moteur. En outre, la similarité des angles articulaires et des activations musculaires entre les conditions avec et sans dispositif est restée forte. Enfin, la réduction des activations du deltoïde médian et du trapèze supérieur gauches avec l’assistance est prometteuse quant à l’utilisation des dispositifs pour limiter l’accumulation de fatigue musculaire et réduire la prévalence des troubles musculo-squelettiques liés à la pratique du violon.Up to 93% of musicians are affected by playing-related musculoskeletal disorders, and particularly violinists who combine the major factors leading to these disorders: an asymmetrical and constrained posture, quasi-static weight (violin and left upper-limb) holding, quick repetitive movements, and finger pressure (onto the instrument’s neck), all leading to muscle fatigue accumulation. It is crucial to adjust violinists’ working environments to prevent muscle fatigue accumulation. Dynamic assistive support (DAS) is used in industrial settings to reduce muscle activations and thus potentially slow down fatigue development. Modifying violinists’ environmental dynamics by introducing the anti-gravitational force needed to support their left upper-limbs and instruments may perturb their movements and impair musical performance. The objective of this Masters’ project is thus to investigate motor adaptation to DAS by comparing upper-limb and neck (O1) kinematics, (O2) electromyography, and (O3) musical performance with and without DAS. Fifteen violinists were recruited from professional orchestras and graduate programs in music performance. Participants were equipped with 61 reflective markers and 11 electromyography electrodes to record kinematics and muscle activity, respectively. To quantify motor adaptation, violinists played a looped 13-second excerpt without (control), with (adaptation), and without (washout) DAS provided by a passive device (Kinova O110, Boisbriand, QC, Canada) applying an anti-gravitational force at the left elbow. All conditions were repeated one week later to test for potential savings. Nine to twelve months later, participants listened to their own audio recordings playing with and without DAS and blindly assessed their performances. Linear mixed models were used to compare DAS and no-DAS conditions’ kinematic, electromyography and musical performance data. The increase in angular error for all left degrees of freedom suggests that DAS perturbed violinists’ kinematics. The highly selective kinematic adaptation observed during the adaptation condition might have been due to the absence of auditory feedback prediction errors needed to drive motor adaptation. Indeed, musical performance with and without DAS showed no significant difference, indicating that expert violinists can maintain a high level of performance despite changes in motor output. Additionally, similarity of joint angles and muscle activities between DAS and no-DAS conditions remained strong. Finally, reduced activations of left medial deltoid and superior trapezius in assisted conditions make DAS a promising tool to limit violinists’ muscle fatigue accumulation and prevent playing-related musculoskeletal disorders