Méthodologie et instrumentalisation pour la conception et l'évaluation des claviers logiciels

Avec l'expansion des dispositifs mobiles, l'efficacité de la saisie de texte est un défi de plus en plus important pour l'interaction homme-machine. Or, nous observons que, bien que les claviers type AZERTY ou téléphone, traditionnellement utilisés sur ces supports, soient évalués comme sous-optimaux, et, bien que de nombreuses alternatives évaluées comme plus performantes soient proposées dans la littérature, ces nouvelles alternatives restent très marginalement utilisées. Sur la base de cette observation, nous argumentons que la finalité des évaluations ne tient compte que d'un aspect du clavier, aspect qui n'est pas représentatif de la capacité d'un utilisateur à intégrer les concepts proposés dans son quotidien. Nous proposons en conséquence une stratégie complémentaire d'évaluation sur la base d'une évaluation heuristique des claviers logiciels. Par ailleurs, de manière à faciliter la mise en œuvre des évaluations et simplifier le design de nouveaux claviers, nous proposons une nouvelle version (E-Assist II) de la plate-forme E-Assiste. Elle permet, en premier lieu, de facilité le design et le déroulement des expérimentations, et plus largement d'encadrer les évaluations théoriques, expérimentales et heuristiques des claviers. Une version TinyEAssist permet également de déployer des expérimentations sur des supports mobiles (téléphones portables notamment). En second lieu, sur la base de l'étude de la structure des claviers logiciels, nous avons de plus proposé un langage de spécification des claviers permettant de générer des claviers logiciels complexes (interagissant potentiellement avec des systèmes de prédiction) à des fins d'expérimentation ou de simple usage. Enfin, sur la base des critères de performance mis en évidence par les évaluations heuristiques, nous proposons quatre nouveaux paradigmes de claviers. Parmi ces paradigmes deux ont offert des perspectives particulièrement intéressantes : en premier lieu le clavier multi-layer consistant à conduire progressivement, au cours d'une période transitoire, un utilisateur d'une distribution de touches type AZERTY vers une distribution de touches optimisée ; Le second consistant à faciliter l'accès aux caractères type accents, majuscules ou ponctuation, souvent déconsidérés dans l'optimisation des claviers logiciels.The expansion of mobile devices turn text input performances a major challenge for Human-Machine Interaction. We observed that, even if traditional QWERTY soft keyboards or telephone based soft keyboard were evaluated as poorly efficient, and, even if several alternatives evaluated as more efficient were proposed in the research field, these new alternatives are rarely used. Based on this observation, we argue that the goal of soft keyboard evaluation focus on long term performances whereas does not take into account the perspective for a user to use it in his quotidian. Consequently, we propose a complementary evaluation strategy base on heuristic evaluation methodology. In order to ease the evaluation and design of new soft keyboards, we proposed a new version (E-Assist II) of the E-Assiste plate-form. This plate-form aims, at first, to facilitate the design and procedure of experimentations and, more generally, to guide the theoretical, experimental and heuristic evaluations. A compact version (TinyEAssist) enables to perform experimentation on mobile environment such as mobile phone. At second, based on soft keyboard structure study, we proposed a keyboard specification language enabling to generate complex keyboard (including soft keyboard interacting with prediction systems). The generated soft keyboards may be used into the experimentation plate-form or interacting with the exploration system. At last, based on the criteria highlighted by the heuristic evaluation, we proposed four new soft keyboard paradigms. Among them two paradigms showed interesting perspectives: at first the multilayer keyboard consist in accompanying the user from a standard QWERTY layout to an optimized layout during a transition period; the second consist in accelerating the access to the characters such as accents, upper-case, punctuation, etc., frequently ignored in the keyboard optimizations

Effect of a Dynamic Keyboard and Word Prediction Systems on Text Input Speed in Patients with Functional Tetraplegia

International audienceInformation technology plays a very important role in society. People with disabilities are often limited by slow text input speed despite the use of assistive devices. This study aimed to evaluate the effect of a dynamic on-screen keyboard (Custom Virtual Keyboard) and a word-prediction system (Sibylle) on text input speed in participants with functional tetraplegia. Ten participants tested four modes at home (static on-screen keyboard with and without word prediction and dynamic on-screen keyboard with and without word prediction) for 1 mo before choosing one mode and then using it for another month. Initial mean text input speed was around 23 words per minute with the static keyboard and 12 words per minute with the dynamic keyboard. The results showed that the dynamic keyboard reduced text input speed by 37% compared with the standard keyboard and that the addition of word prediction had no effect on text input speed. We suggest that current forms of dynamic keyboards and word prediction may not be suitable for increasing text input speed, particularly for subjects who use pointing devices. Future studies should evaluate the optimal ergonomic design of dynamic keyboards and the number and position of words that should be predicted

Designing Text Entry Methods for Non-Verbal Vocal Input

Katedra počítačové grafiky a interakc

Modèle théorique et outil de simulation pour une meilleure évaluation des claviers logiciels augmentés d'un système de prédiction de mots

Les claviers logiciels se sont démocratisés pour rendre possible la saisie de textes en mobilité sur des dispositifs dépourvus de claviers physiques tels que les téléphones portables nouvelle génération. Cependant, ces claviers présentent plusieurs inconvénients comme la lenteur de la saisie et la fatigue engendrées pour les utilisateurs déficients moteurs. La solution intuitive était d'allier ces logiciels à des listes contenant les mots susceptibles de continuer la saisie d'un mot initié par l'utilisateur. Bien que ces listes, dites listes de prédiction, réduisent le nombre de clics et le nombre d'opérations, la vitesse de saisie de l'utilisateur a diminué. Une expérimentation outillée d'un système de suivi du regard a ainsi permis de déterminer des " stratégies " de fonctionnement de l'utilisateur face à une liste de mots. Ces résultats ont ainsi permis d'affiner les modèles de prédiction de manière à réduire l'écart séparant les performances prédites des performances réellement enregistrées. A partir des constats effectués lors de la première expérimentation, nous proposons deux variantes de l'utilisation des listes de prédiction de mots. La première propose un nouveau moyen d'interagir avec la liste de mots et permet ainsi de maximiser l'utilisation de celle-ci. La seconde évalue un repositionnement de la liste de mots de manière à réduire le nombre de mouvements oculaires vers la liste. Ces deux évolutions, évaluées théoriquement puis au moyen d'une expérimentation utilisateur, permettent ainsi d'améliorer les performances de saisie par rapport à une liste de prédiction de mots classique.Predictive model and simulation tool for a best evaluation of soft keyboard augmented by words prediction list The software keyboards are used to enable text input in mobility and for devices without physical keyboards, such as the new generation of mobile phones. However, these keyboards have several drawbacks such as slowness text entry and fatigue generated for motor impaired users. The solution was to combine software keyboard to lists containing the words likely to continue the word introduced by the user. While these lists, so-called prediction lists, reduce the number of clicks and the number of operations, the speed of user input has decreased. An experiment with an eye tracking system has identified the "strategies" of the user while using and searching a list of words. These results were helpful to refine the prediction models in order to reduce the gap between the performance predicted and the performance actually recorded. Based on observations made during the first experiment, we propose two variants of the use of word prediction list. The first proposes a new way to interact with the list of words and allows maximum use of it. The second evaluates a repositioning of the list of words in order to reduce the number of eye movements to the list. These two propositions were theoretically and experimentally evaluated by users. These software can improve the input performances compared with a classic word prediction list

Computational optimization and prediction strategies for increasing communication rate in phoneme-based augmentative and alternative communication (AAC)

Up to 1.2% of the population is unable to meet daily communication needs using typical speech and may use augmentative and alternative communication (AAC) strategies to communicate, including manual sign language, facial gestures, and aided strategies such as selecting targets on an onscreen keyboard. However, for individuals whose impairments affect both speech and non-speech motor systems (e.g., spinal cord injury, amyotrophic lateral sclerosis, multiple sclerosis), their ability to use manual sign and access computer systems are impacted. AAC access methods in this population remain inherently slow and effortful (e.g., eye-tracking, head-tracking, mechanical switches). Thus, optimizing communication interfaces for alternate access methods may provide significant improvements in communication rates and quality of life. In this series of studies, we developed and evaluated methods for improving communication rates through optimization and prediction in communication interfaces. These interfaces enabled participants to select sounds (phonemes) instead of letters and were computationally optimized offline via a model of human movement in order for targets likely to be selected together to be in close proximity. Online prediction was implemented such that likely targets were dynamically enlarged. Computational simulations suggested that optimized phonemic interfaces could increase communication rates by up to 30.9% compared to random phonemic interfaces. Communication rates were empirically evaluated in 36 participants without motor impairment using an alternate computer access method to produce messages with phonemic interfaces over 12 sessions. Results suggested that optimization increased communication rates by 10.5–23.0% compared to a random phonemic interface. Prediction increased communication rates during training sessions, but was not a significant factor in communication rates during the final session. Empirical evaluations in individuals with motor impairment revealed that all participants strongly agreed that they would improve with practice, and four out of six participants strongly preferred the interface with prediction. Results of these studies suggest that optimized and predictive phonemic interfaces may provide increased communication rates for individuals with motor impairments affecting both oral communication and computer access. Methods for dynamically enlarging targets may also be applicable to other (non-phonemic) interfaces to increase communication rates. Further research is needed to fully translate these results into clinical practice.2020-10-24T00:00:00

Evaluation de l’efficacité des logiciels de prédiction de mots sur la vitesse de saisie de texte sur l’outil informatique pour les personnes blessées médullaires cervicaux

The main objective of this work was to study the influence of key settings of word predictionsoftware as well as a training program on the use of word prediction, on text input speed in personswith cervical spinal cord injury.Study 1 determined text input speed in persons with cervical spinal cord injury and the influence ofpersonal characteristics and type of computer device on text input speed. Study 2 evaluated theeffect of a dynamic virtual keyboard coupled with word prediction software on text input speed inpersons with functional tetraplegia. Study 3 analysed the word prediction software settingscommonly prescribed by health-related professionals for people with cervical spinal cord injury.Studies 4 and 5 evaluated the influence of the number of words displayed in the prediction list andthe frequency of use setting on text input speed. Finally, study 6 evaluated the influence of a trainingprogram on the use of word prediction software for persons with cervical spinal cord injury on textinput speed.The results showed that only the type of computer device influenced text input speed; voicerecognition software increased the text input speed of persons with cervical spinal cord injury to thatof able-bodied people using a standard keyboard. The influence of the different word predictionsoftware settings (number of words displayed in the prediction list and the frequency of use) on textinput speed, the number of errors or comfort of use, differed depending on the level of injury. Wealso found differences between the perception of the importance of some settings by healthprofessionalsand data in the literature regarding the optimization of settings. Moreover, althoughsome parameters were considered as very important, they were rarely configured. Finally, trainingpersons with cervical spinal cord injury in the use of word prediction software increased text inputspeed.The results of this work highlighted that word prediction software settings influence text input speedin persons with cervical spinal cord injury, however not all professionals are aware of this.Information should therefore be disseminated through professional networks. Further studies shouldaim to improve word prediction software and should also focus on new devices such as tablets andvoice recognition software. Persons with cervical spinal cord injury training programs in the use ofword prediction software need to be developed and validated.Ce travail de thèse avait pour objectif principal d’étudier l’influence de certains paramétrages deslogiciels de prédiction de mots et d’un programme d’entraînement ciblé sur la vitesse de saisie detexte chez des personnes tétraplégiques. Six études ont été menées. L’étude 1 nous a permis demettre en évidence des vitesses de saisie de texte chez les personnes tétraplégiques et d’étudierl’influence de leurs aides techniques d’accès à l’outil informatique sur cette vitesse. L’étude 2 nous apermis de mettre en avant l’hétérogénéité des résultats d’un logiciel de prédiction de mots sur lavitesse de saisie de texte sur une population hétérogène et sans paramétrage de ces logiciels.L’étude 3 nous a permis d’étudier les habitudes de préconisations et de paramétrages des logiciels deprédictions de mots par les professionnels. Les études 4 et 5 nous ont permis d’évaluer l’influencedes paramétrages (nombre de mots affichés dans la liste de prédiction et l’adaptation du logiciel auvocabulaire de l’utilisateur) sur cette saisie de texte. Enfin, l’étude 6 nous a permis d’étudierl’influence d’un entraînement dirigé par des professionnels sur les logiciels de prédictions de motschez des personnes tétraplégiques, sur la vitesse de saisie de texte.Les résultats montrent que seule l’aide technique d’accès à l’outil informatique influence la vitessede saisie de texte. Les logiciels de reconnaissance vocale permettent une vitesse de saisie de texteéquivalente à celle des personnes valides utilisant un clavier standard. Les paramétrages (nombre demots affichés dans la liste de prédiction et l’adaptation du logiciel au vocabulaire de l’utilisateur) ontune influence différente en fonction du niveau lésionnel des personnes tétraplégiques sur la vitessede saisie de texte, le nombre d’erreurs ou le confort. De plus, une différence entre l’importancedonnée aux paramétrages par les professionnels préconisateurs et les paramétrages effectivementréglés a été mise en évidence. Enfin, l’influence d’un entraînement dirigé sur la vitesse de saisie detexte a été mise en évidence sur la vitesse de saisie de texte. Au regard de l’ensemble de cesrésultats, il apparait nécessaire de paramétrer les logiciels de prédictions de mots, mais aussi deconnaitre l’influence des différents réglages et de diffuser cette information au sein des réseauxprofessionnels. La recherche doit être poursuivie pour améliorer les logiciels de prédiction de mots,mais aussi pour favoriser de nouveaux outils tels les tablettes tactiles et les logiciels dereconnaissance vocale. Une systématisation des entraînements dirigés sur les logiciels de prédictionde mots nécessite une réflexion et une validation sur les modalités et la nature de cesaccompagnements