Exploration of foot-based interaction for menu control and virtual reality applications

Abstract

Although hand-based interaction is dominant in the field of human-computer interaction, the hands can be occupied during various daily activities, such as driving, and may be unavailable for those with motor impairments. To support or replace some functions of a hand-based interface, this thesis explores the alternative of foot-based interaction. As a preliminary matter relevant to the design of foot-based interfaces, we investigated ele- mentary characteristics including the comfortable range of motion, increments to control, and interaction metaphors. Next, we carried out a systematic comparison of performance and user experience of two interaction techniques, isometric and isotonic control, in the context of foot-based menu selection and parameter control for a musical performance user interface. We then investigated the effect of auditory or vibrotactile feedback as an alter- native to visual feedback in particular for tasks where the user’s visual attention is heavily occupied, such as in medical scenarios. Our experiments demonstrated that parameter manipulation by foot interaction is viable even in a non-visual feedback situation. Further- more, to explore foot-based multimodal immersive experiences, we presented approaches to simulating the surface of a frozen pond, including ice cracking under increased foot pres- sure. We believe that the lessons learned through this research can provide helpful insights to future designers of interfaces employing interaction by foot.Bien que l’utilisation des mains soit majoritaire dans le domaine de l’interaction homme- machine, celles-ci peuvent ˆetre occup ́ees pendant les activit ́es quotidiennes, par exemple la conduite, ou ne pas ˆetre disponibles pour les personnes ayant une d ́eficience motrice. Pour augmenter ou remplacer certaines fonctions d’une interface manuelle, les travaux pr ́esent ́es dans ce manuscrit explorent l’alternative de l’interaction bas ́ee sur les pieds. Comme pr ́eambule a` la conception d’interfaces bas ́ees sur les pieds, nous avons ́etudi ́e les caract ́eristiques physiologiques ́el ́ementaires, en particulier l’amplitude confortable du mouvement, les incr ́ements de contrˆole et les m ́etaphores d’interaction. Ensuite, nous avons effectu ́e une comparaison de la performance et de l’exp ́erience utilisateur de deux techniques d’interaction: le controˆle isom ́etrique et isotonique. (Antoine: no idea what that mean, but it is French word and likely the translation of the english ones). Ceci dans le contexte de la s ́election d’items dans un menu, au pied, et du controˆle des param`etres pour une interface utilisateur a` destination des musiciens. Nous avons ensuite ́etudi ́e l’effet du retour auditif ou vibrotactile comme alternative au retour visuel, en particulier pour les tˆaches ou` l’attention visuelle de l’utilisateur est fortement occup ́ee, comme dans les sc ́enarios m ́edicaux. Nos exp ́eriences ont d ́emontr ́e que la manipulation des param`etres par interaction du pied est fonctionnelle mˆeme dans une situation sans retour visuel. De plus, pour ́etudier les exp ́eriences immersives multimodales bas ́ees sur les pieds, nous avons pr ́esent ́e des approches pour simuler la surface d’un ́etang gel ́e, y compris le craquement de la glace sous la pression du pied. Nous pensons que les le ̧cons tir ́ees de cette recherche peuvent fournir des renseignements utiles aux futurs concepteurs d’interfaces centr ́es sur les interactions aux pieds