NAV-VIR: an audio-tactile virtual environment to assist visually impaired people

International audienceThis paper introduces the NAV-VIR system, a multimodal virtual environment to assist visually impaired people in virtually discovering and exploring unknown areas from the safety of their home. The originality of NAV-VIR resides in (1) an optimized representation of the surrounding topography, the spatial gist, based on human spatial cognition models and the sensorimotor supplementation framework, and (2) a multimodal orientation-aware immersive virtual environment relying on two synergetic interfaces: an interactive force feedback tablet, the F2T, and an immersive HRTF-based 3D audio simulation relying on binaural recordings of real environments. This paper presents NAV-VIR functionalities and its preliminary evaluation through a simple shape and movement perception task

ma-riviere/DE-AoP-23: Pre-publication release

<p>Integrating initial reviewer feedback:</p> <ul> <li>Adding Calb IHC data</li> <li>Improving plot contrast</li> <li>Cleaning unnecessary data/code</li> </ul&gt

ma-riviere/DE-AoP-23: public release

<p>Public release of the code, to accompany the publication of the paper.</p&gt

TactiBelt: Integrating Spatial Cognition and Mobility Theories into the Design of a Novel Orientation and Mobility Assistive Device for the Blind

International audienc

Exploration des cartes avec le toucher: Un dispositif haptique inclusif

International audienceThis paper presents a preliminary case study for the accessibility of maps for Visually Impaired People (VIP) using a novel haptic interface called F2T (Force Feedback Tablet). This device allows VIP to actively explore and feel graphical content and receive feedback on the explored image properties through a combination of dynamically generated force-feedback effects. Simplified room layouts were displayed to VIP, each including an entrance, an exit, and walls with a variety of angle shapes between them. The obtained results indicate that the F2T allows VIP to recognize different types of room layouts with good accuracy (with a mean absolute error of less than 10° when identifying angles between walls), and also shows the usefulness of the "guided" exploration mode to hasten the discovery of an unknown layout.Cet article présente une étude de cas préliminaire pour l'accessibilité des cartes/plans pour les personnes présentant une incapacité visuelle (PPIV) à l'aide d'une nouvelle interface haptique appelée F2T (Force Feedback Tablet). Ce dispositif permet aux PPIV d'explorer et de ressentir activement le contenu graphique et de recevoir un retour sur les propriétés de l'image explorée grâce à une combinaison d'effets de retour de force générés dynamiquement. Des dispositions simplifiées des salles ont été présentées aux PPIV, chacune comprenant une entrée, une sortie et des murs avec une variété de formes et d'angle entre eux. Les résultats obtenus indiquent que le F2T permet aux PPIV de reconnaître différents types d'agencements de salles avec une bonne précision (avec une erreur moyenne absolue inférieure à 10° lors de l'identification des angles entre murs), et montre également l'utilité du mode d'exploration « guidée » pour raccourcir le temps de découverte d'un tracé inconnu

Spatiotemporal influences on the recognition of two-dimensional vibrotactile patterns on the abdomen

International audienceSpatial and temporal factors are known to highly influence tactile perception, but their role has been largely unexplored in the case of two-dimensional (2D) pattern recognition. We investigated whether recognition is facilitated by the spatial and/or temporal separation of pattern elements, or by conditions known to favor perceptual integration, such as the ones eliciting apparent movement. 2D vibrotactile patterns were presented to the abdomen of novice participants. In Experiment 1, we manipulated the spatial (inter-tactor distance) and temporal (burst duration and inter-burst interval) parameters applied to the tracing mode (sequential activation of pattern elements). In Experiment 2, we compared display modes differing in their level of temporal overlap in the presentation of pattern elements: the static mode (simultaneous activation of pattern elements), the slit-scan mode (pattern revealed line by line), and the tracing mode. The results of both experiments reveal that (a) recognition performance increases with the isolation of pattern elements in space and/or in time, (b) spatial and temporal factors interact in pattern recognition, and (c) conditions leading to apparent movement tend to be associated with lower recognition accuracy. These results further our understanding of tactile perception and provide guidance for the design of future vibrotactile communication systems

NAV-VIR: an audio-tactile virtual environment to assist visually impaired people

International audienceThis paper introduces the NAV-VIR system, a multimodal virtual environment to assist visually impaired people in virtually discovering and exploring unknown areas from the safety of their home. The originality of NAV-VIR resides in (1) an optimized representation of the surrounding topography, the spatial gist, based on human spatial cognition models and the sensorimotor supplementation framework, and (2) a multimodal orientation-aware immersive virtual environment relying on two synergetic interfaces: an interactive force feedback tablet, the F2T, and an immersive HRTF-based 3D audio simulation relying on binaural recordings of real environments. This paper presents NAV-VIR functionalities and its preliminary evaluation through a simple shape and movement perception task

NAV-VIR: an audio-tactile virtual environment to assist visually impaired people*

International audienc

Vers une aide à la mobilité basée sur la connaissance de l'espace pour les personnes ayant une déficience visuelle

International audienceCette communication présente un nouveau concept de dispositif d'assistance à la mobilité pour les personnes présentant une incapacité visuelle (PPIV), son implantation dans un simulateur, et son évaluation préliminaire. Ce système, ACCESSPACE, permet de représenter l'essentiel (gist) de l'agencement spatial des alentours immédiats de l'utilisateur, sur une tablette à stimulation tactile. En combinant des données cartographiques, GPS et visuelles, ce système effectue un bi-partitionnement de l'espace (en zones accessibles ou non) et transmet cette information sous forme d'une carte égocentrée augmentée, évoluant en temps réel avec les mouvements de l'utilisateur. L'évaluation préliminaire du simulateur d'ACCESSPACE confirme sa pertinence pour la mobilité en intérieur, notamment dans les musées