Head-Tracking Haptic Computer Interface for the Blind

In today’s heavily technology-dependent society, blind and visually impaired people are becoming increasingly disadvantaged in terms of access to media, information, electronic commerce, communications and social networks. Not only are computers becoming more widely used in general, but their dependence on visual output is increasing, extending the technology further out of reach for those without sight. For example, blindness was less of an obstacle for programmers when command-line interfaces were more commonplace, but with the introduction of Graphical User Interfaces (GUIs) for both development and final applications, many blind programmers were made redundant (Alexander, 1998; Siegfried et al., 2004). Not only are images, video and animation heavily entrenched in today’s interfaces, but the visual layout of the interfaces themselves hold important information which is inaccessible to sightless users with existing accessibility technology

Substitution visuelle par électro-stimulation linguale : étude des procédés affectant la qualité de perception

Our perception of the world is by essence multimodal. Various sensory cues (vision, hearing, touch, etc.) are hence integrated to allow us the execution of daily life activities. When one sense organ is missing or impaired, in some circumstances, the central nervous system can replace or reinforce the missing sensory information by using reliable sensory information coming from an other intact sense organ. This doctoral thesis was designed to explore this so-called ‘sensory substitution' concept through the exploitation of a visual-to-tactile sensory substitution device. the Tongue Display Unit (TDU) is made of a 12x12 electro-tactile matrix capable of rendering visual scences on the dorsal part of the tongue.However, the effectiveness of this device suffers from numerous drawbacks among which two main problems : (i) the problem of ‘fading' (mitigation) which corresponds to a rapid loss of perception of electrostimulation signal by the individuals and (ii) the problem of multimodal fusion. In the present work, we propose to investigate these problems and their effects on the quality of perception, by (i) applying some eye-inspired mechanisms (micro-saccades) to the electro-tactile signal on the tongue, (ii) studying how individuals perceive a picture signal with multi-modal perceptual (visual stimulus + substitution on the tongue) and (iii) the effect produced contradictions of information in this context.This work evidence the importance of applying saccades and sparkle mechanisms in electro-tactile signal to resolve the problem of fading especially when stimulation periods are relatively long. Furthermore, the experiments we have conducted on multi-modal perception and contradictions suggested that the perception of image information through the TDU was comparable to that of vision. Finally, we were able to identify a conflicting information fusion effect between visual perception and electrotactile tongue perception. This phenomenon is known as Mc Gurck effect (fusion of visual and auditory information). Understanding the effect of these processes to improve the quality of perception through the visual substitution paradigm and the importance of multi-modal fusion effects during this thesis could be applied in various areas where these effects are present or required, especially in the emerging field of prosthetic vision.Notre perception du monde est multimodale. Les différents sens (vision, audition, tactile, etc) sont coordonnés entre eux afin d'accomplir nos tâches quotidiennes. Dans le cas où un organe des sens connaît un dysfonctionnement, le système nerveux central est capable de remplacer ou de renforcer l'information manquante en faisant appel à d'autres modalités sensorielles intactes. Le cadre conceptuel de ce remplacement d'un sens par un autre est le paradigme de substitution sensorielle. Cette thèse se situe dans ce contexte et, pour explorer certains aspects de ce paradigme, exploite un dispositif d'électro-stimulation linguale, le Tongue Display Unit (TDU), une matrice de 12x12 électrodes destinée à restituer sous la forme de voltages variables des scènes visuelles sur la langue.L'efficacité de ce dispositif souffre de nombreux problèmes au rang desquels le problème de fading (atténuation) qui correspond à une perte rapide de perception du signal d'électro-stimulation par les sujets et celui de la fusion de perceptions multi-modales qui, nous le verrons, se complique avec l'usage du TDU. Dans cette thèse, nous proposons d'étudier l'effet sur la qualité de perception et sur l'atténuation du signal de l'adjonction au signal image de saccades et de tremblements, processus qui nous ont été inspirés par la vision. Nous étudions également la façon dont les sujets perçoivent un signal image en cas de multi-modalité perceptive (vision + substitution visuelle sur la langue) et l'effet que produisent des contradictions d'information dans ce contexte.Ce travail met en évidence l'importance de la présence de saccades ou de scintillement dans le signal d'électro-stimulation pour contrer les effets de fading : grâce à ces procédés, même lorsque les stimulations sont longues, les sujets continuent de percevoir correctement le signal image. De plus, les expériences de perception multi-modale et de contradictions nous ont permis de montrer que la perception d'informations de type image par l'intermédiaire du TDU était comparable à celle de la vision. Enfin, nous avons pu mettre en évidence un effet de fusion d'informations contradictoires entre la perception visuelle et linguale, connu dans le cadre de la fusion d'information visuo-auditives sous le nom d'effet Mc Gurck.La compréhension de l'effet de procédés destinés à améliorer la perception dans le cadre de la substitution visuelle et celle de l'importance des effets de fusion multi-modale dégagée au cours de thèse devraient trouver application dans de nombreux domaines où ces effets sont présents ou requis, en particulier dans le domaine émergent de la vision prothétique