Naviguer en vision prothétique simulée : apport de la vision par ordinateur pour augmenter les rendus prothétiques de basse résolution

Blindness affects thirty nine millions people in the world and generates numerous difficulties in everyday life. Specifically, navigation abilities (which include wayfinding and mobility) are heavily diminished. This leads blind people to limit and eventually to stop walking outside. Visual neuroprosthesis are developed in order to restore such "visual" perception and help them to get some autonomy back. Those implants generate electrical micro-stimulations which are focused on the retina, the optic nerve or the visual cortex. Those stimulations elicit blurry dots called "phosphenes". Phosphenes can be mainly white, grey or yellow. The whole stimulation device contains a wearable camera, a small computer and the implant which is connected to the computer. The implant resolution and position impact directly the quality of the restored visual perception. Current implants include less than a hundred electrodes so it is mandatory to reduce the resolution of the visual stream to match the implant resolution. For instance, the already commercialized Argus II implant from the company Second Sight (Seymar, California) is the leading visual implant worldwide and uses only sixty electrodes. This means that Argus II blind owners can perceive only sixty phosphenes simultaneously. Therefore this restored vision is quite poor and signal optimization is required to get to a functional implant usage. Blind people with implants are involved in restricted clinical trials and are difficult to reach. Yet, studying those implant possibilities is at our reach by simulating prosthetic vision and displaying it in a head mounted display for sighted subjects. This is the field of simulated prosthetic vision (SPV). Navigation was never studied with people with implant, and only a few studies approached this topic in SPV. In this thesis, we focused on the study of navigation in SPV. Computer vision allowed us to select which of the scene elements to display in order to help subjects to navigate and build a spatial representation of the environment. We used psychological models of navigation to conceive and evaluate SPV renderings. Subjects had to find their way and collect elements in a navigation task in SPV inspired by video games for the blind. To evaluate their performance we used a performance index based on the completion time. To evaluate their mental representation, we asked them to draw the environment layout after the task for each rendering. This double evaluation lead us to spot which elements can and should be displayed in low resolution SPV in order to navigate. Specifically those results show that to be understandable in low vision, a scene must be simple and the structure of the environment should not be hidden. When blind people with implant will become available we will be able to confirm or deny those results by evaluating their navigation in virtual and real environments.La cécité touche 39 millions de personnes dans le monde et génère de nombreuses difficultés dans la vie quotidienne. Plus précisément, les capacités de navigation (incluant orientation et mobilité) sont fortement diminuées, ce qui amène les personnes non-voyantes à limiter, voire à cesser leurs déplacements. Pour restaurer des sensations "visuelles", et par-delà, une certaine autonomie, il est possible de stimuler directement le système visuel résiduel d'une personne non-voyante à l'aide d'un implant administrant des micro-stimulations électriques. Le dispositif complet se compose d'une micro-caméra portée sur des lunettes et reliée à un ordinateur de poche, qui lui-même est connecté à l'implant. Lors des micro-stimulations, les sujets perçoivent des tâches grises, blanches ou jaunâtres appelées phosphènes. Ainsi la qualité de la vision restaurée est directement dépendante de la résolution et de la position de l'implant. Le nombre d'électrodes étant faible pour les implants en développement (moins d'une centaine), il est nécessaire de réduire drastiquement la résolution du flux vidéo pour la faire correspondre à la faible résolution de l'implant. Actuellement, l'Argus II de la société Second Sight est l'implant dont le développement est le plus avancé et sa résolution est de 60 électrodes, ce qui permet aux patients implantés de percevoir 60 phosphènes différents. Cette vision restaurée est donc très pauvre et un travail d'optimisation du signal est nécessaire pour pouvoir utiliser l'implant de manière fonctionnelle. Les sujets implantés sont impliqués dans des protocoles cliniques fermés ne permettant pas de les inclure dans d'autres expériences. Malgré cela, il est possible d'étudier les possibilités offertes par ces implants visuels en simulant la vision prothétique dans un casque de réalité virtuelle porté par des sujets voyants. Il s'agit du domaine de la vision prothétique simulée (VPS). La navigation n'a jamais été étudiée chez les patients implantés et très rarement en VPS. Il s'avère qu'avec des implants de très faible résolution, elle pose de grandes difficultés liées à la mobilité mais également des difficultés liées à l'orientation. Les travaux entrepris dans ce doctorat se concentrent sur l'étude de la navigation en VPS. Différentes théories en psychologie nous ont permis d'identifier les éléments importants pour les sujets afin qu'ils se repèrent et se construisent une représentation mentale fiable de l'environnement lors de la navigation. À partir de ces modèles, différents rendus prothétiques utilisant la vision par ordinateur ont été conçus et testés dans une tâche de navigation réalisée dans un environnement virtuel. Les expérimentations effectuées avaient pour objectif d'optimiser la perception et la compréhension de l'espace parcouru avec un implant de faible résolution. Ces évaluations reposaient sur la performance de temps des sujets pour effectuer la tâche de navigation et sur leur représentation mentale de l'environnement. Après la tâche de navigation, il leur était demandé de dessiner la carte des environnements explorés, afin d'évaluer ces représentations. Cette double évaluation a permis d'identifier les indices importants permettant de faciliter la perception et la mémorisation de la structure des environnements dans une tâche de navigation en VPS. Pour améliorer les performances des personnes non-voyantes implantées, il apparaît notamment nécessaire de limiter la quantité d'information présentée, tout en préservant la structure de l'environnement grâce à des algorithmes de vision par ordinateur. Lorsque l'accès à des patients implantés sera plus ouvert, il deviendra nécessaire de valider ces différents résultats en les faisant naviguer en environnement virtuel puis en environnement réel

Wayfinding with Simulated Prosthetic Vision: Performance comparison with regular and structure-enhanced renderings

International audienceIn this study, we used a simulation of upcoming low-resolution visual neuroprostheses to evaluate the benefit of embedded computer vision techniques in a wayfinding task. We showed that augmenting the classical phosphene rendering with the basic structure of the environment - displaying the ground plane with a different level of brightness - increased both wayfinding performance and cognitive mapping. In spite of the low resolution of current and upcoming visual implants, the improvement of these cognitive functions may already be possible with embedded artificial vision algorithms

Navigation in simulated prosthetic vision : augmenting low resolution prosthetic renderings with computer vision

La cécité touche 39 millions de personnes dans le monde et génère de nombreuses difficultés dans la vie quotidienne. Plus précisément, les capacités de navigation (incluant orientation et mobilité) sont fortement diminuées, ce qui amène les personnes non-voyantes à limiter, voire à cesser leurs déplacements. Pour restaurer des sensations "visuelles", et par-delà, une certaine autonomie, il est possible de stimuler directement le système visuel résiduel d'une personne non-voyante à l'aide d'un implant administrant des micro-stimulations électriques. Le dispositif complet se compose d'une micro-caméra portée sur des lunettes et reliée à un ordinateur de poche, qui lui-même est connecté à l'implant. Lors des micro-stimulations, les sujets perçoivent des tâches grises, blanches ou jaunâtres appelées phosphènes. Ainsi la qualité de la vision restaurée est directement dépendante de la résolution et de la position de l'implant. Le nombre d'électrodes étant faible pour les implants en développement (moins d'une centaine), il est nécessaire de réduire drastiquement la résolution du flux vidéo pour la faire correspondre à la faible résolution de l'implant. Actuellement, l'Argus II de la société Second Sight est l'implant dont le développement est le plus avancé et sa résolution est de 60 électrodes, ce qui permet aux patients implantés de percevoir 60 phosphènes différents. Cette vision restaurée est donc très pauvre et un travail d'optimisation du signal est nécessaire pour pouvoir utiliser l'implant de manière fonctionnelle. Les sujets implantés sont impliqués dans des protocoles cliniques fermés ne permettant pas de les inclure dans d'autres expériences. Malgré cela, il est possible d'étudier les possibilités offertes par ces implants visuels en simulant la vision prothétique dans un casque de réalité virtuelle porté par des sujets voyants. Il s'agit du domaine de la vision prothétique simulée (VPS). La navigation n'a jamais été étudiée chez les patients implantés et très rarement en VPS. Il s'avère qu'avec des implants de très faible résolution, elle pose de grandes difficultés liées à la mobilité mais également des difficultés liées à l'orientation. Les travaux entrepris dans ce doctorat se concentrent sur l'étude de la navigation en VPS. Différentes théories en psychologie nous ont permis d'identifier les éléments importants pour les sujets afin qu'ils se repèrent et se construisent une représentation mentale fiable de l'environnement lors de la navigation. À partir de ces modèles, différents rendus prothétiques utilisant la vision par ordinateur ont été conçus et testés dans une tâche de navigation réalisée dans un environnement virtuel. Les expérimentations effectuées avaient pour objectif d'optimiser la perception et la compréhension de l'espace parcouru avec un implant de faible résolution. Ces évaluations reposaient sur la performance de temps des sujets pour effectuer la tâche de navigation et sur leur représentation mentale de l'environnement. Après la tâche de navigation, il leur était demandé de dessiner la carte des environnements explorés, afin d'évaluer ces représentations. Cette double évaluation a permis d'identifier les indices importants permettant de faciliter la perception et la mémorisation de la structure des environnements dans une tâche de navigation en VPS. Pour améliorer les performances des personnes non-voyantes implantées, il apparaît notamment nécessaire de limiter la quantité d'information présentée, tout en préservant la structure de l'environnement grâce à des algorithmes de vision par ordinateur. Lorsque l'accès à des patients implantés sera plus ouvert, il deviendra nécessaire de valider ces différents résultats en les faisant naviguer en environnement virtuel puis en environnement réel.Blindness affects thirty nine millions people in the world and generates numerous difficulties in everyday life. Specifically, navigation abilities (which include wayfinding and mobility) are heavily diminished. This leads blind people to limit and eventually to stop walking outside. Visual neuroprosthesis are developed in order to restore such "visual" perception and help them to get some autonomy back. Those implants generate electrical micro-stimulations which are focused on the retina, the optic nerve or the visual cortex. Those stimulations elicit blurry dots called "phosphenes". Phosphenes can be mainly white, grey or yellow. The whole stimulation device contains a wearable camera, a small computer and the implant which is connected to the computer. The implant resolution and position impact directly the quality of the restored visual perception. Current implants include less than a hundred electrodes so it is mandatory to reduce the resolution of the visual stream to match the implant resolution. For instance, the already commercialized Argus II implant from the company Second Sight (Seymar, California) is the leading visual implant worldwide and uses only sixty electrodes. This means that Argus II blind owners can perceive only sixty phosphenes simultaneously. Therefore this restored vision is quite poor and signal optimization is required to get to a functional implant usage. Blind people with implants are involved in restricted clinical trials and are difficult to reach. Yet, studying those implant possibilities is at our reach by simulating prosthetic vision and displaying it in a head mounted display for sighted subjects. This is the field of simulated prosthetic vision (SPV). Navigation was never studied with people with implant, and only a few studies approached this topic in SPV. In this thesis, we focused on the study of navigation in SPV. Computer vision allowed us to select which of the scene elements to display in order to help subjects to navigate and build a spatial representation of the environment. We used psychological models of navigation to conceive and evaluate SPV renderings. Subjects had to find their way and collect elements in a navigation task in SPV inspired by video games for the blind. To evaluate their performance we used a performance index based on the completion time. To evaluate their mental representation, we asked them to draw the environment layout after the task for each rendering. This double evaluation lead us to spot which elements can and should be displayed in low resolution SPV in order to navigate. Specifically those results show that to be understandable in low vision, a scene must be simple and the structure of the environment should not be hidden. When blind people with implant will become available we will be able to confirm or deny those results by evaluating their navigation in virtual and real environments

La restauration de la vision chez les aveugles : rêve ou réalité ?

Article paru dans U'ZOOM, magazine culturel des étudiants curieux (magazine de découverte de la richesse culturelle de tous les campus toulousains)Article publié dans le magazine U'Zoom n°14. Ce court article traite de l'actualité des neuroprothèses visuelles ainsi que de la recherche sur les amélioration possibles de ces implants grâce à la simulation de vision prothétique

Statistical Learning Signals for Complex Visual Images in Macaque Early Visual Cortex

Animals of several species, including primates, learn the statistical regularities of their environment. In particular, they learn the temporal regularities that occur in streams of visual images. Previous human neuroimaging studies reported discrepant effects of such statistical learning, ranging from stronger occipito-temporal activations for sequences in which image order was fixed, compared with sequences of randomly ordered images, to weaker activations for fixed-order sequences compared with sequences that violated the learned order. Several single-unit studies in macaque monkeys reported that after statistical learning of temporal regularities, inferior temporal (IT) neurons show reduced responses to learned fixed-order sequences of visual images compared with random or mispredicted sequences. However, it is unknown how other macaque brain areas respond to such temporal statistical regularities. To address this gap, we exposed rhesus monkeys (Macaca mulatta) to two types of sequences of complex images. The “regular” sequences consisted of a continuous stream of quartets, and within each quartet, the image order was fixed. The quartets themselves were displayed, uninterrupted, in a random order. The same monkeys were exposed to sequences of other images having a pseudorandomized order (“random” sequence). After exposure, both monkeys were scanned with functional MRI (fMRI) using a block design with three conditions: regular sequence, random sequence, and fixation-only blocks. A whole-brain analysis showed a reduced activation in mainly the occipito-temporal cortex for the regular compared to the random sequences. Marked response reductions for the regular sequence were observed in early extrastriate visual cortical areas, including area V2, despite the use of rather complex images of animals. These data suggest that statistical learning signals are already present in early visual areas of monkeys, even for complex visual images. These monkey fMRI data are in line with recent human fMRI studies that showed a reduced activation in early visual areas for predicted compared with mispredicted complex images.status: publishe

Human faces detection and localization with simulated prosthetic vision

International audienceClinical trials reveal that current visual neuroprosthesis are not yet usable. The main reason is the small number of implanted electrodes, leading to a very poor visual resolution. The resolution is especially not sufficient to detect specific objects (faces, signs, etc.) in the surroundings. We used simulated prosthetic vision (SPV) to show that pre-processing of the camera image could restore these functions, even with low- resolution implants. Specifically, we showed that it is possible to quickly detect and localize human faces located nearby. We suggest that high-level processing of the video stream may be included in current visual neuroprosthesis. This would restore many visuomotor behaviors such as grasping, heading, steering, etc

Spatial navigation with a simulated prosthetic vision in a virtual environment

International audienceBlind people experience great difficulties to navigate in complex environment. Micro-navigation problems could be partially solved by learning mobility skills and how to use a white cane or a guide dog, but macro-navigation problems are more difficult to solve despite the variety of existing assistive devices. Most of these devices are based on satellite positioning, which is not available in street canyons and inside buildings. To help restore these navigation functions, missing visual information could be restored though a visual neuroprosthesis. Retinal implants are presently tested in clinical trials and first results show that they can elicit precisely localized visual perceptions (white/yellow dots called phosphenes). Experiments with these early implants are evaluating the visual functions -such as reading- that could be restored with a low number of electrodes. Very few studies are performed on the navigation capabilities that could be restored by these implants, probably for practical as well as safety reasons. Here, we used simulated prosthetic vision (SPV) to investigate the navigation capabilities that could be restored through two different stimulation strategies. The first strategy consist in a reduction of the environment view to match the number of electrodes in the simulated retinal implant (defined as the scoreboard approach). The second strategy is relying on an object recognition algorithm (here simulated) in order to present recognized elements only (defined as the object recognition and localization approach). Six subject participated in the experiment. They were wearing a head mounted display to perceive phosphenes as seen by a retinally implanted blind person. In a virtual indoor environment, the subjects were following a path indicated by short verbal instructions. They were guided by the visual cues produced by the neuroprosthesis and their instruction was to navigate as fast and accurately as possible. The average time to complete the path was nine minutes for the localization approach and six minutes for the scoreboard approach. This difference was only marginally significant as one subject showed an opposite pattern compared to the others. Additional measurements from the experiments demonstrate that the scoreboard approach is more effective than the localization approach to navigate in indoor environments

Spontaneous representation of Vista spaces: similarities and differences between sighted and blind people

International audienceVista space (VS) is a psychological space whose scale is “larger than the body but can be visually apprehended from a single place without appreciable locomotion” [Montello, 1993]. Moreover, VS can combine to represent larger spaces [Meilinger, 2008]. VS are considered as unit elements of mental representations of space and have only been assessed in sighted subjects (not in visually impaired people)