Sistema de realidad virtual para exploración 3D con visión protésica simulada

Recent advances in visual prostheses have demonstrated that it is possible to restore part of the vision in certain cases of visual impairment, yet with limitations such as low resolution or a reduced field of view. To experiment more easily, visual prosthesis simulators (VPS) are used. An immersive, flexible and realistic SPV is presented using a virtual reality system, so that environments created by a computer can be explored by integrating the real movement of the user's head in the simulation thanks to the virtual reality goggles Oculus Rift DK2 and allowing a movement through the scenario using a controller or joystick in order to explore the environment as completely and realistically as possible.Los recientes avances en las prótesis visuales han demostrado que es posible restaurar parte de la visión en determinados casos de deficiencia visual, aunque con limitaciones como la baja resolución o un campo de visión reducido. Para experimentar más fácilmente se utilizan los simuladores de prótesis visuales (SPV). Se presenta un SPV inmersivo, flexible y realista mediante un sistema de realidad virtual, de forma que se puedan explorar entornos creados por un ordenador integrando el movimiento real de la cabeza del usuario en la simulación gracias a las gafas de realidad virtual Oculus Rift DK2 y permitiendo un desplazamiento por el escenario mediante un mando o joystick para poder explorar el entorno de la forma más completa y realista posible

RASPV: A robotics framework for augmented simulated prosthetic vision

One of the main challenges of visual prostheses is to augment the perceived information to improve the experience of its wearers. Given the limited access to implanted patients, in order to facilitate the experimentation of new techniques, this is often evaluated via Simulated Prosthetic Vision (SPV) with sighted people. In this work, we introduce a novel SPV framework and implementation that presents major advantages with respect to previous approaches. First, it is integrated into a robotics framework, which allows us to benefit from a wide range of methods and algorithms from the field (e.g. object recognition, obstacle avoidance, autonomous navigation, deep learning). Second, we go beyond traditional image processing with 3D point clouds processing using an RGB-D camera, allowing us to robustly detect the floor, obstacles and the structure of the scene. Third, it works either with a real camera or in a virtual environment, which gives us endless possibilities for immersive experimentation through a head-mounted display. Fourth, we incorporate a validated temporal phosphene model that replicates time effects into the generation of visual stimuli. Finally, we have proposed, developed and tested several applications within this framework, such as avoiding moving obstacles, providing a general understanding of the scene, staircase detection, helping the subject to navigate an unfamiliar space, and object and person detection. We provide experimental results in real and virtual environments. The code is publicly available at https://www.github.com/aperezyus/RASP

Sistema de realidad virtual para exploración 3D con visión protésica simulada

Las personas dependen de los sentidos para navegar por el entorno e interactuar con él y, sin duda, el sentido en el que más se confía es la visión, ya que la mayor parte de la información recibida es a través de él. Sin embargo, existe un gran número de personas privadas de este sentido, ya sea de nacimiento o por alguna patología o enfermedad degenerativa que pueden llegar a causar ceguera total o parcial. Las prótesis visuales tratan de mejorar la calidad de vida de estas personas. Existen diferentes tipos de prótesis que se pueden situar en la retina, la corteza visual o el nervio óptico en función del problema que cause la ceguera. La más usada mundialmente es el Argus II que consta de una microcámara que capta la información visual que posteriormente es convertida a estimulaciones eléctricas lo que permite ver puntos de luz denominados fosfenos. Desgraciadamente, estos dispositivos poseen una resolución muy reducida y su campo de visión muy limitado, en torno a los 20º, por lo que se están investigando diferentes representaciones de mapas de fosfenos para mostrar más información del entorno con dichas limitaciones y mejorar así la interacción de los pacientes con el entorno.En este proyecto se ha desarrollado un simulador de visión fosfénica que permite, mediante las gafas de realidad virtual Oculus Rift DK2 conectadas desde un cliente de realidad virtual con visión protésica, y el simulador Gazebo ejecutado desde otro servidor Ubuntu en remoto, mostrar un entorno virtual en tiempo real suficientemente realista, por el cual se puede navegar libremente y explorar por completo moviendo la cabeza. Además, este simulador permite visualizar diferentes tipos de representaciones de mapas de fosfenos para poder realizar experimentos en un futuro y se ha introducido una red neuronal pre-entrenada para poder detectar diferentes objetos de la escena y resaltarlos para facilitar el reconocimiento de los mismos.El código se ha implementado en leguaje C++ y python con la propia interfaz de programación de aplicaciones (API) de Oculus, las librerías OpenCV para el manejo de imágenes, el sistema operativo ROS y el simulador Gazebo.<br /