Simulador de prótesis visual en entornos 360º con gafas de realidad virtual

El sentido del que más dependen las personas es la visión, la mayor parte de la información recibida es a través de éste sentido. Es muy importante en la vida cotidiana, se usa constantemente hasta en las tareas más sencillas, aquellas como reconocer objetos, personas, etc. Sin embargo, algunas patologías o enfermedades degenerativas pueden causar la ceguera total o parcial. Como alternativa para paliar los efectos de la ceguera, existen diferentes tipos de prótesis visuales que se pueden situar en la retina, la corteza visual o el nervio óptico en función del problema que cause la ceguera. Una de las posibilidades es que estas prótesis tengan una microcámara que capta la información visual que posteriormente es convertida a estimulaciones eléctricas lo que permite ver puntos de luz denominados fosfenos. Desgraciadamente, el campo de visión actual de estos dispositivos es en torno a los 20º por lo que se están investigando diferentes representaciones de mapas de fosfenos para mejorar la interacción de los pacientes con el entorno. En este proyecto se ha desarrollado un simulador de visión fosfénica que permite, mediante las gafas de realidad virtual Oculus Rift DK2, mostrar un entorno virtual de 360º en tiempo real a partir de imágenes panorámicas. Este simulador permite introducir dos tipos de representaciones de mapas de fosfenos, el método Downsampling y el método SIE-OMS. El primer método reduce la resolución de color y espacial de la imagen panorámica y la transforma a un mapa de fosfenos mientras que el segundo realiza una extracción de objetos mediante un algoritmo de aprendizaje automático y lo combina con el layout de la imagen. El código se ha implementado en leguaje C++, con la propia interfaz de programación de aplicaciones (API) de Oculus y las librerías OpenCV para el manejo de imágenes. Ha sido necesario realizar un cursillo previo para aprender a manejar las librerías. Los resultados obtenidos han sido bastante satisfactorios cumpliendo todos los objetivos planteados. El objetivo principal era crear el simulador de prótesis visual que pueda ser empleado para el avance de la investigación de este campo.<br /

Creación de un entorno visual de visión protésica

Búsqueda y análisis de alternativas y desarrollo de una solución para la configuración de unas Gafas de VR para simular, de forma portable e inmersiva, el funcionamiento de la Visión Protésica mediante un implante retinal.<br /

Sistema de realidad virtual para exploración 3D con visión protésica simulada

Las personas dependen de los sentidos para navegar por el entorno e interactuar con él y, sin duda, el sentido en el que más se confía es la visión, ya que la mayor parte de la información recibida es a través de él. Sin embargo, existe un gran número de personas privadas de este sentido, ya sea de nacimiento o por alguna patología o enfermedad degenerativa que pueden llegar a causar ceguera total o parcial. Las prótesis visuales tratan de mejorar la calidad de vida de estas personas. Existen diferentes tipos de prótesis que se pueden situar en la retina, la corteza visual o el nervio óptico en función del problema que cause la ceguera. La más usada mundialmente es el Argus II que consta de una microcámara que capta la información visual que posteriormente es convertida a estimulaciones eléctricas lo que permite ver puntos de luz denominados fosfenos. Desgraciadamente, estos dispositivos poseen una resolución muy reducida y su campo de visión muy limitado, en torno a los 20º, por lo que se están investigando diferentes representaciones de mapas de fosfenos para mostrar más información del entorno con dichas limitaciones y mejorar así la interacción de los pacientes con el entorno.En este proyecto se ha desarrollado un simulador de visión fosfénica que permite, mediante las gafas de realidad virtual Oculus Rift DK2 conectadas desde un cliente de realidad virtual con visión protésica, y el simulador Gazebo ejecutado desde otro servidor Ubuntu en remoto, mostrar un entorno virtual en tiempo real suficientemente realista, por el cual se puede navegar libremente y explorar por completo moviendo la cabeza. Además, este simulador permite visualizar diferentes tipos de representaciones de mapas de fosfenos para poder realizar experimentos en un futuro y se ha introducido una red neuronal pre-entrenada para poder detectar diferentes objetos de la escena y resaltarlos para facilitar el reconocimiento de los mismos.El código se ha implementado en leguaje C++ y python con la propia interfaz de programación de aplicaciones (API) de Oculus, las librerías OpenCV para el manejo de imágenes, el sistema operativo ROS y el simulador Gazebo.<br /