Indoor assistance for visually impaired people using a RGB-D camera

In this paper a navigational aid for visually impaired people is presented. The system uses a RGB-D camera to perceive the environment and implements self-localization, obstacle detection and obstacle classification. The novelty of this work is threefold. First, self-localization is performed by means of a novel camera tracking approach that uses both depth and color information. Second, to provide the user with semantic information, obstacles are classified as walls, doors, steps and a residual class that covers isolated objects and bumpy parts on the floor. Third, in order to guarantee real time performance, the system is accelerated by offloading parallel operations to the GPU. Experiments demonstrate that the whole system is running at 9 Hz

Detección y modelado de escaleras con sensor RGB-D para asistencia personal

La habilidad de avanzar y moverse de manera efectiva por el entorno resulta natural para la mayoría de la gente, pero no resulta fácil de realizar bajo algunas circunstancias, como es el caso de las personas con problemas visuales o cuando nos movemos en entornos especialmente complejos o desconocidos. Lo que pretendemos conseguir a largo plazo es crear un sistema portable de asistencia aumentada para ayudar a quienes se enfrentan a esas circunstancias. Para ello nos podemos ayudar de cámaras, que se integran en el asistente. En este trabajo nos hemos centrado en el módulo de detección, dejando para otros trabajos el resto de módulos, como podría ser la interfaz entre la detección y el usuario. Un sistema de guiado de personas debe mantener al sujeto que lo utiliza apartado de peligros, pero también debería ser capaz de reconocer ciertas características del entorno para interactuar con ellas. En este trabajo resolvemos la detección de uno de los recursos más comunes que una persona puede tener que utilizar a lo largo de su vida diaria: las escaleras. Encontrar escaleras es doblemente beneficioso, puesto que no sólo permite evitar posibles caídas sino que ayuda a indicar al usuario la posibilidad de alcanzar otro piso en el edificio. Para conseguir esto hemos hecho uso de un sensor RGB-D, que irá situado en el pecho del sujeto, y que permite captar de manera simultánea y sincronizada información de color y profundidad de la escena. El algoritmo usa de manera ventajosa la captación de profundidad para encontrar el suelo y así orientar la escena de la manera que aparece ante el usuario. Posteriormente hay un proceso de segmentación y clasificación de la escena de la que obtenemos aquellos segmentos que se corresponden con "suelo", "paredes", "planos horizontales" y una clase residual, de la que todos los miembros son considerados "obstáculos". A continuación, el algoritmo de detección de escaleras determina si los planos horizontales son escalones que forman una escalera y los ordena jerárquicamente. En el caso de que se haya encontrado una escalera, el algoritmo de modelado nos proporciona toda la información de utilidad para el usuario: cómo esta posicionada con respecto a él, cuántos escalones se ven y cuáles son sus medidas aproximadas. En definitiva, lo que se presenta en este trabajo es un nuevo algoritmo de ayuda a la navegación humana en entornos de interior cuya mayor contribución es un algoritmo de detección y modelado de escaleras que determina toda la información de mayor relevancia para el sujeto. Se han realizado experimentos con grabaciones de vídeo en distintos entornos, consiguiendo buenos resultados tanto en precisión como en tiempo de respuesta. Además se ha realizado una comparación de nuestros resultados con los extraídos de otras publicaciones, demostrando que no sólo se consigue una eciencia que iguala al estado de la materia sino que también se aportan una serie de mejoras. Especialmente, nuestro algoritmo es el primero capaz de obtener las dimensiones de las escaleras incluso con obstáculos obstruyendo parcialmente la vista, como puede ser gente subiendo o bajando. Como resultado de este trabajo se ha elaborado una publicación aceptada en el Second Workshop on Assitive Computer Vision and Robotics del ECCV, cuya presentación tiene lugar el 12 de Septiembre de 2014 en Zúrich, Suiza

Unifying terrain awareness for the visually impaired through real-time semantic segmentation.

Navigational assistance aims to help visually-impaired people to ambulate the environment safely and independently. This topic becomes challenging as it requires detecting a wide variety of scenes to provide higher level assistive awareness. Vision-based technologies with monocular detectors or depth sensors have sprung up within several years of research. These separate approaches have achieved remarkable results with relatively low processing time and have improved the mobility of impaired people to a large extent. However, running all detectors jointly increases the latency and burdens the computational resources. In this paper, we put forward seizing pixel-wise semantic segmentation to cover navigation-related perception needs in a unified way. This is critical not only for the terrain awareness regarding traversable areas, sidewalks, stairs and water hazards, but also for the avoidance of short-range obstacles, fast-approaching pedestrians and vehicles. The core of our unification proposal is a deep architecture, aimed at attaining efficient semantic understanding. We have integrated the approach in a wearable navigation system by incorporating robust depth segmentation. A comprehensive set of experiments prove the qualified accuracy over state-of-the-art methods while maintaining real-time speed. We also present a closed-loop field test involving real visually-impaired users, demonstrating the effectivity and versatility of the assistive framework

Assistive Systems for the Visually Impaired Based on Image Processing

In this chapter, we proposed three assistive systems for visually impaired individuals based on image processing: Kinect cane system, Kinect goggle system, and light checking system. The Kinect cane system can detect obstacles of various sizes and also recognize objects such as seats. A visually impaired user is notified of the results of detection and recognition by means of vibration feedback. The Kinect goggle system is another type of wearable system, and can make user’s hands free. The light checking system is implemented as an application for a smartphone, and can tell a visually impaired user the ON/OFF states of room lights and elevator button lights. The experimental results demonstrate that the proposed systems are effective in helping visually impaired individuals in everyday environments

Artificial Vision for Humans

According to the World Health Organization and the The International Agency for the Prevention of Blindness, 253 million people are blind or vision impaired (2015). One hundred seventeen million have moderate or severe distance vision impairment, and 36 million are blind. Over the years, portable navigation systems have been developed to help visually impaired people to navigate. The first primary mobile navigation system was the white-cane. This is still the most common mobile system used by visually impaired people since it is cheap and reliable. The disadvantage is it just provides obstacle information at the feet-level, and it isn’t hands-free. Initially, the portable systems being developed were focused in obstacle avoiding, but these days they are not limited to that. With the advances of computer vision and artificial intelligence, these systems aren’t restricted to obstacle avoidance anymore and are capable of describing the world, text recognition and even face recognition. The most notable portable navigation systems of this type nowadays are the Brain Port Pro Vision and the Orcam MyEye system and both of them are hands-free systems. These systems can improve visually impaired people’s life quality, but they are not accessible by everyone. About 89% of vision impaired people live in low and middleincome countries, and the most of the 11% that don’t live in these countries don’t have access to a portable navigation system like the previous ones. The goal of this project was to develop a portable navigation system that uses computer vision and image processing algorithms to help visually impaired people to navigate. This compact system has two modes, one for solving specific visually impaired people’s problems and the other for generic obstacle avoidance. It was also a goal of this project to continuously improve this system based on the feedback of real users, but due to the pandemic of SARS-CoV-2 Virus I couldn’t achieve this objective of this work. The specific problem that was more studied in this work was the Door Problem. This is, according to visually impaired and blind people, a typical problem that usually occurs in indoor environments shared with other people. Another visually impaired people’s problem that was also studied was the Stairs Problem but due to its rarity, I focused more on the previous one. By doing an extensive overview of the methods that the newest navigation portable systems were using, I found that they were using computer vision and image processing algorithms to provide descriptive information about the world. I also overview Ricardo Domingos’s work about solving the Door Problem in a desktop computer, that served as a baseline for this work. I built two portable navigation systems to help visually impaired people to navigate. One is based on the Raspberry Pi 3 B+ system and the other uses the Nvidia Jetson Nano. The first system was used for collecting data, and the other was the final prototype system that I propose in this work. This system is hands-free, it doesn’t overheat, is light and can be carried in a simple backpack or suitcase. This prototype system has two modes, one that works as a car parking sensor system which is used for obstacle avoidance and the other is used to solve the Door Problem by providing information about the state of the door (open, semi-open or closed door). So, in this document, I proposed three different methods to solve the Door Problem, that use computer vision algorithms and work in the prototype system. The first one is based on 2D semantic segmentation and 3D object classification, it can detect the door and classify it. This method works at 3 FPS. The second method is a small version of the previous one. It is based on 3D object classification, but it works at 5 to 6 FPS. The latter method is based on 2d semantic segmentation, object detection and 2d image classification. It can detect the door, and classify it. This method works at 1 to 2 FPS, but it is the best in terms of door classification accuracy. I also propose a Door dataset and a Stairs dataset that has 3D information and 2d information. This dataset was used to train the computer vision algorithms used in the proposed methods to solve the Door Problem. This dataset is freely available online for scientific proposes along with the information of the train, validation, and test sets. All methods work in the final prototype portable system in real-time. The developed system it’s a cheaper approach for the visually impaired people that cannot afford the most current portable navigation systems. The contributions of this work are, the two develop mobile navigation systems, the three methods produce for solving the Door Problem and the dataset built for training the computer vision algorithms. This work can also be scaled to other areas. The methods developed for door detection and classification can be used by a portable robot that works in indoor environments. The dataset can be used to compare results and to train other neural network models for different tasks and systems.De acordo com a Organização Mundial da Saúde e A Agência Internacional para a Prevenção da Cegueira 253 milhões de pessoas são cegas ou têm problemas de visão (2015). 117 milhões têm uma deficiência visual moderada ou grave à distância e 36 milhões são totalmente cegas. Ao longo dos anos, sistemas de navegação portáteis foram desenvolvidos para ajudar pessoas com deficiência visual a navegar no mundo. O sistema de navegação portátil que mais se destacou foi a white-cane. Este ainda é o sistema portátil mais usado por pessoas com deficiência visual, uma vez que é bastante acessivel monetáriamente e é sólido. A desvantagem é que fornece apenas informações sobre obstáculos ao nível dos pés e também não é um sistema hands-free. Inicialmente, os sistemas portáteis que estavam a ser desenvolvidos focavam-se em ajudar a evitar obstáculos, mas atualmente já não estão limitados a isso. Com o avanço da visão computacional e da inteligência artificial, estes sistemas não são mais restritos à prevenção de obstáculos e são capazes de descrever o mundo, fazer reconhecimento de texto e até mesmo reconhecimento facial. Atualmente, os sistemas de navegação portáteis mais notáveis deste tipo são o Brain Port Pro Vision e o Orcam MyEye system. Ambos são sistemas hands-free. Estes sistemas podem realmente melhorar a qualidade de vida das pessoas com deficiência visual, mas não são acessíveis para todos. Cerca de 89% das pessoas com deficiência visual vivem em países de baixo e médio rendimento. Mesmo a maior parte dos 11% que não vive nestes países não tem acesso a estes sistema de navegação portátil mais recentes. O objetivo desta dissertação é desenvolver um sistema de navegação portátil que através de algoritmos de visão computacional e processamento de imagem possa ajudar pessoas com deficiência visual a navegar no mundo. Este sistema portátil possui 2 modos, um para solucionar problemas específicos de pessoas com deficiência visual e outro genérico para evitar colisões com obstáculos. Também era um objetivo deste projeto melhorar continuamente este sistema com base em feedback de utilizadores reais, mas devido à pandemia do COVID-19, não consegui entregar o meu sistema a nenhum utilizador alvo. O problema específico mais trabalhado nesta dissertação foi o Problema da Porta, ou em inglês, The Door Problem. Este é, de acordo com as pessoas com deficiência visual e cegas, um problema frequente que geralmente ocorre em ambientes internos onde vivem outras pessoas para além do cego. Outro problema das pessoas com deficiência visual também abordado neste trabalho foi o Problema nas escadas, mas devido à raridade da sua ocurrência, foquei-me mais em resolver o problema anterior. Ao fazer uma extensa revisão dos métodos que os sistemas portáteis de navegação mais recentes usam, descobri que os mesmos baseiam-se em algoritmos de visão computacional e processamento de imagem para fornecer ao utilizador informações descritivas acerca do mundo. Também estudei o trabalho do Ricardo Domingos, aluno de licenciatura da UBI, sobre, como resolver o Problema da Porta num computador desktop. Este trabalho contribuiu como uma linha de base para a realização desta dissertação. Nesta dissertação desenvolvi dois sistemas portáteis de navegação para ajudar pessoas com deficiência visual a navegar. Um é baseado no sistema Raspberry Pi 3 B + e o outro usa o Jetson Nano da Nvidia. O primeiro sistema foi usado para colectar dados e o outro é o sistema protótipo final que proponho neste trabalho. Este sistema é hands-free, não sobreaquece, é leve e pode ser transportado numa simples mochila ou mala. Este protótipo tem dois modos, um que funciona como um sistema de sensor de estacionamento, cujo objectivo é evitar obstáculos e o outro modo foi desenvolvido para resolver o Problema da Porta, fornecendo ao utilizador informações sobre o estado da porta (aberta, semi-aberta ou fechada). Neste documento, propus três métodos diferentes para resolver o Problema da Porta. Estes métodos usam algoritmos de visão computacional e funcionam no protótipo. O primeiro é baseado em segmentação semântica 2D e classificação de objetos 3D, e consegue detectar a porta e classificá-la. Este método funciona a 3 FPS. O segundo método é uma versão reduzida do anterior. É baseado somente na classificação de objetos 3D e consegue funcionar entre 5 a 6 FPS. O último método é baseado em segmentação semântica, detecção de objeto 2D e classificação de imagem 2D. Este método consegue detectar a porta e classificá-la. Funciona entre 1 a 2 FPS, mas é o melhor método em termos de precisão da classificação da porta. Também proponho nesta dissertação uma base de dados de Portas e Escadas que possui informações 3D e 2D. Este conjunto de dados foi usado para treinar os algoritmos de visão computacional usados nos métodos anteriores propostos para resolver o Problema da Porta. Este conjunto de dados está disponível gratuitamente online, com as informações dos conjuntos de treino, teste e validação para fins científicos. Todos os métodos funcionam no protótipo final do sistema portátil em tempo real. O sistema desenvolvido é uma abordagem mais barata para as pessoas com deficiência visual que não têm condições para adquirir os sistemas de navegação portáteis mais atuais. As contribuições deste trabalho são: os dois sistemas de navegação portáteis desenvolvidos, os três métodos desenvolvidos para resolver o Problema da Porta e o conjunto de dados criado para o treino dos algoritmos de visão computacional. Este trabalho também pode ser escalado para outras áreas. Os métodos desenvolvidos para detecção e classificação de portas podem ser usados por um robô portátil que trabalha em ambientes internos. O conjunto de dados pode ser usado para comparar resultados e treinar outros modelos de redes neuronais para outras tarefas e sistemas

Ambient awareness on a sidewalk for visually impaired

Safe navigation by avoiding obstacles is vital for visually impaired while walking on a sidewalk. There are both static and dynamic obstacles to avoid. Detection, monitoring, and estimating the threat posed by obstacles remain challenging. Also, it is imperative that the design of the system must be energy efficient and low cost. An additional challenge in designing an interactive system capable of providing useful feedback is to minimize users\u27 cognitive load. We started the development of the prototype system through classifying obstacles and providing feedback. To overcome the limitations of the classification-based system, we adopted the image annotation framework in describing the scene, which may or may not include the obstacles. Both solutions partially solved the safe navigation but were found to be ineffective in providing meaningful feedback and issues with the diurnal cycle. To address such limitations, we introduce the notion of free-path and threat level imposed by the static or dynamic obstacles. This solution reduced the overhead of obstacle detection and helped in designing meaningful feedback. Affording users a natural conversation through an interactive dialog enabled interface was found to promote safer navigation. In this dissertation, we modeled the free-path and threat level using a reinforcement learning (RL) framework.We built the RL model in the Gazebo robot simulation environment and implanted that in a handheld device. A natural conversation model was created using data collected through a Wizard of OZ approach. The RL model and conversational agent model together resulted in the handheld assistive device called Augmented Guiding Torch (AGT). The AGT provides improved mobility over white cane by providing ambient awareness through natural conversation. It can inform the visually impaired about the obstacles which are helpful to be warned about ahead of time, e.g., construction site, scooter, crowd, car, bike, or big hole. Using the RL framework, the robot avoided over 95% obstacles. The visually impaired avoided over 85% obstacles with the help of AGT on a 500 feet U-shape sidewalk. Findings of this dissertation support the effectiveness of augmented guiding through RL for navigation and obstacle avoidance of visually impaired users

Comparative analysis of computer-vision and BLE technology based indoor navigation systems for people with visual impairments

Background: Considerable number of indoor navigation systems has been proposed to augment people with visual impairments (VI) about their surroundings. These systems leverage several technologies, such as computer-vision, Bluetooth low energy (BLE), and other techniques to estimate the position of a user in indoor areas. Computer-vision based systems use several techniques including matching pictures, classifying captured images, recognizing visual objects or visual markers. BLE based system utilizes BLE beacons attached in the indoor areas as the source of the radio frequency signal to localize the position of the user. Methods: In this paper, we examine the performance and usability of two computer-vision based systems and BLE-based system. The first system is computer-vision based system, called CamNav that uses a trained deep learning model to recognize locations, and the second system, called QRNav, that utilizes visual markers (QR codes) to determine locations. A field test with 10 blindfolded users has been conducted while using the three navigation systems. Results: The obtained results from navigation experiment and feedback from blindfolded users show that QRNav and CamNav system is more efficient than BLE based system in terms of accuracy and usability. The error occurred in BLE based application is more than 30% compared to computer vision based systems including CamNav and QRNav. Conclusions: The developed navigation systems are able to provide reliable assistance for the participants during real time experiments. Some of the participants took minimal external assistance while moving through the junctions in the corridor areas. Computer vision technology demonstrated its superiority over BLE technology in assistive systems for people with visual impairments. - 2019 The Author(s).Scopu