Talk your way round: a speech interface to a virtual museum

Purpose: To explore the development of a speech interface to a Virtual World and to consider its relevance for disabled users. Method: The system was developed using mainly software that is available at minimal cost. How well the system functioned was assessed by measuring the number of times a group of users with a range of voices had to repeat commands in order for them to be successfully recognised. During an initial session, these users were asked to use the system with no instruction to see how easy this was. Results: Most of the spoken commands had to be repeated less than twice on average for successful recognition. For a set of ‘teleportation’ commands this figure was higher (2.4), but it was clear why this was so and could easily be rectified. The system was easy to use without instruction. Comments on the system were generally positive. Conclusions: While the system has some limitations, a Virtual World with a reasonably reliable speech interface has been developed almost entirely from software which is available at minimal cost. Improvements and further testing are considered. Such a system would clearly improve access to Virtual Reality technologies for those without the skills or physical ability to use a standard keyboard and mouse. It is an example of both Assistive Technology and Universal Design

Multimodal virtual reality versus printed medium in visualization for blind people

In this paper, we describe a study comparing the strengths of a multimodal Virtual Reality (VR) interface against traditional tactile diagrams in conveying information to visually impaired and blind people. The multimodal VR interface consists of a force feedback device (SensAble PHANTOM), synthesized speech and non-speech audio. Potential advantages of the VR technology are well known however its real usability in comparison with the conventional paper-based medium is seldom investigated. We have addressed this issue in our evaluation. The experimental results show benefits from using the multimodal approach in terms of more accurate information about the graphs obtained by users

Artificial Vision for Humans

According to the World Health Organization and the The International Agency for the Prevention of Blindness, 253 million people are blind or vision impaired (2015). One hundred seventeen million have moderate or severe distance vision impairment, and 36 million are blind. Over the years, portable navigation systems have been developed to help visually impaired people to navigate. The first primary mobile navigation system was the white-cane. This is still the most common mobile system used by visually impaired people since it is cheap and reliable. The disadvantage is it just provides obstacle information at the feet-level, and it isn’t hands-free. Initially, the portable systems being developed were focused in obstacle avoiding, but these days they are not limited to that. With the advances of computer vision and artificial intelligence, these systems aren’t restricted to obstacle avoidance anymore and are capable of describing the world, text recognition and even face recognition. The most notable portable navigation systems of this type nowadays are the Brain Port Pro Vision and the Orcam MyEye system and both of them are hands-free systems. These systems can improve visually impaired people’s life quality, but they are not accessible by everyone. About 89% of vision impaired people live in low and middleincome countries, and the most of the 11% that don’t live in these countries don’t have access to a portable navigation system like the previous ones. The goal of this project was to develop a portable navigation system that uses computer vision and image processing algorithms to help visually impaired people to navigate. This compact system has two modes, one for solving specific visually impaired people’s problems and the other for generic obstacle avoidance. It was also a goal of this project to continuously improve this system based on the feedback of real users, but due to the pandemic of SARS-CoV-2 Virus I couldn’t achieve this objective of this work. The specific problem that was more studied in this work was the Door Problem. This is, according to visually impaired and blind people, a typical problem that usually occurs in indoor environments shared with other people. Another visually impaired people’s problem that was also studied was the Stairs Problem but due to its rarity, I focused more on the previous one. By doing an extensive overview of the methods that the newest navigation portable systems were using, I found that they were using computer vision and image processing algorithms to provide descriptive information about the world. I also overview Ricardo Domingos’s work about solving the Door Problem in a desktop computer, that served as a baseline for this work. I built two portable navigation systems to help visually impaired people to navigate. One is based on the Raspberry Pi 3 B+ system and the other uses the Nvidia Jetson Nano. The first system was used for collecting data, and the other was the final prototype system that I propose in this work. This system is hands-free, it doesn’t overheat, is light and can be carried in a simple backpack or suitcase. This prototype system has two modes, one that works as a car parking sensor system which is used for obstacle avoidance and the other is used to solve the Door Problem by providing information about the state of the door (open, semi-open or closed door). So, in this document, I proposed three different methods to solve the Door Problem, that use computer vision algorithms and work in the prototype system. The first one is based on 2D semantic segmentation and 3D object classification, it can detect the door and classify it. This method works at 3 FPS. The second method is a small version of the previous one. It is based on 3D object classification, but it works at 5 to 6 FPS. The latter method is based on 2d semantic segmentation, object detection and 2d image classification. It can detect the door, and classify it. This method works at 1 to 2 FPS, but it is the best in terms of door classification accuracy. I also propose a Door dataset and a Stairs dataset that has 3D information and 2d information. This dataset was used to train the computer vision algorithms used in the proposed methods to solve the Door Problem. This dataset is freely available online for scientific proposes along with the information of the train, validation, and test sets. All methods work in the final prototype portable system in real-time. The developed system it’s a cheaper approach for the visually impaired people that cannot afford the most current portable navigation systems. The contributions of this work are, the two develop mobile navigation systems, the three methods produce for solving the Door Problem and the dataset built for training the computer vision algorithms. This work can also be scaled to other areas. The methods developed for door detection and classification can be used by a portable robot that works in indoor environments. The dataset can be used to compare results and to train other neural network models for different tasks and systems.De acordo com a Organização Mundial da Saúde e A Agência Internacional para a Prevenção da Cegueira 253 milhões de pessoas são cegas ou têm problemas de visão (2015). 117 milhões têm uma deficiência visual moderada ou grave à distância e 36 milhões são totalmente cegas. Ao longo dos anos, sistemas de navegação portáteis foram desenvolvidos para ajudar pessoas com deficiência visual a navegar no mundo. O sistema de navegação portátil que mais se destacou foi a white-cane. Este ainda é o sistema portátil mais usado por pessoas com deficiência visual, uma vez que é bastante acessivel monetáriamente e é sólido. A desvantagem é que fornece apenas informações sobre obstáculos ao nível dos pés e também não é um sistema hands-free. Inicialmente, os sistemas portáteis que estavam a ser desenvolvidos focavam-se em ajudar a evitar obstáculos, mas atualmente já não estão limitados a isso. Com o avanço da visão computacional e da inteligência artificial, estes sistemas não são mais restritos à prevenção de obstáculos e são capazes de descrever o mundo, fazer reconhecimento de texto e até mesmo reconhecimento facial. Atualmente, os sistemas de navegação portáteis mais notáveis deste tipo são o Brain Port Pro Vision e o Orcam MyEye system. Ambos são sistemas hands-free. Estes sistemas podem realmente melhorar a qualidade de vida das pessoas com deficiência visual, mas não são acessíveis para todos. Cerca de 89% das pessoas com deficiência visual vivem em países de baixo e médio rendimento. Mesmo a maior parte dos 11% que não vive nestes países não tem acesso a estes sistema de navegação portátil mais recentes. O objetivo desta dissertação é desenvolver um sistema de navegação portátil que através de algoritmos de visão computacional e processamento de imagem possa ajudar pessoas com deficiência visual a navegar no mundo. Este sistema portátil possui 2 modos, um para solucionar problemas específicos de pessoas com deficiência visual e outro genérico para evitar colisões com obstáculos. Também era um objetivo deste projeto melhorar continuamente este sistema com base em feedback de utilizadores reais, mas devido à pandemia do COVID-19, não consegui entregar o meu sistema a nenhum utilizador alvo. O problema específico mais trabalhado nesta dissertação foi o Problema da Porta, ou em inglês, The Door Problem. Este é, de acordo com as pessoas com deficiência visual e cegas, um problema frequente que geralmente ocorre em ambientes internos onde vivem outras pessoas para além do cego. Outro problema das pessoas com deficiência visual também abordado neste trabalho foi o Problema nas escadas, mas devido à raridade da sua ocurrência, foquei-me mais em resolver o problema anterior. Ao fazer uma extensa revisão dos métodos que os sistemas portáteis de navegação mais recentes usam, descobri que os mesmos baseiam-se em algoritmos de visão computacional e processamento de imagem para fornecer ao utilizador informações descritivas acerca do mundo. Também estudei o trabalho do Ricardo Domingos, aluno de licenciatura da UBI, sobre, como resolver o Problema da Porta num computador desktop. Este trabalho contribuiu como uma linha de base para a realização desta dissertação. Nesta dissertação desenvolvi dois sistemas portáteis de navegação para ajudar pessoas com deficiência visual a navegar. Um é baseado no sistema Raspberry Pi 3 B + e o outro usa o Jetson Nano da Nvidia. O primeiro sistema foi usado para colectar dados e o outro é o sistema protótipo final que proponho neste trabalho. Este sistema é hands-free, não sobreaquece, é leve e pode ser transportado numa simples mochila ou mala. Este protótipo tem dois modos, um que funciona como um sistema de sensor de estacionamento, cujo objectivo é evitar obstáculos e o outro modo foi desenvolvido para resolver o Problema da Porta, fornecendo ao utilizador informações sobre o estado da porta (aberta, semi-aberta ou fechada). Neste documento, propus três métodos diferentes para resolver o Problema da Porta. Estes métodos usam algoritmos de visão computacional e funcionam no protótipo. O primeiro é baseado em segmentação semântica 2D e classificação de objetos 3D, e consegue detectar a porta e classificá-la. Este método funciona a 3 FPS. O segundo método é uma versão reduzida do anterior. É baseado somente na classificação de objetos 3D e consegue funcionar entre 5 a 6 FPS. O último método é baseado em segmentação semântica, detecção de objeto 2D e classificação de imagem 2D. Este método consegue detectar a porta e classificá-la. Funciona entre 1 a 2 FPS, mas é o melhor método em termos de precisão da classificação da porta. Também proponho nesta dissertação uma base de dados de Portas e Escadas que possui informações 3D e 2D. Este conjunto de dados foi usado para treinar os algoritmos de visão computacional usados nos métodos anteriores propostos para resolver o Problema da Porta. Este conjunto de dados está disponível gratuitamente online, com as informações dos conjuntos de treino, teste e validação para fins científicos. Todos os métodos funcionam no protótipo final do sistema portátil em tempo real. O sistema desenvolvido é uma abordagem mais barata para as pessoas com deficiência visual que não têm condições para adquirir os sistemas de navegação portáteis mais atuais. As contribuições deste trabalho são: os dois sistemas de navegação portáteis desenvolvidos, os três métodos desenvolvidos para resolver o Problema da Porta e o conjunto de dados criado para o treino dos algoritmos de visão computacional. Este trabalho também pode ser escalado para outras áreas. Os métodos desenvolvidos para detecção e classificação de portas podem ser usados por um robô portátil que trabalha em ambientes internos. O conjunto de dados pode ser usado para comparar resultados e treinar outros modelos de redes neuronais para outras tarefas e sistemas

Web-based haptic applications for blind people to create virtual graphs

Haptic technology has great potentials in many applications. This paper introduces our work on delivery haptic information via the Web. A multimodal tool has been developed to allow blind people to create virtual graphs independently. Multimodal interactions in the process of graph creation and exploration are provided by using a low-cost haptic device, the Logitech WingMan Force Feedback Mouse, and Web audio. The Web-based tool also provides blind people with the convenience of receiving information at home. In this paper, we present the development of the tool and evaluation results. Discussions on the issues related to the design of similar Web-based haptic applications are also given