Exploring the Use of Wearables to develop Assistive Technology for Visually Impaired People

This thesis explores the usage of two prominent wearable devices to develop assistive technology for users who are visually impaired. Specifically, the work in this thesis aims at improving the quality of life of users who are visually impaired by improving their mobility and ability to socially interact with others. We explore the use of a smart watch for creating low-cost spatial haptic applications. This app explores the use of haptic feedback provided using a smartwatch and smartphone to provide navigation instructions that let visually impaired people safely traverse a large open space. This spatial feedback guides them to walk on a straight path from source to destination by avoiding veering. Exploring the paired interaction between a Smartphone and a Smartwatch, helped to overcome the limitation that smart devices have only single haptic actuator.We explore the use of a head-mounted display to enhance social interaction by helping people with visual impairments align their head towards a conversation partner as well as maintain personal space during a conversation. Audio feedback is provided to the users guiding them to achieve effective face-to-face communication. A qualitative study of this method shows the effectiveness of the application and explains how it helps visually impaired people to perceive non-verbal cues and feel more engaged and assertive in social interactions

Gapeau: Enhancing the Sense of Distance to Others with a Head-Mounted Sensor

Human perception lacks the capabilities to accurately assess distance. The recent Covid-19 pandemic outbreak rendered this ability particularly important. Augmenting our sense of distance can help maintain safe separation from others when required. To explore how systems can help users maintain physical distance, we designed, implemented and evaluated Gapeau - a head-mounted system for augmenting the sense of distance. Our system uses proximity sensors and thermal sensing to detect and measure the distance to other people. We conducted a validation protocol, an experiment, in which we compared different feedback modalities, and an in-the-wild study to evaluate Gapeau\u27s performance and suitability for use in social contexts. We found that our system enabled users to more accurately determine whether they were maintaining a safe distance from others. Vibration and auditory feedback were found most effective and usable. Gapeau was perceived as socially acceptable. Our work contributes insights for augmented sensing systems with social relevance

3D assistive technologies and advantageous themes for collaboration and blended learning of users with disabilities

The significance of newly emergent 3D virtual worlds to different genres of users is currently a controversial subject in deliberation. Users range from education pursuers, business contenders, and social seekers to technology enhancers and many more who comprise both users with normal abilities in physical life and those with different disabilities. This study aims to derive and critically analyze, using grounded theory, advantageous and disadvantageous themes and their sub concepts of providing elearning through 3D Virtual Learning Environments (VLEs), like Second Life, to disabled users; hence providing evidence that 3DVLEs not only support traditional physical learning, but also offer e-learning opportunities unavailable through 2D VLEs (like moodle, blackboard), and offer learning opportunities unavailable through traditional physical education. Furthermore, to achieve full potential from the above mentioned derived concepts, architectural and accessibility design requirements of 3D educational facilities proposed by different categories of disabled students to accommodate for their needs, are demonstrated

Wayfinding and Navigation for People with Disabilities Using Social Navigation Networks

To achieve safe and independent mobility, people usually depend on published information, prior experience, the knowledge of others, and/or technology to navigate unfamiliar outdoor and indoor environments. Today, due to advances in various technologies, wayfinding and navigation systems and services are commonplace and are accessible on desktop, laptop, and mobile devices. However, despite their popularity and widespread use, current wayfinding and navigation solutions often fail to address the needs of people with disabilities (PWDs). We argue that these shortcomings are primarily due to the ubiquity of the compute-centric approach adopted in these systems and services, where they do not benefit from the experience-centric approach. We propose that following a hybrid approach of combining experience-centric and compute-centric methods will overcome the shortcomings of current wayfinding and navigation solutions for PWDs

Opportunities for Supporting Self-efficacy through Orientation & Mobility Training Technologies for Blind and Partially Sighted People

Orientation and mobility (O&M) training provides essential skills and techniques for safe and independent mobility for blind and partially sighted (BPS) people. The demand for O&M training is increasing as the number of people living with vision impairment increases. Despite the growing portfolio of HCI research on assistive technologies (AT), few studies have examined the experiences of BPS people during O&M training, including the use of technology to aid O&M training. To address this gap, we conducted semi-structured interviews with 20 BPS people and 8 Mobility and Orientation Trainers (MOT). The interviews were thematically analysed and organised into four overarching themes discussing factors influencing the self-efficacy belief of BPS people: Tools and Strategies for O&M training, Technology Use in O&M Training, Changing Personal and Social Circumstances, and Social Influences. We further highlight opportunities for combinations of multimodal technologies to increase access to and effectiveness of O&M training

UCAT: ubiquitous context awareness tools for the blind

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2013As pessoas com deficiências visuais sofrem de uma constante falta de informação sobre o ambiente que as rodeia. Esta informação pode estar relacionada com locais, objetos e até mesmo pessoas. A inexistência de ajuda para combater esta falta de informação faz com que surjam situações em que uma pessoa cega só consegue resolver o seu problema recorrendo a ajuda de outras pessoas. São exemplos a identificação da presença de pessoas, informação escrita e outros detalhes de uma rotina diária. Os dispositivos móveis dos dias de hoje vêm equipados com uma grande extensão de sensores que possibilitam colmatar algumas destas falhas. Uma pessoa normovisual está habituada a recorrer à visão para obter informação sobre o ambiente que a rodeia. Sem grande esforço pode obter informação sobre proximidade de pessoas ou a sua movimentação. A mesma facilidade ocorre em reconhecer objetos ou orientar-se e compreender os locais onde se encontra. Esta informação é algo que pessoas cegas têm dificuldade em obter. Situações normais como identificar quem são as pessoas que os rodeiam torna-se uma tarefa mais complicada especialmente se estas não seguirem as regras de etiqueta social e fizerem notar a sua presença. A acessibilidade nos dispositivos móveis é uma área que ainda está a ser explorada e existem diversas possibilidades de uso que estes dispositivos permitem que ainda não são acessíveis para pessoas cegas. Cada vez mais os dispositivos móveis, em particular desde a chegada do iPhone, fornece a utilizadores cegos a possibilidade de acederem aplicações sociais, de lazer e de produtividade. Outros sistemas operativos e dispositivos seguem pelo mesmo caminho. O conjunto de características disponibilizadas por estes dispositivos nomeadamente para a localização, comunicação, armazenamento e processamento permitem criar ferramentas de perceção do ambiente para cegos cada vez mais ricas. Existem diversos trabalhos realizados para melhorar a orientação, localização, reconhecimento de objectos e proximidade (na maioria dos casos a obstáculos). Muitos deles focam-se em ambientes interiores, outros em ambientes exteriores. Uns em objects, outros têm uma componente maos social. O problema de todos estes projectos é que nenhum deles oferece uma solução complete e acessivel para pessoas cegas. As falhas existentes em cada um destes projectos deixa em aberto a possibilidade para que fosse desenvolvido um Sistema que não só junta-se todas as caracteristicas de awareness que pudessem ajudar uma pessoa cega mas também tornar este Sistema acessivel. No entanto mesmo com tantas aplicações e projectos existe uma falha no que toca a ferramentas que tratem de perceção implícita, que forneça informação sobre o ambiente que nos rodeia dentro de contexto. O nosso projeto focou-se em identificar as necessidades de informação de uma pessoa cega no que diz respeito à falta de informação. Foi realizada uma entrevista preliminar para que pudéssemos perceber as limitações e as necessidades que as pessoas cegas enfrentam quando confrontadas com ambientes sociais. A entrevista tinha como foco um perfil básico dos utilizadores e questões sobre o seu uso da tecnologia utilizada no projeto assim como questões sobre cenários onde a perceção do ambiente é limitada. A grande maioria da entrevista focou-se em questões sobre perceção, particularmente tendo em atenção a orientação em ambientes novos e ambientes já conhecidos, as dificuldades que normalmente encontram em situações sociais e de que maneira ou que comportamentos desenvolveram para tentar facilitar o seu dia-a-dia. Tentamos perceber quais as maiores fontes de desconforto que estão habituados a enfrentar e quais delas é que causam mais transtorno. A primeira causa apontada como fonte de desconforto foi a falta de conhecimento das pessoas que os rodeiam, tanto saber quem são como quantas pessoas são. Também fizemos a questão sobre o quão fácil é para eles ter a perceção de quem os rodeia, se é uma tarefa fácil de realizar e especialmente se tinham dificuldade em perceber a entrada e saída de pessoas no seu espaço. Todos os participantes afirmaram que seria bom obter mais informação sobre o ambiente que os rodeia, apesar de apontarem que esta ferramenta deveria passar despercebida e ser subtil na sua tarefa. Após analisarmos os resultados das entrevistas e de termos em conta os cenários mencionados pelos utilizadores assim como os cenários que tínhamos pensado para a implementação do sistema foi desenvolvido um sistema com a intenção de explorar estes novos cenários e fazer uma avaliação mais completa da aplicação e os seus benefícios. Após a implementação do sistema este foi submetido a uma fase de avaliação que durou uma semana e meia efetuada com utilizadores cegos para que pudéssemos tirar resultados não só do resultado da implementação do sistema mas do seu impacto para um utilizador cego. Sobre este Sistema foi feita uma avaliação de uma semana e meia, efectuada com utilizadores cegos durante a qual eles tiveram a oportunidade de explorer as capacidades do Sistema e utilizar durante o seu dia a dia normal a aplicaçao e retirar o máximo que conseguissem. Foi uma avaliação sem guião, logo os utilizadores não tinham tarefas explicitas apenas tinham que utilizar o Sistema à sua conveniência. Durante esse período de avaliação os utilizadores deram-nos feedback diário de como se estava a comportar o Sistema para que pudéssemos obter dados de uso diário. Foi também efectuado no final da avaliação questionários e uma entrevista final para recolher todas as informações possíveis por parte dos utilizadores que fizeram parte da avaliação. Analisamos esses dados e retirámos algumas conclusões. No geral os utilizadores estiveram satisfeitos com a informação produzida pela aplicação, foi de facto um aumento, na grande maioria dos casos, aquilo a que estão normalmente habituados. Sempre que eram notificados sentiram necessidade de explorar a notificação e perceber melhor qual a informação que a aplicação lhes estava a tentar fornecer. Verificou-se o interesse por parte dos participantes quando estes tentavam procurar por pessoas novas implicitamente. Todos os participantes confirmaram que o conhecimento sobre o ambiente que os rodeava foi de facto enriquecido. Houve mais facilidade em identificar pessoas quando estas chegavam a um local. Nos últimos anos tem sido feito um esforço para aumentar a acessibilidade a dispositivos e à informação disponível nestes (Ex: através de leitores de ecrã). No entanto, o mundo real apresenta muita informação que é oferecida de forma visualmente que é assim inacessível a uma pessoa cega. Esta é uma limitação a ter em consideração que pode ajudar à interação social e a compreensão do ambiente que rodeia o utilizador. Não existem sistemas que sejam capazes de fornecer a uma pessoa cega informação tão simples como quem é que se encontra à sua volta, quem é que passou próximo de si, quem é que ainda se encontra numa sala, quais as lojas mais próximas de si ou restaurantes ou simplesmente o que está escrito no placard de notícias. Da mesma maneira, existe a falta de ferramentas que lhes permitam adicionar a sua própria informação a ambientes, que possam partilhar essa informação e servirem-se dela para se entreajudarem em situações mais complicadas. Mostramos estas limitações, necessidades e desejos das pessoas cegas em obter informação sobre o ambiente que as rodeia. Tentando dar o enfâse no aspeto social da ferramenta, focámo-nos muito nas pessoas e na necessidade pessoal de cada individuo.Visually impaired people are often confronted with new environments and they find themselves face to face with an innumerous amount of difficulties when facing these environments. Having to surpass and deal with these difficulties that arise with their condition is something that we can help diminish. They are one sense down when trying to understand their surrounding environments and gather information about what is happening around them. It is difficult for blind people to be comfortable in places where they can’t achieve a proper perception of the environment, considering the difficulty to understand where they are, where are the things they want, who are the people around them, what is around them and how to safely get somewhere or accomplish a particular task. Nowadays, mobile devices present significant computing and technological capacity which has been increasing to the point where it is very common for most people to have access to a device with Bluetooth, GPS, Wi-Fi, and both high processing and storage capacities. This allows us to think of applications that can do so much to help people with difficulties. In the particular case of blind people, the lack of visual information can be bypassed with other contextual information retrieved by their own personal devices. Mobile devices are ubiquitous and are able to be used virtually anywhere and allow connectivity with one another. This also allows their users to save information and convey it through several devices, which means that we can easily share data, augmenting our possibilities beyond what a single device can do. Our goal is to provide information to blind users, be able to give them information about the context that surrounds them. We wanted to provide the blind users with the tools to create information and be able to share this information between each other, information about people, locations or objects. Our approach was to split the project into a data and information gathering phase where we did our field search and interviewed and elaborated on how is the situation of environment perception for blind users, followed by a technical phase where we implement a system based on the first stage. Our results gathered from both the collecting phase and our implementing phase showed that there is potential to use these tools in the blind community and that they welcome the possibilities and horizons that it opens them

Iterative Design and Prototyping of Computer Vision Mediated Remote Sighted Assistance

Remote sighted assistance (RSA) is an emerging navigational aid for people with visual impairments (PVI). Using scenario-based design to illustrate our ideas, we developed a prototype showcasing potential applications for computer vision to support RSA interactions. We reviewed the prototype demonstrating real-world navigation scenarios with an RSA expert, and then iteratively refined the prototype based on feedback. We reviewed the refined prototype with 12 RSA professionals to evaluate the desirability and feasibility of the prototyped computer vision concepts. The RSA expert and professionals were engaged by, and reacted insightfully and constructively to the proposed design ideas. We discuss what we learned about key resources, goals, and challenges of the RSA prosthetic practice through our iterative prototype review, as well as implications for the design of RSA systems and the integration of computer vision technologies into RSA