A Spot Reminder System for the Visually Impaired Based on a Smartphone Camera

The present paper proposes a smartphone-camera-based system to assist visually impaired users in recalling their memories related to important locations, called spots, that they visited. The memories are recorded as voice memos, which can be played back when the users return to the spots. Spot-to-spot correspondence is determined by image matching based on the scale invariant feature transform. The main contribution of the proposed system is to allow visually impaired users to associate arbitrary voice memos with arbitrary spots. The users do not need any special devices or systems except smartphones and do not need to remember the spots where the voice memos were recorded. In addition, the proposed system can identify spots in environments that are inaccessible to the global positioning system. The proposed system has been evaluated by two experiments: image matching tests and a user study. The experimental results suggested the effectiveness of the system to help visually impaired individuals, including blind individuals, recall information about regularly-visited spots

Assistive Systems for the Visually Impaired Based on Image Processing

In this chapter, we proposed three assistive systems for visually impaired individuals based on image processing: Kinect cane system, Kinect goggle system, and light checking system. The Kinect cane system can detect obstacles of various sizes and also recognize objects such as seats. A visually impaired user is notified of the results of detection and recognition by means of vibration feedback. The Kinect goggle system is another type of wearable system, and can make user’s hands free. The light checking system is implemented as an application for a smartphone, and can tell a visually impaired user the ON/OFF states of room lights and elevator button lights. The experimental results demonstrate that the proposed systems are effective in helping visually impaired individuals in everyday environments

Innovative Diagnostic Tools for Ophthalmology in Low-Income Countries

Globally, there are almost 300 million people blind and visually impaired and over 90% live developing countries. The gross disparity in access to ophthalmologists limits the ability to accurately diagnose potentially blinding conditions like cataract, glaucoma, trachoma, uncorrected refractive error and limits timely initiation of medical and surgical treatment. Since 85% of blindness is preventable, bridging this chasm for care is even more critical in preventing needless blindness. Many low-income countries must rely on community health workers, physician assistants, and cataract surgeons for primary eye care. Ophthalmology in low-income countries (LIC) is further challenging due to complexities brought from tropical climates, frail electric grids, poor road and water infrastructure, limited diagnostic capability and limited treatment options. Vision 2020 set the goal of eliminating preventable blindness by 2020 despite formidable obstacles. Innovative technologies are emerging to test visual acuity, correct refractive error quickly and inexpensively, capture retinal images with portable tools, train cataract surgeons using simulators, capitalize on mHealth, access ophthalmic information remotely. These advancements are allowing nonspecialized ophthalmic practitioners to provide low-cost, high impact eye care in resource-limited regions around the world

How Artificial Intelligence and Virtual Reality Benefit the Elderly and Individuals with Disabilities

The growing and evolving use  of emerging technology including Artificial Intelligence (AI)  and Virtual Reality (VR),  has significantly impacted the lives of two specific groups—the elderly and the disabled.  This paper investigates potential reasons for this phenomenon.  Clearly, AI and VR Technology alters the everyday lives of people with disabilities and how they navigate the world.  Technological developments increasingly work to address the isolation that people with disabilities as well as the elderly experience for  they are often unable or limited in how they  engage with their communities.  This research paper outlines the way technology has improved  social communication, information distribution, and day-to-day living for those with disabilities and the elderly.Undoubtedly,  the internet has transformed social communication and interaction for most people.   socially isolated individuals with disabilities have gained exposure to social environments through social media.  Moreover, the broad range of information available on the internet  has increased access to resources such as government services, health services, and social services support. On a related point, assistive devices have enabled disabled people including many seniors to overcome motor, sensory, or cognitive difficulties that may have previously hindered them from performing daily tasks.  However, although AI and VR technology has been effectively integrated in the lives of those with disabilities, many such individuals lack access to commonplace technologies, like a personal computer.  This paper examines how  AI and VR technology has enhanced communication, information access, and everyday activities for the disabled and aging communities despite such socio-economic limitations

Ambient Assisted Living Technology

Ambient assisted living technology, known as ambient welfare technology in Denmark, promises to play a prominent role in the future of home health care. This project, sponsored by the Danish Association of the Blind, investigated the social and political context of ambient welfare technology and the primary concerns of stakeholder’s in its development. The results from our research were used to develop criteria for evaluating assistive devices and make recommendations for future development of these technologies

Software Usability

This volume delivers a collection of high-quality contributions to help broaden developers’ and non-developers’ minds alike when it comes to considering software usability. It presents novel research and experiences and disseminates new ideas accessible to people who might not be software makers but who are undoubtedly software users

Integrating Haptic Feedback into Mobile Location Based Services

Haptics is a feedback technology that takes advantage of the human sense of touch by applying forces, vibrations, and/or motions to a haptic-enabled device such as a mobile phone. Historically, human-computer interaction has been visual - text and images on the screen. Haptic feedback can be an important additional method especially in Mobile Location Based Services such as knowledge discovery, pedestrian navigation and notification systems. A knowledge discovery system called the Haptic GeoWand is a low interaction system that allows users to query geo-tagged data around them by using a point-and-scan technique with their mobile device. Haptic Pedestrian is a navigation system for walkers. Four prototypes have been developed classified according to the user’s guidance requirements, the user type (based on spatial skills), and overall system complexity. Haptic Transit is a notification system that provides spatial information to the users of public transport. In all these systems, haptic feedback is used to convey information about location, orientation, density and distance by use of the vibration alarm with varying frequencies and patterns to help understand the physical environment. Trials elicited positive responses from the users who see benefit in being provided with a “heads up” approach to mobile navigation. Results from a memory recall test show that the users of haptic feedback for navigation had better memory recall of the region traversed than the users of landmark images. Haptics integrated into a multi-modal navigation system provides more usable, less distracting but more effective interaction than conventional systems. Enhancements to the current work could include integration of contextual information, detailed large-scale user trials and the exploration of using haptics within confined indoor spaces

Click-Enter-Send: The Relationship Experiences of People Who are Blind or Visually Impaired in Text-Based Workspaces

Companies have increasingly turned to text-based communications to recruit, hire, and manage a distributed remote workforce. For people who are blind or visually impaired, this movement presents both challenges and opportunities for attaining and retaining employment. Does the potential isolation of telework have a negative effect on workplace relationships for people who are blind or visually impaired? Does participation in text-based workspaces mitigate stereotypes and stigmatization experienced by people with visible disabilities? Using a constructivist grounded theory framework, this study explored how people who are blind or visually impaired experience relationships in text-based workspaces. Building and maintaining social connections and networks is critical for employment success, so understanding the factors at play in text-based workplace communications is key. Interviews with 18 blind or visually impaired professionals revealed a number of ways individuals connected with colleagues, cultivated professional identity, and built extended networks. This happened despite challenges from technologies and organizational processes that failed to account for employees who are visually impaired. This investigation resulted in the development of an emergent theory and a model that can advance policies and practices for employers and for employment training and support programs. This dissertation is available in open access at AURA (https://aura.antioch.edu/) and OhioLINK ETD Center (https://etd.ohiolink.edu/)

UCAT: ubiquitous context awareness tools for the blind

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2013As pessoas com deficiências visuais sofrem de uma constante falta de informação sobre o ambiente que as rodeia. Esta informação pode estar relacionada com locais, objetos e até mesmo pessoas. A inexistência de ajuda para combater esta falta de informação faz com que surjam situações em que uma pessoa cega só consegue resolver o seu problema recorrendo a ajuda de outras pessoas. São exemplos a identificação da presença de pessoas, informação escrita e outros detalhes de uma rotina diária. Os dispositivos móveis dos dias de hoje vêm equipados com uma grande extensão de sensores que possibilitam colmatar algumas destas falhas. Uma pessoa normovisual está habituada a recorrer à visão para obter informação sobre o ambiente que a rodeia. Sem grande esforço pode obter informação sobre proximidade de pessoas ou a sua movimentação. A mesma facilidade ocorre em reconhecer objetos ou orientar-se e compreender os locais onde se encontra. Esta informação é algo que pessoas cegas têm dificuldade em obter. Situações normais como identificar quem são as pessoas que os rodeiam torna-se uma tarefa mais complicada especialmente se estas não seguirem as regras de etiqueta social e fizerem notar a sua presença. A acessibilidade nos dispositivos móveis é uma área que ainda está a ser explorada e existem diversas possibilidades de uso que estes dispositivos permitem que ainda não são acessíveis para pessoas cegas. Cada vez mais os dispositivos móveis, em particular desde a chegada do iPhone, fornece a utilizadores cegos a possibilidade de acederem aplicações sociais, de lazer e de produtividade. Outros sistemas operativos e dispositivos seguem pelo mesmo caminho. O conjunto de características disponibilizadas por estes dispositivos nomeadamente para a localização, comunicação, armazenamento e processamento permitem criar ferramentas de perceção do ambiente para cegos cada vez mais ricas. Existem diversos trabalhos realizados para melhorar a orientação, localização, reconhecimento de objectos e proximidade (na maioria dos casos a obstáculos). Muitos deles focam-se em ambientes interiores, outros em ambientes exteriores. Uns em objects, outros têm uma componente maos social. O problema de todos estes projectos é que nenhum deles oferece uma solução complete e acessivel para pessoas cegas. As falhas existentes em cada um destes projectos deixa em aberto a possibilidade para que fosse desenvolvido um Sistema que não só junta-se todas as caracteristicas de awareness que pudessem ajudar uma pessoa cega mas também tornar este Sistema acessivel. No entanto mesmo com tantas aplicações e projectos existe uma falha no que toca a ferramentas que tratem de perceção implícita, que forneça informação sobre o ambiente que nos rodeia dentro de contexto. O nosso projeto focou-se em identificar as necessidades de informação de uma pessoa cega no que diz respeito à falta de informação. Foi realizada uma entrevista preliminar para que pudéssemos perceber as limitações e as necessidades que as pessoas cegas enfrentam quando confrontadas com ambientes sociais. A entrevista tinha como foco um perfil básico dos utilizadores e questões sobre o seu uso da tecnologia utilizada no projeto assim como questões sobre cenários onde a perceção do ambiente é limitada. A grande maioria da entrevista focou-se em questões sobre perceção, particularmente tendo em atenção a orientação em ambientes novos e ambientes já conhecidos, as dificuldades que normalmente encontram em situações sociais e de que maneira ou que comportamentos desenvolveram para tentar facilitar o seu dia-a-dia. Tentamos perceber quais as maiores fontes de desconforto que estão habituados a enfrentar e quais delas é que causam mais transtorno. A primeira causa apontada como fonte de desconforto foi a falta de conhecimento das pessoas que os rodeiam, tanto saber quem são como quantas pessoas são. Também fizemos a questão sobre o quão fácil é para eles ter a perceção de quem os rodeia, se é uma tarefa fácil de realizar e especialmente se tinham dificuldade em perceber a entrada e saída de pessoas no seu espaço. Todos os participantes afirmaram que seria bom obter mais informação sobre o ambiente que os rodeia, apesar de apontarem que esta ferramenta deveria passar despercebida e ser subtil na sua tarefa. Após analisarmos os resultados das entrevistas e de termos em conta os cenários mencionados pelos utilizadores assim como os cenários que tínhamos pensado para a implementação do sistema foi desenvolvido um sistema com a intenção de explorar estes novos cenários e fazer uma avaliação mais completa da aplicação e os seus benefícios. Após a implementação do sistema este foi submetido a uma fase de avaliação que durou uma semana e meia efetuada com utilizadores cegos para que pudéssemos tirar resultados não só do resultado da implementação do sistema mas do seu impacto para um utilizador cego. Sobre este Sistema foi feita uma avaliação de uma semana e meia, efectuada com utilizadores cegos durante a qual eles tiveram a oportunidade de explorer as capacidades do Sistema e utilizar durante o seu dia a dia normal a aplicaçao e retirar o máximo que conseguissem. Foi uma avaliação sem guião, logo os utilizadores não tinham tarefas explicitas apenas tinham que utilizar o Sistema à sua conveniência. Durante esse período de avaliação os utilizadores deram-nos feedback diário de como se estava a comportar o Sistema para que pudéssemos obter dados de uso diário. Foi também efectuado no final da avaliação questionários e uma entrevista final para recolher todas as informações possíveis por parte dos utilizadores que fizeram parte da avaliação. Analisamos esses dados e retirámos algumas conclusões. No geral os utilizadores estiveram satisfeitos com a informação produzida pela aplicação, foi de facto um aumento, na grande maioria dos casos, aquilo a que estão normalmente habituados. Sempre que eram notificados sentiram necessidade de explorar a notificação e perceber melhor qual a informação que a aplicação lhes estava a tentar fornecer. Verificou-se o interesse por parte dos participantes quando estes tentavam procurar por pessoas novas implicitamente. Todos os participantes confirmaram que o conhecimento sobre o ambiente que os rodeava foi de facto enriquecido. Houve mais facilidade em identificar pessoas quando estas chegavam a um local. Nos últimos anos tem sido feito um esforço para aumentar a acessibilidade a dispositivos e à informação disponível nestes (Ex: através de leitores de ecrã). No entanto, o mundo real apresenta muita informação que é oferecida de forma visualmente que é assim inacessível a uma pessoa cega. Esta é uma limitação a ter em consideração que pode ajudar à interação social e a compreensão do ambiente que rodeia o utilizador. Não existem sistemas que sejam capazes de fornecer a uma pessoa cega informação tão simples como quem é que se encontra à sua volta, quem é que passou próximo de si, quem é que ainda se encontra numa sala, quais as lojas mais próximas de si ou restaurantes ou simplesmente o que está escrito no placard de notícias. Da mesma maneira, existe a falta de ferramentas que lhes permitam adicionar a sua própria informação a ambientes, que possam partilhar essa informação e servirem-se dela para se entreajudarem em situações mais complicadas. Mostramos estas limitações, necessidades e desejos das pessoas cegas em obter informação sobre o ambiente que as rodeia. Tentando dar o enfâse no aspeto social da ferramenta, focámo-nos muito nas pessoas e na necessidade pessoal de cada individuo.Visually impaired people are often confronted with new environments and they find themselves face to face with an innumerous amount of difficulties when facing these environments. Having to surpass and deal with these difficulties that arise with their condition is something that we can help diminish. They are one sense down when trying to understand their surrounding environments and gather information about what is happening around them. It is difficult for blind people to be comfortable in places where they can’t achieve a proper perception of the environment, considering the difficulty to understand where they are, where are the things they want, who are the people around them, what is around them and how to safely get somewhere or accomplish a particular task. Nowadays, mobile devices present significant computing and technological capacity which has been increasing to the point where it is very common for most people to have access to a device with Bluetooth, GPS, Wi-Fi, and both high processing and storage capacities. This allows us to think of applications that can do so much to help people with difficulties. In the particular case of blind people, the lack of visual information can be bypassed with other contextual information retrieved by their own personal devices. Mobile devices are ubiquitous and are able to be used virtually anywhere and allow connectivity with one another. This also allows their users to save information and convey it through several devices, which means that we can easily share data, augmenting our possibilities beyond what a single device can do. Our goal is to provide information to blind users, be able to give them information about the context that surrounds them. We wanted to provide the blind users with the tools to create information and be able to share this information between each other, information about people, locations or objects. Our approach was to split the project into a data and information gathering phase where we did our field search and interviewed and elaborated on how is the situation of environment perception for blind users, followed by a technical phase where we implement a system based on the first stage. Our results gathered from both the collecting phase and our implementing phase showed that there is potential to use these tools in the blind community and that they welcome the possibilities and horizons that it opens them