IoT enabled intelligent stick for visually impaired people for obstacle recognition

Producción CientíficaThis paper presents the design, development, and testing of an IoT-enabled smart stick for visually impaired people to navigate the outside environment with the ability to detect and warn about obstacles. The proposed design employs ultrasonic sensors for obstacle detection, a water sensor for sensing the puddles and wet surfaces in the user’s path, and a high-definition video camera integrated with object recognition. Furthermore, the user is signaled about various hindrances and objects using voice feedback through earphones after accurately detecting and identifying objects. The proposed smart stick has two modes; one uses ultrasonic sensors for detection and feedback through vibration motors to inform about the direction of the obstacle, and the second mode is the detection and recognition of obstacles and providing voice feedback. The proposed system allows for switching between the two modes depending on the environment and personal preference. Moreover, the latitude/longitude values of the user are captured and uploaded to the IoT platform for effective tracking via global positioning system (GPS)/global system for mobile communication (GSM) modules, which enable the live location of the user/stick to be monitored on the IoT dashboard. A panic button is also provided for emergency assistance by generating a request signal in the form of an SMS containing a Google maps link generated with latitude and longitude coordinates and sent through an IoT-enabled environment. The smart stick has been designed to be lightweight, waterproof, size adjustable, and has long battery life. The overall design ensures energy efficiency, portability, stability, ease of access, and robust features

Mobility aids for visually impaired persons: Journals reviewed

This paper reviews the literature on mobile assistive devices for visual impaired people, in order to have a clear understanding of the technology and technological progress of helping visual impaired people. In this way, it aims to obtain basic guidelines for analyzing the most relevant equipment to help people with impaired vision and highlight the improvements that can be achieved. The most common device is to integrate different sensors and electronic components into the walking stick to improve their obstacle detection ability. In addition, equipment with cameras, including computer vision algorithms and artificial intelligence technology, has been developed to improve the performance and efficiency of the equipment. Finally, the basic characteristics of the auxiliary system are introduced, and it is found that there is no equipment to meet the needs of users

Electronic Travel Aid for Visually Impaired People Along with a Panic Alert System

There are many issues over which humans have no control. Blindness is one of such issues. It snatches the vivid visual beauty of the world from an individual’s life.But missing the beauty of nature becomes one of the last worries of such people as they have to face numerous difficulties in order to perform even the most basics of tasks in their day to day life. One of their most important problems is of transport, such as crossing roads, traveling in trains, or in any other public places. A visually impaired person to survive the fittest in this world, the person must go through all the obstacles without the guidance of others. One of the most important measures to avoid the obstacle by the blind is to provide an assistive implementation, which can help to wander on their own. The main aim of this project is to provide an assistive technology used for the purpose of enhancing the mobility of the blind pedestrian which is commonly referred to as Electronic Travel Aid (ETA) and to motivate the blind without having the inferior feeling of their problem and pay away the blind to move on their own . In this project, a smart guiding ETA is used to guide the user to sense the obstacle before them. This device eliminates the requirement of human assistance for blind while traveling outside. It will identify all obstacles in the path with the help of various sensors installed in it. The microcontroller will retrieve data and pass it on as vibrations which will notify the user about hurdles

Exploring the Use of Wearables to develop Assistive Technology for Visually Impaired People

This thesis explores the usage of two prominent wearable devices to develop assistive technology for users who are visually impaired. Specifically, the work in this thesis aims at improving the quality of life of users who are visually impaired by improving their mobility and ability to socially interact with others. We explore the use of a smart watch for creating low-cost spatial haptic applications. This app explores the use of haptic feedback provided using a smartwatch and smartphone to provide navigation instructions that let visually impaired people safely traverse a large open space. This spatial feedback guides them to walk on a straight path from source to destination by avoiding veering. Exploring the paired interaction between a Smartphone and a Smartwatch, helped to overcome the limitation that smart devices have only single haptic actuator.We explore the use of a head-mounted display to enhance social interaction by helping people with visual impairments align their head towards a conversation partner as well as maintain personal space during a conversation. Audio feedback is provided to the users guiding them to achieve effective face-to-face communication. A qualitative study of this method shows the effectiveness of the application and explains how it helps visually impaired people to perceive non-verbal cues and feel more engaged and assertive in social interactions

A Systematic Review of Artificial Intelligence in Assistive Technology for People with Visual Impairment

Recent advances in artificial intelligence (AI) have led to the development of numerous successful applications that utilize data to significantly enhance the quality of life for people with visual impairment. AI technology has the potential to further improve the lives of visually impaired individuals. However, accurately measuring the development of visual aids continues to be challenging. As an AI model is trained on larger and more diverse datasets, its performance becomes increasingly robust and applicable to a variety of scenarios. In the field of visual impairment, deep learning techniques have emerged as a solution to previous challenges associated with AI models. In this article, we provide a comprehensive and up-to-date review of recent research on the development of AI-powered visual aides tailored to the requirements of individuals with visual impairment. We adopt the PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) methodology, meticulously gathering and appraising pertinent literature culled from diverse databases. A rigorous selection process was undertaken, appraising articles against precise inclusion and exclusion criteria. Our meticulous search yielded a trove of 322 articles, and after diligent scrutiny, 12 studies were deemed suitable for inclusion in the ultimate analysis. The study's primary objective is to investigate the application of AI techniques to the creation of intelligent devices that aid visually impaired individuals in their daily lives. We identified a number of potential obstacles that researchers and developers in the field of visual impairment applications might encounter. In addition, opportunities for future research and advancements in AI-driven visual aides are discussed. This review seeks to provide valuable insights into the advancements, possibilities, and challenges in the development and implementation of AI technology for people with visual impairment. By examining the current state of the field and designating areas for future research, we expect to contribute to the ongoing progress of improving the lives of visually impaired individuals through the use of AI-powered visual aids

Solar-Powered Deep Learning-Based Recognition System of Daily Used Objects and Human Faces for Assistance of the Visually Impaired

This paper introduces a novel low-cost solar-powered wearable assistive technology (AT) device, whose aim is to provide continuous, real-time object recognition to ease the finding of the objects for visually impaired (VI) people in daily life. The system consists of three major components: a miniature low-cost camera, a system on module (SoM) computing unit, and an ultrasonic sensor. The first is worn on the user’s eyeglasses and acquires real-time video of the nearby space. The second is worn as a belt and runs deep learning-based methods and spatial algorithms which process the video coming from the camera performing objects’ detection and recognition. The third assists on positioning the objects found in the surrounding space. The developed device provides audible descriptive sentences as feedback to the user involving the objects recognized and their position referenced to the user gaze. After a proper power consumption analysis, a wearable solar harvesting system, integrated with the developed AT device, has been designed and tested to extend the energy autonomy in the dierent operating modes and scenarios. Experimental results obtained with the developed low-cost AT device have demonstrated an accurate and reliable real-time object identification with an 86% correct recognition rate and 215 ms average time interval (in case of high-speed SoM operating mode) for the image processing. The proposed system is capable of recognizing the 91 objects oered by the Microsoft Common Objects in Context (COCO) dataset plus several custom objects and human faces. In addition, a simple and scalable methodology for using image datasets and training of Convolutional Neural Networks (CNNs) is introduced to add objects to the system and increase its repertory. It is also demonstrated that comprehensive trainings involving 100 images per targeted object achieve 89% recognition rates, while fast trainings with only 12 images achieve acceptable recognition rates of 55%

Review of substitutive assistive tools and technologies for people with visual impairments: recent advancements and prospects

YesThe development of many tools and technologies for people with visual impairment has become a major priority in the field of assistive technology research. However, many of these technology advancements have limitations in terms of the human aspects of the user experience (e.g., usability, learnability, and time to user adaptation) as well as difficulties in translating research prototypes into production. Also, there was no clear distinction between the assistive aids of adults and children, as well as between “partial impairment” and “total blindness”. As a result of these limitations, the produced aids have not gained much popularity and the intended users are still hesitant to utilise them. This paper presents a comprehensive review of substitutive interventions that aid in adapting to vision loss, centred on laboratory research studies to assess user-system interaction and system validation. Depending on the primary cueing feedback signal offered to the user, these technology aids are categorized as visual, haptics, or auditory-based aids. The context of use, cueing feedback signals, and participation of visually impaired people in the evaluation are all considered while discussing these aids. Based on the findings, a set of recommendations is suggested to assist the scientific community in addressing persisting challenges and restrictions faced by both the totally blind and partially sighted people

UCAT: ubiquitous context awareness tools for the blind

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2013As pessoas com deficiências visuais sofrem de uma constante falta de informação sobre o ambiente que as rodeia. Esta informação pode estar relacionada com locais, objetos e até mesmo pessoas. A inexistência de ajuda para combater esta falta de informação faz com que surjam situações em que uma pessoa cega só consegue resolver o seu problema recorrendo a ajuda de outras pessoas. São exemplos a identificação da presença de pessoas, informação escrita e outros detalhes de uma rotina diária. Os dispositivos móveis dos dias de hoje vêm equipados com uma grande extensão de sensores que possibilitam colmatar algumas destas falhas. Uma pessoa normovisual está habituada a recorrer à visão para obter informação sobre o ambiente que a rodeia. Sem grande esforço pode obter informação sobre proximidade de pessoas ou a sua movimentação. A mesma facilidade ocorre em reconhecer objetos ou orientar-se e compreender os locais onde se encontra. Esta informação é algo que pessoas cegas têm dificuldade em obter. Situações normais como identificar quem são as pessoas que os rodeiam torna-se uma tarefa mais complicada especialmente se estas não seguirem as regras de etiqueta social e fizerem notar a sua presença. A acessibilidade nos dispositivos móveis é uma área que ainda está a ser explorada e existem diversas possibilidades de uso que estes dispositivos permitem que ainda não são acessíveis para pessoas cegas. Cada vez mais os dispositivos móveis, em particular desde a chegada do iPhone, fornece a utilizadores cegos a possibilidade de acederem aplicações sociais, de lazer e de produtividade. Outros sistemas operativos e dispositivos seguem pelo mesmo caminho. O conjunto de características disponibilizadas por estes dispositivos nomeadamente para a localização, comunicação, armazenamento e processamento permitem criar ferramentas de perceção do ambiente para cegos cada vez mais ricas. Existem diversos trabalhos realizados para melhorar a orientação, localização, reconhecimento de objectos e proximidade (na maioria dos casos a obstáculos). Muitos deles focam-se em ambientes interiores, outros em ambientes exteriores. Uns em objects, outros têm uma componente maos social. O problema de todos estes projectos é que nenhum deles oferece uma solução complete e acessivel para pessoas cegas. As falhas existentes em cada um destes projectos deixa em aberto a possibilidade para que fosse desenvolvido um Sistema que não só junta-se todas as caracteristicas de awareness que pudessem ajudar uma pessoa cega mas também tornar este Sistema acessivel. No entanto mesmo com tantas aplicações e projectos existe uma falha no que toca a ferramentas que tratem de perceção implícita, que forneça informação sobre o ambiente que nos rodeia dentro de contexto. O nosso projeto focou-se em identificar as necessidades de informação de uma pessoa cega no que diz respeito à falta de informação. Foi realizada uma entrevista preliminar para que pudéssemos perceber as limitações e as necessidades que as pessoas cegas enfrentam quando confrontadas com ambientes sociais. A entrevista tinha como foco um perfil básico dos utilizadores e questões sobre o seu uso da tecnologia utilizada no projeto assim como questões sobre cenários onde a perceção do ambiente é limitada. A grande maioria da entrevista focou-se em questões sobre perceção, particularmente tendo em atenção a orientação em ambientes novos e ambientes já conhecidos, as dificuldades que normalmente encontram em situações sociais e de que maneira ou que comportamentos desenvolveram para tentar facilitar o seu dia-a-dia. Tentamos perceber quais as maiores fontes de desconforto que estão habituados a enfrentar e quais delas é que causam mais transtorno. A primeira causa apontada como fonte de desconforto foi a falta de conhecimento das pessoas que os rodeiam, tanto saber quem são como quantas pessoas são. Também fizemos a questão sobre o quão fácil é para eles ter a perceção de quem os rodeia, se é uma tarefa fácil de realizar e especialmente se tinham dificuldade em perceber a entrada e saída de pessoas no seu espaço. Todos os participantes afirmaram que seria bom obter mais informação sobre o ambiente que os rodeia, apesar de apontarem que esta ferramenta deveria passar despercebida e ser subtil na sua tarefa. Após analisarmos os resultados das entrevistas e de termos em conta os cenários mencionados pelos utilizadores assim como os cenários que tínhamos pensado para a implementação do sistema foi desenvolvido um sistema com a intenção de explorar estes novos cenários e fazer uma avaliação mais completa da aplicação e os seus benefícios. Após a implementação do sistema este foi submetido a uma fase de avaliação que durou uma semana e meia efetuada com utilizadores cegos para que pudéssemos tirar resultados não só do resultado da implementação do sistema mas do seu impacto para um utilizador cego. Sobre este Sistema foi feita uma avaliação de uma semana e meia, efectuada com utilizadores cegos durante a qual eles tiveram a oportunidade de explorer as capacidades do Sistema e utilizar durante o seu dia a dia normal a aplicaçao e retirar o máximo que conseguissem. Foi uma avaliação sem guião, logo os utilizadores não tinham tarefas explicitas apenas tinham que utilizar o Sistema à sua conveniência. Durante esse período de avaliação os utilizadores deram-nos feedback diário de como se estava a comportar o Sistema para que pudéssemos obter dados de uso diário. Foi também efectuado no final da avaliação questionários e uma entrevista final para recolher todas as informações possíveis por parte dos utilizadores que fizeram parte da avaliação. Analisamos esses dados e retirámos algumas conclusões. No geral os utilizadores estiveram satisfeitos com a informação produzida pela aplicação, foi de facto um aumento, na grande maioria dos casos, aquilo a que estão normalmente habituados. Sempre que eram notificados sentiram necessidade de explorar a notificação e perceber melhor qual a informação que a aplicação lhes estava a tentar fornecer. Verificou-se o interesse por parte dos participantes quando estes tentavam procurar por pessoas novas implicitamente. Todos os participantes confirmaram que o conhecimento sobre o ambiente que os rodeava foi de facto enriquecido. Houve mais facilidade em identificar pessoas quando estas chegavam a um local. Nos últimos anos tem sido feito um esforço para aumentar a acessibilidade a dispositivos e à informação disponível nestes (Ex: através de leitores de ecrã). No entanto, o mundo real apresenta muita informação que é oferecida de forma visualmente que é assim inacessível a uma pessoa cega. Esta é uma limitação a ter em consideração que pode ajudar à interação social e a compreensão do ambiente que rodeia o utilizador. Não existem sistemas que sejam capazes de fornecer a uma pessoa cega informação tão simples como quem é que se encontra à sua volta, quem é que passou próximo de si, quem é que ainda se encontra numa sala, quais as lojas mais próximas de si ou restaurantes ou simplesmente o que está escrito no placard de notícias. Da mesma maneira, existe a falta de ferramentas que lhes permitam adicionar a sua própria informação a ambientes, que possam partilhar essa informação e servirem-se dela para se entreajudarem em situações mais complicadas. Mostramos estas limitações, necessidades e desejos das pessoas cegas em obter informação sobre o ambiente que as rodeia. Tentando dar o enfâse no aspeto social da ferramenta, focámo-nos muito nas pessoas e na necessidade pessoal de cada individuo.Visually impaired people are often confronted with new environments and they find themselves face to face with an innumerous amount of difficulties when facing these environments. Having to surpass and deal with these difficulties that arise with their condition is something that we can help diminish. They are one sense down when trying to understand their surrounding environments and gather information about what is happening around them. It is difficult for blind people to be comfortable in places where they can’t achieve a proper perception of the environment, considering the difficulty to understand where they are, where are the things they want, who are the people around them, what is around them and how to safely get somewhere or accomplish a particular task. Nowadays, mobile devices present significant computing and technological capacity which has been increasing to the point where it is very common for most people to have access to a device with Bluetooth, GPS, Wi-Fi, and both high processing and storage capacities. This allows us to think of applications that can do so much to help people with difficulties. In the particular case of blind people, the lack of visual information can be bypassed with other contextual information retrieved by their own personal devices. Mobile devices are ubiquitous and are able to be used virtually anywhere and allow connectivity with one another. This also allows their users to save information and convey it through several devices, which means that we can easily share data, augmenting our possibilities beyond what a single device can do. Our goal is to provide information to blind users, be able to give them information about the context that surrounds them. We wanted to provide the blind users with the tools to create information and be able to share this information between each other, information about people, locations or objects. Our approach was to split the project into a data and information gathering phase where we did our field search and interviewed and elaborated on how is the situation of environment perception for blind users, followed by a technical phase where we implement a system based on the first stage. Our results gathered from both the collecting phase and our implementing phase showed that there is potential to use these tools in the blind community and that they welcome the possibilities and horizons that it opens them