Investigating context-aware clues to assist navigation for visually impaired people

It is estimated that 7.4 million people in Europe are visually impaired [1]. Limitations of traditional mobility aids (i.e. white canes and guide dogs) coupled with a proliferation of context-aware technologies (e.g. Electronic Travel Aids, Global Positioning Systems and Geographical Information Systems), have stimulated research and development into navigational systems for the visually impaired. However, current research appears very technology focused, which has led to an insufficient appreciation of Human Computer Interaction, in particular task/requirements analysis and notions of contextual interactions. The study reported here involved a smallscale investigation into how visually impaired people interact with their environmental context during micro-navigation (through immediate environment) and/or macro-navigation (through distant environment) on foot. The purpose was to demonstrate the heterogeneous nature of visually impaired people in interaction with their environmental context. Results from a previous study involving sighted participants were used for comparison. Results revealed that when describing a route, visually impaired people vary in their use of different types of navigation clues - both as a group, when compared with sighted participants, and as individuals. Usability implications and areas for further work are identified and discussed

A Context-Aware Artificial Intelligence-based System to Support Street Crossings For Pedestrians with Visual Impairments

Artificial intelligence has the potential to support and improve the quality of life of people with disabilities. Mobility is a potentially dangerous activity for people with impaired ability. This article presents an assistive technology solution to assist visually impaired pedestrians in safely crossing the street. We use a signal trilateration technique and deep learning (DL) for image processing to segment visually impaired pedestrians from the rest of pedestrians. The system receives information about the presence of a potential user through WiFi signals from a mobile application installed on the user’s phone. The software runs on an intelligent semaphore originally designed and installed to improve urban mobility in a smart city context. This solution can communicate with users, interpret the traffic situation, and make the necessary adjustments (with the semaphore’s capabilities) to ensure a safe street crossing. The proposed system has been implemented in Maringá, Brazil, for a one-year period. Trial tests carried out with visually impaired pedestrians confirm its feasibility and practicality in a real-life environment

An Orientation & Mobility Aid for People with Visual Impairments

Orientierung&Mobilität (O&M) umfasst eine Reihe von Techniken für Menschen mit Sehschädigungen, die ihnen helfen, sich im Alltag zurechtzufinden. Dennoch benötigen sie einen umfangreichen und sehr aufwendigen Einzelunterricht mit O&M Lehrern, um diese Techniken in ihre täglichen Abläufe zu integrieren. Während einige dieser Techniken assistive Technologien benutzen, wie zum Beispiel den Blinden-Langstock, Points of Interest Datenbanken oder ein Kompass gestütztes Orientierungssystem, existiert eine unscheinbare Kommunikationslücke zwischen verfügbaren Hilfsmitteln und Navigationssystemen. In den letzten Jahren sind mobile Rechensysteme, insbesondere Smartphones, allgegenwärtig geworden. Dies eröffnet modernen Techniken des maschinellen Sehens die Möglichkeit, den menschlichen Sehsinn bei Problemen im Alltag zu unterstützen, die durch ein nicht barrierefreies Design entstanden sind. Dennoch muss mit besonderer Sorgfalt vorgegangen werden, um dabei nicht mit den speziellen persönlichen Kompetenzen und antrainierten Verhaltensweisen zu kollidieren, oder schlimmstenfalls O&M Techniken sogar zu widersprechen. In dieser Dissertation identifizieren wir eine räumliche und systembedingte Lücke zwischen Orientierungshilfen und Navigationssystemen für Menschen mit Sehschädigung. Die räumliche Lücke existiert hauptsächlich, da assistive Orientierungshilfen, wie zum Beispiel der Blinden-Langstock, nur dabei helfen können, die Umgebung in einem limitierten Bereich wahrzunehmen, während Navigationsinformationen nur sehr weitläufig gehalten sind. Zusätzlich entsteht diese Lücke auch systembedingt zwischen diesen beiden Komponenten — der Blinden-Langstock kennt die Route nicht, während ein Navigationssystem nahegelegene Hindernisse oder O&M Techniken nicht weiter betrachtet. Daher schlagen wir verschiedene Ansätze zum Schließen dieser Lücke vor, um die Verbindung und Kommunikation zwischen Orientierungshilfen und Navigationsinformationen zu verbessern und betrachten das Problem dabei aus beiden Richtungen. Um nützliche relevante Informationen bereitzustellen, identifizieren wir zuerst die bedeutendsten Anforderungen an assistive Systeme und erstellen einige Schlüsselkonzepte, die wir bei unseren Algorithmen und Prototypen beachten. Existierende assistive Systeme zur Orientierung basieren hauptsächlich auf globalen Navigationssatellitensystemen. Wir versuchen, diese zu verbessern, indem wir einen auf Leitlinien basierenden Routing Algorithmus erstellen, der auf individuelle Bedürfnisse anpassbar ist und diese berücksichtigt. Generierte Routen sind zwar unmerklich länger, aber auch viel sicherer, gemäß den in Zusammenarbeit mit O&M Lehrern erstellten objektiven Kriterien. Außerdem verbessern wir die Verfügbarkeit von relevanten georeferenzierten Datenbanken, die für ein derartiges bedarfsgerechtes Routing benötigt werden. Zu diesem Zweck erstellen wir einen maschinellen Lernansatz, mit dem wir Zebrastreifen in Luftbildern erkennen, was auch über Ländergrenzen hinweg funktioniert, und verbessern dabei den Stand der Technik. Um den Nutzen von Mobilitätsassistenz durch maschinelles Sehen zu optimieren, erstellen wir O&M Techniken nachempfundene Ansätze, um die räumliche Wahrnehmung der unmittelbaren Umgebung zu erhöhen. Zuerst betrachten wir dazu die verfügbare Freifläche und informieren auch über mögliche Hindernisse. Weiterhin erstellen wir einen neuartigen Ansatz, um die verfügbaren Leitlinien zu erkennen und genau zu lokalisieren, und erzeugen virtuelle Leitlinien, welche Unterbrechungen überbrücken und bereits frühzeitig Informationen über die nächste Leitlinie bereitstellen. Abschließend verbessern wir die Zugänglichkeit von Fußgängerübergängen, insbesondere Zebrastreifen und Fußgängerampeln, mit einem Deep Learning Ansatz. Um zu analysieren, ob unsere erstellten Ansätze und Algorithmen einen tatsächlichen Mehrwert für Menschen mit Sehschädigung erzeugen, vollziehen wir ein kleines Wizard-of-Oz-Experiment zu unserem bedarfsgerechten Routing — mit einem sehr ermutigendem Ergebnis. Weiterhin führen wir eine umfangreichere Studie mit verschiedenen Komponenten und dem Fokus auf Fußgängerübergänge durch. Obwohl unsere statistischen Auswertungen nur eine geringfügige Verbesserung aufzeigen, beeinflußt durch technische Probleme mit dem ersten Prototypen und einer zu geringen Eingewöhnungszeit der Probanden an das System, bekommen wir viel versprechende Kommentare von fast allen Studienteilnehmern. Dies zeigt, daß wir bereits einen wichtigen ersten Schritt zum Schließen der identifizierten Lücke geleistet haben und Orientierung&Mobilität für Menschen mit Sehschädigung damit verbessern konnten

ARM7 based Bus Passenger Alert System for the Blind and Visually Impaired

Safe mobility is among the greatest challenges faced by the visually challenged in day-to-day life, and making this available to them at an economical price is very important. This paper aims at the development of: 1. An affordable ARM7 based device that helps a visually impaired person keep track of buses that halt at the station and safely board the desired bus using RF transmitter and receiver modules, voice chip, loudspeaker. 2. Ultrasound based ranging to enhance the horizontal and vertical range of the smart cane to help blind person navigate comfortably with required instructions from audio output or beeper

A Systematic Review of Urban Navigation Systems for Visually Impaired People

Blind and Visually impaired people (BVIP) face a range of practical difficulties when undertaking outdoor journeys as pedestrians. Over the past decade, a variety of assistive devices have been researched and developed to help BVIP navigate more safely and independently. In~addition, research in overlapping domains are addressing the problem of automatic environment interpretation using computer vision and machine learning, particularly deep learning, approaches. Our aim in this article is to present a comprehensive review of research directly in, or relevant to, assistive outdoor navigation for BVIP. We breakdown the navigation area into a series of navigation phases and tasks. We then use this structure for our systematic review of research, analysing articles, methods, datasets and current limitations by task. We also provide an overview of commercial and non-commercial navigation applications targeted at BVIP. Our review contributes to the body of knowledge by providing a comprehensive, structured analysis of work in the domain, including the state of the art, and guidance on future directions. It will support both researchers and other stakeholders in the domain to establish an informed view of research progress

Smart automotive technology adherence to the law: (de)constructing road rules for autonomous system development, verification and safety

Driving is an intuitive task that requires skill, constant alertness and vigilance for unexpected events. The driving task also requires long concentration spans, focusing on the entire task for prolonged periods, and sophisticated negotiation skills with other road users including wild animals. Modern motor vehicles include an array of smart assistive and autonomous driving systems capable of subsuming some, most, or in limited cases, all of the driving task. Building these smart automotive systems requires software developers with highly technical software engineering skills, and now a lawyer’s in-depth knowledge of traffic legislation as well. This article presents an approach for deconstructing the complicated legalese of traffic law and representing its requirements and flow. Our approach (de)constructs road rules in legal terminology and specifies them in ‘structured English logic’ that is expressed as ‘Boolean logic’ for automation and ‘Lawmaps’ for visualization. We demonstrate an example using these tools leading to the construction and validation of a ‘Bayesian Network model’. We strongly believe these tools to be approachable by programmers and the general public, useful in development of Artificial Intelligence to underpin motor vehicle smart systems, and in validation to ensure these systems are considerate of the law when making decisions.fals

Understanding interactions between autonomous vehicles and other road users: A literature review

This review draws on literature relating to the interactions of vehicles with other vehicles, interactions between vehicles and infrastructure, and interactions between autonomous vehicles and cyclists and autonomous vehicles and pedestrians. The available literature relating to autonomous vehicles interactions is currently limited and hence the review has considered issues which will be relevant to autonomous vehicles from reading and evaluating a broader but still relevant literature.The project is concerned primarily with autonomous vehicles within the urban environment and hence the greatest consideration has been given to interactions on typical urban roads, with specific consideration also being given to shared space. The central questions in relation to autonomous vehicles and other road users revolve around gap acceptance, overtaking behaviour, behaviour at road narrowings, the ability to detect and avoid cyclists taking paths through a junction which conflict with the autonomous vehicle’s path, and the ability of autonomous vehicles to sense and respond to human gestures. A long list of potential research questions has been developed, many of which are not realistically answerable by the Venturer project. However, the important research questions which might potentially be answered by the current project are offered as the basis for the more detailed consideration of the conduct of the interaction trial