496 research outputs found
A Customizable Camera-based Human Computer Interaction System Allowing People With Disabilities Autonomous Hands Free Navigation of Multiple Computing Task
Many people suffer from conditions that lead to deterioration of motor control and makes access to the computer using traditional input devices difficult. In particular, they may loose control of hand movement to the extent that the standard mouse cannot be used as a pointing device. Most current alternatives use markers or specialized hardware to track and translate a user's movement to pointer movement. These approaches may be perceived as intrusive, for example, wearable devices. Camera-based assistive systems that use visual tracking of features on the user's body often require cumbersome manual adjustment. This paper introduces an enhanced computer vision based strategy where features, for example on a user's face, viewed through an inexpensive USB camera, are tracked and translated to pointer movement. The main contributions of this paper are (1) enhancing a video based interface with a mechanism for mapping feature movement to pointer movement, which allows users to navigate to all areas of the screen even with very limited physical movement, and (2) providing a customizable, hierarchical navigation framework for human computer interaction (HCI). This framework provides effective use of the vision-based interface system for accessing multiple applications in an autonomous setting. Experiments with several users show the effectiveness of the mapping strategy and its usage within the application framework as a practical tool for desktop users with disabilities.National Science Foundation (IIS-0093367, IIS-0329009, 0202067
Camera-Based Interfaces and Assistive Software for People with Sever Motion Impairments
Intelligent assistive technology can greatly improve the daily lives of people with severe paralysis, who have limited communication abilities. People with motion impairments often prefer camera-based communication interfaces, because these are customizable, comfortable, and do not require user-borne accessories that could draw attention to their disability. We present an overview of assistive software that we specifically designed for camera-based interfaces such as the Camera Mouse, which serves as a mouse-replacement input system. The applications include software for text-entry, web browsing, image editing, animation, and music therapy. Using this software, people with severe motion impairments can communicate with friends and family and have a medium to explore their creativity.National Science Foundation (IIS-0713229
Accessible Autonomy: Exploring Inclusive Autonomous Vehicle Design and Interaction for People who are Blind and Visually Impaired
Autonomous vehicles are poised to revolutionize independent travel for millions of people experiencing transportation-limiting visual impairments worldwide. However, the current trajectory of automotive technology is rife with roadblocks to accessible interaction and inclusion for this demographic. Inaccessible (visually dependent) interfaces and lack of information access throughout the trip are surmountable, yet nevertheless critical barriers to this potentially lifechanging technology. To address these challenges, the programmatic dissertation research presented here includes ten studies, three published papers, and three submitted papers in high impact outlets that together address accessibility across the complete trip of transportation. The first paper began with a thorough review of the fully autonomous vehicle (FAV) and blind and visually impaired (BVI) literature, as well as the underlying policy landscape. Results guided prejourney ridesharing needs among BVI users, which were addressed in paper two via a survey with (n=90) transit service drivers, interviews with (n=12) BVI users, and prototype design evaluations with (n=6) users, all contributing to the Autonomous Vehicle Assistant: an award-winning and accessible ridesharing app. A subsequent study with (n=12) users, presented in paper three, focused on prejourney mapping to provide critical information access in future FAVs. Accessible in-vehicle interactions were explored in the fourth paper through a survey with (n=187) BVI users. Results prioritized nonvisual information about the trip and indicated the importance of situational awareness. This effort informed the design and evaluation of an ultrasonic haptic HMI intended to promote situational awareness with (n=14) participants (paper five), leading to a novel gestural-audio interface with (n=23) users (paper six). Strong support from users across these studies suggested positive outcomes in pursuit of actionable situational awareness and control. Cumulative results from this dissertation research program represent, to our knowledge, the single most comprehensive approach to FAV BVI accessibility to date. By considering both pre-journey and in-vehicle accessibility, results pave the way for autonomous driving experiences that enable meaningful interaction for BVI users across the complete trip of transportation. This new mode of accessible travel is predicted to transform independent travel for millions of people with visual impairment, leading to increased independence, mobility, and quality of life
Intelligent Interfaces to Empower People with Disabilities
Severe motion impairments can result from non-progressive disorders, such as cerebral palsy, or degenerative neurological diseases, such as Amyotrophic Lateral Sclerosis (ALS), Multiple Sclerosis (MS), or muscular dystrophy (MD). They can be due to traumatic brain injuries, for example, due to a traffic accident, or to brainste
Multimodal interface for an intelligent wheelchair
Tese de mestrado integrado. Engenharia Informåtica e Computação. Universidade do Porto. Faculdade de Engenharia. 201
An Orientation & Mobility Aid for People with Visual Impairments
Orientierung&MobilitaÌt (O&M) umfasst eine Reihe von Techniken fuÌr Menschen mit SehschaÌdigungen, die ihnen helfen, sich im Alltag zurechtzufinden. Dennoch benoÌtigen sie einen umfangreichen und sehr aufwendigen Einzelunterricht mit O&M Lehrern, um diese Techniken in ihre taÌglichen AblaÌufe zu integrieren. WaÌhrend einige dieser Techniken assistive Technologien benutzen, wie zum Beispiel den Blinden-Langstock, Points of Interest Datenbanken oder ein Kompass gestuÌtztes Orientierungssystem, existiert eine unscheinbare KommunikationsluÌcke zwischen verfuÌgbaren Hilfsmitteln und Navigationssystemen.
In den letzten Jahren sind mobile Rechensysteme, insbesondere Smartphones, allgegenwaÌrtig geworden. Dies eroÌffnet modernen Techniken des maschinellen Sehens die MoÌglichkeit, den menschlichen Sehsinn bei Problemen im Alltag zu unterstuÌtzen, die durch ein nicht barrierefreies Design entstanden sind. Dennoch muss mit besonderer Sorgfalt vorgegangen werden, um dabei nicht mit den speziellen persoÌnlichen Kompetenzen und antrainierten Verhaltensweisen zu kollidieren, oder schlimmstenfalls O&M Techniken sogar zu widersprechen.
In dieser Dissertation identifizieren wir eine raÌumliche und systembedingte LuÌcke zwischen Orientierungshilfen und Navigationssystemen fuÌr Menschen mit SehschaÌdigung. Die raÌumliche LuÌcke existiert hauptsaÌchlich, da assistive Orientierungshilfen, wie zum Beispiel der Blinden-Langstock, nur dabei helfen koÌnnen, die Umgebung in einem limitierten Bereich wahrzunehmen, waÌhrend Navigationsinformationen nur sehr weitlaÌufig gehalten sind. ZusaÌtzlich entsteht diese LuÌcke auch systembedingt zwischen diesen beiden Komponenten â der Blinden-Langstock kennt die Route nicht, waÌhrend ein Navigationssystem nahegelegene Hindernisse oder O&M Techniken nicht weiter betrachtet. Daher schlagen wir verschiedene AnsaÌtze zum SchlieĂen dieser LuÌcke vor, um die Verbindung und Kommunikation zwischen Orientierungshilfen und Navigationsinformationen zu verbessern und betrachten das Problem dabei aus beiden Richtungen. Um nuÌtzliche relevante Informationen bereitzustellen, identifizieren wir zuerst die bedeutendsten Anforderungen an assistive Systeme und erstellen einige SchluÌsselkonzepte, die wir bei unseren Algorithmen und Prototypen beachten.
Existierende assistive Systeme zur Orientierung basieren hauptsaÌchlich auf globalen Navigationssatellitensystemen. Wir versuchen, diese zu verbessern, indem wir einen auf Leitlinien basierenden Routing Algorithmus erstellen, der auf individuelle BeduÌrfnisse anpassbar ist und diese beruÌcksichtigt. Generierte Routen sind zwar unmerklich laÌnger, aber auch viel sicherer, gemaÌĂ den in Zusammenarbeit mit O&M Lehrern erstellten objektiven Kriterien. AuĂerdem verbessern wir die VerfuÌgbarkeit von relevanten georeferenzierten Datenbanken, die fuÌr ein derartiges bedarfsgerechtes Routing benoÌtigt werden. Zu diesem Zweck erstellen wir einen maschinellen Lernansatz, mit dem wir Zebrastreifen in Luftbildern erkennen, was auch uÌber LaÌndergrenzen hinweg funktioniert, und verbessern dabei den Stand der Technik.
Um den Nutzen von MobilitaÌtsassistenz durch maschinelles Sehen zu optimieren, erstellen wir O&M Techniken nachempfundene AnsaÌtze, um die raÌumliche Wahrnehmung der unmittelbaren Umgebung zu erhoÌhen. Zuerst betrachten wir dazu die verfuÌgbare FreiflaÌche und informieren auch uÌber moÌgliche Hindernisse. Weiterhin erstellen wir einen neuartigen Ansatz, um die verfuÌgbaren Leitlinien zu erkennen und genau zu lokalisieren, und erzeugen virtuelle Leitlinien, welche Unterbrechungen uÌberbruÌcken und bereits fruÌhzeitig Informationen uÌber die naÌchste Leitlinie bereitstellen. AbschlieĂend verbessern wir die ZugaÌnglichkeit von FuĂgaÌngeruÌbergaÌngen, insbesondere Zebrastreifen und FuĂgaÌngerampeln, mit einem Deep Learning Ansatz.
Um zu analysieren, ob unsere erstellten AnsaÌtze und Algorithmen einen tatsaÌchlichen Mehrwert fuÌr Menschen mit SehschaÌdigung erzeugen, vollziehen wir ein kleines Wizard-of-Oz-Experiment zu unserem bedarfsgerechten Routing â mit einem sehr ermutigendem Ergebnis. Weiterhin fuÌhren wir eine umfangreichere Studie mit verschiedenen Komponenten und dem Fokus auf FuĂgaÌngeruÌbergaÌnge durch. Obwohl unsere statistischen Auswertungen nur eine geringfuÌgige Verbesserung aufzeigen, beeinfluĂt durch technische Probleme mit dem ersten Prototypen und einer zu geringen EingewoÌhnungszeit der Probanden an das System, bekommen wir viel versprechende Kommentare von fast allen Studienteilnehmern. Dies zeigt, daĂ wir bereits einen wichtigen ersten Schritt zum SchlieĂen der identifizierten LuÌcke geleistet haben und Orientierung&MobilitaÌt fuÌr Menschen mit SehschaÌdigung damit verbessern konnten
- âŠ