Gapeau: Enhancing the Sense of Distance to Others with a Head-Mounted Sensor

Human perception lacks the capabilities to accurately assess distance. The recent Covid-19 pandemic outbreak rendered this ability particularly important. Augmenting our sense of distance can help maintain safe separation from others when required. To explore how systems can help users maintain physical distance, we designed, implemented and evaluated Gapeau - a head-mounted system for augmenting the sense of distance. Our system uses proximity sensors and thermal sensing to detect and measure the distance to other people. We conducted a validation protocol, an experiment, in which we compared different feedback modalities, and an in-the-wild study to evaluate Gapeau\u27s performance and suitability for use in social contexts. We found that our system enabled users to more accurately determine whether they were maintaining a safe distance from others. Vibration and auditory feedback were found most effective and usable. Gapeau was perceived as socially acceptable. Our work contributes insights for augmented sensing systems with social relevance

Computer Entertainment Technologies for the Visually Impaired: An Overview

Over the last years, works related to accessible technologies have increased both in number and in quality. This work presents a series of articles which explore different trends in the field of accessible video games for the blind or visually impaired. Reviewed articles are distributed in four categories covering the following subjects: (1) video game design and architecture, (2) video game adaptations, (3) accessible games as learning tools or treatments and (4) navigation and interaction in virtual environments. Current trends in accessible game design are also analysed, and data is presented regarding keyword use and thematic evolution over time. As a conclusion, a relative stagnation in the field of human-computer interaction for the blind is detected. However, as the video game industry is becoming increasingly interested in accessibility, new research opportunities are starting to appear

Designing sensory-substitution devices: Principles, pitfalls and potential1

An exciting possibility for compensating for loss of sensory function is to augment deficient senses by conveying missing information through an intact sense. Here we present an overview of techniques that have been developed for sensory substitution (SS) for the blind, through both touch and audition, with special emphasis on the importance of training for the use of such devices, while highlighting potential pitfalls in their design. One example of a pitfall is how conveying extra information about the environment risks sensory overload. Related to this, the limits of attentional capacity make it important to focus on key information and avoid redundancies. Also, differences in processing characteristics and bandwidth between sensory systems severely constrain the information that can be conveyed. Furthermore, perception is a continuous process and does not involve a snapshot of the environment. Design of sensory substitution devices therefore requires assessment of the nature of spatiotemporal continuity for the different senses. Basic psychophysical and neuroscientific research into representations of the environment and the most effective ways of conveying information should lead to better design of sensory substitution systems. Sensory substitution devices should emphasize usability, and should not interfere with other inter- or intramodal perceptual function. Devices should be task-focused since in many cases it may be impractical to convey too many aspects of the environment. Evidence for multisensory integration in the representation of the environment suggests that researchers should not limit themselves to a single modality in their design. Finally, we recommend active training on devices, especially since it allows for externalization, where proximal sensory stimulation is attributed to a distinct exterior object.This work was supported by the European Union’s Horizon 2020 Research and Innovative Programme under grant agreement no. 643636, “Sound of Vision”.Peer Reviewe

L'utilisation des sons spatialisés horizontalement en tant qu'aide à la navigation chez des aveugles précoces et tardifs

La vision est le sens privilégié pour intéragir avec notre environnement. C’est pourquoi le système visuel prend plus d’un tiers du cortex cérébral. Lorsqu’un individu perd sa vision, ce système est dépourvu de sa source première de stimuli. Il subit donc une réorganisation neuronale massive et devient un espace intermodal. Pour ce faire, il recrute des afférences des autres modalités afin que celles-ci prennent en charge les fonctions qui sont normalement soutenues par la vision. Ce phénomène, appelé plasticité cérébrale, est stimulé par la durée de la cécité et par l’entraînement des sens fonctionnels. Ceci fait en sorte que les aveugles développent des supra-capacités dans les modalités fonctionnelles. La substitution sensorielle est un principe qui exploite ce phénomène. Celle-ci permet de substituer un sens déficient par un autre sens. Pour ce faire, des appareils de substitution sensorielle sont développés pour acheminer des informations visuelles via le toucher ou l’audition. Bien que le but de ces appareils est d’offrir une vision fonctionnelle aux aveugles, la problématique principale demeure l’indépendance de navigation des aveugles. Cependant, ces appareils sont très peu appréciés par les aveugles parce qu’ils sont inaccessibles et qu’ils fournissent un signal complexe qui demande un entraînement intense et une charge cognitive trop élevée. Dans ce projet, nous avons évalué le potentiel d’un nouvel appareil de substitution sensorielle qui fournit des informations strictement pertinentes à la navigation spatiale sous la forme de sons spatialisés horizontalement. Pour ce faire, des participants aveugles précoces, aveugles tardifs et des voyants aux yeux bandés ont été testé pour leurs habiletés à détecter et éviter des obstacles à l’aide de l’appareil dans des conditions expérimentales de détection et d’évitement d’obstacles. L’étude a démontré qu’il est possible d’utiliser cet appareil en tant qu’aide à la navigation et que ce système est utilisé plus efficacement par les groupes d’aveugles.Vision is the preferred sense for interacting with our environment. This is why the visual system takes up more than a third of the cerebral cortex. When an individual loses his vision, this system misses its primary source of stimuli. It therefore undergoes a massive neuronal reorganization and becomes an intermodal space. To do so, it recruits afferents from other modalities so that they take over the functions that are normally mediated by vision. This phenomenon, known as cerebral plasticity, is stimulated by the experience of blindness as well as by the training of the functional senses. This causes the blind to develop supra-abilities in their functional modalities. Sensory substitution is a principle that exploits this phenomenon. It makes it possible to substitute a deficient modality with another modality. To help the blind, sensory substitution devices are being developed to convey visual information via touch or hearing. Although these devices attempt to provide functional vision for the blind, the main issue they try to address is the improvement of the navigational independency of the blind. However, these devices are very little appreciated by the blind since they are inaccessible and provide a complex signal that requires intense training and too high of a cognitive load. Therefore, in this project, we evaluated the potential of a new sensory substitution device that provides information strictly relevant to spatial navigation in the form of horizontally spatialized sounds. To do so, early blind , late blind and sighted blindfolded individuals were tested for their ability to detect and avoid obstacles using the device under experimental conditions. The study showed that it is possible to use this device as a navigation aid and that this system is used more effectively by the blind

Aplicación dos produtos de apoio de alta tecnoloxía no desempeño ocupacional das persoas con discapacidade visual: scoping review

[Resumo] Introdución: As persoas con discapacidade visual poden experimentar dificultades na realización de diferentes ocupacións cotiás. A tecnoloxía de apoio (TA) debe actuar coma un facilitador na participación desta poboación en actividades desexadas. Obxectivo: Coñecer se os produtos de apoio de alta tecnoloxía dan resposta ás dificultades no desempeño ocupacional coas que se atopan máis frecuentemente as persoas con discapacidade visual no seu día a día. Metodoloxía: Seguiuse unha metodoloxía de revisión de alcance. A busca bibliográfica foi levada a cabo nas bases de datos CINAHL, PubMed, Scopus e Web of Science. As variables temáticas establecéronse seguindo os compoñentes propostos polo Modelo da Actividade Humana e da Tecnoloxía de Apoio. Para a súa análise empregouse un enfoque mixto. Resultados: Na mostra incluíronse un total de 44 estudos. En moitos casos, non se especificou certa información relativa ás persoas participantes. A TA analizada centrouse principalmente na detección e na evitación de obstáculos, facilitando a mobilidade funcional. Os dispositivos reciben a información mediante sistemas de cámaras para transmitirlla á persoa por son. A TA está deseñada para contextos tanto interiores coma exteriores da vida diaria, e foi testada maiormente en ambientes reais. Conclusión: Os produtos de apoio de alta tecnoloxía están dirixidos principalmente a facilitar a mobilidade funcional, a participación social, e a lectura das persoas con discapacidade visual. En menor medida, abordaron a educación, o deporte e as tarefas do fogar. Así, non se centraron noutras actividades relevantes como a condución ou o emprego.[Resumen] Introducción: Las personas con discapacidad visual pueden experimentan dificultades en la realización de diferentes ocupaciones cotidianas. La tecnología de apoyo (TA) debe actuar como un facilitador en la participación de esta población en actividades deseadas. Objetivo: Conocer si los productos de apoyo de alta tecnología dan respuesta a las dificultades en el desempeño ocupacional con las que se encuentran más frecuentemente las personas con discapacidad visual en su día a día. Metodología: Se siguió una metodología de revisión de alcance. La búsqueda bibliográfica se llevó a cabo en las bases de datos CINAHL, PubMed, Scopus y Web of Science. Las variables temáticas se establecieron siguiendo los componentes propuestos por el Modelo de la Actividad Humana y la Tecnología de Apoyo. Para su análisis se empleó un enfoque mixto. Resultados: En la muestra se incluyeron un total de 44 estudios. En muchos casos, no se especificó cierta información relativa a las personas participantes. La TA analizada se centró principalmente en la detección y evitación de obstáculos, facilitando la movilidad funcional. Los dispositivos reciben la información mediante sistemas de cámaras para transmitírsela a la persona por audio. La TA está diseñada para contextos tanto interiores como exteriores de la vida diaria, y fue testada mayormente en ambientes reales. Conclusión: Los productos de apoyo de alta tecnología están dirigidos principalmente a facilitar la movilidad funcional, la participación social, y la lectura de las personas con discapacidad visual. En menor medida, abordaron la educación, el deporte, o las tareas del hogar. Así, no se centraron en otras actividades relevantes como la conducción o el empleo.[Abstract] Background: People with visual impairment can have difficulties in performing different daily occupations. Assistive technology (AT) should be an enabler in the participation of these population’s desired activities. Aim: To know if high-tech assistive devices respond to difficulties in the occupational performance that people with visual impairment most frequently experiment in their day-to-day lives. Methodology: A methodology of Scoping Review was used. The bibliographic search was carried out in the databases CINAHL, PubMed, Scopus y Web of Science. Thematic variables were established following the components proposed by the Human Activity Assistive Technology Model. For their analyses, a mixed methods approach was used. Results: A total of 44 studies were included in the sample. In many cases, certain information regarding the participants was not specified. The analyzed AT focused mainly on the detection and avoidance of obstacles, facilitating functional mobility. The devices receive the information through camera systems to transmit it to the person by audio. The AT is designed for indoor and outdoor contexts of everyday life, and it was mostly tested in real-world environments. Conclusion: The high-tech assistive devices are primarily aimed at facilitating the functional mobility, social participation, and reading of people with visual impairment. To a lesser extent, they addressed education, sports, or housework. However, they did not focus on other relevant activities such as driving or working.Traballo fin de mestrado (UDC.FCS). Asistencia e investigación sanitaria. Especialidade en Reeducación Funcional, Autonomía Persoal e Calidade de Vida. Curso 2020-202

Investigating the effect of sensory concurrency on learning haptic spatiotemporal signals

A new generation of multimodal interfaces and interactions is emerging. Drawing on the principles of Sensory Substitution and Augmentation Devices (SSADs), these new interfaces offer the potential for rich, immersive human-computer interactions, but are difficult to design well, and take time to master, creating significant barriers towards wider adoption. Following a review of the literature surrounding existing SSADs, their metrics for success and their growing influence on interface design in Human Computer Interaction, we present a medium term (4-day) study comparing the effectiveness of various combinations of visual and haptic feedback (sensory concurrencies) in preparing users to perform a virtual maze navigation task using haptic feedback alone. Participants navigated 12 mazes in each of 3 separate sessions under a specific combination of visual and haptic feedback, before performing the same task using the haptic feedback alone. Visual sensory deprivation was shown to be inferior to visual & haptic concurrency in enabling haptic signal comprehension, while a new hybridized condition combining reduced visual feedback with the haptic signal was shown to be superior. Potential explanations for the effectiveness of the hybrid mechanism are explored, and the scope and implications of its generalization to new sensory interfaces is presented.PostprintPeer reviewe

“I can do everything but see!” – How People with Vision Impairments Negotiate their Abilities in Social Contexts

This research takes an orientation to visual impairment (VI) that does not regard it as fixed or determined alone in or through the body. Instead, we consider (dis)ability as produced through interactions with the environment and configured by the people and technology within it. Specifically, we explore how abilities become negotiated through video ethnography with six VI athletes and spectators during the Rio 2016 Paralympics. We use generated in-depth examples to identify how technology can be a meaningful part of ability negotiations, emphasizing how these embed into the social interactions and lives of people with VI. In contrast to treating technology as a solution to a ‘sensory deficit’, we understand it to support the triangulation process of sense-making through provision of appropriate additional information. Further, we suggest that technology should not try and replace human assistance, but instead enable people with VI to better identify and interact with other people in-situ

An Orientation & Mobility Aid for People with Visual Impairments

Orientierung&Mobilität (O&M) umfasst eine Reihe von Techniken für Menschen mit Sehschädigungen, die ihnen helfen, sich im Alltag zurechtzufinden. Dennoch benötigen sie einen umfangreichen und sehr aufwendigen Einzelunterricht mit O&M Lehrern, um diese Techniken in ihre täglichen Abläufe zu integrieren. Während einige dieser Techniken assistive Technologien benutzen, wie zum Beispiel den Blinden-Langstock, Points of Interest Datenbanken oder ein Kompass gestütztes Orientierungssystem, existiert eine unscheinbare Kommunikationslücke zwischen verfügbaren Hilfsmitteln und Navigationssystemen. In den letzten Jahren sind mobile Rechensysteme, insbesondere Smartphones, allgegenwärtig geworden. Dies eröffnet modernen Techniken des maschinellen Sehens die Möglichkeit, den menschlichen Sehsinn bei Problemen im Alltag zu unterstützen, die durch ein nicht barrierefreies Design entstanden sind. Dennoch muss mit besonderer Sorgfalt vorgegangen werden, um dabei nicht mit den speziellen persönlichen Kompetenzen und antrainierten Verhaltensweisen zu kollidieren, oder schlimmstenfalls O&M Techniken sogar zu widersprechen. In dieser Dissertation identifizieren wir eine räumliche und systembedingte Lücke zwischen Orientierungshilfen und Navigationssystemen für Menschen mit Sehschädigung. Die räumliche Lücke existiert hauptsächlich, da assistive Orientierungshilfen, wie zum Beispiel der Blinden-Langstock, nur dabei helfen können, die Umgebung in einem limitierten Bereich wahrzunehmen, während Navigationsinformationen nur sehr weitläufig gehalten sind. Zusätzlich entsteht diese Lücke auch systembedingt zwischen diesen beiden Komponenten — der Blinden-Langstock kennt die Route nicht, während ein Navigationssystem nahegelegene Hindernisse oder O&M Techniken nicht weiter betrachtet. Daher schlagen wir verschiedene Ansätze zum Schließen dieser Lücke vor, um die Verbindung und Kommunikation zwischen Orientierungshilfen und Navigationsinformationen zu verbessern und betrachten das Problem dabei aus beiden Richtungen. Um nützliche relevante Informationen bereitzustellen, identifizieren wir zuerst die bedeutendsten Anforderungen an assistive Systeme und erstellen einige Schlüsselkonzepte, die wir bei unseren Algorithmen und Prototypen beachten. Existierende assistive Systeme zur Orientierung basieren hauptsächlich auf globalen Navigationssatellitensystemen. Wir versuchen, diese zu verbessern, indem wir einen auf Leitlinien basierenden Routing Algorithmus erstellen, der auf individuelle Bedürfnisse anpassbar ist und diese berücksichtigt. Generierte Routen sind zwar unmerklich länger, aber auch viel sicherer, gemäß den in Zusammenarbeit mit O&M Lehrern erstellten objektiven Kriterien. Außerdem verbessern wir die Verfügbarkeit von relevanten georeferenzierten Datenbanken, die für ein derartiges bedarfsgerechtes Routing benötigt werden. Zu diesem Zweck erstellen wir einen maschinellen Lernansatz, mit dem wir Zebrastreifen in Luftbildern erkennen, was auch über Ländergrenzen hinweg funktioniert, und verbessern dabei den Stand der Technik. Um den Nutzen von Mobilitätsassistenz durch maschinelles Sehen zu optimieren, erstellen wir O&M Techniken nachempfundene Ansätze, um die räumliche Wahrnehmung der unmittelbaren Umgebung zu erhöhen. Zuerst betrachten wir dazu die verfügbare Freifläche und informieren auch über mögliche Hindernisse. Weiterhin erstellen wir einen neuartigen Ansatz, um die verfügbaren Leitlinien zu erkennen und genau zu lokalisieren, und erzeugen virtuelle Leitlinien, welche Unterbrechungen überbrücken und bereits frühzeitig Informationen über die nächste Leitlinie bereitstellen. Abschließend verbessern wir die Zugänglichkeit von Fußgängerübergängen, insbesondere Zebrastreifen und Fußgängerampeln, mit einem Deep Learning Ansatz. Um zu analysieren, ob unsere erstellten Ansätze und Algorithmen einen tatsächlichen Mehrwert für Menschen mit Sehschädigung erzeugen, vollziehen wir ein kleines Wizard-of-Oz-Experiment zu unserem bedarfsgerechten Routing — mit einem sehr ermutigendem Ergebnis. Weiterhin führen wir eine umfangreichere Studie mit verschiedenen Komponenten und dem Fokus auf Fußgängerübergänge durch. Obwohl unsere statistischen Auswertungen nur eine geringfügige Verbesserung aufzeigen, beeinflußt durch technische Probleme mit dem ersten Prototypen und einer zu geringen Eingewöhnungszeit der Probanden an das System, bekommen wir viel versprechende Kommentare von fast allen Studienteilnehmern. Dies zeigt, daß wir bereits einen wichtigen ersten Schritt zum Schließen der identifizierten Lücke geleistet haben und Orientierung&Mobilität für Menschen mit Sehschädigung damit verbessern konnten