The Effect of Programmable Tactile Displays on Spatial Learning Skills in Children and Adolescents of Different Visual Disability

Vision loss has severe impacts on physical, social and emotional well-being. The education of blind children poses issues as many scholar disciplines (e.g., geometry, mathematics) are normally taught by heavily relying on vision. Touch-based assistive technologies are potential tools to provide graphical contents to blind users, improving learning possibilities and social inclusion. Raised-lines drawings are still the golden standard, but stimuli cannot be reconfigured or adapted and the blind person constantly requires assistance. Although much research concerns technological development, little work concerned the assessment of programmable tactile graphics, in educative and rehabilitative contexts. Here we designed, on programmable tactile displays, tests aimed at assessing spatial memory skills and shapes recognition abilities. Tests involved a group of blind and a group of low vision children and adolescents in a four-week longitudinal schedule. After establishing subject-specific difficulty levels, we observed a significant enhancement of performance across sessions and for both groups. Learning effects were comparable to raised paper control tests: however, our setup required minimal external assistance. Overall, our results demonstrate that programmable maps are an effective way to display graphical contents in educative/rehabilitative contexts. They can be at least as effective as traditional paper tests yet providing superior flexibility and versatility

Touch- and Walkable Virtual Reality to Support Blind and Visually Impaired Peoples‘ Building Exploration in the Context of Orientation and Mobility

Der Zugang zu digitalen Inhalten und Informationen wird immer wichtiger für eine erfolgreiche Teilnahme an der heutigen, zunehmend digitalisierten Zivilgesellschaft. Solche Informationen werden meist visuell präsentiert, was den Zugang für blinde und sehbehinderte Menschen einschränkt. Die grundlegendste Barriere ist oft die elementare Orientierung und Mobilität (und folglich die soziale Mobilität), einschließlich der Erlangung von Kenntnissen über unbekannte Gebäude vor deren Besuch. Um solche Barrieren zu überbrücken, sollten technische Hilfsmittel entwickelt und eingesetzt werden. Es ist ein Kompromiss zwischen technologisch niedrigschwellig zugänglichen und verbreitbaren Hilfsmitteln und interaktiv-adaptiven, aber komplexen Systemen erforderlich. Die Anpassung der Technologie der virtuellen Realität (VR) umfasst ein breites Spektrum an Entwicklungs- und Entscheidungsoptionen. Die Hauptvorteile der VR-Technologie sind die erhöhte Interaktivität, die Aktualisierbarkeit und die Möglichkeit, virtuelle Räume und Modelle als Abbilder von realen Räumen zu erkunden, ohne dass reale Gefahren und die begrenzte Verfügbarkeit von sehenden Helfern auftreten. Virtuelle Objekte und Umgebungen haben jedoch keine physische Beschaffenheit. Ziel dieser Arbeit ist es daher zu erforschen, welche VR-Interaktionsformen sinnvoll sind (d.h. ein angemessenes Verbreitungspotenzial bieten), um virtuelle Repräsentationen realer Gebäude im Kontext von Orientierung und Mobilität berührbar oder begehbar zu machen. Obwohl es bereits inhaltlich und technisch disjunkte Entwicklungen und Evaluationen zur VR-Technologie gibt, fehlt es an empirischer Evidenz. Zusätzlich bietet diese Arbeit einen Überblick über die verschiedenen Interaktionen. Nach einer Betrachtung der menschlichen Physiologie, Hilfsmittel (z.B. taktile Karten) und technologischen Eigenschaften wird der aktuelle Stand der Technik von VR vorgestellt und die Anwendung für blinde und sehbehinderte Nutzer und der Weg dorthin durch die Einführung einer neuartigen Taxonomie diskutiert. Neben der Interaktion selbst werden Merkmale des Nutzers und des Geräts, der Anwendungskontext oder die nutzerzentrierte Entwicklung bzw. Evaluation als Klassifikatoren herangezogen. Begründet und motiviert werden die folgenden Kapitel durch explorative Ansätze, d.h. im Bereich 'small scale' (mit sogenannten Datenhandschuhen) und im Bereich 'large scale' (mit einer avatargesteuerten VR-Fortbewegung). Die folgenden Kapitel führen empirische Studien mit blinden und sehbehinderten Nutzern durch und geben einen formativen Einblick, wie virtuelle Objekte in Reichweite der Hände mit haptischem Feedback erfasst werden können und wie verschiedene Arten der VR-Fortbewegung zur Erkundung virtueller Umgebungen eingesetzt werden können. Daraus werden geräteunabhängige technologische Möglichkeiten und auch Herausforderungen für weitere Verbesserungen abgeleitet. Auf der Grundlage dieser Erkenntnisse kann sich die weitere Forschung auf Aspekte wie die spezifische Gestaltung interaktiver Elemente, zeitlich und räumlich kollaborative Anwendungsszenarien und die Evaluation eines gesamten Anwendungsworkflows (d.h. Scannen der realen Umgebung und virtuelle Erkundung zu Trainingszwecken sowie die Gestaltung der gesamten Anwendung in einer langfristig barrierefreien Weise) konzentrieren.Access to digital content and information is becoming increasingly important for successful participation in today's increasingly digitized civil society. Such information is mostly presented visually, which restricts access for blind and visually impaired people. The most fundamental barrier is often basic orientation and mobility (and consequently, social mobility), including gaining knowledge about unknown buildings before visiting them. To bridge such barriers, technological aids should be developed and deployed. A trade-off is needed between technologically low-threshold accessible and disseminable aids and interactive-adaptive but complex systems. The adaptation of virtual reality (VR) technology spans a wide range of development and decision options. The main benefits of VR technology are increased interactivity, updatability, and the possibility to explore virtual spaces as proxies of real ones without real-world hazards and the limited availability of sighted assistants. However, virtual objects and environments have no physicality. Therefore, this thesis aims to research which VR interaction forms are reasonable (i.e., offering a reasonable dissemination potential) to make virtual representations of real buildings touchable or walkable in the context of orientation and mobility. Although there are already content and technology disjunctive developments and evaluations on VR technology, there is a lack of empirical evidence. Additionally, this thesis provides a survey between different interactions. Having considered the human physiology, assistive media (e.g., tactile maps), and technological characteristics, the current state of the art of VR is introduced, and the application for blind and visually impaired users and the way to get there is discussed by introducing a novel taxonomy. In addition to the interaction itself, characteristics of the user and the device, the application context, or the user-centered development respectively evaluation are used as classifiers. Thus, the following chapters are justified and motivated by explorative approaches, i.e., in the group of 'small scale' (using so-called data gloves) and in the scale of 'large scale' (using an avatar-controlled VR locomotion) approaches. The following chapters conduct empirical studies with blind and visually impaired users and give formative insight into how virtual objects within hands' reach can be grasped using haptic feedback and how different kinds of VR locomotion implementation can be applied to explore virtual environments. Thus, device-independent technological possibilities and also challenges for further improvements are derived. On the basis of this knowledge, subsequent research can be focused on aspects such as the specific design of interactive elements, temporally and spatially collaborative application scenarios, and the evaluation of an entire application workflow (i.e., scanning the real environment and exploring it virtually for training purposes, as well as designing the entire application in a long-term accessible manner)

Taktile Interaktion auf flächigen Brailledisplays

Für den Zugang zu grafischen Benutzungsoberflächen (GUIs) stehen blinden Menschen so genannte Screenreader und Braillezeilen zur Verfügung. Diese ermöglichen zwar das nicht-visuelle Wahrnehmen textueller Inhalte, allerdings kein effektives Arbeiten mit bildlichen Darstellungen. Neuartige taktile Flächendisplays können eine geeignete Lösung für den interaktiven Zugang zu tastbaren Grafiken darstellen und somit die Interaktionsmöglichkeiten blinder Benutzer im Umgang mit grafischen Anwendungen bereichern. Beispielsweise erlauben derartige Geräte nicht nur das Erkunden räumlicher Anordnungen, sondern darüber hinaus auch die kombinierte Ausgabe von Braille, Grafik und semi-grafischen Elementen. Um die deutlich größere Menge an gleichzeitig darstellbaren Informationen beherrschbar zu machen, sind neben entsprechenden Inhaltsaufbereitungen und Navigationsmechanismen auch geeignete Orientierungshilfen bereitzustellen. Im Rahmen der vorliegenden Arbeit wurde am Beispiel der BrailleDis Geräte der Metec AG, welche eine taktile Ausgabefläche von 120 mal 60 Stiften bereitstellen, untersucht, inwieweit flächige Brailledisplays blinden Menschen eine effektive und effiziente Bedienung grafischer Benutzungsoberflächen ermöglichen. Neben dem Zugang zur GUI selbst sowie dem Lesen von Texten stellt dabei insbesondere das Arbeiten mit Grafiken einen wichtigen Aspekt dar. Um die Bedienung auf einem taktilen Flächendisplay zu erleichtern, ist eine konsistente Organisation der Inhalte hilfreich. Hierfür wurde ein neuartiges taktiles Fenstersystem umgesetzt, welches die Ausgabe nicht nur in mehrere disjunkte Bereiche unterteilt, sondern auch verschiedene taktile Darstellungsarten unterstützt. Zur Systematisierung der Gestaltung und Evaluation derartiger taktiler Benutzungsoberflächen sowie der darin stattfindenden Benutzerinteraktionen wurde zunächst eine Taxonomie erarbeitet. Dabei wurden neben der Interaktion selber, welche durch die Ein-und Ausgabe sowie die Handbewegungen des Benutzers beschrieben werden kann, auch die Benutzerintention in Form von taktilen Elementaraufgaben sowie die technischen Spezifikationen des Geräts mit einbezogen. Basierend auf der Taxonomie wurden anschließend relevante Aspekte identifiziert, welche in mehreren Benutzerstudien mit insgesamt 46 blinden und hochgradig sehbehinderten Menschen untersucht wurden. Die betrachteten Untersuchungsfragen betrafen dabei einerseits die Effektivität der Ausgabe in Form verschiedener taktiler Ansichtsarten sowie die Eingabe und Erkundung durch den Benutzer, andererseits auch Aspekte zur Effizienz konkreter Interaktionstechniken. Als Ergebnis der einzelnen Studien wurden abschließend konkrete Empfehlungen zur Umsetzung von Benutzungsoberflächen auf flächigen Brailledisplays gegeben. Diese beinhalten insbesondere Aspekte zur Ergonomie von taktilen Flächendisplays, zur Anzeige von textuellen Inhalten, zur Darstellung und Interaktion mit grafischen Inhalten sowie zu Orientierungshilfen. Insgesamt konnte mit Hilfe der Benutzerstudien gezeigt werden, dass flächige Brailledisplays blinden Menschen einen effektiven und effizienten Zugang zu grafischen Benutzungsoberflächen ermöglichen. Verschiedene taktile Darstellungsarten können dabei das Lösen unterschiedlicher Aufgaben unterstützen. Generell erfordert die flächige Interaktion vom Benutzer allerdings auch die Erweiterung seiner konventionellen Erkundungs-und Eingabestrategien. Die Bereitstellung neuartiger Interaktionstechniken zur Unterstützung der Orientierung kann die Effizienz zusätzlich steigern.Blind people normally use screen readers as well as single-lined refreshable Braille displays for accessing graphical user interfaces (GUIs). These technologies allow for a non-visual perception of textual content but not for an effective handling of visual illustrations. Novel two-dimensional tactile pin-matrix devices are an appropriate solution to interactively access tactual graphics. In this way, they can enrich the interaction possibilities of blind users in dealing with graphical applications. For instance, such devices enable the exploration of spatial arrangements and also combine output of Braille, graphics and semi-graphical elements. To make the high amount of simultaneously presented information perceivable and efficiently usable for blind users, an adequate preparation of content as well as adapted navigation and orientation mechanisms must be provided. In this thesis the BrailleDis devices of Metec AG, which have a tactile output area of 120 times 60 pins, were used. The goal was to investigate to what extent large pin-matrix devices enable blind people to use graphical user interfaces effectively and efficiently. Access to the GUI itself, reading text, and dealing with graphics are the main aspects of the application area of such devices. To facilitate the operation on a two-dimensional pin-matrix device a consistent organization of the content is helpful. Therefore, a novel tactile windowing system was implemented which divides the output area into multiple disjunctive regions and supports diverse tactile information visualizations. Moreover, a taxonomy was developed to systematize the design and evaluation of tactile user interfaces. Apart from interaction that can be described by input and output as well as hand movements, the taxonomy includes user intention in terms of interactive task primitives and technical specifications of the device. Based on the taxonomy, relevant aspects of tactile interaction were identified. These aspects were examined in multiple user studies with a total of 46 blind and visually impaired participants. The following research topics were considered during the user studies: 1. the effectiveness of diverse tactile view types (output), 2. user input and exploration, and 3. the efficiency of specific interaction techniques. As a result, practical recommendations for implementing user interfaces on two-dimensional pin-matrix devices were given. These recommendations include ergonomic issues of physical devices as well as design considerations for textual and graphical content as well as orientation aids. In summary, the user studies showed that two-dimensional pin-matrix devices enable blind people an effective and efficient access to graphical user interfaces. Diverse tactile information visualizations can support users to fulfill various tasks. In general, two-dimensional interaction requires the extension of conventional exploration and input strategies of users. The provision of novel interaction techniques for supporting orientation can help to increase efficiency even more

Tabletop tangible maps and diagrams for visually impaired users

En dépit de leur omniprésence et de leur rôle essentiel dans nos vies professionnelles et personnelles, les représentations graphiques, qu'elles soient numériques ou sur papier, ne sont pas accessibles aux personnes déficientes visuelles car elles ne fournissent pas d'informations tactiles. Par ailleurs, les inégalités d'accès à ces représentations ne cessent de s'accroître ; grâce au développement de représentations graphiques dynamiques et disponibles en ligne, les personnes voyantes peuvent non seulement accéder à de grandes quantités de données, mais aussi interagir avec ces données par le biais de fonctionnalités avancées (changement d'échelle, sélection des données à afficher, etc.). En revanche, pour les personnes déficientes visuelles, les techniques actuellement utilisées pour rendre accessibles les cartes et les diagrammes nécessitent l'intervention de spécialistes et ne permettent pas la création de représentations interactives. Cependant, les récentes avancées dans le domaine de l'adaptation automatique de contenus laissent entrevoir, dans les prochaines années, une augmentation de la quantité de contenus adaptés. Cette augmentation doit aller de pair avec le développement de dispositifs utilisables et abordables en mesure de supporter l'affichage de représentations interactives et rapidement modifiables, tout en étant accessibles aux personnes déficientes visuelles. Certains prototypes de recherche s'appuient sur une représentation numérique seulement : ils peuvent être instantanément modifiés mais ne fournissent que très peu de retour tactile, ce qui rend leur exploration complexe d'un point de vue cognitif et impose de fortes contraintes sur le contenu. D'autres prototypes s'appuient sur une représentation numérique et physique : bien qu'ils puissent être explorés tactilement, ce qui est un réel avantage, ils nécessitent un support tactile qui empêche toute modification rapide. Quant aux dispositifs similaires à des tablettes Braille, mais avec des milliers de picots, leur coût est prohibitif. L'objectif de cette thèse est de pallier les limitations de ces approches en étudiant comment développer des cartes et diagrammes interactifs physiques, modifiables et abordables. Pour cela, nous nous appuyons sur un type d'interface qui a rarement été étudié pour des utilisateurs déficients visuels : les interfaces tangibles, et plus particulièrement les interfaces tangibles sur table. Dans ces interfaces, des objets physiques représentent des informations numériques et peuvent être manipulés par l'utilisateur pour interagir avec le système, ou par le système lui-même pour refléter un changement du modèle numérique - on parle alors d'interfaces tangibles sur tables animées, ou actuated. Grâce à la conception, au développement et à l'évaluation de trois interfaces tangibles sur table (les Tangible Reels, la Tangible Box et BotMap), nous proposons un ensemble de solutions techniques répondant aux spécificités des interfaces tangibles pour des personnes déficientes visuelles, ainsi que de nouvelles techniques d'interaction non-visuelles, notamment pour la reconstruction d'une carte ou d'un diagramme et l'exploration de cartes de type " Pan & Zoom ". D'un point de vue théorique, nous proposons aussi une nouvelle classification pour les dispositifs interactifs accessibles.Despite their omnipresence and essential role in our everyday lives, online and printed graphical representations are inaccessible to visually impaired people because they cannot be explored using the sense of touch. The gap between sighted and visually impaired people's access to graphical representations is constantly growing due to the increasing development and availability of online and dynamic representations that not only give sighted people the opportunity to access large amounts of data, but also to interact with them using advanced functionalities such as panning, zooming and filtering. In contrast, the techniques currently used to make maps and diagrams accessible to visually impaired people require the intervention of tactile graphics specialists and result in non-interactive tactile representations. However, based on recent advances in the automatic production of content, we can expect in the coming years a growth in the availability of adapted content, which must go hand-in-hand with the development of affordable and usable devices. In particular, these devices should make full use of visually impaired users' perceptual capacities and support the display of interactive and updatable representations. A number of research prototypes have already been developed. Some rely on digital representation only, and although they have the great advantage of being instantly updatable, they provide very limited tactile feedback, which makes their exploration cognitively demanding and imposes heavy restrictions on content. On the other hand, most prototypes that rely on digital and physical representations allow for a two-handed exploration that is both natural and efficient at retrieving and encoding spatial information, but they are physically limited by the use of a tactile overlay, making them impossible to update. Other alternatives are either extremely expensive (e.g. braille tablets) or offer a slow and limited way to update the representation (e.g. maps that are 3D-printed based on users' inputs). In this thesis, we propose to bridge the gap between these two approaches by investigating how to develop physical interactive maps and diagrams that support two-handed exploration, while at the same time being updatable and affordable. To do so, we build on previous research on Tangible User Interfaces (TUI) and particularly on (actuated) tabletop TUIs, two fields of research that have surprisingly received very little interest concerning visually impaired users. Based on the design, implementation and evaluation of three tabletop TUIs (the Tangible Reels, the Tangible Box and BotMap), we propose innovative non-visual interaction techniques and technical solutions that will hopefully serve as a basis for the design of future TUIs for visually impaired users, and encourage their development and use. We investigate how tangible maps and diagrams can support various tasks, ranging from the (re)construction of diagrams to the exploration of maps by panning and zooming. From a theoretical perspective we contribute to the research on accessible graphical representations by highlighting how research on maps can feed research on diagrams and vice-versa. We also propose a classification and comparison of existing prototypes to deliver a structured overview of current research