Laterotactile Rendering of Vector Graphics with the Stroke Pattern

Abstract. Raised line patterns are used extensively in the design of tactile graphics for persons with visual impairments. A tactile stroke pattern was therefore developed to enable the rendering of vector graphics by lateral skin deformation. The stroke pattern defines a transversal profile and a longitudinal texture which provide tactile feedback while respectively crossing over the stroke and tracing its length. The stroke pattern is demonstrated with the rendering of lines, circles and polygons, and is extensible to other vector graphics primitives such as curves. The parametric nature of the stroke allows the representation of distinctive line types and the online adjustment of line thickness and other parameters according to user preferences and capabilities. The stroke pattern was informally evaluated with four visually impaired volunteers. Key words: assistive technology, visual impairment, tactile graphics, tactile display, haptic rendering, laterotactile renderin

Interactive maps for visually impaired people : design, usability and spatial cognition

Connaître la géographie de son environnement urbain est un enjeu important pour les personnes déficientes visuelles. Des cartes tactiles en relief sont généralement utilisées mais elles présentent des limitations importantes (nombre limité d'informations, recours à une légende braille). Les nouvelles technologies permettent d'envisager des solutions innovantes. Nous avons conçu et développé une carte interactive accessible, en suivant un processus de conception participative. Cette carte est basée sur un dispositif multi-touch, une carte tactile en relief et une sortie sonore. Ce dispositif permet au sujet de recueillir des informations en double-cliquant sur certains objets de la carte. Nous avons démontré expérimentalement que ce prototype était plus efficace et plus satisfaisant pour des utilisateurs déficients visuels qu'une carte tactile simple. Nous avons également exploré et testé différents types d'interactions avancées accessibles pour explorer la carte. Cette thèse démontre l'importance des cartes tactiles interactives pour les déficients visuels et leur cognition spatiale.Knowing the geography of an urban environment is crucial for visually impaired people. Tactile relief maps are generally used, but they retain significant limitations (limited amount of information, use of braille legend, etc.). Recent technological progress allows the development of innovative solutions which overcome these limitations. In this thesis, we present the design of an accessible interactive map through a participatory design process. This map is composed by a multi-touch screen with tactile map overlay and speech output. It provides auditory information when tapping on map elements. We have demonstrated in an experiment that our prototype was more effective and satisfactory for visually impaired users than a simple raised-line map. We also explored and tested different types of advanced non-visual interaction for exploring the map. This thesis demonstrates the importance of interactive tactile maps for visually impaired people and their spatial cognition

Designing a New Tactile Display Technology and its Disability Interactions

People with visual impairments have a strong desire for a refreshable tactile interface that can provide immediate access to full page of Braille and tactile graphics. Regrettably, existing devices come at a considerable expense and remain out of reach for many. The exorbitant costs associated with current tactile displays stem from their intricate design and the multitude of components needed for their construction. This underscores the pressing need for technological innovation that can enhance tactile displays, making them more accessible and available to individuals with visual impairments. This research thesis delves into the development of a novel tactile display technology known as Tacilia. This technology's necessity and prerequisites are informed by in-depth qualitative engagements with students who have visual impairments, alongside a systematic analysis of the prevailing architectures underpinning existing tactile display technologies. The evolution of Tacilia unfolds through iterative processes encompassing conceptualisation, prototyping, and evaluation. With Tacilia, three distinct products and interactive experiences are explored, empowering individuals to manually draw tactile graphics, generate digitally designed media through printing, and display these creations on a dynamic pin array display. This innovation underscores Tacilia's capability to streamline the creation of refreshable tactile displays, rendering them more fitting, usable, and economically viable for people with visual impairments

The Presentation and Perception of Virtual Textures through a Haptic Matrix Display Device

Dynamic, refreshable tactile displays offer a method of displaying graphical information to people who are blind or visually impaired. Texture, which is already used as an effective method to present graphical information in physical tactile diagrams, conceivably constitutes the best way to present graphics through a tactile display. This thesis presents the design of a new low-cost haptic matrix display device capable of displaying graphical information through virtual textures. The perception of virtual textures through the display is examined through three main experiments. The first two experiments examine the perception of square wave gratings through the device. The final experiment examines the effect of texture adaptation when using the device, and compares it to exploration with a handheld probe and the bare finger. The results show that haptic matrix displays can be used to display graphical information through texture and offer guidelines in the production of such textures

Development of a Multiple Contact Haptic Display with Texture-Enhanced Graphics

This dissertation presents work towards the development of a multiple finger, worn, dynamic display device, which utilizes a method of texture encoded information to haptically render graphical images for individuals who are blind or visually impaired. The device interacts directly with the computer screen, using the colors and patterns displayed by the image as a means to encode complex patterns of vibrotactile output, generating the texture feedback to render the image. In turn, the texture feedback was methodically designed to enable parallel processing of certain coarse information, speeding up the exploration of the diagram and improving user performance. The design choices were validated when individuals who are blind or visually impaired, using the multi-fingered display system, performed three-times better using textured image representations versus outline representations. Furthermore, in an open-ended object identification task, the display device saw on average two-times better performance accuracy than that previously observed for raised-line diagrams, the current standard for tactile diagrams

Tabletop tangible maps and diagrams for visually impaired users

En dépit de leur omniprésence et de leur rôle essentiel dans nos vies professionnelles et personnelles, les représentations graphiques, qu'elles soient numériques ou sur papier, ne sont pas accessibles aux personnes déficientes visuelles car elles ne fournissent pas d'informations tactiles. Par ailleurs, les inégalités d'accès à ces représentations ne cessent de s'accroître ; grâce au développement de représentations graphiques dynamiques et disponibles en ligne, les personnes voyantes peuvent non seulement accéder à de grandes quantités de données, mais aussi interagir avec ces données par le biais de fonctionnalités avancées (changement d'échelle, sélection des données à afficher, etc.). En revanche, pour les personnes déficientes visuelles, les techniques actuellement utilisées pour rendre accessibles les cartes et les diagrammes nécessitent l'intervention de spécialistes et ne permettent pas la création de représentations interactives. Cependant, les récentes avancées dans le domaine de l'adaptation automatique de contenus laissent entrevoir, dans les prochaines années, une augmentation de la quantité de contenus adaptés. Cette augmentation doit aller de pair avec le développement de dispositifs utilisables et abordables en mesure de supporter l'affichage de représentations interactives et rapidement modifiables, tout en étant accessibles aux personnes déficientes visuelles. Certains prototypes de recherche s'appuient sur une représentation numérique seulement : ils peuvent être instantanément modifiés mais ne fournissent que très peu de retour tactile, ce qui rend leur exploration complexe d'un point de vue cognitif et impose de fortes contraintes sur le contenu. D'autres prototypes s'appuient sur une représentation numérique et physique : bien qu'ils puissent être explorés tactilement, ce qui est un réel avantage, ils nécessitent un support tactile qui empêche toute modification rapide. Quant aux dispositifs similaires à des tablettes Braille, mais avec des milliers de picots, leur coût est prohibitif. L'objectif de cette thèse est de pallier les limitations de ces approches en étudiant comment développer des cartes et diagrammes interactifs physiques, modifiables et abordables. Pour cela, nous nous appuyons sur un type d'interface qui a rarement été étudié pour des utilisateurs déficients visuels : les interfaces tangibles, et plus particulièrement les interfaces tangibles sur table. Dans ces interfaces, des objets physiques représentent des informations numériques et peuvent être manipulés par l'utilisateur pour interagir avec le système, ou par le système lui-même pour refléter un changement du modèle numérique - on parle alors d'interfaces tangibles sur tables animées, ou actuated. Grâce à la conception, au développement et à l'évaluation de trois interfaces tangibles sur table (les Tangible Reels, la Tangible Box et BotMap), nous proposons un ensemble de solutions techniques répondant aux spécificités des interfaces tangibles pour des personnes déficientes visuelles, ainsi que de nouvelles techniques d'interaction non-visuelles, notamment pour la reconstruction d'une carte ou d'un diagramme et l'exploration de cartes de type " Pan & Zoom ". D'un point de vue théorique, nous proposons aussi une nouvelle classification pour les dispositifs interactifs accessibles.Despite their omnipresence and essential role in our everyday lives, online and printed graphical representations are inaccessible to visually impaired people because they cannot be explored using the sense of touch. The gap between sighted and visually impaired people's access to graphical representations is constantly growing due to the increasing development and availability of online and dynamic representations that not only give sighted people the opportunity to access large amounts of data, but also to interact with them using advanced functionalities such as panning, zooming and filtering. In contrast, the techniques currently used to make maps and diagrams accessible to visually impaired people require the intervention of tactile graphics specialists and result in non-interactive tactile representations. However, based on recent advances in the automatic production of content, we can expect in the coming years a growth in the availability of adapted content, which must go hand-in-hand with the development of affordable and usable devices. In particular, these devices should make full use of visually impaired users' perceptual capacities and support the display of interactive and updatable representations. A number of research prototypes have already been developed. Some rely on digital representation only, and although they have the great advantage of being instantly updatable, they provide very limited tactile feedback, which makes their exploration cognitively demanding and imposes heavy restrictions on content. On the other hand, most prototypes that rely on digital and physical representations allow for a two-handed exploration that is both natural and efficient at retrieving and encoding spatial information, but they are physically limited by the use of a tactile overlay, making them impossible to update. Other alternatives are either extremely expensive (e.g. braille tablets) or offer a slow and limited way to update the representation (e.g. maps that are 3D-printed based on users' inputs). In this thesis, we propose to bridge the gap between these two approaches by investigating how to develop physical interactive maps and diagrams that support two-handed exploration, while at the same time being updatable and affordable. To do so, we build on previous research on Tangible User Interfaces (TUI) and particularly on (actuated) tabletop TUIs, two fields of research that have surprisingly received very little interest concerning visually impaired users. Based on the design, implementation and evaluation of three tabletop TUIs (the Tangible Reels, the Tangible Box and BotMap), we propose innovative non-visual interaction techniques and technical solutions that will hopefully serve as a basis for the design of future TUIs for visually impaired users, and encourage their development and use. We investigate how tangible maps and diagrams can support various tasks, ranging from the (re)construction of diagrams to the exploration of maps by panning and zooming. From a theoretical perspective we contribute to the research on accessible graphical representations by highlighting how research on maps can feed research on diagrams and vice-versa. We also propose a classification and comparison of existing prototypes to deliver a structured overview of current research

Conception, prototypage et évaluation d’un système pour l'exploration audio-tactile et spatiale de pages web par des utilisateurs non-voyants

RÉSUMÉ : L’accès à l’information a drastiquement changé depuis l’apparition des nouvelles technologies et du monde en ligne. Il est maintenant possible d’accéder à une multitude d’informations en tout temps et en tout lieu. Cette apparente facilité d’accès à l’information est cependant très loin de la réalité des personnes ayant un handicap pour qui l’arrivée des nouvelles technologies et du monde en ligne a créé de nouvelles situations de handicap. La présente thèse se concentre sur les situations de handicap rencontrées par les personnes non-voyantes, au cours de l’exploration de pages Web. Heureusement, des technologies adaptées sont actuellement disponibles pour les personnes non-voyantes qui désirent accéder au monde du Web : les lecteurs d’écran. Ceux-ci permettent une exploration linéaire de la page à l’aide d’un retour sonore généré par une synthèse vocale. Cette adaptation améliore grandement l’accès au monde du Web mais engendre son lot de frustrations. Celles-ci sont principalement liées au non-respect des lignes de conduite d’accessibilité dans plusieurs sites Web et à la présentation strictement linéaire de l’information par les lecteurs d’écran. L’objectif de notre recherche est d’améliorer l’accès au Web pour les utilisateurs non-voyants, en leur proposant une alternative à l’exploration linéaire : l’exploration spatiale de pages Web, c.-à-d. à l’aide de retours tactiles et sonores. Par l’intermédiaire de l’exploration spatiale, nous souhaitons passer outre certains problèmes d’accessibilité dans les pages Web, en donner une meilleure idée globale, et permettre de mieux associer les informations de cette page entre elles. Notre hypothèse principale est la suivante : L’exploration spatiale d’un site Web est plus efficace et plus efficiente que l’exploration linéaire pour des utilisateurs non-voyants. L’exploration spatiale se fait par l’intermédiaire du fureteur d’écran multimodal TactoWeb que nous avons développé. TactoWeb est contrôlé par le Tactograph, un appareil générant des sensations tactiles sous forme de vibrations et d’ondulations qui dépendent de l’emplacement du curseur sur la page Web. Les retours sonores sont une combinaison entre une synthèse vocale et un ensemble d’audicônes. Cette approche multimodale permet de recréer les liens entre les différents éléments d’une page Web qui pourraient disparaître au cours de la linéarisation de l’information. Avant de concevoir notre système, nous avons identifié les points forts et les points faibles des lecteurs d’écrans. La thèse présente ensuite le processus de conception de notre fureteur multimodal du point de vue logiciel, ainsi que l’amélioration du matériel utilisé. Un tutoriel d’apprentissage a été conçu afin de guider les utilisateurs non-voyants dans l’exploration spatiale. Nous procédons ensuite à l’évaluation de notre système à l’aide d’une étude comparative. Cette étude prend la forme d’une expérimentation comparant JAWS, un lecteur d’écran permettant l’exploration linéaire, avec TactoWeb, notre système d’exploration spatiale. Il est évident que les deux outils ont différents degrés de maturité. En effet, JAWS existe depuis presque 20 ans alors que TactoWeb n’en est qu’à sa première version. Cette différence de maturité peut clairement influer sur les résultats de notre évaluation en faveur de l’exploration linéaire avec JAWS. À cela s’ajoute le fait que nos participants avaient plusieurs années d’expérience avec JAWS alors qu’ils faisaient de l’exploration spatiale avec TactoWeb pour la première fois et pour une courte période. L’étude porte sur 14 participants non-voyants et met en relief les différents aspects de l’exploration spatiale qui permettent de réduire les situations de handicap rencontrées au cours de l’exploration de pages Web. Pour ce faire, nous avons étudié les taux de succès, la difficulté rencontrée et le temps d’exécution pour huit tâches effectuées selon les deux types d’exploration. Ces tâches sont divisées en deux types en fonction de leur but : rechercher une information dans un site Web et remplir un formulaire. De plus, chacun de ces sous-ensembles de tâches contient deux tâches à effectuer dans des sites accessibles, et deux tâches à effectuer dans des sites non-accessibles. Chaque participant a donc effectué quatre tâches avec chacun des deux outils (JAWS et TactoWeb), soit une tâche de chaque type, dans des sites accessibles ou non. Cela nous a permis d’étudier les deux types d’exploration dans quatre situations différentes et d’observer leurs avantages et inconvénients dans chacune de ces situations. De plus, nous avons observé s’il y avait des différences dans l’utilisation des deux types d’exploration en fonction de la période d’apparition de la cécité chez nos participants (cécité de naissance ou tardive). L’étude a infirmé notre hypothèse principale. Les deux types d’exploration sont aussi efficaces l’un que l’autre pour ce qui est de la capacité des participants à réaliser les tâches et l’exploration linéaire est plus efficiente avec un temps d’exécution plus court. Tel que mentionné ci-dessus, cette différence d’efficience peut s’expliquer par le fait que les participants avaient beaucoup d’expérience avec l’outil d’exploration linéaire et aucune avec l’outil d’exploration spatiale, à part la durée de notre tutoriel (moyenne de 38 min) et la durée de l’expérience elle-même (entre deux et trois heures). De plus, la différence de maturité entre les deux outils est à considérer. Notre hypothèse principale est infirmée en tenant compte de ces biais mais il pourrait en être autrement lorsque TactoWeb aura une plus grande maturité et lorsque les participants auront plus d’expérience avec notre outil. Néanmoins, malgré les différences d’expérience des participants et de maturité entre les deux outils, nous obtenons une efficacité similaire, ce qui est un gros point positif pour l’exploration spatiale. Cette dernière semble donc demander beaucoup moins de temps d’apprentissage que l’exploration linéaire. De plus, l’exploration spatiale génère moins de difficulté dans les tâches de remplissage de formulaire et a un temps d’exécution similaire à l’exploration linéaire dans les tâches de ce type, effectuées dans des sites non-accessibles. D’ailleurs, les écarts de temps d’exécution entre les deux types d’exploration sont globalement plus réduits dans les tâches effectuées dans des sites non-accessibles, par rapport à celles effectuées dans des sites accessibles. Même si l’exploration spatiale améliore l’accès aux sites Web pour les personnes non-voyantes dans certaines situations de handicap (non-respect de l’ordre logique de lecture dans le code, non-respect de l’association entre un champ et son étiquette dans les formulaires), notre outil TactoWeb peut être amélioré. L’exploration horizontale devrait être plus guidée et la qualité de la synthèse vocale grandement améliorée. Enfin, si on regarde globalement les résultats de notre expérimentation, on se rend compte que l’exploration linéaire semble plus pertinente lorsqu’il s’agit de naviguer entre les différentes pages d’un même site Web, et que l’exploration spatiale semble plus adaptée lorsqu’il faut explorer dans une même page Web. Les deux types d’explorations semblent donc complémentaires.----------ABSTRACT : The emergence of new technologies and the online world changed the way we access information. It is now possible to access any information, at any time, and in any place. This apparent ease of access to information is however far from the reality of people with disabilities. The emergence of new technologies and the online world have created new situations of handicap for them. This thesis focuses on situations of handicap faced by blind people when they browse Web pages. Fortunately, appropriate technologies are currently available for blind people wishing to access the World Wide Web: screen readers. These systems allow a linear exploration of a Web page, using audio feedback generated by speech synthesis. This adaptation greatly improves Web accessibility but also creates a lot of frustration. This frustration is mainly produced by non-compliance with accessibility guidelines in several Web sites, as well as the strictly linear presentation of information by screen readers. The goal of our research is to improve access to the Web for blind users, offering them an alternative to linear exploration: spatial exploration of Web pages, i.e. with tactile and audible feedbacks. Through spatial exploration, we want to override some accessibility issues in Web pages, give a better overall picture of the pages, and give a better connection between linked information in these pages. Our main hypothesis is: Spatial exploration of a Web site is more effective and more efficient than linear exploration for blind users. Spatial exploration is done through TactoWeb, a multimodal Web browser we developed. TactoWeb is controlled by the Tactograph, a tactile feedback device producing undulations and vibrations, depending on where the cursor is on the Web page. Audio feedback is a combination between speech synthesis and a set of earcons. This multimodal approach allows the user to recreate connections between the different elements composing a Web page that could have disappeared during the linearization of the information. Before designing our system, we identified the strengths and weaknesses of screen readers. The thesis presents the process of designing our multimodal Web browser, and improving the hardware we used. A training tutorial was designed to guide blind users in spatial exploration. Then, we evaluate our system using a comparative study. This study takes the form of an experiment comparing JAWS, a screen reader using linear exploration, with TactoWeb, our browser allowing spatial exploration. It is obvious the degree of maturity of each tool is different. JAWS actually exists since 1995 whereas we are still using the first version of TactoWeb. This difference of maturity could affect the results of our evaluation in favour of the linear exploration with JAWS. In addition, one must remind that our participants have several years of experience with JAWS whereas they will use space exploration with TactoWeb for the first time during the tutorial (average of 38 min) and the experiment (between two and three hours). The study involves 14 blind participants and highlights the different aspects of space exploration that reduce handicap situations encountered when browsing Web pages. To do so, we studied the success rate, the difficulty and the execution time for eight tasks performed with both types of exploration. These tasks are divided into two types according to their purpose: finding information in a Web site and filling out a form. Moreover, each of these subsets includes two tasks performed in accessible Web sites and two in non-accessible Web sites. Each type of task, in an accessible Web site or not, has been performed by each participant, with each tool (JAWS and TactoWeb). This allowed us to study the two types of exploration in four different situations, observing their advantages and disadvantages for each of these situations. Moreover, we observed whether there were differences between congenital and late blind, depending of the type of exploration used. The study invalidated our main hypothesis. The two types of exploration are in fact as effective as each other, but linear exploration is more efficient thanks to a shorter execution time. This efficiency difference could be explained by the fact that participants had much more experience with the linear exploration tool than with the spatial exploration tool, which is limited to the time they used our tutorial (average of 38 min) and to the duration of the experiment. Moreover, one must take into account the difference of maturity between the two tools. Our main hypothesis is not validated but it could be different when TactoWeb will have greater maturity and when participants will have more experience with our tool. However we obtain a similar effectiveness despite the difference of user experience among the participants and the difference of maturity between the two tools, and this is a major positive point for spatial exploration. Learning spatial exploration seems to take a lot less time than learning linear exploration. Moreover, spatial exploration generates less difficulty when filling out a form, as well as a similar execution time as the linear exploration for tasks of this type is made in non-accessible Web sites. Also, differences in execution time between the two types of exploration are generally smaller in the tasks performed in non-accessible Web sites than those made in accessible Web sites. Even if spatial exploration improves Web accessibility for blind people in some situations of handicap (non-compliance with the logical reading order in the code, no association between a field and its label in forms), the TactoWeb browser can be improved. The horizontal exploration could be more guided and the quality of speech synthesis greatly improved. Finally, if we look at the overall results of our experiment, we realize that linear exploration seems more relevant when it comes to navigating between the different pages of the same Web site, and spatial exploration seems more relevant when exploring in a single Web page. So the two types of exploration seem to be complementary