Assessing Inconspicuous Smartphone Authentication for Blind People

As people store more personal data in their smartphones, the consequences of having it stolen or lost become an increasing concern. A typical counter-measure to avoid this risk is to set up a secret code that has to be entered to unlock the device after a period of inactivity. However, for blind users, PINs and passwords are inadequate, since entry 1) consumes a non-trivial amount of time, e.g. using screen readers, 2) is susceptible to observation, where nearby people can see or hear the secret code, and 3) might collide with social norms, e.g. disrupting personal interactions. Tap-based authentication methods have been presented and allow unlocking to be performed in a short time and support naturally occurring inconspicuous behavior (e.g. concealing the device inside a jacket) by being usable with a single hand. This paper presents a study with blind users (N = 16) where an authentication method based on tap phrases is evaluated. Results showed the method to be usable and to support the desired inconspicuity.Comment: 4 pages, 1 figur

Tactile Data Entry for Extravehicular Activity

In the task-saturated environment of extravehicular activity (EVA), an astronaut's ability to leverage suit-integrated information systems is limited by a lack of options for data entry. In particular, bulky gloves inhibit the ability to interact with standard computing interfaces such as a mouse or keyboard. This paper presents the results of a preliminary investigation into a system that permits the space suit gloves themselves to be used as data entry devices. Hand motion tracking is combined with simple finger gesture recognition to enable use of a virtual keyboard, while tactile feedback provides touch-based context to the graphical user interface (GUI) and positive confirmation of keystroke events. In human subject trials, conducted with twenty participants using a prototype system, participants entered text significantly faster with tactile feedback than without (p = 0.02). The results support incorporation of vibrotactile information in a future system that will enable full touch typing and general mouse interactions using instrumented EVA gloves

mBrailler: Multimodal Braille Keyboard for Android

Touchscreen devices have paved their way into the mobile scene, presenting a wide set of possibilities but a comparable number of new challenges, particularly for people who are blind. While these devices have a small number of tactile cues, such as buttons, they provide the opportunity to create novel interaction techniques. In this paper, we present mBrailler. mBrailler is a mobile braille keyboard that combines the benefits of physical keyboards (speed and accuracy) and gestural interfaces (flexibility and personalization). We built an 8-button Braille keyboard that can be attached to the back of mainstream smartphones allowing fast and familiar chorded input. On the other hand,the touchscreen enables thumb entered gestures for more complex text editing operations, such as caret movement, text selection, copy, and paste. This project combines the tactile benefits of Braille typewriters with the customization of smartphone applications. We aim to provide a more efficient and effective typing experience for blind users, thus increasing their productivity with current mobile devices

Designing wearable interfaces for blind people

Tese de mestrado, Engenharia Informática (Arquitectura, Sistemas e Redes de Computadores), Universidade de Lisboa, faculdade de Ciências, 2015Hoje em dia os dispositivos com ecrã táctil, estão cada vez mais onipresentes. Até recentemente, a maioria dos ecrãs sensíveis ao toque forneciam poucos recursos de acessibilidade para deficientes visuais, deixando-os inutilizáveis. Sendo uma tecnologia tão presente no nosso quotidiano, como em telemóveis e tablets. Estes dispositivos são cada vez mais essenciais para a nossa vida, uma vez que, guardam muita informação pessoal, por exemplo, o pagamento através carteiras eletrónicas. A falta de acessibilidade deste tipo de ecrãs devem-se ao facto de estas interfaces serem baseadas no que os utilizadores veem no ecrã e em tocar no conteúdo apresentado neste. Isso torna-se num grande problema quando uma pessoa deficiente visual tenta usar estas interfaces. No mercado existem algumas soluções mas são quase todas baseadas em retorno áudio. Esta solução não é a melhor quando se trata de informação pessoal que a pessoa deseja manter privada. Por exemplo quando um utilizador está num autocarro e recebe uma mensagem, esta é lida por um leitor de ecrã através das colunas do dispositivo. Esta solução é prejudicial para a privacidade do utilizador, pois todas a pessoas `a sua volta irão ouvir o conteúdo da mensagem. Uma solução para este problema, poderá ser a utilização de vibração e de teclas físicas, que retiram a necessidade da utilização de leitores de ecrã. Contudo, para a navegação em menus a problemática mantém-se. Uma maneira de resolver este problema é através da utilização de uma interface baseada em gestos. Este tipo de interface é uma forma flexível e intuitiva de interação com este dispositivos. Até hoje, muitas abordagens têm vindo a apresentar soluções, no entanto não resolvem todos os pontos referidos. De uma maneira ou de outra estas abordagens terão de ser complementadas com outros dispositivos. Guerreiro e colegas (2012), apresentaram um protótipo que possibilita a leitura texto através de vibração, mas todo o impacto de uma utilização no dia a dia não é tido em conta. Um outro estudo realizado por Myung-Chul Cho (2002) apresenta um par de luvas para escrita codificada pelo alfabeto Braile, contudo não é testado para uma utilização com integração de uma componente de leitura, sem ser o retorno áudio. Dois outros estudos destacam-se, relativamente à utilização de gestos para navegação no dispositivo. Ruiz (2011), efetuou uma elicitação de gestos no ar, no entanto, eles não incluem pessoas invisuais no estudo, o que poderá levar à exclusão de tais utilizadores. Outro estudo apresentado por Kane (2011), inclui pessoas invisuais e destina-se a interações com gestos mas exigindo contacto físico com os ecrãs tácteis. A abordagem apresentada neste estudo integra as melhores soluções apresentadas num único dispositivo. O nosso objectivo principal é tornar os dispositivos de telemóveis mais acessíveis a pessoas invisuais, de forma serem integrados no seu quotidiano. Para isso, desenvolvemos uma interface baseada num par de luvas. O utilizador pode usá-las e com elas ler e escrever mensagens e ainda fazer gestos para outras tarefas. Este par de luvas aproveita o conhecimento sobre Braille por parte dos utilizadores para ler e escrever informação textual. Para a característica de leitura instalámos seis motores de vibração nos dedos da luva, no dedo indicador, no dedo do meio e no dedo anelar, de ambas as mãos. Estes motores simulam a configuração das teclas de uma máquina de escrever Braille, por exemplo, a Perkins Brailler. Para a parte de escrita, instalámos botões de pressão na ponta destes mesmos dedos, sendo cada um representante de um ponto de uma célula de Braille. Para a detecção de gestos optámos por uma abordagem através de um acelerómetro. Este encontra-se colocado nas costas da mão da luva. Para uma melhor utilização a luva é composta por duas camadas, e desta forma é possível instalar todos os componente entre as duas camadas de tecido, permitindo ao utilizador calçar e descalçar as luvas sem se ter que preocupar com os componentes eletrónicos. A construção das luvas assim como todos os testes realizados tiveram a participação de um grupo de pessoas invisuais, alunos e professores, da Fundação Raquel e Martin Sain. Para avaliarmos o desempenho do nosso dispositivo por invisuais realizámos alguns teste de recepcão (leitura) e de envio de mensagens (escrita). No teste de leitura foi realizado com um grupo apenas de pessoas invisuais. O teste consistiu em, receber letras em Braille, onde o utilizador replicava as vibrações sentidas, com os botões das luvas. Para isso avaliámos as taxas de reconhecimento de caracteres. Obtivemos uma média de 31 %, embora estes resultados sejam altamente dependentes das habilidades dos utilizadores. No teste de escrita, foi pedido uma letra ao utilizador e este escrevia em braille utilizando as luvas. O desempenho nesta componente foi em média 74 % de taxa de precisão. A maioria dos erros durante este teste estão ligados a erros, onde a diferença entre a palavra inicial e a escrita pelo utilizador, é de apenas um dedo. Estes testes foram bastante reveladores, relativamente à possível utilização destas luvas por pessoas invisuais. Indicaram-nos que os utilizadores devem ser treinados previamente para serem maximizados os resultados, e que pode ser necessário um pouco de experiencia com o dispositivo. O reconhecimento de gestos permite ao utilizador executar várias tarefas com um smartphone, tais como, atender/rejeitar uma chamada e navegar em menus. Para avaliar que gestos os utilizadores invisuais e normovisuais sugerem para a execução de tarefas em smartphones, realizámos um estudo de elicitação. Este estudo consiste em pedir aos utilizadores que sugiram gestos para a realização de tarefas. Descobrimos que a maioria dos gestos inventados pelos participantes tendem a ser físicos, em contexto, discreto e simples, e que utilizam apenas um ´unico eixo espacial. Concluímos também que existe um consenso, entre utilizadores, para todas as tarefas propostas. Além disso, o estudo de elicitação revelou que as pessoas invisuais preferem gestos mais simples, opondo-se a uma preferência por gestos mais complexos por parte de pessoas normovisuais. Sendo este um dispositivo que necessita de treino para reconhecimento de gestos, procurámos saber qual o tipo de treino é mais indicado para a sua utilização. Com os resultados obtidos no estudo de elicitação, comparámos treinos dos utilizadores individuais, treinos entre as das populações (invisuais e normovisuais) e um treino com ambas as populações (global). Descobrimos que um treino personalizado, ou seja, feito pelo próprio utilizador, é muito mais eficaz que um treino da população e um treino global. O facto de o utilizador poder enviar e receber mensagens, sem estar dependente de vários dispositivos e/ou aplicações contorna, as tão levantadas, questões de privacidade. Com o mesmo dispositivo o utilizador pode, ainda, navegar nos menus do seu smartphone, através de gestos simples e intuitivos. Os nossos resultados sugerem que será possível a utilização de um dispositivo wearable, no seio da comunidade invisual. Com o crescimento exponencial do mercado wearable e o esforço que a comunidade académica está a colocar nas tecnologias de acessibilidade, ainda existe uma grande margem para melhorar. Com este projeto, espera-se que os dispositivos portáteis de apoio irão desempenhar um papel importante na integração social das pessoas com deficiência, criando com isto uma sociedade mais igualitária e justa.Nowadays touch screens are ubiquitous, present in almost all modern devices. Most touch screens provide few accessibility features for blind people, leaving them partly unusable. There are some solutions, based on audio feedback, that help blind people to use touch screens in their daily tasks. The problem with those solutions raises privacy issues, since the content on screen is transmitted through the device speakers. Also, these screen readers make the interaction slow, and they are not easy to use. The main goal of this project is to develop a new wearable interface that allows blind people to interact with smartphones. We developed a pair of gloves that is capable to recognise mid-air gestures, and also allows the input and output of text. To evaluate the usability of input and output, we conducted a user study to assess character recognition and writing performance. Character recognition rates were highly user-dependent, and writing performance showed some problems, mostly related to one-finger issues. Then, we conducted an elicitation study to assess what type of gestures blind and sighted people suggest. Sighted people suggested more complex gestures, compared with blind people. However, all the gestures tend to be physical, in-context, discrete and simple, and use only a single axis. We also found that a training based on the user’s gestures is better for recognition accuracy. Nevertheless, the input and output text components still require new approaches to improve users performance. Still, this wearable interface seems promising for simple actions that do not require cognitive load. Overall, our results suggest that we are on track to make possible blind people interact with mobile devices in daily life

Enhancing interaction in mixed reality

With continuous technological innovation, we observe mixed reality emerging from research labs into the mainstream. The arrival of capable mixed reality devices transforms how we are entertained, consume information, and interact with computing systems, with the most recent being able to present synthesized stimuli to any of the human senses and substantially blur the boundaries between the real and virtual worlds. In order to build expressive and practical mixed reality experiences, designers, developers, and stakeholders need to understand and meet its upcoming challenges. This research contributes a novel taxonomy for categorizing mixed reality experiences and guidelines for designing mixed reality experiences. We present the results of seven studies examining the challenges and opportunities of mixed reality experiences, the impact of modalities and interaction techniques on the user experience, and how to enhance the experiences. We begin with a study determining user attitudes towards mixed reality in domestic and educational environments, followed by six research probes that each investigate an aspect of reality or virtuality. In the first, a levitating steerable projector enables us to investigate how the real world can be enhanced without instrumenting the user. We show that the presentation of in-situ instructions for navigational tasks leads to a significantly higher ability to observe and recall real-world landmarks. With the second probe, we enhance the perception of reality by superimposing information usually not visible to the human eye. In amplifying the human vision, we enable users to perceive thermal radiation visually. Further, we examine the effect of substituting physical components with non-functional tangible proxies or entirely virtual representations. With the third research probe, we explore how to enhance virtuality to enable a user to input text on a physical keyboard while being immersed in the virtual world. Our prototype tracked the user’s hands and keyboard to enable generic text input. Our analysis of text entry performance showed the importance and effect of different hand representations. We then investigate how to touch virtuality by simulating generic haptic feedback for virtual reality and show how tactile feedback through quadcopters can significantly increase the sense of presence. Our final research probe investigates the usability and input space of smartphones within mixed reality environments, pairing the user’s smartphone as an input device with a secondary physical screen. Based on our learnings from these individual research probes, we developed a novel taxonomy for categorizing mixed reality experiences and guidelines for designing mixed reality experiences. The taxonomy is based on the human sensory system and human capabilities of articulation. We showcased its versatility and set our research probes into perspective by organizing them inside the taxonomic space. The design guidelines are divided into user-centered and technology-centered. It is our hope that these will contribute to the bright future of mixed reality systems while emphasizing the new underlining interaction paradigm.Mixed Reality (vermischte Realitäten) gehen aufgrund kontinuierlicher technologischer Innovationen langsam von der reinen Forschung in den Massenmarkt über. Mit der Einführung von leistungsfähigen Mixed-Reality-Geräten verändert sich die Art und Weise, wie wir Unterhaltungsmedien und Informationen konsumieren und wie wir mit Computersystemen interagieren. Verschiedene existierende Geräte sind in der Lage, jeden der menschlichen Sinne mit synthetischen Reizen zu stimulieren. Hierdurch verschwimmt zunehmend die Grenze zwischen der realen und der virtuellen Welt. Um eindrucksstarke und praktische Mixed-Reality-Erfahrungen zu kreieren, müssen Designer und Entwicklerinnen die künftigen Herausforderungen und neuen Möglichkeiten verstehen. In dieser Dissertation präsentieren wir eine neue Taxonomie zur Kategorisierung von Mixed-Reality-Erfahrungen sowie Richtlinien für die Gestaltung von solchen. Wir stellen die Ergebnisse von sieben Studien vor, in denen die Herausforderungen und Chancen von Mixed-Reality-Erfahrungen, die Auswirkungen von Modalitäten und Interaktionstechniken auf die Benutzererfahrung und die Möglichkeiten zur Verbesserung dieser Erfahrungen untersucht werden. Wir beginnen mit einer Studie, in der die Haltung der nutzenden Person gegenüber Mixed Reality in häuslichen und Bildungsumgebungen analysiert wird. In sechs weiteren Fallstudien wird jeweils ein Aspekt der Realität oder Virtualität untersucht. In der ersten Fallstudie wird mithilfe eines schwebenden und steuerbaren Projektors untersucht, wie die Wahrnehmung der realen Welt erweitert werden kann, ohne dabei die Person mit Technologie auszustatten. Wir zeigen, dass die Darstellung von in-situ-Anweisungen für Navigationsaufgaben zu einer deutlich höheren Fähigkeit führt, Sehenswürdigkeiten der realen Welt zu beobachten und wiederzufinden. In der zweiten Fallstudie erweitern wir die Wahrnehmung der Realität durch Überlagerung von Echtzeitinformationen, die für das menschliche Auge normalerweise unsichtbar sind. Durch die Erweiterung des menschlichen Sehvermögens ermöglichen wir den Anwender:innen, Wärmestrahlung visuell wahrzunehmen. Darüber hinaus untersuchen wir, wie sich das Ersetzen von physischen Komponenten durch nicht funktionale, aber greifbare Replikate oder durch die vollständig virtuelle Darstellung auswirkt. In der dritten Fallstudie untersuchen wir, wie virtuelle Realitäten verbessert werden können, damit eine Person, die in der virtuellen Welt verweilt, Text auf einer physischen Tastatur eingeben kann. Unser Versuchsdemonstrator detektiert die Hände und die Tastatur, zeigt diese in der vermischen Realität an und ermöglicht somit die verbesserte Texteingaben. Unsere Analyse der Texteingabequalität zeigte die Wichtigkeit und Wirkung verschiedener Handdarstellungen. Anschließend untersuchen wir, wie man Virtualität berühren kann, indem wir generisches haptisches Feedback für virtuelle Realitäten simulieren. Wir zeigen, wie Quadrokopter taktiles Feedback ermöglichen und dadurch das Präsenzgefühl deutlich steigern können. Unsere letzte Fallstudie untersucht die Benutzerfreundlichkeit und den Eingaberaum von Smartphones in Mixed-Reality-Umgebungen. Hierbei wird das Smartphone der Person als Eingabegerät mit einem sekundären physischen Bildschirm verbunden, um die Ein- und Ausgabemodalitäten zu erweitern. Basierend auf unseren Erkenntnissen aus den einzelnen Fallstudien haben wir eine neuartige Taxonomie zur Kategorisierung von Mixed-Reality-Erfahrungen sowie Richtlinien für die Gestaltung von solchen entwickelt. Die Taxonomie basiert auf dem menschlichen Sinnessystem und den Artikulationsfähigkeiten. Wir stellen die vielseitige Verwendbarkeit vor und setzen unsere Fallstudien in Kontext, indem wir sie innerhalb des taxonomischen Raums einordnen. Die Gestaltungsrichtlinien sind in nutzerzentrierte und technologiezentrierte Richtlinien unterteilt. Es ist unsere Anliegen, dass diese Gestaltungsrichtlinien zu einer erfolgreichen Zukunft von Mixed-Reality-Systemen beitragen und gleichzeitig die neuen Interaktionsparadigmen hervorheben

Automated Intelligent Cueing Device to Improve Ambient Gait Behaviors for Patients with Parkinson\u27s Disease

Freezing of gait (FoG) is a common motor dysfunction in individuals with Parkinson’s disease (PD). FoG impairs walking and is associated with increased fall risk. Although pharmacological treatments have shown promise during ON-medication periods, FoG remains difficult to treat during medication OFF state and in advanced stages of the disease. External cueing therapy in the forms of visual, auditory, and vibrotactile, has been effective in treating gait deviations. Intelligent (or on-demand) cueing devices are novel systems that analyze gait patterns in real-time and activate cues only at moments when specific gait alterations are detected. In this study we developed methods to analyze gait signals collected through wearable sensors and accurately identify FoG episodes. We also investigated the potential of predicting the symptoms before their actual occurrence. We collected data from seven participants with PD using two Inertial Measurement Units (IMUs) on ankles. In our first study, we extracted engineered features from the signals and used machine learning (ML) methods to identify FoG episodes. We tested the performance of models using patient-dependent and patient-independent paradigms. The former models achieved 92.5% and 89.0% for average sensitivity and specificity, respectively. However, the conventional binary classification methods fail to accurately classify data if only data from normal gait periods are available. In order to identify FoG episodes in participants who did not freeze during data collection sessions, we developed a Deep Gait Anomaly Detector (DGAD) to identify anomalies (i.e., FoG) in the signals. DGAD was formed of convolutional layers and trained to automatically learn features from signals. The convolutional layers are followed by fully connected layers to reduce the dimensions of the features. A k-nearest neighbors (kNN) classifier is then used to classify the data as normal or FoG. The models identified 87.4% of FoG onsets, with 21.9% being predicted on average for each participant. This study demonstrates our algorithm\u27s potential for delivery of preventive cues. The DGAD algorithm was then implemented in an Android application to monitor gait patterns of PD patients in ambient environments. The phone triggered vibrotactile and auditory cues on a connected smartwatch if an FoG episode was identified. A 6-week in-home study showed the potentials for effective treatment of FoG severity in ambient environments using intelligent cueing devices

Target and Spacing Sizes for Smartphone User Interfaces for Older Adults: Design Patterns Based on an Evaluation with Users

The use of smartphones is becoming widespread among all sectors of the population. However, developers and designers do not have access to guidance in designing for specific audiences such as older adults. This study investigated optimal target sizes, and spacing sizes between targets, for smartphones user interfaces intended for older adults. Two independent variables were studied – target sizes and spacing between targets – for two common smartphone gestures – tap and swipe. Dependent variables were accuracy rates, task completion times, and participants’ subjective preferences. 40 older adults recruited from several daycare centers participated in both tasks and a post-session questionnaire. The recommendations drawn from the authors’ research support two interaction design patterns relative to touch target sizes for older adults, and are presented in this paper