Mobile assistive technologies for the visually impaired

There are around 285 million visually impaired people worldwide, and around 370,000 people are registered as blind or partially sighted in the UK. Ongoing advances in information technology (IT) are increasing the scope for IT-based mobile assistive technologies to facilitate the independence, safety, and improved quality of life of the visually impaired. Research is being directed at making mobile phones and other handheld devices accessible via our haptic (touch) and audio sensory channels. We review research and innovation within the field of mobile assistive technology for the visually impaired and, in so doing, highlight the need for successful collaboration between clinical expertise, computer science, and domain users to realize fully the potential benefits of such technologies. We initially reflect on research that has been conducted to make mobile phones more accessible to people with vision loss. We then discuss innovative assistive applications designed for the visually impaired that are either delivered via mainstream devices and can be used while in motion (e.g., mobile phones) or are embedded within an environment that may be in motion (e.g., public transport) or within which the user may be in motion (e.g., smart homes)

Investigando Natural User Interfaces (NUIs) : tecnologias e interação em contexto de acessibilidade

Orientador: Maria Cecília Calani BaranauskasTese (doutorado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Natural User Interfaces (NUIs) representam um novo paradigma de interação, com a promessa de ser mais intuitivo e fácil de usar do que seu antecessor, que utiliza mouse e teclado. Em um contexto no qual as tecnologias estão cada vez mais invisíveis e pervasivas, não só a quantidade mas também a diversidade de pessoas que participam deste contexto é crescente. Nesse caso, é preciso estudar como esse novo paradigma de interação de fato consegue ser acessível a todas as pessoas que podem utilizá-lo no dia-a-dia. Ademais, é preciso também caracterizar o paradigma em si, para entender o que o torna, de fato, natural. Portanto, nesta tese apresentamos o caminho que percorremos em busca dessas duas respostas: como caracterizar NUIs, no atual contexto tecnológico, e como tornar NUIs acessíveis para todos. Para tanto, primeiro apresentamos uma revisão sistemática de literatura com o estado da arte. Depois, mostramos um conjunto de heurísticas para o design e a avaliação de NUIs, que foram aplicadas em estudos de caso práticos. Em seguida, estruturamos as ideias desta pesquisa dentro dos artefatos da Semiótica Organizacional, e obtivemos esclarecimentos sobre como fazer o design de NUIs com Acessibilidade, seja por meio de Design Universal, seja para propor Tecnologias Assistivas. Depois, apresentamos três estudos de caso com sistemas NUI cujo design foi feito por nós. A partir desses estudos de caso, expandimos nosso referencial teórico e conseguimos, por fim, encontrar três elementos que resumem a nossa caracterização de NUI: diferenças, affordances e enaçãoAbstract: Natural User Interfaces (NUIs) represent a new interaction paradigm, with the promise of being more intuitive and easy to use than its predecessor, that utilizes mouse and keyboard. In a context where technology is becoming each time more invisible and pervasive, not only the amount but also the diversity of people who participate in this context is increasing. In this case, it must be studied how this new interaction paradigm can, in fact, be accessible to all the people who may use it on their daily routine. Furthermore, it is also necessary to characterize the paradigm itself, to understand what makes it, in fact, natural. Therefore, in this thesis we present the path we took in search of these two answers: how to characterize NUIs in the current technological context, and how to make NUIs accessible to all. To do so, first we present a systematic literature review with the state of the art. Then, we show a set of heuristics for the design and evaluation of NUIs, which were applied in practical study cases. Afterwards, we structure the ideas of this research into the Organizational Semiotics artifacts, and we obtain insights into how to design NUIs with Accessibility, be it through Universal Design, be it to propose Assistive Technologies. Then, we present three case studies with NUI systems which we designed. From these case studies, we expanded our theoretical references were able to, finally, find three elements that sum up our characterization of NUI: differences, affordances and enactionDoutoradoCiência da ComputaçãoDoutora em Ciência da Computação160911/2015-0CAPESCNP

Using the Android Tablet to develop a game platform for older adults

Tese de mestrado integrado. Engenharia Informática e Computação. Universidade do Porto. Faculdade de Engenharia. 201

Creating mobile gesture-based interaction design patterns for older adults : a study of tap and swipe gestures with portuguese seniors

Tese de mestrado. Multimédia. Faculdade de Engenharia. Universidade do Porto. 201

Body sensor network for in-home personal healthcare

A body sensor network solution for personal healthcare under an indoor environment is developed. The system is capable of logging the physiological signals of human beings, tracking the orientations of human body, and monitoring the environmental attributes, which covers all necessary information for the personal healthcare in an indoor environment. The major three chapters of this dissertation contain three subsystems in this work, each corresponding to one subsystem: BioLogger, PAMS and CosNet. Each chapter covers the background and motivation of the subsystem, the related theory, the hardware/software design, and the evaluation of the prototype’s performance

Understanding gesture demands of touchscreen games to accommodate unconventional gamers

Tese de mestrado, Informática, Universidade de Lisboa, Faculdade de Ciências, 2016Os dispositivos móveis tornaram-se uma parte importante das nossas interações diárias, e são usados para permanecer ligado com a família, os amigos e os colegas de trabalho. De acordo com um estudo realizado pela GSM Arena1, os principais motivos que levam pessoas a comprar telemóveis são para navegar na internet em qualquer lugar e em qualquer momento, usar redes sociais, desfrutar de jogos móveis, e para continuar a trabalhar depois de sair do escritório. Com a crescente popularidade de aplicações e jogos para dispositivos móveis como o Facebook, WhatsApp, Candy Crush e Angry Birds, existe um interesse global em fazer parte deste fenómeno social. Portanto, há uma necessidade de tornar esta tecnologia acessível a todos, tanto para aumentar lucros como responder à procura. Isto inclui tornar os telemóveis acessíveis a pessoas com vários tipos de deficiência: motora, visual, auditiva e / ou cognitiva. Nesta dissertação, vamos focar em deficiências motoras. Atualmente, as ferramentas de acessibilidade móveis mais utilizados são ferramentas ao nível de sistema, tais como a capacidade de ativar e desativar o Auto Rotate, o ajustamento da sensibilidade de atraso de toque e a disponibilidade de vários teclados, como o teclado de toque e teclado de reconhecimento de voz, por exemplo, proporcionando ao usuário mais opções de entrada de dados2. Estas ferramentas apoiam utilizadores com dificuldades motoras, todavia, continuam bastante limitados no que podem fazer com dispositivos móveis. Existe um setor em particular que tem sido demasiado complexo para endereçar: jogos móveis. De acordo com a Big Fish Games3, 59% dos norte-americanos jogaram videojogos em 2015. Esta vasta percentagem de jogadores demonstra a atual importância dos jogos na nossa sociedade. Os jogos enriquecem as nossas mentes e desenvolvem a nossa capacidade de resolução de problemas complexos, a nossa criatividade, a nossa coordenação óculo-manual e exercitam habilidades como foco, velocidade e pensamento flexível4. Eles são um dos meios mais eficazes de ensino, bem como uma fonte de estímulo mental e emocional. O principal conceito dos jogos, que é superar obstáculos para alcançar um objetivo, ensina lições importantes e faz entender o valor de trabalhar arduamente para superar desafios. Um dos aspetos mais importantes dos jogos é a interação social; permitem-nos socializar com outras pessoas, seja jogando com elas virtualmente ou no mesmo espaço físico. Permitem conhecer pessoas novas e fazer amigos, e fazem os seus jogadores sentir-se parte de uma comunidade. Estes benefícios não devem ser negadas a ninguém, o que torna a inclusão de todos de uma extrema importância. A acessibilidade de jogos móveis tem sido abordada de várias maneiras. No entanto, a maioria das soluções existentes são aplicadas diretamente no jogo, na fase de desenvolvimento. No entanto, a maioria dos desenvolvedores de jogos não levam a acessibilidade em conta, e vêem-no como um desperdício de dinheiro e recursos. Devido a isso, é difícil para pessoas com dificuldades motoras encontrar jogos que os incluam, apesar do facto de que eles constituem uma grande parte da população de jogadores. Em geral, eles jogam mais e por períodos mais longos de tempo. O investimento na criação de jogos acessíveis é pequeno em comparação com o grande aumento de lucros em que resultaria [15]. As abordagens para acessibilidade de jogos móveis são escassas, e os métodos existentes raramente são implementados. Existe ainda um grande espaço entre o que existe e o que é necessário. Este é um problema que deve ser resolvida de uma vez, devido ao facto de que milhões de pessoas estão a ser excluídos das comunidades de jogos e dos benefícios que eles proporcionam. Para resolver este problema, primeiro precisamos de ter uma visão clara dos requisitos de input dos jogos atuais e dos problemas que estes acarretam para pessoas com dificuldades motoras. Como os desenvolvedores de jogos têm liberdade para definir os seus próprios reconhecedores de gestos, existem inúmeras possibilidades de condições de jogo, o que leva à necessidade de uma análise aprofundada da questão. Para alcançar este objetivo, colecionamos dados de jogo dos 25 melhores jogos do Google Play, e analisamos os seus requisitos de input. Com esta análise, criamos um catálogo de gestos, que lista os gestos mais usados nestes jogos e parametriza os gestos de jogo, proporcionando-nos com detalhes como duração, velocidade e distância percorrida dos gestos. Caracterizamos e relacionamos os jogos de acordo com os seus gestos de jogo predominantes e com os requisitos de input, dando-nos assim uma visão geral dos jogos de hoje. No segundo estudo, analisamos a viabilidade destes gestos para pessoas de diferentes capacidades motoras. Realizamos este estudo com participantes sem dificuldades motoras, crianças, idosos e pessoas com deficiências motoras. Com isto, foi possível concluir quais os gestos que proporcionaram as maiores dificuldades, bem como recolher parâmetros de desempenho detalhados dos diferentes grupos. De seguida, comparamos os requisitos dos jogos com o desempenho de gestos de cada grupo, de modo a determinar quais os jogos jogáveis para pessoas de diferentes graus de mobilidade, e de modo a descobrir em detalhe quais os requisitos de gesto que eram demasiado altos, e porquê. Estes resultados permitiram-nos criar uma proposta para uma solução a acessibilidade impulsionado pela doação de dados por pessoas, na qual jogadores experientes doam os seus dados de jogo a uma comunidade online. Estes dados são analisados manualmente e são anotadas os gestos de jogo mais importantes. O sistema, em seguida, usa os sets de dados resultantes para adaptar o input de jogadores com dificuldades motoras, de acordo com um user model particular de cada pessoa, proporcionando assim uma adaptação de input personalizado. Assim como a adaptação de input, o sistema também proporciona adaptação de interface de jogo. Como prova de conceito, implementamos um protótipo da ferramenta de anotação de gestos, o que nos permite gravar uma sessão de jogo e anotar os gestos mais importantes da sessão, criando assim um set de dados para o jogo. Esta dissertação tem como principais contribuições: Conjunto abrangente de heurísticas da literatura, que avalia usabilidade, mobilidade, jogabilidade e interação dos jogos. Estas heurísticas foram utilizados para avaliar os jogos escolhidos para o primeiro estudo, no qual foram analisados os requisitos de input de jogos atuais. As três primeiras heurísticas foram retirados das heurísticas de jogabilidade dos jogos de Ponnada e Kannan [1]. As últimas heurísticas, que avaliam a interação do jogo, foram adicionados por nós para cobrir aspetos relacionados com gestos e input de jogos. Catálogo de Requisitos de jogo, com base nos resultados do nosso primeiro estudo. Este estudo analisou os dados de jogo dos 25 melhores jogos da loja do Google Play, jogadas por 25 participantes sem dificuldades motoras. Foram identificados os gestos mais usados em jogos atuais, e listamos os requisitos de input detalhados de cada jogo. Análise das capacidades de toque de participantes de diferentes graus de mobilidade, baseada no nosso primeiro estudo, e comparando o desempenho de gestos de jogadores sem dificuldades motoras com jogadores de vários graus de mobilidade: crianças, idosos e pessoas com deficiências motoras. Um conjunto abrangente de implicações de desenho para a criação de jogos acessíveis para jogadores com dificuldades motoras, mostrando como os desenvolvedores de jogos podem incluir mais jogadores no seu jogo. Em suma, estas implicações incluem evitar anúncios pop-up em jogos, não assumir que todos os jogadores têm as mesmas capacidades, permitir a personalização de input, oferecer flexibilidade de velocidade de jogo, tornar a área de rabisco menor, e oferecer alternativas para gestos de múltiplo toque. Uma proposta de solução de acessibilidade, que é criado com base em nossos resultados de estudos e pesquisa sobre temas relacionados. Esta solução é construída sobre a adaptação de jogos impulsionada pela doação de dados de jogo por pessoas, e explora a anotação de gestos de jogo e a adaptação de input e de interfaces de jogos. Com este trabalho, demonstramos os requisitos de input dos jogos atuais, as capacidades de input de pessoas de vários graus de mobilidade, avaliamos a jogabilidade de jogos atuais por pessoas de vários graus de mobilidade, e propusemos uma solução de acessibilidade, criando um protótipo como prova de conceito.Games enrich our minds and develop skills such as problem solving, creativity, focus and hand-eye coordination. They are one of the most effective teaching means, as well as a source of mental and emotional stimulus. One of the most important aspects of games is social interaction: they allow us to engage with each other socially, either by playing with others virtually or in the same room. They help us relate with others and feel like part of a community. These benefits should not be denied to anyone, making the inclusion of all of utmost importance. However, currently, players with less motor dexterity are not considered in the design process of mobile games, excluding them by being fast paced and requiring high touch precision and multi touch gestures. Mobile game accessibility approaches are still scarce, and the existing methods are rarely implemented into games; developers are not aware of the importance of accessibility, or do not know how to implement it. To understand the complete scope of this issue, we explore current games and their input demands, as well as the input abilities of unconventional gamers. In our first study, we create a catalogue of the most commonly used gestures and the specific demands of each game. We then use these results to perform a second study, in which we analyse gesture performance of people of varying abilities. Finally, we compare the results of both studies to determine the accessibility of current mobile games. We conclude that 48% of our game sample is not playable for motor impaired players. As a result of our research, we provide design implications and propose a human-powered, system-wide accessibility solution, which depends on crowdsourced gameplay data to adapt games to individual needs. As a proof of concept, we implement a prototype of a gameplay annotation tool

A framework for developing motion-based games

Dissertação para obtenção do Grau de Mestre em Engenharia InformáticaNowadays, whenever one intents to develop an application that allows interaction through the use of more or less complex gestures, it is necessary to go through a long process. In this process, the gesture recognition system may not obtain high accuracy results, particularly among different users. Since the total number of applications for mobile systems, like Android and iOS, is close to a million and a half and is still increasing, it appears essential the development of a platform that abstracts developers from all the low-level gesture gathering and that streamlines the process of developing applications that make use of this kind of interaction, in a standardize way. In this case such was developed for the iOS system. At the present time, given the existing environment issues, it is ideal to attract the attention, motivate and influence the greatest number of people into having more proenvironmental behaviors. Thus, as a proof of concept for the developed framework, an educational game was created, using persuasive technology, to influence players’s behaviors and attitudes in a pro-environmental way. Therefore, having this idea as a basis, it was also developed a game that is presented in a public ambient display and can be played by any participant close to the displaywho has a device with iOS mobile system

User-centered design of a dynamic-autonomy remote interaction concept for manipulation-capable robots to assist elderly people in the home

In this article, we describe the development of a human-robot interaction concept for service robots to assist elderly people in the home with physical tasks. Our approach is based on the insight that robots are not yet able to handle all tasks autonomously with sufficient reliability in the complex and heterogeneous environments of private homes. We therefore employ remote human operators to assist on tasks a robot cannot handle completely autonomously. Our development methodology was user-centric and iterative, with six user studies carried out at various stages involving a total of 241 participants. The concept is under implementation on the Care-O-bot 3 robotic platform. The main contributions of this article are (1) the results of a survey in form of a ranking of the demands of elderly people and informal caregivers for a range of 25 robot services, (2) the results of an ethnography investigating the suitability of emergency teleassistance and telemedical centers for incorporating robotic teleassistance, and (3) a user-validated human-robot interaction concept with three user roles and corresponding three user interfaces designed as a solution to the problem of engineering reliable service robots for home environments

A context-sensitive conceptual framework for activity modeling

Human motion trajectories, however captured, provide a rich spatiotemporal data source for human activity recognition, and the rich literature in motion trajectory analysis provides the tools to bridge the gap between this data and its semantic interpretation. But activity is an ambiguous term across research communities. For example, in urban transport research activities are generally characterized around certain locations assuming the opportunities and resources are present in that location, and traveling happens between these locations for activity participation, i.e., travel is not an activity, rather a mean to overcome spatial constraints. In contrast, in human-computer interaction (HCI) research and in computer vision research activities taking place along the way, such as reading on the bus, are significant for contextualized service provision. Similarly activities at coarser spatial and temporal granularity, e.g., holidaying in a country, could be recognized in some context or domain. Thus the context prevalent in the literature does not provide a precise and consistent definition of activity, in particular in differentiation to travel when it comes to motion trajectory analysis. Hence in this paper, a thorough literature review studies activity from different perspectives, and develop a common framework to model and reason human behavior flexibly across contexts. This spatio-temporal framework is conceptualized with a focus on modeling activities hierarchically. Three case studies will illustrate how the semantics of the term activity changes based on scale and context. They provide evidence that the framework holds over different domains. In turn, the framework will help developing various applications and services that are aware of the broad spectrum of the term activity across contexts