Understanding gesture demands of touchscreen games to accommodate unconventional gamers

Tese de mestrado, Informática, Universidade de Lisboa, Faculdade de Ciências, 2016Os dispositivos móveis tornaram-se uma parte importante das nossas interações diárias, e são usados para permanecer ligado com a família, os amigos e os colegas de trabalho. De acordo com um estudo realizado pela GSM Arena1, os principais motivos que levam pessoas a comprar telemóveis são para navegar na internet em qualquer lugar e em qualquer momento, usar redes sociais, desfrutar de jogos móveis, e para continuar a trabalhar depois de sair do escritório. Com a crescente popularidade de aplicações e jogos para dispositivos móveis como o Facebook, WhatsApp, Candy Crush e Angry Birds, existe um interesse global em fazer parte deste fenómeno social. Portanto, há uma necessidade de tornar esta tecnologia acessível a todos, tanto para aumentar lucros como responder à procura. Isto inclui tornar os telemóveis acessíveis a pessoas com vários tipos de deficiência: motora, visual, auditiva e / ou cognitiva. Nesta dissertação, vamos focar em deficiências motoras. Atualmente, as ferramentas de acessibilidade móveis mais utilizados são ferramentas ao nível de sistema, tais como a capacidade de ativar e desativar o Auto Rotate, o ajustamento da sensibilidade de atraso de toque e a disponibilidade de vários teclados, como o teclado de toque e teclado de reconhecimento de voz, por exemplo, proporcionando ao usuário mais opções de entrada de dados2. Estas ferramentas apoiam utilizadores com dificuldades motoras, todavia, continuam bastante limitados no que podem fazer com dispositivos móveis. Existe um setor em particular que tem sido demasiado complexo para endereçar: jogos móveis. De acordo com a Big Fish Games3, 59% dos norte-americanos jogaram videojogos em 2015. Esta vasta percentagem de jogadores demonstra a atual importância dos jogos na nossa sociedade. Os jogos enriquecem as nossas mentes e desenvolvem a nossa capacidade de resolução de problemas complexos, a nossa criatividade, a nossa coordenação óculo-manual e exercitam habilidades como foco, velocidade e pensamento flexível4. Eles são um dos meios mais eficazes de ensino, bem como uma fonte de estímulo mental e emocional. O principal conceito dos jogos, que é superar obstáculos para alcançar um objetivo, ensina lições importantes e faz entender o valor de trabalhar arduamente para superar desafios. Um dos aspetos mais importantes dos jogos é a interação social; permitem-nos socializar com outras pessoas, seja jogando com elas virtualmente ou no mesmo espaço físico. Permitem conhecer pessoas novas e fazer amigos, e fazem os seus jogadores sentir-se parte de uma comunidade. Estes benefícios não devem ser negadas a ninguém, o que torna a inclusão de todos de uma extrema importância. A acessibilidade de jogos móveis tem sido abordada de várias maneiras. No entanto, a maioria das soluções existentes são aplicadas diretamente no jogo, na fase de desenvolvimento. No entanto, a maioria dos desenvolvedores de jogos não levam a acessibilidade em conta, e vêem-no como um desperdício de dinheiro e recursos. Devido a isso, é difícil para pessoas com dificuldades motoras encontrar jogos que os incluam, apesar do facto de que eles constituem uma grande parte da população de jogadores. Em geral, eles jogam mais e por períodos mais longos de tempo. O investimento na criação de jogos acessíveis é pequeno em comparação com o grande aumento de lucros em que resultaria [15]. As abordagens para acessibilidade de jogos móveis são escassas, e os métodos existentes raramente são implementados. Existe ainda um grande espaço entre o que existe e o que é necessário. Este é um problema que deve ser resolvida de uma vez, devido ao facto de que milhões de pessoas estão a ser excluídos das comunidades de jogos e dos benefícios que eles proporcionam. Para resolver este problema, primeiro precisamos de ter uma visão clara dos requisitos de input dos jogos atuais e dos problemas que estes acarretam para pessoas com dificuldades motoras. Como os desenvolvedores de jogos têm liberdade para definir os seus próprios reconhecedores de gestos, existem inúmeras possibilidades de condições de jogo, o que leva à necessidade de uma análise aprofundada da questão. Para alcançar este objetivo, colecionamos dados de jogo dos 25 melhores jogos do Google Play, e analisamos os seus requisitos de input. Com esta análise, criamos um catálogo de gestos, que lista os gestos mais usados nestes jogos e parametriza os gestos de jogo, proporcionando-nos com detalhes como duração, velocidade e distância percorrida dos gestos. Caracterizamos e relacionamos os jogos de acordo com os seus gestos de jogo predominantes e com os requisitos de input, dando-nos assim uma visão geral dos jogos de hoje. No segundo estudo, analisamos a viabilidade destes gestos para pessoas de diferentes capacidades motoras. Realizamos este estudo com participantes sem dificuldades motoras, crianças, idosos e pessoas com deficiências motoras. Com isto, foi possível concluir quais os gestos que proporcionaram as maiores dificuldades, bem como recolher parâmetros de desempenho detalhados dos diferentes grupos. De seguida, comparamos os requisitos dos jogos com o desempenho de gestos de cada grupo, de modo a determinar quais os jogos jogáveis para pessoas de diferentes graus de mobilidade, e de modo a descobrir em detalhe quais os requisitos de gesto que eram demasiado altos, e porquê. Estes resultados permitiram-nos criar uma proposta para uma solução a acessibilidade impulsionado pela doação de dados por pessoas, na qual jogadores experientes doam os seus dados de jogo a uma comunidade online. Estes dados são analisados manualmente e são anotadas os gestos de jogo mais importantes. O sistema, em seguida, usa os sets de dados resultantes para adaptar o input de jogadores com dificuldades motoras, de acordo com um user model particular de cada pessoa, proporcionando assim uma adaptação de input personalizado. Assim como a adaptação de input, o sistema também proporciona adaptação de interface de jogo. Como prova de conceito, implementamos um protótipo da ferramenta de anotação de gestos, o que nos permite gravar uma sessão de jogo e anotar os gestos mais importantes da sessão, criando assim um set de dados para o jogo. Esta dissertação tem como principais contribuições: Conjunto abrangente de heurísticas da literatura, que avalia usabilidade, mobilidade, jogabilidade e interação dos jogos. Estas heurísticas foram utilizados para avaliar os jogos escolhidos para o primeiro estudo, no qual foram analisados os requisitos de input de jogos atuais. As três primeiras heurísticas foram retirados das heurísticas de jogabilidade dos jogos de Ponnada e Kannan [1]. As últimas heurísticas, que avaliam a interação do jogo, foram adicionados por nós para cobrir aspetos relacionados com gestos e input de jogos. Catálogo de Requisitos de jogo, com base nos resultados do nosso primeiro estudo. Este estudo analisou os dados de jogo dos 25 melhores jogos da loja do Google Play, jogadas por 25 participantes sem dificuldades motoras. Foram identificados os gestos mais usados em jogos atuais, e listamos os requisitos de input detalhados de cada jogo. Análise das capacidades de toque de participantes de diferentes graus de mobilidade, baseada no nosso primeiro estudo, e comparando o desempenho de gestos de jogadores sem dificuldades motoras com jogadores de vários graus de mobilidade: crianças, idosos e pessoas com deficiências motoras. Um conjunto abrangente de implicações de desenho para a criação de jogos acessíveis para jogadores com dificuldades motoras, mostrando como os desenvolvedores de jogos podem incluir mais jogadores no seu jogo. Em suma, estas implicações incluem evitar anúncios pop-up em jogos, não assumir que todos os jogadores têm as mesmas capacidades, permitir a personalização de input, oferecer flexibilidade de velocidade de jogo, tornar a área de rabisco menor, e oferecer alternativas para gestos de múltiplo toque. Uma proposta de solução de acessibilidade, que é criado com base em nossos resultados de estudos e pesquisa sobre temas relacionados. Esta solução é construída sobre a adaptação de jogos impulsionada pela doação de dados de jogo por pessoas, e explora a anotação de gestos de jogo e a adaptação de input e de interfaces de jogos. Com este trabalho, demonstramos os requisitos de input dos jogos atuais, as capacidades de input de pessoas de vários graus de mobilidade, avaliamos a jogabilidade de jogos atuais por pessoas de vários graus de mobilidade, e propusemos uma solução de acessibilidade, criando um protótipo como prova de conceito.Games enrich our minds and develop skills such as problem solving, creativity, focus and hand-eye coordination. They are one of the most effective teaching means, as well as a source of mental and emotional stimulus. One of the most important aspects of games is social interaction: they allow us to engage with each other socially, either by playing with others virtually or in the same room. They help us relate with others and feel like part of a community. These benefits should not be denied to anyone, making the inclusion of all of utmost importance. However, currently, players with less motor dexterity are not considered in the design process of mobile games, excluding them by being fast paced and requiring high touch precision and multi touch gestures. Mobile game accessibility approaches are still scarce, and the existing methods are rarely implemented into games; developers are not aware of the importance of accessibility, or do not know how to implement it. To understand the complete scope of this issue, we explore current games and their input demands, as well as the input abilities of unconventional gamers. In our first study, we create a catalogue of the most commonly used gestures and the specific demands of each game. We then use these results to perform a second study, in which we analyse gesture performance of people of varying abilities. Finally, we compare the results of both studies to determine the accessibility of current mobile games. We conclude that 48% of our game sample is not playable for motor impaired players. As a result of our research, we provide design implications and propose a human-powered, system-wide accessibility solution, which depends on crowdsourced gameplay data to adapt games to individual needs. As a proof of concept, we implement a prototype of a gameplay annotation tool

University website accessibility for totally blind users

Researchers have discovered significant faults in the accessibility of university websites, especially for visually-impaired users.To determine the requirements for totally blind users, this study conducted a comprehensive literature review and accessibility evaluation on 15 Palestinian university websites.The determined factors were used in designing an accessible web page prototype.An online questionnaire was constructed to evaluate the accessibility of the prototype from the blind users’ perspective.From the evaluation of 16 blind participants, it was found that the prototype was highly accessible (mean score 4.19).The regression analysis test was utilised to determine the relationship between the items and the main principles of accessibility. The results show that there are statistically significant differences between these items. In conclusion, the accessibility factors have been indirectly validated

Internet Surfing for the Blind

Digital divide has always been a barrier for blind people to access the Internet. W3C Consortium has issued several guidelines for the past few years but, these guidelines only guarantee the "technical readability" and do not ensure at all either the Web site is accessible or not by blind people. Moreover, Web designers do not test their design with blind people in mind. According to W3C, a successful Web site is the one that adapts to the needs and preferences ofits audiences by customizing content to fit the users expressed desires within the constrains of available hardware, software and bandwidth. In effort to maximizing the ability ofusers to access information, services and resources, this document presents a Web site for the blind, and to bring some importance view to the eye ofWeb designers in order to create universally accessible Web site especially for the blind. It is intended to solve the Internet accessibility problems faced by this community in Malaysia. The approach is obtained by combining design features needed to develop an accessible Web site and a screen reader as an assistive technology (AT) used by the blind. The former technology is especially suited for text based Web site, while the later allow to support multimedia nature of today Web environment. The evaluation scenarios have shown that users responded well and behave as expected while navigate through the Web site

Advanced IT education for the vision impaired via e-learning

Lack of accessibility in the design of e-learning courses continues to hinder students with vision impairment. E-learning materials are predominantly vision-centric, incorporating images, animation, and interactive media, and as a result students with acute vision impairment do not have equal opportunity to gain tertiary qualifications or skills relevant to the marketplace and their disability. Due to its logical, rather than physical, nature IT help desk and network administration roles are ideal for people who are blind. This paper describes the development of a fully accessible e-learning environment to deliver advanced IT network curriculum to adults with acute vision disabilities. The components include a virtual classroom, accessible learning materials, a remote computer laboratory, and delivery of the learning materials by vision impaired instructors. Industry standard courses in advanced IT were redeveloped, and the accessible on-line learning environment was developed to deliver the courses. Vision impaired students who excelled in the pilot project were trained as instructors, gaining industry-standard instructor certifications. These instructors were used to assist with the design of accessible methods and delivered the materials to the vision impaired students.The project has been operational for four years with a pilot project being conducted over a two year period, followed by the delivery of the courses both local and remote vision impaired students across the globe using this accessible e-learning environment for the past two years. Evaluation results indicate that vision impaired students situated both locally and remotely gained equivalent grades to their sighted counterparts given additional time to comprehend and experiment via the virtual classroom and remote computer laboratory. In addition, the use of vision impaired instructors has resulted in more innovative approaches to accessible teaching methods and delivery of the curriculum

Iterative Design and Prototyping of Computer Vision Mediated Remote Sighted Assistance

Remote sighted assistance (RSA) is an emerging navigational aid for people with visual impairments (PVI). Using scenario-based design to illustrate our ideas, we developed a prototype showcasing potential applications for computer vision to support RSA interactions. We reviewed the prototype demonstrating real-world navigation scenarios with an RSA expert, and then iteratively refined the prototype based on feedback. We reviewed the refined prototype with 12 RSA professionals to evaluate the desirability and feasibility of the prototyped computer vision concepts. The RSA expert and professionals were engaged by, and reacted insightfully and constructively to the proposed design ideas. We discuss what we learned about key resources, goals, and challenges of the RSA prosthetic practice through our iterative prototype review, as well as implications for the design of RSA systems and the integration of computer vision technologies into RSA

Older people as equal partners in the creative design of digital devices

This thesis describes research which explores the importance and feasibility of involving older people as equal partners in the creative design of digital devices for an ageing population. In exploring this topic, I have carried out two preliminary studies, a pilot study and a major empirical study. Firstly, I invited three groups of people, including very old people, active older people and postgraduate students, to evaluate a mock-­‐up model of an interactive device intended for older people that was designed using a standard design process. The results of this study suggested that products without an adequate contribution from older people would not always meet their needs. Secondly, I carried out observations of very old people, active older people, and young designers to identify factors that influence the way in which both older people and young designers can be involved in the creative design process. These factors included experiences with technology, processes and approaches currently applied with older people and designers, factors that stimulate or inhibit creativity, and practical constraints such as health issues. The results of these observations fed into the design of a pilot study, where I tested the content of a creative design process and a procedure for analysing data for the main empirical study. The main study involved three creative workshops where the same creative methods were employed with different sets of people: young designers, mixed groups (with older people and designers) and older people only. The results show that older people are able to participate in a creative design process; however, certain practical constraints have to be taken into account. Also, older people perform better when they work together with designers. Finally, the mixed groups with older people, who have relevant life experiences, and designers, who are familiar with the newest technology, may be more suitable for designing appropriate products for the older population

Instructional eLearning technologies for the vision impaired

The principal sensory modality employed in learning is vision, and that not only increases the difficulty for vision impaired students from accessing existing educational media but also the new and mostly visiocentric learning materials being offered through on-line delivery mechanisms. Using as a reference Certified Cisco Network Associate (CCNA) and IT Essentials courses, a study has been made of tools that can access such on-line systems and transcribe the materials into a form suitable for vision impaired learning. Modalities employed included haptic, tactile, audio and descriptive text. How such a multi-modal approach can achieve equivalent success for the vision impaired is demonstrated. However, the study also shows the limits of the current understanding of human perception, especially with respect to comprehending two and three dimensional objects and spaces when there is no recourse to vision