Understanding gesture demands of touchscreen games to accommodate unconventional gamers

Tese de mestrado, Informática, Universidade de Lisboa, Faculdade de Ciências, 2016Os dispositivos móveis tornaram-se uma parte importante das nossas interações diárias, e são usados para permanecer ligado com a família, os amigos e os colegas de trabalho. De acordo com um estudo realizado pela GSM Arena1, os principais motivos que levam pessoas a comprar telemóveis são para navegar na internet em qualquer lugar e em qualquer momento, usar redes sociais, desfrutar de jogos móveis, e para continuar a trabalhar depois de sair do escritório. Com a crescente popularidade de aplicações e jogos para dispositivos móveis como o Facebook, WhatsApp, Candy Crush e Angry Birds, existe um interesse global em fazer parte deste fenómeno social. Portanto, há uma necessidade de tornar esta tecnologia acessível a todos, tanto para aumentar lucros como responder à procura. Isto inclui tornar os telemóveis acessíveis a pessoas com vários tipos de deficiência: motora, visual, auditiva e / ou cognitiva. Nesta dissertação, vamos focar em deficiências motoras. Atualmente, as ferramentas de acessibilidade móveis mais utilizados são ferramentas ao nível de sistema, tais como a capacidade de ativar e desativar o Auto Rotate, o ajustamento da sensibilidade de atraso de toque e a disponibilidade de vários teclados, como o teclado de toque e teclado de reconhecimento de voz, por exemplo, proporcionando ao usuário mais opções de entrada de dados2. Estas ferramentas apoiam utilizadores com dificuldades motoras, todavia, continuam bastante limitados no que podem fazer com dispositivos móveis. Existe um setor em particular que tem sido demasiado complexo para endereçar: jogos móveis. De acordo com a Big Fish Games3, 59% dos norte-americanos jogaram videojogos em 2015. Esta vasta percentagem de jogadores demonstra a atual importância dos jogos na nossa sociedade. Os jogos enriquecem as nossas mentes e desenvolvem a nossa capacidade de resolução de problemas complexos, a nossa criatividade, a nossa coordenação óculo-manual e exercitam habilidades como foco, velocidade e pensamento flexível4. Eles são um dos meios mais eficazes de ensino, bem como uma fonte de estímulo mental e emocional. O principal conceito dos jogos, que é superar obstáculos para alcançar um objetivo, ensina lições importantes e faz entender o valor de trabalhar arduamente para superar desafios. Um dos aspetos mais importantes dos jogos é a interação social; permitem-nos socializar com outras pessoas, seja jogando com elas virtualmente ou no mesmo espaço físico. Permitem conhecer pessoas novas e fazer amigos, e fazem os seus jogadores sentir-se parte de uma comunidade. Estes benefícios não devem ser negadas a ninguém, o que torna a inclusão de todos de uma extrema importância. A acessibilidade de jogos móveis tem sido abordada de várias maneiras. No entanto, a maioria das soluções existentes são aplicadas diretamente no jogo, na fase de desenvolvimento. No entanto, a maioria dos desenvolvedores de jogos não levam a acessibilidade em conta, e vêem-no como um desperdício de dinheiro e recursos. Devido a isso, é difícil para pessoas com dificuldades motoras encontrar jogos que os incluam, apesar do facto de que eles constituem uma grande parte da população de jogadores. Em geral, eles jogam mais e por períodos mais longos de tempo. O investimento na criação de jogos acessíveis é pequeno em comparação com o grande aumento de lucros em que resultaria [15]. As abordagens para acessibilidade de jogos móveis são escassas, e os métodos existentes raramente são implementados. Existe ainda um grande espaço entre o que existe e o que é necessário. Este é um problema que deve ser resolvida de uma vez, devido ao facto de que milhões de pessoas estão a ser excluídos das comunidades de jogos e dos benefícios que eles proporcionam. Para resolver este problema, primeiro precisamos de ter uma visão clara dos requisitos de input dos jogos atuais e dos problemas que estes acarretam para pessoas com dificuldades motoras. Como os desenvolvedores de jogos têm liberdade para definir os seus próprios reconhecedores de gestos, existem inúmeras possibilidades de condições de jogo, o que leva à necessidade de uma análise aprofundada da questão. Para alcançar este objetivo, colecionamos dados de jogo dos 25 melhores jogos do Google Play, e analisamos os seus requisitos de input. Com esta análise, criamos um catálogo de gestos, que lista os gestos mais usados nestes jogos e parametriza os gestos de jogo, proporcionando-nos com detalhes como duração, velocidade e distância percorrida dos gestos. Caracterizamos e relacionamos os jogos de acordo com os seus gestos de jogo predominantes e com os requisitos de input, dando-nos assim uma visão geral dos jogos de hoje. No segundo estudo, analisamos a viabilidade destes gestos para pessoas de diferentes capacidades motoras. Realizamos este estudo com participantes sem dificuldades motoras, crianças, idosos e pessoas com deficiências motoras. Com isto, foi possível concluir quais os gestos que proporcionaram as maiores dificuldades, bem como recolher parâmetros de desempenho detalhados dos diferentes grupos. De seguida, comparamos os requisitos dos jogos com o desempenho de gestos de cada grupo, de modo a determinar quais os jogos jogáveis para pessoas de diferentes graus de mobilidade, e de modo a descobrir em detalhe quais os requisitos de gesto que eram demasiado altos, e porquê. Estes resultados permitiram-nos criar uma proposta para uma solução a acessibilidade impulsionado pela doação de dados por pessoas, na qual jogadores experientes doam os seus dados de jogo a uma comunidade online. Estes dados são analisados manualmente e são anotadas os gestos de jogo mais importantes. O sistema, em seguida, usa os sets de dados resultantes para adaptar o input de jogadores com dificuldades motoras, de acordo com um user model particular de cada pessoa, proporcionando assim uma adaptação de input personalizado. Assim como a adaptação de input, o sistema também proporciona adaptação de interface de jogo. Como prova de conceito, implementamos um protótipo da ferramenta de anotação de gestos, o que nos permite gravar uma sessão de jogo e anotar os gestos mais importantes da sessão, criando assim um set de dados para o jogo. Esta dissertação tem como principais contribuições: Conjunto abrangente de heurísticas da literatura, que avalia usabilidade, mobilidade, jogabilidade e interação dos jogos. Estas heurísticas foram utilizados para avaliar os jogos escolhidos para o primeiro estudo, no qual foram analisados os requisitos de input de jogos atuais. As três primeiras heurísticas foram retirados das heurísticas de jogabilidade dos jogos de Ponnada e Kannan [1]. As últimas heurísticas, que avaliam a interação do jogo, foram adicionados por nós para cobrir aspetos relacionados com gestos e input de jogos. Catálogo de Requisitos de jogo, com base nos resultados do nosso primeiro estudo. Este estudo analisou os dados de jogo dos 25 melhores jogos da loja do Google Play, jogadas por 25 participantes sem dificuldades motoras. Foram identificados os gestos mais usados em jogos atuais, e listamos os requisitos de input detalhados de cada jogo. Análise das capacidades de toque de participantes de diferentes graus de mobilidade, baseada no nosso primeiro estudo, e comparando o desempenho de gestos de jogadores sem dificuldades motoras com jogadores de vários graus de mobilidade: crianças, idosos e pessoas com deficiências motoras. Um conjunto abrangente de implicações de desenho para a criação de jogos acessíveis para jogadores com dificuldades motoras, mostrando como os desenvolvedores de jogos podem incluir mais jogadores no seu jogo. Em suma, estas implicações incluem evitar anúncios pop-up em jogos, não assumir que todos os jogadores têm as mesmas capacidades, permitir a personalização de input, oferecer flexibilidade de velocidade de jogo, tornar a área de rabisco menor, e oferecer alternativas para gestos de múltiplo toque. Uma proposta de solução de acessibilidade, que é criado com base em nossos resultados de estudos e pesquisa sobre temas relacionados. Esta solução é construída sobre a adaptação de jogos impulsionada pela doação de dados de jogo por pessoas, e explora a anotação de gestos de jogo e a adaptação de input e de interfaces de jogos. Com este trabalho, demonstramos os requisitos de input dos jogos atuais, as capacidades de input de pessoas de vários graus de mobilidade, avaliamos a jogabilidade de jogos atuais por pessoas de vários graus de mobilidade, e propusemos uma solução de acessibilidade, criando um protótipo como prova de conceito.Games enrich our minds and develop skills such as problem solving, creativity, focus and hand-eye coordination. They are one of the most effective teaching means, as well as a source of mental and emotional stimulus. One of the most important aspects of games is social interaction: they allow us to engage with each other socially, either by playing with others virtually or in the same room. They help us relate with others and feel like part of a community. These benefits should not be denied to anyone, making the inclusion of all of utmost importance. However, currently, players with less motor dexterity are not considered in the design process of mobile games, excluding them by being fast paced and requiring high touch precision and multi touch gestures. Mobile game accessibility approaches are still scarce, and the existing methods are rarely implemented into games; developers are not aware of the importance of accessibility, or do not know how to implement it. To understand the complete scope of this issue, we explore current games and their input demands, as well as the input abilities of unconventional gamers. In our first study, we create a catalogue of the most commonly used gestures and the specific demands of each game. We then use these results to perform a second study, in which we analyse gesture performance of people of varying abilities. Finally, we compare the results of both studies to determine the accessibility of current mobile games. We conclude that 48% of our game sample is not playable for motor impaired players. As a result of our research, we provide design implications and propose a human-powered, system-wide accessibility solution, which depends on crowdsourced gameplay data to adapt games to individual needs. As a proof of concept, we implement a prototype of a gameplay annotation tool

Brave New GES World:A Systematic Literature Review of Gestures and Referents in Gesture Elicitation Studies

How to determine highly effective and intuitive gesture sets for interactive systems tailored to end users’ preferences? A substantial body of knowledge is available on this topic, among which gesture elicitation studies stand out distinctively. In these studies, end users are invited to propose gestures for specific referents, which are the functions to control for an interactive system. The vast majority of gesture elicitation studies conclude with a consensus gesture set identified following a process of consensus or agreement analysis. However, the information about specific gesture sets determined for specific applications is scattered across a wide landscape of disconnected scientific publications, which poses challenges to researchers and practitioners to effectively harness this body of knowledge. To address this challenge, we conducted a systematic literature review and examined a corpus of N=267 studies encompassing a total of 187, 265 gestures elicited from 6, 659 participants for 4, 106 referents. To understand similarities in users’ gesture preferences within this extensive dataset, we analyzed a sample of 2, 304 gestures extracted from the studies identified in our literature review. Our approach consisted of (i) identifying the context of use represented by end users, devices, platforms, and gesture sensing technology, (ii) categorizing the referents, (iii) classifying the gestures elicited for those referents, and (iv) cataloging the gestures based on their representation and implementation modalities. Drawing from the findings of this review, we propose guidelines for conducting future end-user gesture elicitation studies

Improving the Security of Mobile Devices Through Multi-Dimensional and Analog Authentication

Mobile devices are ubiquitous in today\u27s society, and the usage of these devices for secure tasks like corporate email, banking, and stock trading grows by the day. The first, and often only, defense against attackers who get physical access to the device is the lock screen: the authentication task required to gain access to the device. To date mobile devices have languished under insecure authentication scheme offerings like PINs, Pattern Unlock, and biometrics-- or slow offerings like alphanumeric passwords. This work addresses the design and creation of five proof-of-concept authentication schemes that seek to increase the security of mobile authentication without compromising memorability or usability. These proof-of-concept schemes demonstrate the concept of Multi-Dimensional Authentication, a method of using data from unrelated dimensions of information, and the concept of Analog Authentication, a method utilizing continuous rather than discrete information. Security analysis will show that these schemes can be designed to exceed the security strength of alphanumeric passwords, resist shoulder-surfing in all but the worst-case scenarios, and offer significantly fewer hotspots than existing approaches. Usability analysis, including data collected from user studies in each of the five schemes, will show promising results for entry times, in some cases on-par with existing PIN or Pattern Unlock approaches, and comparable qualitative ratings with existing approaches. Memorability results will demonstrate that the psychological advantages utilized by these schemes can lead to real-world improvements in recall, in some instances leading to near-perfect recall after two weeks, significantly exceeding the recall rates of similarly secure alphanumeric passwords

Designing technology for young children: guidelines grounded in a literature investigation on child development and children's technology

This thesis is about the design of technology for children from five to eight years of age. The majority of available guidelines and principles for design or evaluation of technology support the design of products aimed at adults. The limited guidelines available for design of young children's technology do not focus sufficiently on age-related requirements or they offer high-level advice that is only useful in the planning stages of design. Working from the assumption that knowledge available in the literature provides sufficient information to support this process, my aim with this study was to demonstrate how a dependable and useful set of guidelines for the design of technology for children aged five to eight years could be derived from an existing body of knowledge. Development of the guidelines firstly involved research into the psychological theories of children's development to identify those elements of development and the characteristics of children that may have bearing on children's use of technology. Secondly, the literature on children's development of specific skills such as literacy and mathematics was investigated. The available literature on young children's use of technology was studied next and, finally, the applicability of existing design guidelines and principles for children's products evaluated. Throughout this literature investigation the researcher gathered design-relevant factors that could potentially become design guidelines. Using qualitative data analysis techniques, more than five hundred such data elements were systematically coded, processed, analysed and categorised. The result is three hundred and fifty guidelines organised into a framework of six categories and twenty-six subcategories that integrates the relevant theoretical fields and provides practical support for designers. To demonstrate the credibility and usefulness of the emerging guidelines they were used to do an evaluation and re-design of an existing product aimed at the target group. The thesis reports in detail on the different stages of the research, and systematically takes the reader through the process of deriving guidelines from existing theory and research findings, and integrating them into a useful framework.School of ComputingPhD. (Computer Science

tCAD: a 3D modeling application on a depth enhanced tabletop computer

Tabletop computers featuring multi-touch input and object tracking are a common platform for research on Tangible User Interfaces (also known as Tangible Interaction). However, such systems are confined to sensing activity on the tabletop surface, disregarding the rich and relatively unexplored interaction canvas above the tabletop. This dissertation contributes with tCAD, a 3D modeling tool combining fiducial marker tracking, finger tracking and depth sensing in a single system. This dissertation presents the technical details of how these features were integrated, attesting to its viability through the design, development and early evaluation of the tCAD application. A key aspect of this work is a description of the interaction techniques enabled by merging tracked objects with direct user input on and above a table surface.Universidade da Madeir

How does handwriting of letters affect mirror-image discrimination?

We explored whether training motor actions that match letter motor representations, supposedly supported by the dorsal visual stream, would contribute to mirror-image discrimination in tasks supported by the ventral visual stream, especially of letters for which orientation is the only feature that can assist discrimination, i.e., reversible letters. Two groups of preliterate children trained motor actions during 20, 20-min daily sessions, in tablet games developed specifically for this study following human-computer interaction principles. Six children played the draw game, tracing and copying letters, and five children played the contact game (the control game) by moving the letters from an initial to a target point. Two reversible letters (d; p), two non-reversible (e; k), and two symmetrical letters (o; x) were used in both games. To evaluate the impact of motor training on orientation processing, children performed independent tasks before and after the training: a four-alternative forced-choice task with letters, and same-different matching tasks with letters and geometric shapes. Children’s performance in the games suggests that letter motor representations have emerged but only when the trained motor actions matched the letter shape (i.e., in the draw game) and they were more important for reversible than for non-reversible or symmetrical letters. The difficulty in mirror-image discrimination found in the four-alternative forced-choice task provide an original contribution showing that this difficulty is not specifically due to the working memory demands of the tasks in which it occurs. The results in the same-different tasks suggest that children became more sensitive to plane-rotation contrasts because in both games they had contact with letters differing by that contrast (i.e., d-p). Finally, when we compared both groups’ performance in the independent tasks before and after the training, no significant differences were found. Therefore we could not confirm, or refute, the importance of training motor actions that match letter motor representations on mirror-image discrimination.Investigámos se o treino de acções motoras correspondentes à representação motora de letras, supostamente suportado pela via visual dorsal, contribui para a discriminação de imagens em espelho em tarefas suportadas pela via visual ventral, em particular de letras cuja orientação é a única característica que permite a sua discriminação, i.e., letras reversíveis. Dois grupos de crianças pré-letradas treinaram acções motoras com letras durante 20 sessões diárias de 20 min cada, em jogos de tablete desenvolvidos especificamente para este estudo segundo princípios da interacção humano-computador. Seis crianças treinaram no jogo draw, traçando e copiando as letras, e cinco crianças no jogo contact (jogo de controle) movimentado as letras de um ponto para outro. Utilizaram-se duas letras reversíveis (d; p), duas não-reversíveis (e; k) e duas simétricas (o; x). Para avaliar o impacto do treino no processamento da orientação, as crianças realizaram, antes e depois do treino, tarefas independentes dos jogos: uma tarefa de escolha forçada com letras, e tarefas de julgamento igual-diferente com letras e figuras geométricas. A evolução do desempenho das crianças no treino sugere que só o treino de acções motoras correspondentes à forma da letra, no jogo draw, conduziu à emergência de representações motoras das letras, que foram mais importantes para o desempenho com letras reversíveis do que com letras não-reversíveis e simétricas. Os resultados na tarefa de escolha forçada deram um contributo original para o estudo da discriminação de imagens em espelho, ao mostrar que esta dificuldade não é devida em particular às exigências de memória de trabalho da tarefa em que ocorre. Os resultados nas tarefas igual-diferente sugerem que as crianças após o treino aumentaram a sensibilidade aos contrastes de orientação rotação-plana devido ao contacto nos dois jogos com esse contraste (i.e., contacto com as letras d e p). Finalmente, a comparação do desempenho dos dois grupos nas tarefas independentes antes e após o treino, não revelou diferenças significativas. Não foi assim possível confirmar, ou rejeitar, a importância do treino motor que corresponde à representação motora das letras na discriminação imagens em espelho

Proceedings of the 9th international conference on disability, virtual reality and associated technologies (ICDVRAT 2012)

The proceedings of the conferenc

XR, music and neurodiversity: design and application of new mixed reality technologies that facilitate musical intervention for children with autism spectrum conditions

This thesis, accompanied by the practice outputs,investigates sensory integration, social interaction and creativity through a newly developed VR-musical interface designed exclusively for children with a high-functioning autism spectrum condition (ASC).The results aim to contribute to the limited expanse of literature and research surrounding Virtual Reality (VR) musical interventions and Immersive Virtual Environments (IVEs) designed to support individuals with neurodevelopmental conditions. The author has developed bespoke hardware, software and a new methodology to conduct field investigations. These outputs include a Virtual Immersive Musical Reality Intervention (ViMRI) protocol, a Supplemental Personalised, immersive Musical Experience(SPiME) programme, the Assisted Real-time Three-dimensional Immersive Musical Intervention System’ (ARTIMIS) and a bespoke (and fully configurable) ‘Creative immersive interactive Musical Software’ application (CiiMS). The outputs are each implemented within a series of institutional investigations of 18 autistic child participants. Four groups are evaluated using newly developed virtual assessment and scoring mechanisms devised exclusively from long-established rating scales. Key quantitative indicators from the datasets demonstrate consistent findings and significant improvements for individual preferences (likes), fear reduction efficacy, and social interaction. Six individual case studies present positive qualitative results demonstrating improved decision-making and sensorimotor processing. The preliminary research trials further indicate that using this virtual-reality music technology system and newly developed protocols produces notable improvements for participants with an ASC. More significantly, there is evidence that the supplemental technology facilitates a reduction in psychological anxiety and improvements in dexterity. The virtual music composition and improvisation system presented here require further extensive testing in different spheres for proof of concept

Developing an educational application for first grade students based on handwriting recognition

Tablet computers have become a significant consumer technology by providing a more natural way of interaction via touch sensitive screens, compared to keyboard and mouse input. For this purpose, they are being used increasingly for education purposes, especially aimed for children. In this thesis, an educational application based on handwriting recognition technologies is developed for 1st grade students. The developed application lets teachers prepare online study material directly from text books that students write on and receive back a rich set of information such as timing and writing order, along with a student's completed homework. Arithmetic and linguistic exercises suitable for first grade curriculum are implemented into application. The thesis covers all aspects about designing and developing such an educational application, including: how to design a friendly and straightforward interface for children; how to prepare study material paralleling a variety of question types (matching, arithmetic, Turkish) found in elementary school education; and what applications would be most beneficial on the tablet platform. Besides the design and user interface issues, technical solutions are developed for how to implement sophisticated applications such as a Hidden Markov Model based recognizer on the Android platform, and how to verify answers. After the initial design, assessments are collected from first grade students on two separate occasions and the design of the application was iteratively improved to suit the young students’ needs who have still-developing motor skills and lesser experience with technology compared to most adults