Mega - mobile multimodal extended games

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012As aplicações de entretenimento móvel têm hoje em dia um papel importante e significativo no mercado de software, abrangendo um grupo variado de utilizadores. Tudo isto se deve ao repentino sucesso de dispositivos de interacção inovadora, como o Wiimote da Nintendo, o Move da Sony e o Kinect da Microsoft. Por sua vez estas técnicas de interacção multimodal têm sido exploradas para jogos móveis. A recente geração de dispositivos móveis vem equipada com uma grande variedade de sensores, para além dos óbvios como ecrã táctil e microfone. Existem ainda outros componentes interessantes como bússola digital, acelerómetros, sensores ópticos. Os dispositivos móveis são também utilizados como máquina fotográfica digital, agenda pessoal, assim como para ver videos e ouvir música, e claro, para jogar jogos. Olhar para os novos grupos de utilizadores e para as novas formas de jogar e incluir nos jogos formas de interacção novas, usando os atributos e potencialidades de novas plataformas e novas tecnologias é pois um assunto pungente e deveras desafiante. Com este trabalho pretende-se estudar e propor novas dimensões de jogo e interacção com plataformas móveis, sejam smartphones, sejam tablets, que se adequem às mais distintas comunidades de jogadores. Pretende-se sobretudo explorar modalidades alternativas como as baseadas no tacto e vibração, assim como no áudio, combinadas ou não com outras mais tradicionais de foro visual. Almeja-se ainda explorar jogos em grupo, à distância e co-localizados, encontrando e estudando novas formas de expressão em jogos clássicos e jogos inovadores que envolvam pequenos conjuntos de indivíduos. A ubiquidade inerente aos dispositivos móveis faz ainda com que se tenham que encontrar neste jogos de grupo formas de fluxo de jogo que sustentem saídas e entradas rápidas ou menos rápidas sem que ainda assim se perca o interesse e a motivação de jogar. Este trabalho iniciou-se com uma pesquisa intensiva de trabalho relacionado, sobre a área de jogos móveis e suas multimodalidades, passando consequentemente pela acessibilidade inerente, jogos em grupo e suas formas de comunicação e conexão, e por último dando especial atenção a jogos de puzzle, sendo o tipo de jogo focado neste trabalho. Seguidamente, foi efectuado o levantamento de requisitos e exploradas as opções de jogo e de interacção relativas a jogos de puzzle móveis multimodais. No âmbito deste estudo foram criados três pequenos jogos sobre um conceito comum: jogos de puzzle. A primeira aplicação contém três modalidades diferentes de jogo: uma visual, apresentando um jogo de puzzle de imagens baseado nos tradicionais; uma segunda auditiva, que recria o conceito de jogo através de música, tornando as peças em pequenas parcelas sonoras da música de tamanhos equivalentes; e a terceira háptica, criando deste modo um puzzle com peças de padrões vibratórios diferentes. A segunda aplicação recriou o mesmo conceito de jogo, puzzle, no modo audio, mas retirando toda a informação visual, apresentando simples formas de interacção. A terceira aplicação apresenta uma abordagem sobre os jogos em grupo, permitindo jogar puzzles visuais e de audio em dois modos distintos: cooperativo, onde os jogadores têm de jogar em equipa de forma a conseguir completar o puzzle; e competitiva, onde os jogadores são forçados a ser mais rápidos que o adversário de modo a poderem vencer. Todas estas aplicações permitem ao utilizador definir o tamanho do puzzle e o nível de dificuldade, assim como escolher as imagens e músicas que pretendem resolver em forma de puzzle. Foram conduzidos vários testes de utilizador, nomeadamente um para cada aplicação desenvolvida. Sobre a primeira aplicação vinte e quatro participantes jogaram puzzles visuais e auditivos, distribuídos equitativamente pelas modalidades. Deste modo, cada participante resolveu nove puzzles de imagem ou nove puzzles audio distintos. Neste primeiro estudo procurou descobrir-se as estratégias de resolução dos puzzles, procurando principalmente igualdades e diferenças entre os diferentes modos. Para o segundo estudo foi usada a segunda aplicação desenvolvida, e foram abrangidos novamente vinte e quatro utilizadores, doze dos quais sendo cegos. Cada participante resolveu três puzzles audio diferentes. Relativamente a este estudo, foi proposta uma comparação entre os modos estudados anteriormente, especialmente sobre o modo audio, uma vez que foi usado o mesmo procedimento. Para os utilizadores cegos o objectivo foi provar que seria possível criar um jogo divertido, desafiante e sobretudo acessível a partir de um conceito de jogo clássico. Para o último estudo, vinte e quatro participantes, organizados em pares, jogaram puzzles visuais e de audio em modo cooperativo e competitivo. Cada conjunto de participantes resolveu quatro puzzles, um para cada modo de jogo por cada tipo de puzzle, o que significa dois puzzles visuais, um competitivo e outro cooperativo, e dois puzzles audio, sendo também um cooperativo e outro competitivo. O objectivo mais uma vez foi procurar as estratégias de resolução, permitindo também a comparação com outros modos anteriormente estudados. Todos os jogos foram transformados em dados contendo todas as acções que cada jogador tomou durante a resolução do puzzle. Esses dados foram depois transformados em números específicos de forma a poderem ser analisados e discutidos. Os valores obtidos foram divididos em três grupos principais, as tentativas de colocação de peças, o número de ajudas, e o tempo de conclusão do puzzle. Em relação às tentativas de colocação de peças é possível identificar a ordem correspondente segundo três formas distintas, pela classificação do tipo de peças, pela disposição das peças na fita e pela ordem sequencial do puzzle. Os resultados do estudo mostram que uma mesma estratégia de resolução de puzzles é usada através de todos os modos estudados, os jogadores optam por resolver primeiro as zonas mais relevantes do puzzle, deixando as partes mais abstractas e confundíveis para o final. No entanto, parente novas modalidades de jogo, pequenas percentagens de utilizadores mostraram diferentes estratégias de resolução. Através das opiniões dos utilizadores é também possível afirmar que todas as aplicações desenvolvidas são jogáveis, divertidas e desafiantes. No final foi criado um conjunto de componentes reutilizáveis e um conjunto de parâmetros para a criação de novos jogos. Numa linha de trabalho futuro foram propostos vários objectivos interessantes que podem promover e reaproveitar o trabalho desenvolvido. Deste modo foi criado um jogo de puzzle baseado na primeira aplicação desenvolvida, mantendo os modos visual e audio, de forma a poder integrar no mercado de aplicações móveis, permitindo deste modo, um estudo em larga escala sobre os mesmos conceitos estudados neste trabalho. Foi também pensada a criação de um servidor centralizado, permitindo conter os resultados de todos os jogadores de forma a criar um ranking geral, podendo deste modo incentivar os jogadores a melhorar o seu desempenho, e ajudar a promover o próprio jogo. Outra alternativa passa por melhorar e aperfeiçoar o modo háptico, de forma a criar mais uma modalidade viável sobre o mesmo conceito de jogo, de forma a poder ser também estudada de forma equivalente. O puzzle para invisuais pode também ser melhorado e aperfeiçoado de forma a criar mais desafios através da inclusão dum modo háptio. E por fim, não menos importante, criar novas dimensões de jogo em grupo, permitindo jogar os modos cooperativo e competitivo em simultâneo, tendo por exemplo duas equipas de dois jogadores cada, a cooperar entre si para completar o puzzle, e de certa forma a competir contra a outra equipa para terminar primeiro e com melhores resultados. O objectivo seria, mais uma vez, estudar as estratégias usadas.Mobile entertainment applications have an important and significant role in the software market, covering a diverse group of users. All this is due to the sudden success of innovative interaction devices such as Nintendo’s Wiimote, Sony’s Move and Kinect’s Microsoft. On the other hand, these multimodal interaction techniques have been explored for mobile games. The latest generation of mobile devices is equipped with a wide variety of sensors, in addition to the obvious such as touch screen and microphone. There are other interesting components such as digital compass, accelerometers and optical sensors. Mobile devices are also used as a digital camera, personal organizer, to watch videos and listen to music, and of course, to play games. Looking for the new users groups and for the new ways to play the games and include new forms of interaction, using the attributes and capabilities of new platforms and new technologies is an issue as poignant and very challenging. This work aims to study and propose new dimensions of play and interaction with mobile platforms, whether smartphones or tablets, which suit most distinct communities of players. It is intended primarily to explore alternative modalities such as touch-based and vibratory, as well as audio based, combined or not with traditional visual ones. It also aims at exploring group games, spatially distributed and co-located, finding and studying new forms of expression in classic games and innovative games that involve small sets of individuals. The ubiquity inherent to mobile devices leads us to find input and output flows which support rapid or less rapid entry commands, without losing the interest and motivation to play. In addition to the design and implementation of three or four small game applications intended to create a set of reusable components and a set of guidelines for creating new games

Icanlearn: A Mobile Application For Creating Flashcards And Social Stories\u3csup\u3etm\u3c/sup\u3e For Children With Autistm

The number of children being diagnosed with Autism Spectrum Disorder (ASD) is on the rise, presenting new challenges for their parents and teachers to overcome. At the same time, mobile computing has been seeping its way into every aspect of our lives in the form of smartphones and tablet computers. It seems only natural to harness the unique medium these devices provide and use it in treatment and intervention for children with autism. This thesis discusses and evaluates iCanLearn, an iOS flashcard app with enough versatility to construct Social StoriesTM. iCanLearn provides an engaging, individualized learning experience to children with autism on a single device, but the most powerful way to use iCanLearn is by connecting two or more devices together in a teacher-learner relationship. The evaluation results are presented at the end of the thesis

The Gameful Museum: Developing a Location-Based Game Design Framework for Engagement and Motivation

The popularity of location-based games, which blend digital and physical gameplay in specific real-world locations, has been rising in recent years. Research in museum studies looking into these games as engagement tools has so far been limited to individual case studies or sporadic overviews of play and games that do not explore the relationship between game design, location, gameplay and the museum experience. This practice-led thesis addresses this gap through the development of a game design framework and guidelines to create location-based games in museums, combined with a study of the impact of the designed experiences on audiences’ motivation to visit and engage with museum content. The findings and framework proposed are relevant for museum professionals and game designers who are interested in developing this practice while benefiting from guidance grounded in real-world research. Methodologically, I supplemented a study of past experiences with a first-person gameplay analysis, the results of which informed the design and examination of case studies of games for Exeter’s Royal Albert Memorial Museum & Art Gallery (RAMM) developed in collaboration with the museum staff and external game designers. Findings suggest that location-based games benefit museums by creating added motivation to visit, attracting new and existing audiences, increasing and diversifying engagement with the museum content, and to a lesser degree, supporting knowledge acquisition. Structuring visits into games limits the possible actions of players while offering agency within those limitations, making the players part of a story and giving them challenges to complete, encouraging visitors to become more active and invested in exploring the space and the content displayed. I conclude this thesis by proposing the concept of the gameful museum as a possible path for museums as institutions of learning and entertainment, offering the location-based game design framework as an instrument to work towards audience development and engagement and highlighting the field’s future potential

Installations, disruption of technology, and performing play:a social play design portfolio

Installations, Disruption of Technology, & Performing Play (IDTPP) is a portfolio of original play interventions created between 2014 and 2020 that sought to instigate connections between people through the shared experience of play. The portfolio comprises practice-based research projects, with outputs in digital and analogue forms that have been showcased internationally. Each contribution interrogates the application of social play design strategies within set design constraints. As a result, IDTPP presents a rigorous examination of design practices for play that aims to bring people together in the same space. IDTPP is informed by engagement with digital game design practices, pervasive games, street games, installation, video game curation, play theories, and user experience design. The portfolio is structured around specific design constraints such as: access (limited timeframes vs extended timeframes); permission (low level vs high levels of participation); setting (how play can be helped or hindered by its site); and social technology (easing or highlighting social interaction). The constraints for each project are sequential and interdependent, with the learning from one project feeding into the research questions of the next. Findings have been drawn from analysis of the work, drawing upon artist-as-researcher reflections, critical evaluation, and user feedback. IDTPP makes a significant contribution to knowledge by demonstrating that play, in its many forms, has social benefits, whilst also mapping out audience and site-specific design strategies that can be applied by other practitioners in the field. The significance of the design concepts within IDTPP has been recognised, through an invitation to showcase social play on BBC Click Live in 2019, the formation of a partnership with Cadbury Heroes in 2020 to promote the benefits of social play for creating connections and addressing isolation caused by the Covid-19 pandemic and the commission of a large-scale installation for socially distant play at V&A Dundee

Using Immersive Fantasy to Engage Marginalized Youth: Promoting STEM Engagement Using Mystery Rooms

Educational systems today often fail to imbue students with an interest or value for learning. Students in underprivileged areas disengage in education at young ages and are unlikely to pursue STEM education and careers. The purpose of this project is to engage marginalized youth in STEM education through the use of an immersive narrative experience called a Mystery Room. Through analysis of students\u27 perception of time, verbal feedback, and behavioral observations, we determined that this strategy successfully captures student interest and has a significant effect on STEM engagement. Our findings are intended to assist educators in implementing active learning to engage students