Mega - mobile multimodal extended games

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012As aplicações de entretenimento móvel têm hoje em dia um papel importante e significativo no mercado de software, abrangendo um grupo variado de utilizadores. Tudo isto se deve ao repentino sucesso de dispositivos de interacção inovadora, como o Wiimote da Nintendo, o Move da Sony e o Kinect da Microsoft. Por sua vez estas técnicas de interacção multimodal têm sido exploradas para jogos móveis. A recente geração de dispositivos móveis vem equipada com uma grande variedade de sensores, para além dos óbvios como ecrã táctil e microfone. Existem ainda outros componentes interessantes como bússola digital, acelerómetros, sensores ópticos. Os dispositivos móveis são também utilizados como máquina fotográfica digital, agenda pessoal, assim como para ver videos e ouvir música, e claro, para jogar jogos. Olhar para os novos grupos de utilizadores e para as novas formas de jogar e incluir nos jogos formas de interacção novas, usando os atributos e potencialidades de novas plataformas e novas tecnologias é pois um assunto pungente e deveras desafiante. Com este trabalho pretende-se estudar e propor novas dimensões de jogo e interacção com plataformas móveis, sejam smartphones, sejam tablets, que se adequem às mais distintas comunidades de jogadores. Pretende-se sobretudo explorar modalidades alternativas como as baseadas no tacto e vibração, assim como no áudio, combinadas ou não com outras mais tradicionais de foro visual. Almeja-se ainda explorar jogos em grupo, à distância e co-localizados, encontrando e estudando novas formas de expressão em jogos clássicos e jogos inovadores que envolvam pequenos conjuntos de indivíduos. A ubiquidade inerente aos dispositivos móveis faz ainda com que se tenham que encontrar neste jogos de grupo formas de fluxo de jogo que sustentem saídas e entradas rápidas ou menos rápidas sem que ainda assim se perca o interesse e a motivação de jogar. Este trabalho iniciou-se com uma pesquisa intensiva de trabalho relacionado, sobre a área de jogos móveis e suas multimodalidades, passando consequentemente pela acessibilidade inerente, jogos em grupo e suas formas de comunicação e conexão, e por último dando especial atenção a jogos de puzzle, sendo o tipo de jogo focado neste trabalho. Seguidamente, foi efectuado o levantamento de requisitos e exploradas as opções de jogo e de interacção relativas a jogos de puzzle móveis multimodais. No âmbito deste estudo foram criados três pequenos jogos sobre um conceito comum: jogos de puzzle. A primeira aplicação contém três modalidades diferentes de jogo: uma visual, apresentando um jogo de puzzle de imagens baseado nos tradicionais; uma segunda auditiva, que recria o conceito de jogo através de música, tornando as peças em pequenas parcelas sonoras da música de tamanhos equivalentes; e a terceira háptica, criando deste modo um puzzle com peças de padrões vibratórios diferentes. A segunda aplicação recriou o mesmo conceito de jogo, puzzle, no modo audio, mas retirando toda a informação visual, apresentando simples formas de interacção. A terceira aplicação apresenta uma abordagem sobre os jogos em grupo, permitindo jogar puzzles visuais e de audio em dois modos distintos: cooperativo, onde os jogadores têm de jogar em equipa de forma a conseguir completar o puzzle; e competitiva, onde os jogadores são forçados a ser mais rápidos que o adversário de modo a poderem vencer. Todas estas aplicações permitem ao utilizador definir o tamanho do puzzle e o nível de dificuldade, assim como escolher as imagens e músicas que pretendem resolver em forma de puzzle. Foram conduzidos vários testes de utilizador, nomeadamente um para cada aplicação desenvolvida. Sobre a primeira aplicação vinte e quatro participantes jogaram puzzles visuais e auditivos, distribuídos equitativamente pelas modalidades. Deste modo, cada participante resolveu nove puzzles de imagem ou nove puzzles audio distintos. Neste primeiro estudo procurou descobrir-se as estratégias de resolução dos puzzles, procurando principalmente igualdades e diferenças entre os diferentes modos. Para o segundo estudo foi usada a segunda aplicação desenvolvida, e foram abrangidos novamente vinte e quatro utilizadores, doze dos quais sendo cegos. Cada participante resolveu três puzzles audio diferentes. Relativamente a este estudo, foi proposta uma comparação entre os modos estudados anteriormente, especialmente sobre o modo audio, uma vez que foi usado o mesmo procedimento. Para os utilizadores cegos o objectivo foi provar que seria possível criar um jogo divertido, desafiante e sobretudo acessível a partir de um conceito de jogo clássico. Para o último estudo, vinte e quatro participantes, organizados em pares, jogaram puzzles visuais e de audio em modo cooperativo e competitivo. Cada conjunto de participantes resolveu quatro puzzles, um para cada modo de jogo por cada tipo de puzzle, o que significa dois puzzles visuais, um competitivo e outro cooperativo, e dois puzzles audio, sendo também um cooperativo e outro competitivo. O objectivo mais uma vez foi procurar as estratégias de resolução, permitindo também a comparação com outros modos anteriormente estudados. Todos os jogos foram transformados em dados contendo todas as acções que cada jogador tomou durante a resolução do puzzle. Esses dados foram depois transformados em números específicos de forma a poderem ser analisados e discutidos. Os valores obtidos foram divididos em três grupos principais, as tentativas de colocação de peças, o número de ajudas, e o tempo de conclusão do puzzle. Em relação às tentativas de colocação de peças é possível identificar a ordem correspondente segundo três formas distintas, pela classificação do tipo de peças, pela disposição das peças na fita e pela ordem sequencial do puzzle. Os resultados do estudo mostram que uma mesma estratégia de resolução de puzzles é usada através de todos os modos estudados, os jogadores optam por resolver primeiro as zonas mais relevantes do puzzle, deixando as partes mais abstractas e confundíveis para o final. No entanto, parente novas modalidades de jogo, pequenas percentagens de utilizadores mostraram diferentes estratégias de resolução. Através das opiniões dos utilizadores é também possível afirmar que todas as aplicações desenvolvidas são jogáveis, divertidas e desafiantes. No final foi criado um conjunto de componentes reutilizáveis e um conjunto de parâmetros para a criação de novos jogos. Numa linha de trabalho futuro foram propostos vários objectivos interessantes que podem promover e reaproveitar o trabalho desenvolvido. Deste modo foi criado um jogo de puzzle baseado na primeira aplicação desenvolvida, mantendo os modos visual e audio, de forma a poder integrar no mercado de aplicações móveis, permitindo deste modo, um estudo em larga escala sobre os mesmos conceitos estudados neste trabalho. Foi também pensada a criação de um servidor centralizado, permitindo conter os resultados de todos os jogadores de forma a criar um ranking geral, podendo deste modo incentivar os jogadores a melhorar o seu desempenho, e ajudar a promover o próprio jogo. Outra alternativa passa por melhorar e aperfeiçoar o modo háptico, de forma a criar mais uma modalidade viável sobre o mesmo conceito de jogo, de forma a poder ser também estudada de forma equivalente. O puzzle para invisuais pode também ser melhorado e aperfeiçoado de forma a criar mais desafios através da inclusão dum modo háptio. E por fim, não menos importante, criar novas dimensões de jogo em grupo, permitindo jogar os modos cooperativo e competitivo em simultâneo, tendo por exemplo duas equipas de dois jogadores cada, a cooperar entre si para completar o puzzle, e de certa forma a competir contra a outra equipa para terminar primeiro e com melhores resultados. O objectivo seria, mais uma vez, estudar as estratégias usadas.Mobile entertainment applications have an important and significant role in the software market, covering a diverse group of users. All this is due to the sudden success of innovative interaction devices such as Nintendo’s Wiimote, Sony’s Move and Kinect’s Microsoft. On the other hand, these multimodal interaction techniques have been explored for mobile games. The latest generation of mobile devices is equipped with a wide variety of sensors, in addition to the obvious such as touch screen and microphone. There are other interesting components such as digital compass, accelerometers and optical sensors. Mobile devices are also used as a digital camera, personal organizer, to watch videos and listen to music, and of course, to play games. Looking for the new users groups and for the new ways to play the games and include new forms of interaction, using the attributes and capabilities of new platforms and new technologies is an issue as poignant and very challenging. This work aims to study and propose new dimensions of play and interaction with mobile platforms, whether smartphones or tablets, which suit most distinct communities of players. It is intended primarily to explore alternative modalities such as touch-based and vibratory, as well as audio based, combined or not with traditional visual ones. It also aims at exploring group games, spatially distributed and co-located, finding and studying new forms of expression in classic games and innovative games that involve small sets of individuals. The ubiquity inherent to mobile devices leads us to find input and output flows which support rapid or less rapid entry commands, without losing the interest and motivation to play. In addition to the design and implementation of three or four small game applications intended to create a set of reusable components and a set of guidelines for creating new games

Affective games:a multimodal classification system

Affective gaming is a relatively new field of research that exploits human emotions to influence gameplay for an enhanced player experience. Changes in player’s psychology reflect on their behaviour and physiology, hence recognition of such variation is a core element in affective games. Complementary sources of affect offer more reliable recognition, especially in contexts where one modality is partial or unavailable. As a multimodal recognition system, affect-aware games are subject to the practical difficulties met by traditional trained classifiers. In addition, inherited game-related challenges in terms of data collection and performance arise while attempting to sustain an acceptable level of immersion. Most existing scenarios employ sensors that offer limited freedom of movement resulting in less realistic experiences. Recent advances now offer technology that allows players to communicate more freely and naturally with the game, and furthermore, control it without the use of input devices. However, the affective game industry is still in its infancy and definitely needs to catch up with the current life-like level of adaptation provided by graphics and animation

Bacteria Hunt: A multimodal, multiparadigm BCI game

Brain-Computer Interfaces (BCIs) allow users to control applications by brain activity. Among their possible applications for non-disabled people, games are promising candidates. BCIs can enrich game play by the mental and affective state information they contain. During the eNTERFACE’09 workshop we developed the Bacteria Hunt game which can be played by keyboard and BCI, using SSVEP and relative alpha power. We conducted experiments in order to investigate what difference positive vs. negative neurofeedback would have on subjects’ relaxation states and how well the different BCI paradigms can be used together. We observed no significant difference in mean alpha band power, thus relaxation, and in user experience between the games applying positive and negative feedback. We also found that alpha power before SSVEP stimulation was significantly higher than alpha power during SSVEP stimulation indicating that there is some interference between the two BCI paradigms

The Effect of Multiplayer Video Games on Incidental and Intentional L2 Vocabulary Learning: The Case of Among Us

Vocabulary learning has been traditionally considered central to second language learning. It may take place either intentionally, by means of deliberate attempts to commit factual information to memory, or incidentally, as a consequence of other cognitive processes involving comprehension. Video games, which have been extensively employed in educational contexts to understand lexical development in foreign languages, foster both exposure to and the production of authentic and meaning-focused vocabulary. An empirical study was conducted to explore the effect of playing an online multiplayer social deduction game (i.e., a game in which players attempt to uncover each other’s hidden role) on incidental and intentional second language (L2) vocabulary learning. Secondary school pre-intermediate English as a Foreign Language (EFL) students (n = 54) took a vocabulary pre-test that identified eight unknown words likely to appear in the video game Among Us. Then, students were randomly assigned to different groups of players and to different learning conditions—within each group, half of the players were given a list of phrases containing such target words, which they were encouraged to meaningfully use in the game by means of written interaction. In doing so, students learnt some target words intentionally and provided contextualized incidental exposure to other players. They took a vocabulary test after two sessions of practice with the game to explore intentional and incidental L2 vocabulary learning gains. The pre- and post-tests suggested, among other results, that players using new L2 words in the game Among Us would retain more vocabulary than players only encountering them, that vocabulary intentionally input helped other users trigger incidental vocabulary learning, and that repetition had a positive effect on L2 vocabulary learning

Writing In and Around Video Games

This undergraduate course uses video games as a lens through which to explore the infinitely broader topic of digital rhetoric. Students encounter games in several different ways: as texts to analyze, raw material for video compositions, systems to create and explore. Key topics include genre conventions and constraints, audience, procedural rhetoric, interface design, and convergence culture

Video games as a source of extramural English:Finnish university students’ perspective

Abstract. This thesis examines how video games as an entertaining pastime activity may function as a source of extramural English language learning for Finnish players. Previous research about video games and learning has been primarily focused on identifying learning principles deeply rooted in the design of video games. This study examines video games in their immediate sociocultural context, as a form of popular culture comprised of complex communities and activities. The study applied qualitative research methods. The data for this study comes from ten semi-structured interview sessions with Finnish university students of English who were active gamers during their early formal education and listed playing video games as a pastime activity. The interview required informants to give information about their experiences and opinions in relation to video games and English second language learning. The results of the thesis show that the informants consider video games as a significant, effective, and versatile source of additional language learning. Additionally, the results show that the learning experiences described by the informants often realize the characteristics of modern sociocultural learning theories and approaches.Tiivistelmä. Tässä opinnäytetyössä tutkitaan, miten englanninkielisten videopelien pelaaminen voi edistää suomenkielisten pelaajien kouluajan ulkopuolista oppimista. Aikaisempi tutkimus pelien ja oppimisen suhteesta on keskittynyt pitkälti pelien oppimiselle olennaisten toimintaperiaatteiden kartoittamiseen. Tässä tutkimuksessa tarkastellaan pelejä ja oppimista irrottamatta niitä sosiokulttuurisesta viitekehyksestään populaarikulttuurin muotona, joka koostuu monitahoisista yhteisöistä ja aktiviteeteistä. Tutkimusmenetelmä on laadullinen. Tutkimusaineisto koostuu teemahaastatteluista, jonka kymmenen haastateltavaa ovat äidinkielenään suomea puhuvia englannin kielen yliopisto-opiskelijoita. Kaikki haastateltavat harrastivat videopelejä peruskoulun aikana. Haastattelussa osallistujia pyydettiin kertomaan kokemuksistaan ja mielipiteistään englannin kielen oppimisesta videopelien kautta. Tutkimus osoittaa, että haastateltaville videopelit ovat olleet merkittävä, hyvin toimiva ja monipuolinen kanava englannin kielen oppimisessa. Lisäksi tutkimuksessa todetaan, että haastateltavien kuvauksien perusteella pelien kautta tapahtuva oppiminen myötäilee nykyaikaisten sosiokulttuuristen oppimiskäsitysten malleja

Towards a 'COOPING' Model for the Investigation of Gamers' Online Conversations in English

This paper proposes a cognitive-functional investigation of gamers’ uses of English in online communication, in order to enquire into the possibility of introducing a model that could be called COOPING (‘COOperation Principles between INternet Gamers’). COOPING was devised at the University of Salento, and it was conceived as a further development of both Grice’s maxims and Guido’s principles describing English lingua-franca uses in intercultural exchanges. The main research hypothesis is that the interactants’ awareness of the need to cooperate to reach shared targets prompts them to select a common linguistic means, which is usually a variation of English, when different linguacultural backgrounds come into contact. This paper will detail the four phases of COOPING—Evaluation, Acknowledgment, Negotiation, and Manner—which are expected to reflect the steps that players follow when they intend to cooperate in these virtual communities. Through an analysis of the selected corpus of conversations, this study will illustrate that gamers: (phases 1 and 2 of the Model) examine and evaluate the interlocutors’ behavior in order to assess their cooperative attitude; (phase 3) decide to select English when community members come from different linguistic and cultural backgrounds; and (phase 4) generate conversation turns that are characterized by specific features, from authentication, to meaning negotiation, to creative and critical modifications to the standard norms, trying to pursue reciprocal understanding and communication

Exploitation of multiplayer interaction and development of virtual puppetry storytelling using gesture control and stereoscopic devices

With the rapid development of human-computer interaction technologies, the new media generation demands novel learning experiences with natural interaction and immersive experience. Considering that digital storytelling is a powerful pedagogical tool for young children, in this paper, we design an immersive storytelling environment that allows multiple players to use naturally interactive hand gestures to manipulate virtual puppetry for assisting narration. A set of multimodal interaction techniques is presented for a hybrid user interface that integrates existing 3D visualization and interaction devices including head-mounted displays and depth motion sensor. In this system, the young players could intuitively use hand gestures to manipulate virtual puppets to perform a story and interact with props in a virtual stereoscopic environment. We have conducted a user experiment with four young children for pedagogical evaluation, as well as system acceptability and interactivity evaluation by postgraduate students. The results show that our framework has great potential to stimulate learning abilities of young children through collaboration tasks. The stereoscopic head-mounted display outperformed the traditional monoscopic display in a comparison between the two