Virtual Reality Games for Motor Rehabilitation

This paper presents a fuzzy logic based method to track user satisfaction without the need for devices to monitor users physiological conditions. User satisfaction is the key to any product’s acceptance; computer applications and video games provide a unique opportunity to provide a tailored environment for each user to better suit their needs. We have implemented a non-adaptive fuzzy logic model of emotion, based on the emotional component of the Fuzzy Logic Adaptive Model of Emotion (FLAME) proposed by El-Nasr, to estimate player emotion in UnrealTournament 2004. In this paper we describe the implementation of this system and present the results of one of several play tests. Our research contradicts the current literature that suggests physiological measurements are needed. We show that it is possible to use a software only method to estimate user emotion

Mega - mobile multimodal extended games

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012As aplicações de entretenimento móvel têm hoje em dia um papel importante e significativo no mercado de software, abrangendo um grupo variado de utilizadores. Tudo isto se deve ao repentino sucesso de dispositivos de interacção inovadora, como o Wiimote da Nintendo, o Move da Sony e o Kinect da Microsoft. Por sua vez estas técnicas de interacção multimodal têm sido exploradas para jogos móveis. A recente geração de dispositivos móveis vem equipada com uma grande variedade de sensores, para além dos óbvios como ecrã táctil e microfone. Existem ainda outros componentes interessantes como bússola digital, acelerómetros, sensores ópticos. Os dispositivos móveis são também utilizados como máquina fotográfica digital, agenda pessoal, assim como para ver videos e ouvir música, e claro, para jogar jogos. Olhar para os novos grupos de utilizadores e para as novas formas de jogar e incluir nos jogos formas de interacção novas, usando os atributos e potencialidades de novas plataformas e novas tecnologias é pois um assunto pungente e deveras desafiante. Com este trabalho pretende-se estudar e propor novas dimensões de jogo e interacção com plataformas móveis, sejam smartphones, sejam tablets, que se adequem às mais distintas comunidades de jogadores. Pretende-se sobretudo explorar modalidades alternativas como as baseadas no tacto e vibração, assim como no áudio, combinadas ou não com outras mais tradicionais de foro visual. Almeja-se ainda explorar jogos em grupo, à distância e co-localizados, encontrando e estudando novas formas de expressão em jogos clássicos e jogos inovadores que envolvam pequenos conjuntos de indivíduos. A ubiquidade inerente aos dispositivos móveis faz ainda com que se tenham que encontrar neste jogos de grupo formas de fluxo de jogo que sustentem saídas e entradas rápidas ou menos rápidas sem que ainda assim se perca o interesse e a motivação de jogar. Este trabalho iniciou-se com uma pesquisa intensiva de trabalho relacionado, sobre a área de jogos móveis e suas multimodalidades, passando consequentemente pela acessibilidade inerente, jogos em grupo e suas formas de comunicação e conexão, e por último dando especial atenção a jogos de puzzle, sendo o tipo de jogo focado neste trabalho. Seguidamente, foi efectuado o levantamento de requisitos e exploradas as opções de jogo e de interacção relativas a jogos de puzzle móveis multimodais. No âmbito deste estudo foram criados três pequenos jogos sobre um conceito comum: jogos de puzzle. A primeira aplicação contém três modalidades diferentes de jogo: uma visual, apresentando um jogo de puzzle de imagens baseado nos tradicionais; uma segunda auditiva, que recria o conceito de jogo através de música, tornando as peças em pequenas parcelas sonoras da música de tamanhos equivalentes; e a terceira háptica, criando deste modo um puzzle com peças de padrões vibratórios diferentes. A segunda aplicação recriou o mesmo conceito de jogo, puzzle, no modo audio, mas retirando toda a informação visual, apresentando simples formas de interacção. A terceira aplicação apresenta uma abordagem sobre os jogos em grupo, permitindo jogar puzzles visuais e de audio em dois modos distintos: cooperativo, onde os jogadores têm de jogar em equipa de forma a conseguir completar o puzzle; e competitiva, onde os jogadores são forçados a ser mais rápidos que o adversário de modo a poderem vencer. Todas estas aplicações permitem ao utilizador definir o tamanho do puzzle e o nível de dificuldade, assim como escolher as imagens e músicas que pretendem resolver em forma de puzzle. Foram conduzidos vários testes de utilizador, nomeadamente um para cada aplicação desenvolvida. Sobre a primeira aplicação vinte e quatro participantes jogaram puzzles visuais e auditivos, distribuídos equitativamente pelas modalidades. Deste modo, cada participante resolveu nove puzzles de imagem ou nove puzzles audio distintos. Neste primeiro estudo procurou descobrir-se as estratégias de resolução dos puzzles, procurando principalmente igualdades e diferenças entre os diferentes modos. Para o segundo estudo foi usada a segunda aplicação desenvolvida, e foram abrangidos novamente vinte e quatro utilizadores, doze dos quais sendo cegos. Cada participante resolveu três puzzles audio diferentes. Relativamente a este estudo, foi proposta uma comparação entre os modos estudados anteriormente, especialmente sobre o modo audio, uma vez que foi usado o mesmo procedimento. Para os utilizadores cegos o objectivo foi provar que seria possível criar um jogo divertido, desafiante e sobretudo acessível a partir de um conceito de jogo clássico. Para o último estudo, vinte e quatro participantes, organizados em pares, jogaram puzzles visuais e de audio em modo cooperativo e competitivo. Cada conjunto de participantes resolveu quatro puzzles, um para cada modo de jogo por cada tipo de puzzle, o que significa dois puzzles visuais, um competitivo e outro cooperativo, e dois puzzles audio, sendo também um cooperativo e outro competitivo. O objectivo mais uma vez foi procurar as estratégias de resolução, permitindo também a comparação com outros modos anteriormente estudados. Todos os jogos foram transformados em dados contendo todas as acções que cada jogador tomou durante a resolução do puzzle. Esses dados foram depois transformados em números específicos de forma a poderem ser analisados e discutidos. Os valores obtidos foram divididos em três grupos principais, as tentativas de colocação de peças, o número de ajudas, e o tempo de conclusão do puzzle. Em relação às tentativas de colocação de peças é possível identificar a ordem correspondente segundo três formas distintas, pela classificação do tipo de peças, pela disposição das peças na fita e pela ordem sequencial do puzzle. Os resultados do estudo mostram que uma mesma estratégia de resolução de puzzles é usada através de todos os modos estudados, os jogadores optam por resolver primeiro as zonas mais relevantes do puzzle, deixando as partes mais abstractas e confundíveis para o final. No entanto, parente novas modalidades de jogo, pequenas percentagens de utilizadores mostraram diferentes estratégias de resolução. Através das opiniões dos utilizadores é também possível afirmar que todas as aplicações desenvolvidas são jogáveis, divertidas e desafiantes. No final foi criado um conjunto de componentes reutilizáveis e um conjunto de parâmetros para a criação de novos jogos. Numa linha de trabalho futuro foram propostos vários objectivos interessantes que podem promover e reaproveitar o trabalho desenvolvido. Deste modo foi criado um jogo de puzzle baseado na primeira aplicação desenvolvida, mantendo os modos visual e audio, de forma a poder integrar no mercado de aplicações móveis, permitindo deste modo, um estudo em larga escala sobre os mesmos conceitos estudados neste trabalho. Foi também pensada a criação de um servidor centralizado, permitindo conter os resultados de todos os jogadores de forma a criar um ranking geral, podendo deste modo incentivar os jogadores a melhorar o seu desempenho, e ajudar a promover o próprio jogo. Outra alternativa passa por melhorar e aperfeiçoar o modo háptico, de forma a criar mais uma modalidade viável sobre o mesmo conceito de jogo, de forma a poder ser também estudada de forma equivalente. O puzzle para invisuais pode também ser melhorado e aperfeiçoado de forma a criar mais desafios através da inclusão dum modo háptio. E por fim, não menos importante, criar novas dimensões de jogo em grupo, permitindo jogar os modos cooperativo e competitivo em simultâneo, tendo por exemplo duas equipas de dois jogadores cada, a cooperar entre si para completar o puzzle, e de certa forma a competir contra a outra equipa para terminar primeiro e com melhores resultados. O objectivo seria, mais uma vez, estudar as estratégias usadas.Mobile entertainment applications have an important and significant role in the software market, covering a diverse group of users. All this is due to the sudden success of innovative interaction devices such as Nintendo’s Wiimote, Sony’s Move and Kinect’s Microsoft. On the other hand, these multimodal interaction techniques have been explored for mobile games. The latest generation of mobile devices is equipped with a wide variety of sensors, in addition to the obvious such as touch screen and microphone. There are other interesting components such as digital compass, accelerometers and optical sensors. Mobile devices are also used as a digital camera, personal organizer, to watch videos and listen to music, and of course, to play games. Looking for the new users groups and for the new ways to play the games and include new forms of interaction, using the attributes and capabilities of new platforms and new technologies is an issue as poignant and very challenging. This work aims to study and propose new dimensions of play and interaction with mobile platforms, whether smartphones or tablets, which suit most distinct communities of players. It is intended primarily to explore alternative modalities such as touch-based and vibratory, as well as audio based, combined or not with traditional visual ones. It also aims at exploring group games, spatially distributed and co-located, finding and studying new forms of expression in classic games and innovative games that involve small sets of individuals. The ubiquity inherent to mobile devices leads us to find input and output flows which support rapid or less rapid entry commands, without losing the interest and motivation to play. In addition to the design and implementation of three or four small game applications intended to create a set of reusable components and a set of guidelines for creating new games

Incremental inference on higher-order probabilistic graphical models applied to constraint satisfaction problems

Thesis (PhD)--Stellenbosch University, 2022.ENGLISH ABSTRACT: Probabilistic graphical models (PGMs) are used extensively in the probabilistic reasoning domain. They are powerful tools for solving systems of complex relationships over a variety of probability distributions, such as medical and fault diagnosis, predictive modelling, object recognition, localisation and mapping, speech recognition, and language processing [5, 6, 7, 8, 9, 10, 11]. Furthermore, constraint satisfaction problems (CSPs) can be formulated as PGMs and solved with PGM inference techniques. However, the prevalent literature on PGMs shows that suboptimal PGM structures are primarily used in practice and a suboptimal formulation for constraint satisfaction PGMs. This dissertation aimed to improve the PGM literature through accessible algorithms and tools for improved PGM structures and inference procedures, specifically focusing on constraint satisfaction. To this end, this dissertation presents three published contributions to the current literature: a comparative study to compare cluster graph topologies to the prevalent factor graphs [1], an application of cluster graphs in land cover classification in the field of cartography [2], and a comprehensive integration of various aspects required to formulate CSPs as PGMs and an algorithm to solve this formulation for problems too complex for traditional PGM tools [3]. First, we present a means of formulating and solving graph colouring problems with probabilistic graphical models. In contrast to the prevailing literature that mostly uses factor graph configurations, we approach it from a cluster graph perspective, using the general-purpose cluster graph construction algorithm, LTRIP. Our experiments indicate a significant advantage for preferring cluster graphs over factor graphs, both in terms of accuracy as well as computational efficiency. Secondly, we use these tools to solve a practical problem: land cover classification. This process is complex due to measuring errors, inefficient algorithms, and low-quality data. We proposed a PGM approach to boost geospatial classifications from different sources and consider the effects of spatial distribution and inter-class dependencies (similarly to graph colouring). Our PGM tools were shown to be robust and were able to produce a diverse, feasible, and spatially-consistent land cover classification even in areas of incomplete and conflicting evidence. Lastly, in our third publication, we investigated and improved the PGM structures used for constraint satisfaction. It is known that tree-structured PGMs always result in an exact solution [12, p355], but is usually impractical for interesting problems due to exponential blow-up. We, therefore, developed the “purge-and merge” algorithm to incrementally approximate a tree-structured PGM. This algorithm iteratively nudges a malleable graph structure towards a tree structure by selectively merging factors. The merging process is designed to avoid exponential blow-up through sparse data structures from which redundancy is purged as the algorithm progresses. This algorithm is tested on constraint satisfaction puzzles such as Sudoku, Fill-a-pix, and Kakuro and manages to outperform other PGM-based approaches reported in the literature [13, 14, 15]. Overall, the research reported in this dissertation contributed to developing a more optimised approach for higher order probabilistic graphical models. Further studies should concentrate on applying purge-and-merge on problems closer to probabilistic reasoning than constraint satisfaction and report its effectiveness in that domain.AFRIKAANSE OPSOMMING: Grafiese waarskynlikheidsmodelle (PGM) word wyd gebruik vir komplekse waarskynlikheidsprobleme. Dit is kragtige gereedskap om sisteme van komplekse verhoudings oor ‘n versameling waarskynlikheidsverspreidings op te los, soos die mediese en foutdiagnoses, voorspellingsmodelle, objekherkenning, lokalisering en kartering, spraakherkenning en taalprosessering [5, 6, 7, 8, 9, 10, 11]. Voorts kan beperkingvoldoeningsprobleme (CSP) as PGM’s geformuleer word en met PGM gevolgtrekkingtegnieke opgelos word. Die heersende literatuur oor PGM’s toon egter dat sub-optimale PGM-strukture hoofsaaklik in die praktyk gebruik word en ‘n sub-optimale PGM-formulering vir CSP’s. Die doel met die verhandeling is om die PGM-literatuur deur toeganklike algoritmes en gereedskap vir verbeterde PGM-strukture en gevolgtrekking-prosedures te verbeter deur op CSP toepassings te fokus. Na aanleiding hiervan voeg die verhandeling drie gepubliseerde bydraes by die huidige literatuur: ‘n vergelykende studie om bundelgrafieke tot die heersende faktorgrafieke te vergelyk [1], ‘n praktiese toepassing vir die gebruik van bundelgrafieke in “land-cover”- klassifikasie in die kartografieveld [2] en ‘n omvattende integrasie van verskeie aspekte om CSP’s as PGM’s te formuleer en ‘n algoritme vir die formulering van probleme te kompleks vir tradisionele PGM-gereedskap [3] Eerstens bied ons ‘n wyse van formulering en die oplos van grafiekkleurprobleme met PGM’s. In teenstelling met die huidige literatuur wat meestal faktorgrafieke gebruik, benader ons dit van ‘n bundelgrafiek-perspektief deur die gebruik van die automatiese bundelgrafiekkonstruksie-algoritme, LTRIP. Ons eksperimente toon ‘n beduidende voorkeur vir bundelgrafieke teenoor faktorgrafieke, wat akku raatheid asook berekende doeltreffendheid betref. Tweedens gebruik ons die gereedskap om ‘n praktiese probleem op te los: “landcover”-klassifikasie. Die proses is kompleks weens metingsfoute, ondoeltreffende algoritmes en lae-gehalte data. Ons stel ‘n PGM-benadering voor om die georuimtelike klassifikasies van verskillende bronne te versterk, asook die uitwerking van ruimtelike verspreiding en interklas-afhanklikhede (soortgelyk aan grafiekkleurprobleme). Ons PGM-gereedskap is robuus en kon ‘n diverse, uitvoerbare en ruimtelik-konsekwente “land-cover”-klassifikasie selfs in gebiede van onvoltooide en konflikterende inligting bewys. Ten slotte het ons in ons derde publikasie die PGM-strukture vir CSP’s ondersoek en verbeter. Dit is bekend dat boomstrukture altyd tot ‘n eksakte oplossing lei [12, p355], maar is weens eksponensiële uitbreiding gewoonlik onprakties vir interessante probleme. Ons het gevolglik die algoritme, purge-and-merge, ontwikkel om inkrementeel ‘n boomstruktuur na te doen. Die algoritme hervorm ‘n bundelgrafiek stapsgewys in ‘n boomstruktuur deur faktore selektief te “merge”. Die saamsmeltproses is ontwerp om eksponensiële uitbreiding te vermy deur van yl datastrukture gebruik te maak waarvan die waarskeinlikheidsruimte ge-“purge” word namate die algoritme vorder. Die algoritme is getoets op CSP-speletjies soos Sudoku, Fill-a-pix en Kakuro en oortref ander PGM-gegronde benaderings waaroor in die literatuur verslag gedoen word [13, 14, 15]. In die geheel gesien, het die navorsing bygedra tot die ontwikkeling van ‘n meer geoptimaliseerde benadering vir hoër-orde PGM’s. Verdere studies behoort te fokus op die toepassing van purge-and-merge op probleme nader aan waarskynlikheidsredenasie-probleme as aan CSP’s en moet sy effektiwiteit in daar die domein rapporteer.Doctora

A Survey of Monte Carlo Tree Search Methods

Monte Carlo tree search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarize the results from the key game and nongame domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work

Probabilistic Modeling for Game Content Creation and Adaption

Dynamic Difficulty Adjustment studies how games can adapt content totheir users’ skill level, aiming to keep them in flow. Most of these methodsmaximize engagement or minimize churn by adapting factors like the opponentAI or the availability of resources. However, such methods do notmaintain a model of the player, and use technologies that are highly specificto the games in which they are tested (e.g. requiring forward modelsfor enemy AIs based on planning agents). Designers may also intend tofind content that is more difficult/easier on purpose, and current methodsdo not allow for such targeting.This thesis proposes and tests a framework for adapting game content tousers based on Bayesian Optimization, giving designers flexibility whenchoosing which skill level to target. Starting with a design space, a metricto be measured, a prior over this metric, and a target value, our frameworkquickly searches possible levels/tasks for one with ideal difficulty (i.e. closeto the specified target). In the process, our framework maintains a simpledata-driven model of the player, which could be used for further decisionmakingand analysis.We test this framework in two settings: adapting content to planning agentsbased on search algorithms likeMonte Carlo Tree Search and Rolling HorizonEvolution in a dungeon crawler-type game, and adapting both Sudokupuzzles and dungeon crawler levels to players. Our framework successfullyadapts content to planning agents as long as their skill level is not extreme,and takes roughly 7 iterations to find an appropriate Sudoku puzzle.Additionally, instead of relying on designers to specify a real-valued encodingof the content (e.g. the number of pre-filled cells in a Sudoku puzzle),we investigate learning this encoding automatically usingDeep GenerativeModels. In other words, we explore design spaces learned as latent spacesof Variational Autoencoders using tile-based representations of games likeSuperMario Bros and The Legend of Zelda.Our final contribution is a novel way of interpolating, sampling and optimizingin the playable regions of latent spaces of Variational Autoencoders,and addresses the challenge that generative models are not always guaranteedto decode playable content. This contribution, based on differentialgeometry, is inspired by recent advancements in domains like robotics andproteinmodeling. We combine these ideas of safe generation with contentoptimization and propose a restricted version of Bayesian Optimization,which optimizes content inside playable regions. We see a clear trade-off:restricting the latent space to playable regions decreases the diversity ofthe generated content, as well as the quality of the optimal values in theoptimization.In summary, this thesis studies applications of Bayesian Optimization andDeep Generative Models to the problem of creating and adapting gamecontent to users. We develop a framework that quickly finds relevant levelsin settings varying from corpora of levels to the latent spaces of generativemodels, and we show in experiments involving both human and artificialplayers that this framework finds appropriate game content in a few iterations.This framework is readily applicable, and could be used to creategames that learn and adapt to their players.<br/

REVISITING COORDINATED SUBMARINE TACTICS USING MODERN COMPUTATIONAL METHODS

Current doctrine has largely discarded the use of coordinated submarine tactics (known as Wolfpack tactics) due to the complexity of inter-pack and intra-pack coordination. However, recent advancements in technology may greatly increase the feasibility of secure communication between submarines operating in a Wolfpack. Agent-based modeling is used to simulate the behavior of submarines operating in a wartime environment at sea. Three secure communication availabilities are represented: no communication between submarines, communication every 10 hours, and constant secure communication. Three types of wartime environments are considered: submarines hunting transiting merchants, submarines hunting transiting warships in an environment with neutral shipping, and submarines hunting transiting warships operating as a Surface Action Group (SAG) with neutral shipping. Effectiveness is measured as “yield,” which is the average number of target kills as a function of the number of submarines in the Wolfpack. The simulation results stress that the success of Wolfpack tactics increasingly depends upon secure submarine communication and situational awareness with the growth of neutral shipping in the wartime environment.Outstanding ThesisLieutenant, United States NavyApproved for public release. Distribution is unlimited