Low-Cost Assessment of User eXperience Through EEG Signals

EEG signals are an important tool for monitoring the brain activity of a person, but equipment, expertise and infrastructure are required. EEG technologies are generally expensive, thus few people are normally able to use them. However, some low-cost technologies are now available. One of these is OPENBCI, but it seems that it is yet to be widely employed in Human-Computer Interaction. In this study, we used OPENBCI technology to capture EEG signals linked to brain activity in ten subjects as they interacted with two video games: Candy Crush and Geometry Dash. The experiment aimed to capture the signals while the players interacted with the video games in several situations. The results show differences due to the absence/presence of sound; players appear to be more relaxed without sound. In addition, consistent analysis of the EEG data, meCue 2.0 and SAM data showed high consistency. The evidence demonstrates that interesting results are able to be gathered based on low-cost EEG (standard) signal-based technologies

Exploring Effects of Background Music in A Serious Game on Attention by Means of EEG Signals in Children

Music and Serious Games are separately useful alternative therapy methods for helping people with a cognitive disorder, including Attention Deficit Hyperactivity Disorder (ADHD). The goal of this thesis is to explore the effect of background music on children with and without ADHD. In this study, a simple Tetris game is designed with Beethoven, Mozart music, and no-music. There are different brainwave techniques for recording; among others, the electroencephalography (EEG) allows for the most efficient use of BCI. We recorded the EEG brain signals of the regular and ADHD subjects who played the Tetris we designed according to our protocol that consists of three trials with three different background music. Attention related Alpha and Beta waves of EEG signals analyzed based on time and time-frequency domain features. The changes in the data over the 1-minute Tetris game sections are investigated with the Short-time Fourier Transform (STFT) method. The results showed that music has a considerable impact on attention of children. When it comes to music types, in general, Mozart music increases Beta waves while decreasing the Alpha band waves for subjects without ADHD. On the other hand, Beethoven music increased both Alpha and Beta band values for children with ADHD

Presence 2005: the eighth annual international workshop on presence, 21-23 September, 2005 University College London (Conference proceedings)

OVERVIEW (taken from the CALL FOR PAPERS) Academics and practitioners with an interest in the concept of (tele)presence are invited to submit their work for presentation at PRESENCE 2005 at University College London in London, England, September 21-23, 2005. The eighth in a series of highly successful international workshops, PRESENCE 2005 will provide an open discussion forum to share ideas regarding concepts and theories, measurement techniques, technology, and applications related to presence, the psychological state or subjective perception in which a person fails to accurately and completely acknowledge the role of technology in an experience, including the sense of 'being there' experienced by users of advanced media such as virtual reality. The concept of presence in virtual environments has been around for at least 15 years, and the earlier idea of telepresence at least since Minsky's seminal paper in 1980. Recently there has been a burst of funded research activity in this area for the first time with the European FET Presence Research initiative. What do we really know about presence and its determinants? How can presence be successfully delivered with today's technology? This conference invites papers that are based on empirical results from studies of presence and related issues and/or which contribute to the technology for the delivery of presence. Papers that make substantial advances in theoretical understanding of presence are also welcome. The interest is not solely in virtual environments but in mixed reality environments. Submissions will be reviewed more rigorously than in previous conferences. High quality papers are therefore sought which make substantial contributions to the field. Approximately 20 papers will be selected for two successive special issues for the journal Presence: Teleoperators and Virtual Environments. PRESENCE 2005 takes place in London and is hosted by University College London. The conference is organized by ISPR, the International Society for Presence Research and is supported by the European Commission's FET Presence Research Initiative through the Presencia and IST OMNIPRES projects and by University College London

Kessel Run: exploring cooperative behaviours in a multiplayer BCI game

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2017Apesar de terem como propósito original o restauro da função a portadores de deficiências motoras, as Interfaces Cérebro-Computador (BCI, do inglês Brain-Computer Interface) têm cada vez mais aplicações que vão para além de controlar o cursor de um computador ou mover uma cadeira de rodas. Com o recente avanço da tecnologia de electroencefalografia (EEG), cada vez mais portátil e económica, a investigação na área dos BCI tem nos últimos anos dado maior destaque às aplicações para utilizadores saudáveis, nomeadamente na área do entretenimento. BCI baseados em EEG estão gradualmente a ser mais usados até mesmo em jogos comerciais. Os videojogos do género multijogador são extremamente populares entre os jogadores, pelo que se torna bastante interessante olhar para os jogos multi-cérebro, isto é, jogos onde de uma ou outra forma a atividade cerebral de mais do que um utilizador é analisada e necessária para jogar o jogo. Num outro tópico de investigação, as medições de EEG são também usadas por neurocientistas na pesquisa convencional dos processos de tomada de decisão e raciocínio estratégico. Um dos paradigmas mais frequentemente utilizados para estudar a tomada de decisão _e o uso de dilemas da teoria de jogos jogados por uma ou duas pessoas. A teoria de jogos é aplicada a uma panóplia de áreas que vão desde a economia à psicologia, podendo naturalmente ser aplicável aos videojogos cooperativos ou competitivos. Conseguiremos extrair novos conhecimentos acerca da neurociência da tomada de decisão a partir de jogos BCI multijogador? E, por exemplo, será possível manipular a estratégia de um jogador fornecendo-lhe informação sobre o que vai na mente dos seus adversários? O objetivo desta dissertação é explorar os comportamentos cooperativos que ocorrem entre jogadores num jogo BCI multijogador, bem como enquanto jogam dilemas clássicos da teoria de jogos. Ao investigar medidas neurológicas correlacionadas com o raciocínio estratégico tais como os potenciais evocados (ERP, do inglês Event-Related Potentials) durante decisões cooperativas ou desertoras, procuramos aplicar os conhecimentos da pesquisa em tomada de decisão aos jogos digitais de classe comercial. Numa primeira etapa deste trabalho, foi desenhado e implementado um jogo BCI cooperativo baseado no paradigma SSVEP (do inglês Steady-State Visually-Evoked Potential) chamado Kessel Run. No jogo Kessel Run, dois jogadores devem trabalhar juntos de forma a pilotar uma nave espacial através de um campo de asteróides. O objetivo do jogo é finalizar uma corrida de 2 minutos sem perder todo o combustível, desviando-se de obstáculos e recolhendo bónus. O paradigma de interacção SSVEP foi implementado usando dois painéis LED externos, acoplados ao monitor, permitindo aos jogadores mover a nave para cima ou para baixo ao olhar para as luzes, a piscar a uma frequência de 15 e 12 Hz, respetivamente. Dado que uma das nossas principais motivações era desenhar um jogo BCI que não fosse simplesmente uma prova de conceito da tecnologia, mas também divertido para os jogadores, foram seguidos os requerimentos para um bom design de jogo. Desta forma, o jogo Kessel Run apresenta regras e objetivos claros, mantendo-se desafiante para os jogadores, com o desafio adicional de controlar o BCI. Para além disso, de forma a proporcionar a experiência cooperativa adequada, os dois jogadores tinham funções interdependentes ditadas pelas mecânicas de jogo, uma vez que um jogador só consegue controlar um motor da nave, e esta só pode subir ou descer quando ambos os jogadores a controlam ao mesmo tempo. Para os ajudar a alcançar a vitória mútua, os jogadores podem comunicar verbalmente para antecipar obstáculos e melhor controlar o jogo. Na segunda etapa deste trabalho, foi desenhado o jogo Dilemmas: um conjunto de cinco dilemas sociais iterados habitualmente utilizados na teoria de jogos. Em cada jogo, os jogadores enfrentam uma escolha entre duas opções: cooperar com o outro jogador ou desertar. A combinação de ambas as decisões resulta num de quatro desfechos possíveis, cada um com diferentes consequências para cada jogador, representados por uma pontuação numérica. Para cada jogo, um jogador ganha uma ronda quando recebe mais pontos do que o adversário, mas os jogadores tanto podem tentar maximizar a sua pontuação pessoal para derrotar o adversário como tentar maximizar a pontuação do grupo ao tomar decisões que beneficiam ambos os jogadores igualmente. O jogo Dilemmas tem o propósito de servir como um ambiente controlado que nos permita recolher dados da atividade cerebral durante decisões cooperativas e desertoras. Os participantes tomam as suas decisões recorrendo ao teclado e não há qualquer comunicação permitida, como a finalidade de reduzir artefactos devidos ao movimento e ruído no sinal. Foram analisados os ERPs no sinal de EEG marcado no tempo no momento que antecede a tomada de decisão e após a apresentação do desfecho de cada ronda do jogo. Após implementar ambos os jogos, foi preparada uma experiência onde 12 participantes (em 6 pares) foram convidados a usar toucas EEG enquanto jogavam Kessel Run, seguido de Dilemmas. A performance do BCI durante o Kessel Run foi calculado através de uma sessão de treino antes do jogo começar. A experiência de jogo e social dos participantes foi também estudada, com recurso a questionários validados preenchidos após cada sessão de jogo. Foi realizada a análise da atividade cerebral registada durante ambos os jogos, onde foram estudados os ERPs com origem no córtex medial frontal, nomeadamente as componentes P300 e a negatividade relativa a feedback (FRN, do inglês Feedback-Related Negativity). A performance do paradigma SSVEP no BCI foi mais baixa do que o esperado, alcançando apenas uma precisão máxima de 79% como precisão média geral de 55% para um nível de chance de 33%. Os dois fatores identificados que mais influenciaram este resultado foram a variabilidade na deteção da frequência de SSVEP entre sujeitos e a falta de escuridão na sala. A maioria dos participantes obteve piores resultados de classificação para a frequência de 15 Hz do que para 12 Hz, possivelmente devido a 12 Hz pertencer à banda alfa dominante. Embora funcione como prova de conceito para um jogo SSVEP multijogador, um paradigma mais intuitivo como o movimento imaginado pode ser mais adequado para o Kessel Run, permitindo aos jogadores manter o olhar no ecrã. A experiência reportada pelos jogadores foi de forma geral positiva, apesar da dificuldade em controlar o jogo com o paradigma SSVEP. Os jogadores não se sentiram muito competentes durante o jogo, mas de qualquer maneira atingiram um estado de Flow. Isto pode dever-se à estratégia colaborativa desenvolvida por alguns jogadores para contornar a má classificação SSVEP, em que o jogador com melhor controlo controlava a nave enquanto o companheiro dava direções. Na avaliação da presença social, os jogadores reportaram que empatizaram com o outro, em parte devido à necessidade de comunicar para ganhar o jogo. Dado que os jogadores se sentiram inclinados a trabalhar com o outro, podemos dizer que as regras de design de jogo cooperativo foram implementadas com sucesso e o jogo proporcionou uma experiência social positiva. No jogo Dilemmas, a presença social reportada pelos jogadores foi ligeiramente diferente, resultado da natureza contrastante do jogo. Neste jogo, o nível de familiaridade dos dois participantes em cada sessão influenciou fortemente a forma como jogaram. Participantes emparelhados com um desconhecido sentiram-se menos inclinados a cooperar, e tomaram uma abordagem mais competitiva ao jogo, sentindo menos empatia pelo outro. Os jogadores reportaram também mais sentimentos negativos durante o Dilemmas do que durante o Kessel Run, embora tal se deva talvez às rondas perdidas e não à interação com o companheiro. A estratégia tit-for-tat (olho por olho) foi a mais adoptada pelos jogadores, o que significa que começavam por cooperar e subsequentemente replicavam a decisão feita pelo adversário na ronda anterior. No que respeita ao estudo de ERPs durante o jogo, começou por se analisar os dados recolhidos durante o Kessel Run. Os registos acabaram por ser demasiado ruidosos para se extrair alguma informação sobre os potenciais que antecedem a tomada de decisão. As mecânicas e comandos do jogo não favoreceram a recolha de dados EEG para esta análise, uma vez que os jogadores eram encorajados a falar e mover a cabeça para olhar para as fontes de luz de forma a controlar o jogo. A implementação de um paradigma de interação passivo pode possibilitar este estudo num jogo BCI. Por outro lado, foram identificadas com sucesso duas componentes ERP marcadas no tempo em relação à apresentação do desfecho no jogo Dilemmas: o P300 e a FRN. O ambiente mais controlado deste jogo facilitou a deteção de uma forte positividade na região medial frontal, para os canais Fc1, Fc2, Fz e Cz. Esta positividade corresponde às características da componente P300, uma deexão positiva no ERP, relacionada com o processamento de informação acerca de ganhos e perdas. O P300 foi observado entre 200 e 500 ms após a apresentação do desfecho dos jogos aos jogadores. A componente FRN foi também detetada, embora apenas nos ensaios em que os jogadores cooperaram e perderam nessa ronda. A FRN foi identificada de 200 a 250 ms após o estímulo visual (desfecho), correspondendo a situações em que os jogadores adotaram a estratégia tit-for-tat, particularmente comum entre participantes que não se conhecem. Um jogador que coopera e recebe um desfecho negativo (perde a ronda) tem maiores probabilidades de desertar na ronda seguinte, repetindo o comportamento prévio do adversário. Os resultados alcançados neste trabalho ajudam-nos a compreender a dificuldade em adquirir dados EEG durante uma experiência de jogo BCI ativa. Para atingir uma deteção adequada de ERPs durante um jogo, é necessário desenvolver algoritmos mais robustos de forma a ultrapassar a presença de artefactos. Todavia, as aplicações dos correlatos neuronais de tomada de decisão em jogos parecem promissoras, sobretudo em jogos sérios e jogos multijogador.Traditional brain-computer interface (BCI) research has recently turned to applications for healthy users, such as games. Because electroencephalography (EEG) is a cheap, portable and popular way of accessing brain activity, EEG-based BCIs are gradually being more used even for commercial games. Multiplayer games are immensely popular among gamers, so it becomes interesting to look at `multi-brain games', that is, games where in one or other form the measured brain activity of more than one user is needed to play the game. On a different research topic, EEG measures are also used by neuroscientists in traditional decision-making and strategic reasoning research. One of the most common paradigms used to study decision making is to use game theory dilemmas played by one or two persons. Game theory is applied to a myriad of areas from economics to psychology, and can of course be applicable to cooperative or competitive video games. The goal of this dissertation is to explore the cooperative behaviors that happen between players in a multiplayer BCI game, as well as while playing classic game theory dilemmas. By looking at neural correlates of strategic reasoning such as event-related potentials (ERPs) during cooperative or defective decisions, we will try to bring decision-making research and insights to commercial grade digital games. We have divided this work's methodology into two parts: firstly, an original two player cooperative BCI game (Kessel Run) controlled with steady-state visually evoked potentials (SSVEP) was conceptualized and developed; secondly, a non-BCI game inspired by iterated social dilemmas was also developed. We have designed and set-up an experiment where participants played both games sequentially, and have collected EEG data during both gaming experiences, as well as the reported game experience and social presence from participant-filled questionnaires. Despite a lower than expected accuracy in the BCI paradigm used to control the game Kessel Run (maximum of 79% and 55% on average), participants adjusted and developed strategies to successfully navigate a spaceship together in a virtual environment, reporting a positive game experience. Studying ERPs while playing Kessel Run proved ineffective, due to the fast pacing of the game and movement artefacts caused by the SSVEP paradigm. However, in a more controlled setting like the game Dilemmas, we have successfully identified two components heavily linked to information processing and decision-making. A strong medial frontal positivity corresponding to the P300 component was observed between 200 and 500ms after the presentation of game outcomes to the player. In trials where players cooperated and lost the round, the feedback-related negativity (FRN) was also detected, as would be expected when participants fail to achieve a desired feedback. Designing a BCI game that employs the P300 paradigm might improve the success of merging decision-making neural correlates in a gaming experience. Never the less, the insights gathered in this study made us understand the difficulty of collecting EEG data during active BCI game play. Still, an interesting prospect would be to use a subject's particular brainwaves as a means to decode future decisions, and in that way improve collaboration in a game or team activity

Inclusive Intelligent Learning Management System Framework - Application of Data Science in Inclusive Education

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced Analytics, specialization in Data ScienceBeing a disabled student the author faced higher education with a handicap which as experience studying during COVID 19 confinement periods matched the findings in recent research about the importance of digital accessibility through more e-learning intensive academic experiences. Narrative and systematic literature reviews enabled providing context in World Health Organization’s International Classification of Functioning, Disability and Health, legal and standards framework and information technology and communication state-of-the art. Assessing Portuguese higher education institutions’ web sites alerted to the fact that only outlying institutions implemented near perfect, accessibility-wise, websites. Therefore a gap was identified in how accessible the Portuguese higher education websites are, the needs of all students, including those with disabilities, and even the accessibility minimum legal requirements for digital products and the services provided by public or publicly funded organizations. Having identified a problem in society and exploring the scientific base of knowledge for context and state of the art was a first stage in the Design Science Research methodology, to which followed development and validation cycles of an Inclusive Intelligent Learning Management System Framework. The framework blends various Data Science study fields contributions with accessibility guidelines compliant interface design and content upload accessibility compliance assessment. Validation was provided by a focus group whose inputs were considered for the version presented in this dissertation. Not being the purpose of the research to deliver a complete implementation of the framework and lacking consistent data to put all the modules interacting with each other, the most relevant modules were tested with open data as proof of concept. The rigor cycle of DSR started with the inclusion of the previous thesis on Atlântica University Institute Scientific Repository and is to be completed with the publication of this thesis and the already started PhD’s findings in relevant journals and conferences

Virtual Reality Games for Motor Rehabilitation

This paper presents a fuzzy logic based method to track user satisfaction without the need for devices to monitor users physiological conditions. User satisfaction is the key to any product’s acceptance; computer applications and video games provide a unique opportunity to provide a tailored environment for each user to better suit their needs. We have implemented a non-adaptive fuzzy logic model of emotion, based on the emotional component of the Fuzzy Logic Adaptive Model of Emotion (FLAME) proposed by El-Nasr, to estimate player emotion in UnrealTournament 2004. In this paper we describe the implementation of this system and present the results of one of several play tests. Our research contradicts the current literature that suggests physiological measurements are needed. We show that it is possible to use a software only method to estimate user emotion

Attention-Based Applications in Extended Reality to Support Autistic Users: A Systematic Review

With the rising prevalence of autism diagnoses, it is essential for research to understand how to leverage technology to support the diverse nature of autistic traits. While traditional interventions focused on technology for medical cure and rehabilitation, recent research aims to understand how technology can accommodate each unique situation in an efficient and engaging way. Extended reality (XR) technology has been shown to be effective in improving attention in autistic users given that it is more engaging and motivating than other traditional mediums. Here, we conducted a systematic review of 59 research articles that explored the role of attention in XR interventions for autistic users. We systematically analyzed demographics, study design and findings, including autism screening and attention measurement methods. Furthermore, given methodological inconsistencies in the literature, we systematically synthesize methods and protocols including screening tools, physiological and behavioral cues of autism and XR tasks. While there is substantial evidence for the effectiveness of using XR in attention-based interventions for autism to support autistic traits, we have identified three principal research gaps that provide promising research directions to examine how autistic populations interact with XR. First, our findings highlight the disproportionate geographic locations of autism studies and underrepresentation of autistic adults, evidence of gender disparity, and presence of individuals diagnosed with co-occurring conditions across studies. Second, many studies used an assortment of standardized and novel tasks and self-report assessments with limited tested reliability. Lastly, the research lacks evidence of performance maintenance and transferability.Comment: [Accepted version] K. Wang, S. J. Julier and Y. Cho, "Attention-Based Applications in Extended Reality to Support Autistic Users: A Systematic Review," in IEEE Access, vol. 10, pp. 15574-15593, 2022, doi: 10.1109/ACCESS.2022.314772

Evaluating social and cognitive effects of video games using electroencephalography.

Games User Research (GUR) is an area of evaluative player research and human-computer interaction (HCI) that aims to improve games, focused on a player???s understanding and on their experience when playing games. In this field, techniques are available to measure and understand user experience. These techniques each have their own strengths and weaknesses. To improve and extend GUR methodology, this thesis explores ways that electroencephalography (EEG) can be used as an evaluative measure as part of a mixed methodology. The thesis aims to improve the accuracy and richness of GUR results obtained using EEG. Hemispheric Frontal Alpha Asymmetry (HFAA) is reviewed in depth as a useful EEG technique to measure arousal in real time. HFAA, the EEG methodology proposed in this thesis is used in several experimental studies reported here to show new insights into the social and cognitive factors of gaming. The research presented in this thesis shows that player experience related to the social environment of a game does not necessarily arise from gameplay, but instead relies more on the expectations of a player than the current literature suggests. Additionally, the thesis introduces a new way to investigate player understanding and learning in games, using real-time data about the player???s brain state. This is particularly useful for game designers creating introductory tutorial mechanisms for their games. The result of this research is useful for both researchers investigating the human brain immersed in the virtual world of a video game and game designers wanting to use real-time user feedback to build their games