3D (embodied) projection mapping and sensing bodies : a study in interactive dance performance

This dissertation identifies the synergies between physical and virtual environments when designing for immersive experiences in interactive dance performances. The integration of virtual information in physical space is transforming our interactions and experiences with the world. By using the body and creative expression as the interface between real and virtual worlds, dance performance creates a privileged framework to research and design interactive mixed reality environments and immersive augmented architectures. The research is primarily situated in the fields of visual art and interaction design. It combines performance with transdisciplinary fields and intertwines practice with theory. The theoretical and conceptual implications involved in designing and experiencing immersive hybrid environments are analyzed using the reality–virtuality continuum. These theories helped frame the ways augmented reality architectures are achieved through the integration of dance performance with digital software and reception displays. They also helped identify the main artistic affordances and restrictions in the design of augmented reality and augmented virtuality environments for live performance. These pervasive media architectures were materialized in three field experiments, the live dance performances. Each performance was created in three different stages of conception, design and production. The first stage was to “digitize” the performer’s movement and brain activity to the virtual environment and our system. This was accomplished through the use of depth sensor cameras, 3D motion capture, and brain computer interfaces. The second stage was the creation of the computational architecture and software that aggregates the connections and mapping between the physical body and the spatial dynamics of the virtual environment. This process created real-time interactions between the performer’s behavior and motion and the real-time generative computer 3D graphics. Finally, the third stage consisted of the output modality: 3D projector based augmentation techniques were adopted in order to overlay the virtual environment onto physical space. This thesis proposes and lays out theoretical, technical, and artistic frameworks between 3D digital environments and moving bodies in dance performance. By sensing the body and the brain with the 3D virtual environments, new layers of augmentation and interactions are established, and ultimately this generates mixed reality environments for embodied improvisational self-expression.Radio-Television-Fil

Kessel Run: towards emotion adaptation in a BCI multiplayer game

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas) Universidade de Lisboa, Faculdade de Ciências, 2017O objetivo original de uma Interface Cerebro-Máquina (BCI, do inglês Brain-Computer Interface) é o restauro de função a portadores de deficiências motoras, com aplicações que abrangem desde o mover de um cursor de computador ou de uma cadeira de rodas, a dispositivos complexos de soletração que substituem a fala. No entanto, com o recente aparecimento no mercado de aparelhos de BCI portáteis e económicos, as aplicações de BCI têm vindo a migrar lentamente para áreas fora do âmbito da saúde, como é o caso do entretenimento. Em particular, o desenvolvimento de videojogos em que os modos de interação tradicionais (teclado ou botões, por exemplo) são substituídos por controlos BCI é uma aposta frequente em vários grupos de investigação em neurociências. O uso de paradigmas de BCI como controladores de jogos tem a capacidade de não só possibilitar novos meios de interação mais intuitivos (como é o caso de apenas pensar em mover a personagem do jogo, em vez de pressionar o botão que a move), mas também de criar novos mecanismos de jogo que não são possíveis com dispositivos tradicionais. Para a criação destes novos mecanismos a Computação Afetiva é de relativo interesse, já que esta é a área de investigação encarregue de encontrar relações entre o estado emocional de um sujeito, através de BCIs, por exemplo, e utilizá-las para melhorar a interação com um computador (ou um jogo). Apesar de beneficiarem de um ligação direta ao cérebro, poucos são os videojogos BCI que a utilizam para adaptar o conteúdo do jogo ao estado emocional do jogador, em parte porque são poucas as relações conhecidas entre o eletroencefalograma (EEG) e o estado emocional do indivíduo, especialmente em condições pouco controladas e em cenários realistas. De facto, a maioria dos estudos em Computação Afetiva feitos com o objetivo de procurar correlações entre o estado emocional do sujeito e o seu EEG pecam por serem realizados sob condições pouco realistas, e, em particular, nunca durante uma situação de jogo. Por outro lado, apesar da frequente aposta no desenvolvimento de novos videojogos controlados por um paradigma de BCI, poucos têm em consideração as regras de um bom desenho de jogos, resultando muitas vezes num jogo que mesmo sendo funcional, é aborrecido. Com as perspetivas da aplicação de BCI e Computação Afetiva aos videojogos em mente, esta dissertação tem como objetivo o desenvolvimento de um jogo multiplayer controlado por BCI, que ao seguir as regras de bom desenho de jogos, é capaz de desencadear uma sensação de divertimento nos seus jogadores. Para além disso, o jogo também deve ser capaz de evocar um conjunto diversificado de estados emocionais nos seus jogadores, de forma a poder estudar-se as correlações entre o EEG e o estado emocional de cada indivíduo no espectro da frequência. Desta forma, poder-se-á comparar as correlações obtidas num cenário realístico de jogo com o estado-da-arte, frequentemente realizado em situações controladas, e assim contribuir para o avanço da adaptação emocional em videojogos BCI. Para concretizar estes objetivos, o videojogo Kessel Run foi desenvolvido. Kessel Run é um jogo 3D de uma corrida espacial para dois jogadores, em que ambos devem cooperar um com o outro de forma a direcionar uma nave espacial para longe de asteróides e assim conseguir finalizar uma corrida de 2 minutos com o mínimo de danos possível. Neste jogo, as regras básicas de desenho de jogos (Teoria de Flow e o Paradoxo de Controlo) foram aplicadas de forma a criar uma sensação de divertimento e de controlo no jogador. A sensação de controlo por parte do jogador é particularmente importante na criação de um jogo BCI, uma vez que a sua falta poderá levar a perda de imersão no jogo e, consequentemente, à diminuição do divertimento. Assim, de forma a garantir o bom controlo do jogo o paradigma SSVEP (do inglês Steady-State Visually Evoked Potential) foi escolhido como modo de interação BCI. De forma a evocarem-se um conjunto diversificado de estados emocionais nos jogadores, várias estratégias de elicitação foram aplicadas no jogo. Em primeiro lugar, este dispõe de dois níveis de dificuldade (um fácil e um difícil). O primeiro nível desafia as capacidades dos jogadores sem contudo ser demasiado difícil, pelo que se espera que evoque emoções mais positivas. Já o segundo nível aumenta bastante a dificuldade do jogo, tornando-se muito difícil batê-lo. Para além da dificuldade acrescida, o nível difícil do jogo foi programado de forma a que o controlo BCI falhe com frequência sem o conhecimento do jogador. Espera-se por isso que o segundo nível evoque níveis de frustração maiores, e estados emocionais mais negativos e excitados. O jogo Kessel Run foi colocado em prática ao desenvolver-se um protocolo experimental onde 12 participantes jogaram os dois níveis de dificuldade do jogo. A cada participante foi pedido a classificação do jogo em termos de experiência do utilizador, e de cada nível relativamente às emoções sentidas no decorrer do jogo, na forma de questionários. Foram também adquiridos os sinais de EEG de cada participante. De forma geral, o desempenho do paradigma BCI foi menor do o que esperado, conseguindo-se apenas um máximo de 79% classificações correctas. Este resultado deve-se essencialmente a dois factores: o grau deficiente de escuridão da sala laboratorial, responsável pela perda de desempenho na ordem dos 6%, e a deteção individual das frequências escolhidas para estímulo SSVEP (12 e 15 Hz). Neste último, os participantes tiveram maior facilidade em reconhecer o estímulo de 12 Hz, com um desempenho individual médio de 63%, face ao estímulo de 15 Hz com apenas 38%, o que comprometeu a performance geral do reconhecimento SSVEP. No entanto, apesar do desempenho fraco do paradigma, os participantes reportaram uma experiência bastante divertida (média de flow = 2:6 numa escala 0-5) e desafiante (média de challenge = 2:3 numa escala 0-5), com apenas um ligeiro aborrecimento (média de tension=annoyance = 1:1 numa escala 0-5), podendo-se concluir o sucesso do emprego das regras de bom desenho de jogos. As estratégias de elicitação de emoções foram apenas parcialmente bem sucedidas; não foram observadas diferenças significativas entre os níveis de dificuldade do jogo Kessel Run em termos de valência e excitação emocionais. No entanto conseguiu-se uma boa distribuição das avaliações emocionais dos participantes pelos quatro quadrantes das dimensões de valência e excitação, possibilitando o estudo de correlações entre o EEG dos participantes e as suas avaliações para cada nível de jogo em termos de oscilações no espectro da frequência e assimetrias na banda alfa. Encontraram-se correlações significativas na dimensão da valência que parecem contradizer a teoria da assimetria da banda alfa. Em particular, obteve-se uma correlação positiva significativa indicando uma relação de diminuição da activação hemisférica esquerda e consequente aumento da banda alfa. Esta contradição foi também confirmada pela obtenção de uma assimetria esquerda bastante significativa na banda alfa para o córtex frontal. Observou-se ainda uma diminuição da potência central da banda beta e um aumento occipital e temporal direito para a mesma banda relacionado com a dimensão da valência. Para a excitação encontrou-se uma correlação negativa significativa em regiões centrais e frontais na banda alfa, indicando uma activação destas regiões cerebrais aquando de estados mais excitados. Mais ainda, uma correlação significativa indicou uma assimetria direita na banda alfa para um par de eléctrodos fronto-centrais. Espera-se que este estudo possa contribuir para uma futura geração de videojogos com a capacidade de adaptação ao conteúdo emocional do seu jogador.Lately the field of (digital) game research is rapidly growing, with studies dedicated to capture game experience, adopting new technologies or exploring outside traditional input methods. Alongside, research in Brain-Computer Interfaces (BCI) has significantly increased in its applications for healthy users, such as games. BCIs benefit from access to brain activity which can bypass bodily mediation (e.g. controllers) and enable gamers to express themselves more naturally in a given game context. Moreover, BCI can provide significant insight into the user's emotional state. Recent research points to numerous correlates of emotion in brain signals. A complex challenge is to use BCI for access to the player's affective state in a real gaming context, improving and tailoring the user experience. The goal of this dissertation project is to introduce affective research to BCI games by creating a novel multiplayer Steady-State Visually Evoked Potential (SSVEP) BCI game, capable of providing a fun experience to its players and eliciting emotions for a study on EEG correlates of emotion. The multiplayer game Kessel Run was created, resulting in a space exploration game with a exible system that followed good game design rules with emotion elicitation strategies, controlled by the SSVEP paradigm. Twelve participants played Kessel Run using a 32-electrode EEG cap and rated the emotions felt during gameplay in a questionnaire. The SSVEP game performance achieved a maximum of 79% accuracy and an average of 55%. In addition, players reported that playing the game created a fun and immersive experience. A significant correlation with increased alpha power on the left hemisphere and positive valence led to the contradiction of the popular alpha asymmetry theory, which states that processing of positive information causes a decrease in alpha power on the left frontal hemisphere. Furthermore, correlates in the beta frequency range have been found for valence on right temporal and central sites. In the arousal dimension a significant central and frontal alpha power decrease was found, along with significant alpha asymmetry on fronto-central pairs for increased arousal

Brain computer interface gaming: development of concentration based game design for research environments

During the last couple of decades, there has been an exponential improvement in neuroimaging technologies that allowed researchers to evaluate cognitive workload, short term memory, and spatial/navigational behaviors in humans. Through the use of new experimental paradigms and brain imaging devices, researchers have gained deeper insight into the neural correlates of emotion, cognition and motor control. Brain Computer Interface (BCI) systems utilize various neuroimaging tools to detect brain activation evoked by a specific thinking process and convert it to a command. We have developed a game environment called “MindTactics” as a test platform for BCI devices to conceptualize experimental cognitive paradigms in ecologically valid environments as well as test BCI gameplay paradigms. Unlike traditional video games where the challenge to the user is the designed game mechanics, BCI based gameplay also involves mastering the use of the BCI device itself. The purpose of this thesis is to develop compelling BCI game design methods. MindTactics is capable of integrating data from multiple devices including the optical brain imaging based BCI developed at Drexel University, and it records behavioral log files for further analysis.M.S., Digital Media -- Drexel University, 201

Thought-controlled games with brain-computer interfaces

Nowadays, EEG based BCI systems are starting to gain ground in games for health research. With reduced costs and promising an innovative and exciting new interaction paradigm, attracted developers and researchers to use them on video games for serious applications. However, with researchers focusing mostly on the signal processing part, the interaction aspect of the BCIs has been neglected. A gap between classification performance and online control quality for BCI based systems has been created by this research disparity, resulting in suboptimal interactions that lead to user fatigue and loss of motivation over time. Motor-Imagery (MI) based BCIs interaction paradigms can provide an alternative way to overcome motor-related disabilities, and is being deployed in the health environment to promote the functional and structural plasticity of the brain. A BCI system in a neurorehabilitation environment, should not only have a high classification performance, but should also provoke a high level of engagement and sense of control to the user, for it to be advantageous. It should also maximize the level of control on user’s actions, while not requiring them to be subject to long training periods on each specific BCI system. This thesis has two main contributions, the Adaptive Performance Engine, a system we developed that can provide up to 20% improvement to user specific performance, and NeuRow, an immersive Virtual Reality environment for motor neurorehabilitation that consists of a closed neurofeedback interaction loop based on MI and multimodal feedback while using a state-of-the-art Head Mounted Display.Hoje em dia, os sistemas BCI baseados em EEG estão a começar a ganhar terreno em jogos relacionados com a saúde. Com custos reduzidos e prometendo um novo e inovador paradigma de interação, atraiu programadores e investigadores para usá-los em vídeo jogos para aplicações sérias. No entanto, com os investigadores focados principalmente na parte do processamento de sinal, o aspeto de interação dos BCI foi negligenciado. Um fosso entre o desempenho da classificação e a qualidade do controle on-line para sistemas baseados em BCI foi criado por esta disparidade de pesquisa, resultando em interações subótimas que levam à fadiga do usuário e à perda de motivação ao longo do tempo. Os paradigmas de interação BCI baseados em imagética motora (IM) podem fornecer uma maneira alternativa de superar incapacidades motoras, e estão sendo implementados no sector da saúde para promover plasticidade cerebral funcional e estrutural. Um sistema BCI usado num ambiente de neuro-reabilitação, para que seja vantajoso, não só deve ter um alto desempenho de classificação, mas também deve promover um elevado nível de envolvimento e sensação de controlo ao utilizador. Também deve maximizar o nível de controlo nas ações do utilizador, sem exigir que sejam submetidos a longos períodos de treino em cada sistema BCI específico. Esta tese tem duas contribuições principais, o Adaptive Performance Engine, um sistema que desenvolvemos e que pode fornecer até 20% de melhoria para o desempenho específico do usuário, e NeuRow, um ambiente imersivo de Realidade Virtual para neuro-reabilitação motora, que consiste num circuito fechado de interação de neuro-feedback baseado em IM e feedback multimodal e usando um Head Mounted Display de última geração

Affective level design for a role-playing videogame evaluated by a brain\u2013computer interface and machine learning methods

Game science has become a research field, which attracts industry attention due to a worldwide rich sell-market. To understand the player experience, concepts like flow or boredom mental states require formalization and empirical investigation, taking advantage of the objective data that psychophysiological methods like electroencephalography (EEG) can provide. This work studies the affective ludology and shows two different game levels for Neverwinter Nights 2 developed with the aim to manipulate emotions; two sets of affective design guidelines are presented, with a rigorous formalization that considers the characteristics of role-playing genre and its specific gameplay. An empirical investigation with a brain\u2013computer interface headset has been conducted: by extracting numerical data features, machine learning techniques classify the different activities of the gaming sessions (task and events) to verify if their design differentiation coincides with the affective one. The observed results, also supported by subjective questionnaires data, confirm the goodness of the proposed guidelines, suggesting that this evaluation methodology could be extended to other evaluation tasks

Potential of consumer EEG for real-time interactions in immersive VR

Abstract. Virtual reality is an active research subject and has received a lot of attention over the last few years. We have seen multiple commercial VR devices, each improving upon the last iteration become available to the wider public. In addition, interest in brain-computer interface (BCI) devices has increased rapidly. As these devices are becoming more affordable and easy to use, we are presented with more accessible options to measure brain activity. In this study, our aim is to combine these two technologies to enhance the interaction within a virtual environment. In this study we sought to facilitate interaction in VR by using EEG signals. The EEG signals were used to estimate the volume of focus. By applying this concept with VR, we designed two use cases for further exploration. The methods of interactions explored in the study were telekinesis and teleportation. Telekinesis seemed an applicable option for this study since it allows the utilization of the EEG while maintaining a captivating and engaging user experience. With teleportation, the goal was the exploration of different options for locomotion in VR. To test our solution, we built a test environment by using Unity engine. We also invited several participants to gain feedback on the usability and accuracy of our methodology. For evaluation, 13 study participants were divided into two different groups. The other group tested our actual solution for the estimation of the focus. However, the other group used randomized values for the same purpose. Some key differences between the test groups were identified. We were able to create a working prototype where the users could interact with the environment by using their EEG signals. With some improvements, this could be expanded to a more refined solution with a better user experience. There is a lot of potential in combining the use of human brain signals with virtual environments to both enrich the interaction and increase the immersion of virtual reality.Kuluttaja-EEG laitteiden potentiaali reaaliaikaiseen vuorovaikutukseen immersiivisessä virtuaalitodellisuudessa. Tiivistelmä. Virtuaalitodellisuus (VR) on aktiivisen tutkimuksen kohde ja varsinkin viime vuosina herättänyt paljon huomiota. VR-laseissa on tapahtunut huomattavaa kehitystä ja niitä on saatavilla yhä laajemmalle käyttäjäkunnalle. Lisäksi kiinnostus aivo-tietokone -rajapintoihin (BCI) on kiihtymässä. Koska aivokäyrää mittaavat laitteet ovat yhä edullisempia ja kehittymässä helppokäyttöisemmiksi, monia uusia menetelmiä aivosignaalin mittamiseksi on saatavilla. Tässä työssä tavoitteemme oli yhdistää nämä kaksi teknologiaa parantaaksemme vuorovaikutusta virtuaalitodellisuudessa. Tässä tutkimuksessa käytimme aivosähkökäyrää VR-käyttäjäkokemuksen kehittämiseksi. Tätä tekniikkaa hyödyntäen arvioimme käyttäjän keskittymistä. Tutkimusta varten valitsimme kaksi vuorovaikutustapaa. Nämä tutkittavat tavat ovat telekinesia sekä teleportaatio. Telekinesia on mielenkiintoinen tapa hyödyntää aivosähkökäyrää luoden samalla mukaansatempaavan käyttäjäkokemuksen. Teleportaation päämääränä oli löytää uudenlaisia liikkumistapoja VR:ssä. Tutkimustamme varten, suunnittelimme testiympäristön Unity-pelimoottorilla. Kokosimme joukon testaajia, joiden avulla arvioimme työmme käyttökelpoisuutta sekä tarkkuutta. Saadaksemme luotettavampia testituloksia, jaoimme 13 testaajaa kahteen eri ryhmään. Toinen ryhmistä testasi varsinaista toteutustamme ja toinen ryhmä käytti satunnaistettuja keskittymisarvoja. Löysimme ratkaisevia eroja näiden kahden testiryhmän välillä. Onnistuimme kehittämään toimivan prototyypin, jossa käyttäjät kykenivät interaktioon virtuaaliympäristössä hyödyntäen aivosähkökäyrää. Jatkokehitystä tekemällä käyttäjäkokemusta olisi mahdollista parantaa entisestään. Integraatio aivosensoreiden ja virtuaalitodellisuuden välillä huokuu potentiaalia ja tarjoaa mahdollisuuksia tehdä virtuaalimaailmasta yhä immersiivisemmän