Potential of consumer EEG for real-time interactions in immersive VR

Abstract. Virtual reality is an active research subject and has received a lot of attention over the last few years. We have seen multiple commercial VR devices, each improving upon the last iteration become available to the wider public. In addition, interest in brain-computer interface (BCI) devices has increased rapidly. As these devices are becoming more affordable and easy to use, we are presented with more accessible options to measure brain activity. In this study, our aim is to combine these two technologies to enhance the interaction within a virtual environment. In this study we sought to facilitate interaction in VR by using EEG signals. The EEG signals were used to estimate the volume of focus. By applying this concept with VR, we designed two use cases for further exploration. The methods of interactions explored in the study were telekinesis and teleportation. Telekinesis seemed an applicable option for this study since it allows the utilization of the EEG while maintaining a captivating and engaging user experience. With teleportation, the goal was the exploration of different options for locomotion in VR. To test our solution, we built a test environment by using Unity engine. We also invited several participants to gain feedback on the usability and accuracy of our methodology. For evaluation, 13 study participants were divided into two different groups. The other group tested our actual solution for the estimation of the focus. However, the other group used randomized values for the same purpose. Some key differences between the test groups were identified. We were able to create a working prototype where the users could interact with the environment by using their EEG signals. With some improvements, this could be expanded to a more refined solution with a better user experience. There is a lot of potential in combining the use of human brain signals with virtual environments to both enrich the interaction and increase the immersion of virtual reality.Kuluttaja-EEG laitteiden potentiaali reaaliaikaiseen vuorovaikutukseen immersiivisessä virtuaalitodellisuudessa. Tiivistelmä. Virtuaalitodellisuus (VR) on aktiivisen tutkimuksen kohde ja varsinkin viime vuosina herättänyt paljon huomiota. VR-laseissa on tapahtunut huomattavaa kehitystä ja niitä on saatavilla yhä laajemmalle käyttäjäkunnalle. Lisäksi kiinnostus aivo-tietokone -rajapintoihin (BCI) on kiihtymässä. Koska aivokäyrää mittaavat laitteet ovat yhä edullisempia ja kehittymässä helppokäyttöisemmiksi, monia uusia menetelmiä aivosignaalin mittamiseksi on saatavilla. Tässä työssä tavoitteemme oli yhdistää nämä kaksi teknologiaa parantaaksemme vuorovaikutusta virtuaalitodellisuudessa. Tässä tutkimuksessa käytimme aivosähkökäyrää VR-käyttäjäkokemuksen kehittämiseksi. Tätä tekniikkaa hyödyntäen arvioimme käyttäjän keskittymistä. Tutkimusta varten valitsimme kaksi vuorovaikutustapaa. Nämä tutkittavat tavat ovat telekinesia sekä teleportaatio. Telekinesia on mielenkiintoinen tapa hyödyntää aivosähkökäyrää luoden samalla mukaansatempaavan käyttäjäkokemuksen. Teleportaation päämääränä oli löytää uudenlaisia liikkumistapoja VR:ssä. Tutkimustamme varten, suunnittelimme testiympäristön Unity-pelimoottorilla. Kokosimme joukon testaajia, joiden avulla arvioimme työmme käyttökelpoisuutta sekä tarkkuutta. Saadaksemme luotettavampia testituloksia, jaoimme 13 testaajaa kahteen eri ryhmään. Toinen ryhmistä testasi varsinaista toteutustamme ja toinen ryhmä käytti satunnaistettuja keskittymisarvoja. Löysimme ratkaisevia eroja näiden kahden testiryhmän välillä. Onnistuimme kehittämään toimivan prototyypin, jossa käyttäjät kykenivät interaktioon virtuaaliympäristössä hyödyntäen aivosähkökäyrää. Jatkokehitystä tekemällä käyttäjäkokemusta olisi mahdollista parantaa entisestään. Integraatio aivosensoreiden ja virtuaalitodellisuuden välillä huokuu potentiaalia ja tarjoaa mahdollisuuksia tehdä virtuaalimaailmasta yhä immersiivisemmän

Exploring the potential of EEG for real-time interactions in immersive virtual reality

Abstract Brain-computer interfaces (BCIs) can use data from non-invasive electroencephalogram (EEG) to transform different brain signals into binary code, often aiming to gain control utility of an end-effector (e.g mouse cursor). In the past several years, advances in wearable and immersive technologies have made it possible to integrate EEG with virtual reality (VR) headsets. These advances have enabled a new generation of user studies that help researchers improve understanding of various issues in current VR design (e.g. cybersickness and locomotion). The main challenge for integrating EEG-based BCIs into VR environments is to develop communication architectures that deliver robust, reliable and lossless data flows. Furthermore, user comfort and near real-time interactivity create additional challenges. We conducted two experiments in which a consumer-grade EEG headband (Muse2) was utilized to assess the feasibility of an EEG-based BCI in virtual environments. We first conducted a pilot experiment that consisted of a simple task of object re-scaling inside the VR space using focus values generated from the user’s EEG. The subsequent study experiment consisted of two groups (control and experimental) performing two tasks: telekinesis and teleportation. Our user research study shows the viability of EEG for real-time interactions in non-serious applications such as games. We further suggest that a simplified way of calculating the mean EEG values is adequate for this type of use. We, in addition, discuss the findings to help improve the design of user research studies that deploy similar EEGbased BCIs in VR environments