PRESENCE AND BODY-OWNERSHIP: THE CASE OF THE EXERCISING AVATAR

This theoretical study on the sport exercises of virtual bodies (avatars) in virtual Fitness Clubs discusses the sense of being in the Virtual World (VW) in relation to virtual exercises and concepts on body ownership and presence. Based on interdisciplinary research and data, the purpose of this theoretical reflection is to contribute to the formulation of a more coherent theoretical model surrounding the issue of sport exercises and the virtual body. This matter emerges as a significant topic in the field of sport sociology and sport science in general and provides fertile ground for multiple analyses for future research.  Article visualizations

The use of virtual reality to promote the practice of physical activity

La práctica de la actividad física (AF) tiene indudables beneficios para la salud física y mental de las personas. Sin embargo, una gran parte de la población no cumple con los mínimos recomendados. Existen diferentes barreras hacia la práctica de la AF, entre las que se encuentran las interpersonales y la existencia de recursos prácticos y materiales como el tiempo y los recursos económicos. Además, existen otras barreras relacionadas con el yo (por ejemplo, la falta de confianza en las propias habilidades, los sentimientos de incomodidad durante la AF, la falta de motivación y la conciencia de sí mismo sobre el cuerpo y la apariencia física). La realidad virtual (RV) ha demostrado ser útil para combatir esos obstáculos. Que la RV es una herramienta útil para mejorar la AF parece ser una afirmación consistente y concluyente. Sin embargo, en relación con su influencia sobre variables psicológicas y fisiológicas todavía hay cuestiones por resolver. En los últimos años se ha puesto de relieve el papel de las representaciones virtuales del yo (por ejemplo, los avatares) en los entornos de RV. Parece que la apariencia física del avatar es un factor clave a tener en cuenta. Sin embargo, los estudios son escasos y sus resultados no son concluyentes. Esta tesis tiene varios objetivos. En primer lugar, validar el Cuestionario de Regulación del Comportamiento en el Ejercicio (BREQ-2) en la población adolescente española y analizar el papel de la motivación en la práctica de la AF. En segundo lugar, analizar la influencia de los entornos de RV y las representaciones virtuales de los usuarios en la práctica de AF y las intervenciones específicas diseñadas para promover este comportamiento. Para ello, se llevaron a cabo cuatro experimentos. El estudio 1 tiene como objetivo validar la estructura psicométrica BREQ-2 para confirmar la existencia de cinco niveles de motivación hacia la AF en la población adolescente española; así como analizar las diferencias en la motivación de acuerdo al sexo y la edad; y el papel de la edad y el sexo en la relación entre la motivación y el disfrute. Los estudios 2, 3 y 4 se centran en analizar cómo la RV puede promover la práctica de la AF. Los resultados muestran que (1) el cuestionario BREQ-2 es una herramienta útil para medir la motivación hacia la AF en la población española. Esta tesis confirma que la motivación hacia la AF es una variable a tener en cuenta para entender el comportamiento de la AF; (2) los ambientes de RV son efectivos para manipular la retroalimentación recibida durante una tarea de AF y, consecuentemente, su influencia en las respuestas de AF; (3) los modelos de avatares virtuales pueden fomentar la AF. Una vez más, se destaca la importancia de la personalización de los avatares utilizados en las intervenciones destinadas a aumentar la práctica de AF; (4) la breve intervención en línea utilizada en esta tesis fue eficaz en el aumento de la práctica de AF en las mujeres con sobrepeso; y (5) la manipulación de las dimensiones corporales de los avatares no mejora las intervenciones en las mujeres con sobrepeso. Esta tesis destaca el papel de la motivación en la comprensión del comportamiento de la práctica de AF y el uso de la RV para promover la práctica de AF.The physical activity (PA) practice has undoubted benefits on the physical and mental health of individuals. However, a large part of the population does not meet the recommended minimums. There are different barriers to the PA practice among which are interpersonal and the existence of practical and material resources such as time and economic resources. In addition, there are other barriers related to the self (e.g., lack of confidence in one's abilities, feelings of discomfort during PA, lack of motivation, and self-awareness about the body and physical appearance). Virtual reality (VR) has proven to be a useful tool in combating these obstacles. That VR is a useful tool to enhance PA seems to be a consistent and conclusive statement. However, in relation to its influence on psychological and physiological variables there are still questions to be resolved. During the last few years, the role of virtual representations (e.g., avatars) of the self in VR environments has been highlighted. It seems that the physical appearance of the avatar is a key factor to take into account. However, studies are scarce and their results inconclusive. This thesis has several purposes. Firstly, to validate the Behavioural Regulation in Exercise Questionnaire (BREQ-2) in the Spanish adolescent population and to analyze the role of motivation in the PA practice. Secondly, to analyze the influence of VR environments and virtual representations of users on PA practice and specific interventions designed to promote this behavior. To do so, four experiments were carried out. Study 1 aims to validate the psychometric structure BREQ-2 to confirm the existence of five levels of motivation towards PA in the Spanish adolescent population; as well as to analyze the differences in motivation according to sex and age; and the role of age and sex in the relationship between motivation and enjoyment. Studies 2, 3 and 4 focus on analyzing how VR can promote PA practice. The results show that (1) the BREQ-2 questionnaire is a useful tool to measure motivation towards PA in the Spanish population. This thesis confirms that motivation towards PA is a variable to be taken into account in order to understand PA behavior; (2) VR environments are effective in manipulating the feedback received during a PA task and, consequently, its influence on PA responses; (3) the virtual avatar models can to encourage PA. Once again, the importance of customizing avatars used in interventions aimed at increasing PA practice is highlighted; (4) the brief online intervention used in this dissertation was effective in increasing PA practice in overweight women; and (5) the manipulation of the body dimensions of avatars does not improve the interventions in overweight women. This thesis highlights the role of motivation in understanding PA practice behaviour and the use of VR to promote PA practice

Efficacité et processus thérapeutiques de la Thérapie basée sur la réalité virtuelle pour le traitement de la schizophrénie réfractaire aux traitements

La schizophrénie est considérée comme l'un des troubles psychiatriques les plus invalidants. L'une des principales raisons de ce fardeau élevé est qu'une grande partie des patients atteints de schizophrénie ne répondent pas adéquatement aux traitements pharmacologiques de première ligne et continueront de souffrir d’hallucinations auditives. La présence de celles-ci peut avoir un effet dévastateur sur le bien-être émotionnel des patients ainsi que sur leur qualité de vie. Les alternatives non-pharmacologiques (ex., Thérapie cognitivo-comportementale (TCC)) demeurent aussi limitées. Ainsi, pour plusieurs patients, les traitements actuellement recommandés ne sont pas suffisants. À cet égard, le traitement de la schizophrénie peut être perfectionné si, en plus du traitement des symptômes, l'accent thérapeutique est mis sur d’autres sphères importantes pour les patients (ex., améliorer l’estime de soi, réguler les émotions). Les efforts visant à accroître l'efficacité et les bénéfices des psychothérapies fondées sur des preuves ont mené à l'émergence d'interventions basées sur la réalité virtuelle (RV). Avec ces progrès technologiques, AVATAR Therapy et l’adaptation faite par notre équipe, la Thérapie assistée par la Réalité Virtuelle (TRV) (ou communément nommé la Thérapie Avatar (TA)), permettent aux patients d’entrer en dialogue en temps réel avec un avatar, animé entièrement par le thérapeute, qui représente leur voix la plus persécutrice. Cette approche, à la fois relationnelle et expérientielle, offre une occasion unique d’aider les patients à prendre le contrôle de leur voix. Cette thèse a pour objectif principal d’évaluer l’efficacité de cette psychothérapie basée sur la RV ainsi que les thèmes abordés durant et après la thérapie. Pour arriver à cette fin, divers objectifs ont été mis à l’avant : (i) résumer l'état des preuves sur l'efficacité des interventions basées sur la RV pour les troubles psychiatriques, (ii) évaluer l'efficacité de la TA/TRV par rapport à la TCC, (iii) illustrer l’efficacité de la thérapie à travers la perspective de patients ayant montré des effets bénéfiques, et (iv) explorer les thèmes émergeants ainsi que les processus thérapeutiques de la TA/TRV. Dans la première section, deux recensions des écritsdans diverses bases de données ont été effectuées pour examiner l’efficacité des psychothérapies basées sur la RV. Notre méta-revue (c’est-à-dire revue de méta-analyse) incluant 11 méta-analyses et 41 tailles d'effet a montré des résultats positifs de la RV dans le traitement des troubles psychiatriques, principalement des troubles anxieux. Les interventions basées sur la RV sont meilleures que le traitement usuel et montrent généralement des effets similaires par rapport aux approches fondées sur des preuves. Les résultats préliminaires suggèrent également que les effets de la RV se maintiennent dans le temps. Par contre, de nombreux symptômes et troubles psychiatriques qui peuvent être traités par des interventions utilisant RV n'ont pu être examinés par une analyse méta-analytique, en particulier les symptômes psychotiques (ex., hallucinations auditives) et les comportements liés à l'agressivité (ex., régulation émotionnelle). Ainsi, notre seconde revue a montré qu’il existe un nombre limité de paradigmes basés sur la RV pour traiter les individus atteints de troubles psychotiques et autres troubles mentaux à risque de comportements agressifs. Les études préliminaires dans des populations autres que la schizophrénie ont montré des réductions de la colère et de l'impulsivité, des améliorations des capacités de résolution des conflits ainsi que des niveaux d'empathie et des diminutions de l'agressivité. En ce qui a trait aux interventions basées sur la RV pour la schizophrénie, des réductions par rapport aux délires et aux hallucinations auditives ont été trouvées. Dans la seconde section, deux essais cliniques ont été menés pour évaluer l’efficacité de la TA/TRV seule en comparaison avec la TCC et en combinaison avec la TCC (TCC+TA/TRV). Notre essai randomisé comparant la TA/TRV à la TCC a compris 37 participants de plus de 18 ans entendant des voix persécutives et souffrant de schizophrénie résistante aux traitements dans chacun des groupes. Les résultats principaux ont montré que les deux interventions ont produit des améliorations significatives sur la sévérité des symptômes hallucinatoires avec des effets plus prononcés pour la TA/TRV. De plus, les résultats suggèrent une supériorité de la TA/TRV par rapport à la TCC sur les symptômes affectifs. La TA/TRV a également montré des effets positifs sur la qualité de vie. Les effets ont été maintenus à long terme, soit jusqu'à un an de suivi. Notre preuve de concept sur 10 patients ayant suivi la TCC de notre essai clinique comparatif qui souhaitaient continuer à obtenir des améliorations avec la TA/TRV a montré que les effets de la TCC+TA/TRV sur les symptômes dépressifs et les symptômes de la schizophrénie étaient plus larges que ceux trouvés pour l'une ou l'autre des interventions uniques. La troisième section a pour but de détailler les cas de 2 patients ayant suivi la TA/TRV. D’abord, nous avons décrit un partenariat entre un utilisateur de services en santé mentale et des chercheurs cliniciens en mettant en vedette M. X, le premier patient à suivre la thérapie. Nous avons ainsi montré l’apport de monsieur X quant à ses suggestions d’amélioration de la thérapie et ensuite en tant que notre pair aidant pour les futurs patients, dans son cheminement vers le rétablissement. Ensuite, nous avions rapporté le cas d'un patient atteint d’une schizophrénie ultra-résistante, soit M. Smith, qui n'a pas répondu à plusieurs traitements antipsychotiques, à la stimulation magnétique transcrânienne répétitive et à la thérapie par électrochocs avant de participer à notre essai. De plus, le patient a terminé notre TCC avant de se voir proposer notre TA/TRV. Cette dernière intervention a montré les effets les plus positifs. Or, ces deux cas ont montré que la thérapie a aidé non seulement à diminuer leurs symptômes, mais aussi à améliorer leur qualité de vie. La quatrième section a pour objectif d’explorer les thèmes émergents de la TA/TRV suite à des analyses de contenu. Ainsi, suite à une analyse qualitative découlant du discours spontané de 10 patients ayant bien répondu à la TA/TRV, quatre thèmes généraux ont émergé : impact de la thérapie sur les voix, relations interpersonnelles, bien-être psychologique et mode de vie. Cette analyse de contenu a permis d’identifier plusieurs sphères de vie qui sont davantage améliorées chez les patients ayant une schizophrénie résistante aux traitements à l’aide de la TA/TRV. Deux autres analyses qualitatives ont été conduites pour approfondir nos connaissances sur les processus thérapeutiques de la TA/TRV. Celles-ci ont permis de montrer que les patients répondent au propos de l’avatar en utilisant des mécanismes d'adaptation ou en exprimant des émotions, des croyances, des perceptions de soi ou des aspirations. Le discours de l'avatar a pu être catégorisé en techniques de confrontation (ex., provocation) et en techniques positives (ex., renforcement). Grâce à l'identification de changements mutuels dans l'interaction entre le patient et son avatar, un changement a été observé au fil des séances de la confrontation vers un dialogue constructif. L'affirmation de soi, les réponses émotionnelles et les stratégies de prévention semblaient être au cœur du processus thérapeutique, et celles-ci se produisent généralement en réponse à des techniques positives. Cette thèse contribue à la validation d’une nouvelle approche thérapeutique répondant à un besoin clinique fondamental. Ainsi, la TA/TRV met en lumière l'avenir des approches adaptées aux patients qui peuvent présenter des avantages par rapport aux traitements conventionnels. Ces types d’interventions holistiques utilisant la RV pourraient aussi présenter des avenues prometteuses dans plusieurs autres troubles psychiatriques.Schizophrenia is considered one of the most debilitating psychiatric disorders. One of the main reasons for this high burden is that a large proportion of patients with schizophrenia do not respond adequately to first-line pharmacological treatments and will continue to suffer from auditory hallucinations. The presence of these symptoms can have a devastating effect on the emotional well-being of patients as well as their quality of life. Non-pharmacological alternatives (e.g., Cognitive Behavioral Therapy (CBT)) also remain limited. Thus, for many patients, the treatments currently recommended are not sufficient. In this regard, the treatment of schizophrenia may be improved if, in addition to the treatment of symptoms, therapeutic emphasis is placed on other areas of importance to patients (e.g., improving self-esteem, emotion regulation). Efforts to increase the effectiveness and benefits of evidence-based psychotherapies have led to the emergence of virtual reality (VR)-based interventions. With these technological advances, AVATAR Therapy and its related innovative form from our team, Virtual Reality Assisted Therapy (VRT) (or commonly Avatar Therapy (AT)), allow patients to enter a real-time dialogue with an avatar, animated entirely by the therapist, who represents their most persecutory voice. This approach, both relational and experiential, offers a unique opportunity to help patients take control of their voice. The main objective of this thesis is to evaluate the effectiveness of this psychotherapy based on VR as well as the themes addressed during and after the therapy. To achieve this end, various objectives have been put forward: (i) summarize the state of the evidence on the effectiveness of VR-based interventions for psychiatric disorders, (ii) assess the effectiveness of AT/VRT versus CBT, (iii) obtain the perspective of patients who have undergone AT/TRV, (iv) explore the therapeutic processes of AT/VRT. In the first section, two literature reviews in various databases were performed to examine the effectiveness of VR-based psychotherapies. Our meta-review including 11 meta-analyzes and 41 effect sizes showed positive results of VR in the treatment of psychiatric disorders, mainly anxiety disorders. VR-based interventions appear better than inactive controls and generally show similar effects compared to evidence-based approaches. Preliminary results also suggest that the effects of VR are sustained over time. On the other hand, many psychiatric symptoms and disorders that can be treated with interventions using VR have not been examined by a meta-analytical analysis, including psychotic symptoms (e.g., auditory hallucinations) and related behaviors. aggression (e.g., emotional regulation). Thus, our second review showed that there are a limited number of VR-based paradigms for treating individuals with psychotic disorders and other mental disorders at risk for aggressive behavior. Preliminary studies in populations other than schizophrenia have shown reductions in anger and impulsivity, improvements in conflict resolution skills as well as levels of empathy and decreases in aggression. Particularly related to VR interventions for schizophrenia, reductions in delusions and auditory hallucinations were found. In the second section, two clinical trials were conducted to evaluate the efficacy of AT/VRT alone in comparison with CBT and in combination with CBT (CBT+TA/VRT). Our randomized trial comparing AT/VRT to CBT included 37 participants over 18 years of age hearing persecutory voices and suffering from treatment-resistant schizophrenia in each group. The main results showed that the two interventions produced significant improvements in the severity of hallucinatory symptoms with more pronounced effects for AT/VRT. In addition, the results suggest that AT/VRT is superior to CBT on affective symptoms. AT/VRT has also shown positive effects on quality of life. The effects were maintained for up to one year of follow-up. Our proof of concept on 10 patients having followed CBT from our comparative clinical trial who wanted to continue to achieve improvements with AT/VRT showed that the effects of CBT+AT/VRT on depressive symptoms and symptoms of schizophrenia were broader than those found for either intervention alone. The third section details the cases of 2 patients who had followed AT/VRT. First, we described a partnership between a mental health service user and clinical researchers by featuring Mr. X, the first to follow therapy for his suggestions and our peer helper for future patients, on his journey to the recovery. Next, we reported the case of a patient with ultra-resistant schizophrenia, Mr. Smith, who failed to respond to multiple antipsychotic treatments, repetitive transcranial magnetic stimulation, and electroconvulsive therapy before participating in our trial. In addition, this patient completed our CBT before being offered AT/VRT. The latter intervention showed the most positive effects. These two cases showed that AT/VRT not only helped to decrease their symptoms, but also to improve their quality of life. The fourth section aimed to explore emerging themes of AT/VRT following content analyses. Thus, following a qualitative analysis resulting from the spontaneous speech of 10 patients who responded well to AT/VRT, four general themes emerged: impact of therapy on voices, interpersonal relationships, psychological well-being and lifestyle. This content analysis identified several areas of life that are further improved in patients with treatment resistant schizophrenia after having followed AT/VRT. Two other qualitative analyses were carried out to deepen our knowledge of the therapeutic processes of AT/VRT. These have shown that patients respond to the avatar's words by using a coping mechanism or by expressing emotions, beliefs, self-perceptions or aspirations. The avatar's discourse could be categorized into confrontational techniques (e.g., provocation) and positive techniques (e.g., reinforcement). With the identification of mutual changes in the interaction between the patient and their avatar, a shift was observed over therapy sessions from confrontation towards a constructive dialogue. Assertiveness, emotional responses, and prevention strategies seemed to be central to the therapeutic process, and these usually occurred in response to positive techniques. This thesis contributes to the validation of a new therapeutic approach responding to a fundamental clinical need. Thus, AT/VRT shines a light on the future of patient-oriented approaches that may have advantages over conventional treatments. These types of holistic interventions using VR may have notable applications in several other psychiatric disorders

Virtual reality obstacle crossing: adaptation, retention and transfer to the physical world

Virtual reality (VR) paradigms are increasingly being used in movement and exercise sciences with the aim to enhance motor function and stimulate motor adaptation in healthy and pathological conditions. Locomotor training based in VR may be promising for motor skill learning, with transfer of VR skills to the physical world in turn required to benefit functional activities of daily life. This PhD project aims to examine locomotor adaptations to repeated VR obstacle crossing in healthy young adults as well as transfers to the untrained limb and the physical world, and retention potential of the learned skills. For these reasons, the current thesis comprises three studies using controlled VR obstacle crossing interventions during treadmill walking. In the first and second studies we investigated adaptation to crossing unexpectedly appearing virtual obstacles, with and without feedback about crossing performance, and its transfer to the untrained leg. In the third study we investigated transfer of virtual obstacle crossing to physical obstacles of similar size to the virtual ones, that appeared at the same time point within the gait cycle. We also investigated whether the learned skills can be retained in each of the environments over one week. In all studies participants were asked to walk on a treadmill while wearing a VR headset that represented their body as an avatar via real-time synchronised optical motion capture. Participants had to cross virtual and/or physical obstacles with and without feedback about their crossing performance. If applicable, feedback was provided based on motion capture immediately after virtual obstacle crossing. Toe clearance, margin of stability, and lower extremity joint angles in the sagittal plane were calculated for the crossing legs to analyse adaptation, transfer, and retention of obstacle crossing performance. The main outcomes of the first and second studies were that crossing multiple virtual obstacles increased participants’ dynamic stability and led to a nonlinear adaptation of toe clearance that was enhanced by visual feedback about crossing performance. However, independent of the use of feedback, no transfer to the untrained leg was detected. Moreover, despite significant and rapid adaptive changes in locomotor kinematics with repeated VR obstacle crossing, results of the third study revealed limited transfer of learned skills from virtual to physical obstacles. Lastly, despite full retention over one week in the virtual environment we found only partial retention when crossing a physical obstacle while walking on the treadmill. In summary, the findings of this PhD project confirmed that repeated VR obstacle perturbations can effectively stimulate locomotor skill adaptations. However, these are not transferable to the untrained limb irrespective of enhanced awareness and feedback. Moreover, the current data provide evidence that, despite significant adaptive changes in locomotion kinematics with repeated practice of obstacle crossing under VR conditions, transfer to and retention in the physical environment is limited. It may be that perception-action coupling in the virtual environment, and thus sensorimotor coordination, differs from the physical world, potentially inhibiting retained transfer between those two conditions. Accordingly, VR-based locomotor skill training paradigms need to be considered carefully if they are to replace training in the physical world

Eliciting Music Performance Anxiety of Vocal and Piano Students Through the Use of Virtual Reality

Despite the growth of virtual reality technologies, there is a lack of understanding of implementing these technologies within the collegiate classroom. This case study provides a mixed-method insight into a virtual reality (VR) asset deployed in a music performance environment. The study examined the effectiveness of a virtual reality environment as measured by the physiological response and user feedback. Ten voice and four piano college students participated in the study. Each participant performed musical works within an authentic practice room and the virtual concert hall via a Virtual Reality (VR) headset. Data was collected across four criteria. Participants’ heart rates were recorded before and after the performances. A State-Trait Anxiety Inventory test was presented to participants before and after the performances. Each performance was recorded and then blindly evaluated by two licensed music adjudicators. After the performances, participants completed a self-evaluation. Results indicated that virtual concert hall sessions caused a change in some categories of physiological, performance, and anxiety compared to an authentic practice room. No statistical difference was recorded in heart rate for vocalists between both environments. This project serves as a proof of concept that VR technologies can effectively elicit change in music performance anxiety. Furthermore, the study could encourage further research on mitigating music performance anxiety through virtual environment exposure

A Multi-Modal, Modified-Feedback and Self-Paced Brain-Computer Interface (BCI) to Control an Embodied Avatar's Gait

Brain-computer interfaces (BCI) have been used to control the gait of a virtual self-avatar with the aim of being used in gait rehabilitation. A BCI decodes the brain signals representing a desire to do something and transforms them into a control command for controlling external devices. The feelings described by the participants when they control a self-avatar in an immersive virtual environment (VE) demonstrate that humans can be embodied in the surrogate body of an avatar (ownership illusion). It has recently been shown that inducing the ownership illusion and then manipulating the movements of one’s self-avatar can lead to compensatory motor control strategies. In order to maximize this effect, there is a need for a method that measures and monitors embodiment levels of participants immersed in virtual reality (VR) to induce and maintain a strong ownership illusion. This is particularly true given that reaching a high level of both BCI performance and embodiment are inter-connected. To reach one of them, the second must be reached as well. Some limitations of many existing systems hinder their adoption for neurorehabilitation: 1- some use motor imagery (MI) of movements other than gait; 2- most systems allow the user to take single steps or to walk but do not allow both, which prevents users from progressing from steps to gait; 3- most of them function in a single BCI mode (cue-paced or self-paced), which prevents users from progressing from machine-dependent to machine-independent walking. Overcoming the aforementioned limitations can be done by combining different control modes and options in one single system. However, this would have a negative impact on BCI performance, therefore diminishing its usefulness as a potential rehabilitation tool. In this case, there will be a need to enhance BCI performance. For such purpose, many techniques have been used in the literature, such as providing modified feedback (whereby the presented feedback is not consistent with the user’s MI), sequential training (recalibrating the classifier as more data becomes available). This thesis was developed over 3 studies. The objective in study 1 was to investigate the possibility of measuring the level of embodiment of an immersive self-avatar, during the performing, observing and imagining of gait, using electroencephalogram (EEG) techniques, by presenting visual feedback that conflicts with the desired movement of embodied participants. The objective of study 2 was to develop and validate a BCI to control single steps and forward walking of an immersive virtual reality (VR) self-avatar, using mental imagery of these actions, in cue-paced and self-paced modes. Different performance enhancement strategies were implemented to increase BCI performance. The data of these two studies were then used in study 3 to construct a generic classifier that could eliminate offline calibration for future users and shorten training time. Twenty different healthy participants took part in studies 1 and 2. In study 1, participants wore an EEG cap and motion capture markers, with an avatar displayed in a head-mounted display (HMD) from a first-person perspective (1PP). They were cued to either perform, watch or imagine a single step forward or to initiate walking on a treadmill. For some of the trials, the avatar took a step with the contralateral limb or stopped walking before the participant stopped (modified feedback). In study 2, participants completed a 4-day sequential training to control the gait of an avatar in both BCI modes. In cue-paced mode, they were cued to imagine a single step forward, using their right or left foot, or to walk forward. In the self-paced mode, they were instructed to reach a target using the MI of multiple steps (switch control mode) or maintaining the MI of forward walking (continuous control mode). The avatar moved as a response to two calibrated regularized linear discriminant analysis (RLDA) classifiers that used the μ power spectral density (PSD) over the foot area of the motor cortex as features. The classifiers were retrained after every session. During the training, and for some of the trials, positive modified feedback was presented to half of the participants, where the avatar moved correctly regardless of the participant’s real performance. In both studies, the participants’ subjective experience was analyzed using a questionnaire. Results of study 1 show that subjective levels of embodiment correlate strongly with the power differences of the event-related synchronization (ERS) within the μ frequency band, and over the motor and pre-motor cortices between the modified and regular feedback trials. Results of study 2 show that all participants were able to operate the cued-paced BCI and the selfpaced BCI in both modes. For the cue-paced BCI, the average offline performance (classification rate) on day 1 was 67±6.1% and 86±6.1% on day 3, showing that the recalibration of the classifiers enhanced the offline performance of the BCI (p < 0.01). The average online performance was 85.9±8.4% for the modified feedback group (77-97%) versus 75% for the non-modified feedback group. For self-paced BCI, the average performance was 83% at switch control and 92% at continuous control mode, with a maximum of 12 seconds of control. Modified feedback enhanced BCI performances (p =0.001). Finally, results of study 3 show that the constructed generic models performed as well as models obtained from participant-specific offline data. The results show that there it is possible to design a participant-independent zero-training BCI.Les interfaces cerveau-ordinateur (ICO) ont été utilisées pour contrôler la marche d'un égo-avatar virtuel dans le but d'être utilisées dans la réadaptation de la marche. Une ICO décode les signaux du cerveau représentant un désir de faire produire un mouvement et les transforme en une commande de contrôle pour contrôler des appareils externes. Les sentiments décrits par les participants lorsqu'ils contrôlent un égo-avatar dans un environnement virtuel immersif démontrent que les humains peuvent être incarnés dans un corps d'un avatar (illusion de propriété). Il a été récemment démontré que provoquer l’illusion de propriété puis manipuler les mouvements de l’égo-avatar peut conduire à des stratégies de contrôle moteur compensatoire. Afin de maximiser cet effet, il existe un besoin d'une méthode qui mesure et surveille les niveaux d’incarnation des participants immergés dans la réalité virtuelle (RV) pour induire et maintenir une forte illusion de propriété. D'autre part, atteindre un niveau élevé de performances (taux de classification) ICO et d’incarnation est interconnecté. Pour atteindre l'un d'eux, le second doit également être atteint. Certaines limitations de plusieurs de ces systèmes entravent leur adoption pour la neuroréhabilitation: 1- certains utilisent l'imagerie motrice (IM) des mouvements autres que la marche; 2- la plupart des systèmes permettent à l'utilisateur de faire des pas simples ou de marcher mais pas les deux, ce qui ne permet pas à un utilisateur de passer des pas à la marche; 3- la plupart fonctionnent en un seul mode d’ICO, rythmé (cue-paced) ou auto-rythmé (self-paced). Surmonter les limitations susmentionnées peut être fait en combinant différents modes et options de commande dans un seul système. Cependant, cela aurait un impact négatif sur les performances de l’ICO, diminuant ainsi son utilité en tant qu'outil potentiel de réhabilitation. Dans ce cas, il sera nécessaire d'améliorer les performances des ICO. À cette fin, de nombreuses techniques ont été utilisées dans la littérature, telles que la rétroaction modifiée, le recalibrage du classificateur et l'utilisation d'un classificateur générique. Le projet de cette thèse a été réalisé en 3 études, avec objectif d'étudier dans l'étude 1, la possibilité de mesurer le niveau d'incarnation d'un égo-avatar immersif, lors de l'exécution, de l'observation et de l'imagination de la marche, à l'aide des techniques encéphalogramme (EEG), en présentant une rétroaction visuelle qui entre en conflit avec la commande du contrôle moteur des sujets incarnés. L'objectif de l'étude 2 était de développer un BCI pour contrôler les pas et la marche vers l’avant d'un égo-avatar dans la réalité virtuelle immersive, en utilisant l'imagerie motrice de ces actions, dans des modes rythmés et auto-rythmés. Différentes stratégies d'amélioration des performances ont été mises en œuvre pour augmenter la performance (taux de classification) de l’ICO. Les données de ces deux études ont ensuite été utilisées dans l'étude 3 pour construire des classificateurs génériques qui pourraient éliminer la calibration hors ligne pour les futurs utilisateurs et raccourcir le temps de formation. Vingt participants sains différents ont participé aux études 1 et 2. Dans l'étude 1, les participants portaient un casque EEG et des marqueurs de capture de mouvement, avec un avatar affiché dans un casque de RV du point de vue de la première personne (1PP). Ils ont été invités à performer, à regarder ou à imaginer un seul pas en avant ou la marche vers l’avant (pour quelques secondes) sur le tapis roulant. Pour certains essais, l'avatar a fait un pas avec le membre controlatéral ou a arrêté de marcher avant que le participant ne s'arrête (rétroaction modifiée). Dans l'étude 2, les participants ont participé à un entrainement séquentiel de 4 jours pour contrôler la marche d'un avatar dans les deux modes de l’ICO. En mode rythmé, ils ont imaginé un seul pas en avant, en utilisant leur pied droit ou gauche, ou la marche vers l’avant . En mode auto-rythmé, il leur a été demandé d'atteindre une cible en utilisant l'imagerie motrice (IM) de plusieurs pas (mode de contrôle intermittent) ou en maintenir l'IM de marche vers l’avant (mode de contrôle continu). L'avatar s'est déplacé en réponse à deux classificateurs ‘Regularized Linear Discriminant Analysis’ (RLDA) calibrés qui utilisaient comme caractéristiques la densité spectrale de puissance (Power Spectral Density; PSD) des bandes de fréquences µ (8-12 Hz) sur la zone du pied du cortex moteur. Les classificateurs ont été recalibrés après chaque session. Au cours de l’entrainement et pour certains des essais, une rétroaction modifiée positive a été présentée à la moitié des participants, où l'avatar s'est déplacé correctement quelle que soit la performance réelle du participant. Dans les deux études, l'expérience subjective des participants a été analysée à l'aide d'un questionnaire. Les résultats de l'étude 1 montrent que les niveaux subjectifs d’incarnation sont fortement corrélés à la différence de la puissance de la synchronisation liée à l’événement (Event-Related Synchronization; ERS) sur la bande de fréquence μ et sur le cortex moteur et prémoteur entre les essais de rétroaction modifiés et réguliers. L'étude 2 a montré que tous les participants étaient capables d’utiliser le BCI rythmé et auto-rythmé dans les deux modes. Pour le BCI rythmé, la performance hors ligne moyenne au jour 1 était de 67±6,1% et 86±6,1% au jour 3, ce qui montre que le recalibrage des classificateurs a amélioré la performance hors ligne du BCI (p <0,01). La performance en ligne moyenne était de 85,9±8,4% pour le groupe de rétroaction modifié (77-97%) contre 75% pour le groupe de rétroaction non modifié. Pour le BCI auto-rythmé, la performance moyenne était de 83% en commande de commutateur et de 92% en mode de commande continue, avec un maximum de 12 secondes de commande. Les performances de l’ICO ont été améliorées par la rétroaction modifiée (p = 0,001). Enfin, les résultats de l'étude 3 montrent que pour la classification des initialisations des pas et de la marche, il a été possible de construire des modèles génériques à partir de données hors ligne spécifiques aux participants. Les résultats montrent la possibilité de concevoir une ICO ne nécessitant aucun entraînement spécifique au participant

Perception and Emotion in Virtual Reality: The Role of the Body and the Contribution of Presence

This thesis reports four studies in the context of virtual reality (VR), feelings of presence, emotion, and perception. Previous research established the existence of cross-dimensional perceptual interrelations such as the interconnection between experienced motion and subjective time. This is thought to result from a common perceptual system. However, the specifics of this system are a matter of ongoing research. An important binding factor between perceptual dimensions is the bodily self, which was described as a reference for perception. In Study I, manipulations of the size of a virtual self-representation were shown to affect the spatial judgment of objects. In Study II, the degree of self-motion in an immersive virtual environment (IVE) influenced the subjective perception of time, corroborating previous findings about the common perceptual system. Besides the virtual self-representation, there is another important variable in VR experiments: Presence is described as the feeling of being in a mediated environment. Presence was not associated with improved performance in the spatial and temporal judgments of Studies I and II. However, in Study III, presence in a gaming activity was linked to improved mood after an experimental stress-induction. This especially applied to VR gaming, where impressions about the subjective realism of the IVE might have been crucial for mood repair. As outlined in Study IV, it is important to distinguish between presence as an attentional allocation to the mediated world and as an individual judgment about its realism. Taken together, the results from all studies corroborate the idea of the self as a fundamental perceptual reference, confirm results about the psychological connection between space and time, emphasize the benefits of VR gaming in improving mood, and elucidate the role of perceived realism in assessing presence in IVEs

Examining the Effects of Altered Avatars on Perception-Action in Virtual Reality

In virtual reality avatars are animated graphical representation of a person embedded in a virtual environment. Previous research has illustrated the benefits of having an avatar when perceiving aspects of virtual reality. We studied the effect that a non-faithful, or altered, avatar had on the perception of one\u27s action capabilities in VR. In Experiment 1, one group of participants acted with a normal, or faithful, avatar and the other group of participants used an avatar with an extended arm, all in virtual reality. In Experiment 2, the same methodology and procedure was used as in Experiment 1, except only the calibration phase occurred in VR, while the remaining reaches were completed in the real world. All participants performed reaches to various distances. The results of these studies show that calibration to altered dimensions of avatars is possible after receiving feedback while acting with the altered avatar. Further, calibration occurred more quickly when feedback was initially used to transition from a normal avatar to an altered avatar than when later transitioning from the altered avatar arm back to the normal avatar arm without feedback. The implications of these findings for training in virtual reality simulations and transfer back to the real world are also discussed