Eliciting information from adults: quality, quantity, and their willingness to disclose to an avatar interviewer

Avatars—digital representations of humans—may be a useful tool in a wide range of areas, such as education, advertising, communication, and health. The overarching goal of the present research was to examine the use of avatars in the context of evidential and clinical interviewing, in the hope that this novel technology could facilitate adults’ memory performance and enhance their disclosure of sensitive information. The first specific aim was to examine the effectiveness of an avatar interviewer on adults’ accounts of a witnessed event. In this context, adults were interviewed by either a digital-human avatar or a human face-to-face using both free- and directed-recall questions. Some participants also received post-event misinformation that was presented by either the digital-human avatar or the human interviewer. In addition, I examined the impact of several individual differences, including participants’ level of autism and personality traits, and their perception of the avatar’s operation. Finally, I investigated the effectiveness of avatar interviewers with varying degrees of anthropomorphism on adults’ accounts. The second specific aim was to explore the potential for avatar professionals in the context of the disclosure of sensitive information. In the present thesis, I investigated the effects of two types of avatar interviewers: a more anthropomorphic, 2D cartoon-rendered digital-human avatar, and a less anthropomorphic, speech-wave avatar. The digital-human avatar resembled the appearance of the human interviewers who were also used in the present research, but the avatar’s movement was restricted to eye blinks and head tilts. The speech-wave avatar interviewer resembled Apple’s Siri. Both types of avatar were voiced and operated by a concealed human interviewer. The digital-human avatar’s lips moved in synchrony with the human’s speech; the speech-wave avatar moved up and down, also in synchrony with the human’s speech. The avatar was displayed on a computer monitor that was placed on a table directly in front of the participant. The interviews involving the human interviewer were conducted face-to-face. Overall, differences in participants’ memory performance was not detected when they were interviewed only once by either a digital-human avatar or a human interviewer. When participants were interviewed twice, on the other hand, participants who were interviewed by the human interviewer were more talkative and provided more correct details than did participants who were interviewed by the digital-human avatar, but their reports were also less accurate during free recall. Still, the digital-human avatar did not protect the participants from the adverse effects of misleading information. Finally, relative to an interview with the digital-human avatar, participants’ memory performance was enhanced when the speech- wave avatar interviewed them. In addition to these group-level results, participants with low conscientiousness and autism traits, or who perceived the digital-human avatar as computer- operated, were more accurate in their accounts during free recall when a digital-human avatar interviewed them. With respect to disclosure, overall, participants preferred to disclose information to a human professional face-to-face rather than to avatar professionals. When I compared the digital-human avatar to the speech-wave avatar, participants preferred to disclose more embarrassing information, particularly sex-related topics, and reported more coherent details about an embarrassing personal event to a speech-wave avatar. In terms of the avatar’s characteristics, participants indicated that they would be more comfortable disclosing embarrassing information to an avatar appearing as a female around 45- to 54-years of age. Collectively, my findings provide initial insight of the potential value and pitfalls of using avatars in evidential and clinical interviewing. In this day and age, humans may have adapted to technology, treating non-human interviewers in much the same way as they treat human interviewers. Still, there is a place for avatars in specific populations, and in the context of disclosing stigmatising experiences. The results of the present research have important implications for designing and using avatars that might aid humans in performing specific tasks in help-seeking settings

A Multi-Modal, Modified-Feedback and Self-Paced Brain-Computer Interface (BCI) to Control an Embodied Avatar's Gait

Brain-computer interfaces (BCI) have been used to control the gait of a virtual self-avatar with the aim of being used in gait rehabilitation. A BCI decodes the brain signals representing a desire to do something and transforms them into a control command for controlling external devices. The feelings described by the participants when they control a self-avatar in an immersive virtual environment (VE) demonstrate that humans can be embodied in the surrogate body of an avatar (ownership illusion). It has recently been shown that inducing the ownership illusion and then manipulating the movements of one’s self-avatar can lead to compensatory motor control strategies. In order to maximize this effect, there is a need for a method that measures and monitors embodiment levels of participants immersed in virtual reality (VR) to induce and maintain a strong ownership illusion. This is particularly true given that reaching a high level of both BCI performance and embodiment are inter-connected. To reach one of them, the second must be reached as well. Some limitations of many existing systems hinder their adoption for neurorehabilitation: 1- some use motor imagery (MI) of movements other than gait; 2- most systems allow the user to take single steps or to walk but do not allow both, which prevents users from progressing from steps to gait; 3- most of them function in a single BCI mode (cue-paced or self-paced), which prevents users from progressing from machine-dependent to machine-independent walking. Overcoming the aforementioned limitations can be done by combining different control modes and options in one single system. However, this would have a negative impact on BCI performance, therefore diminishing its usefulness as a potential rehabilitation tool. In this case, there will be a need to enhance BCI performance. For such purpose, many techniques have been used in the literature, such as providing modified feedback (whereby the presented feedback is not consistent with the user’s MI), sequential training (recalibrating the classifier as more data becomes available). This thesis was developed over 3 studies. The objective in study 1 was to investigate the possibility of measuring the level of embodiment of an immersive self-avatar, during the performing, observing and imagining of gait, using electroencephalogram (EEG) techniques, by presenting visual feedback that conflicts with the desired movement of embodied participants. The objective of study 2 was to develop and validate a BCI to control single steps and forward walking of an immersive virtual reality (VR) self-avatar, using mental imagery of these actions, in cue-paced and self-paced modes. Different performance enhancement strategies were implemented to increase BCI performance. The data of these two studies were then used in study 3 to construct a generic classifier that could eliminate offline calibration for future users and shorten training time. Twenty different healthy participants took part in studies 1 and 2. In study 1, participants wore an EEG cap and motion capture markers, with an avatar displayed in a head-mounted display (HMD) from a first-person perspective (1PP). They were cued to either perform, watch or imagine a single step forward or to initiate walking on a treadmill. For some of the trials, the avatar took a step with the contralateral limb or stopped walking before the participant stopped (modified feedback). In study 2, participants completed a 4-day sequential training to control the gait of an avatar in both BCI modes. In cue-paced mode, they were cued to imagine a single step forward, using their right or left foot, or to walk forward. In the self-paced mode, they were instructed to reach a target using the MI of multiple steps (switch control mode) or maintaining the MI of forward walking (continuous control mode). The avatar moved as a response to two calibrated regularized linear discriminant analysis (RLDA) classifiers that used the μ power spectral density (PSD) over the foot area of the motor cortex as features. The classifiers were retrained after every session. During the training, and for some of the trials, positive modified feedback was presented to half of the participants, where the avatar moved correctly regardless of the participant’s real performance. In both studies, the participants’ subjective experience was analyzed using a questionnaire. Results of study 1 show that subjective levels of embodiment correlate strongly with the power differences of the event-related synchronization (ERS) within the μ frequency band, and over the motor and pre-motor cortices between the modified and regular feedback trials. Results of study 2 show that all participants were able to operate the cued-paced BCI and the selfpaced BCI in both modes. For the cue-paced BCI, the average offline performance (classification rate) on day 1 was 67±6.1% and 86±6.1% on day 3, showing that the recalibration of the classifiers enhanced the offline performance of the BCI (p < 0.01). The average online performance was 85.9±8.4% for the modified feedback group (77-97%) versus 75% for the non-modified feedback group. For self-paced BCI, the average performance was 83% at switch control and 92% at continuous control mode, with a maximum of 12 seconds of control. Modified feedback enhanced BCI performances (p =0.001). Finally, results of study 3 show that the constructed generic models performed as well as models obtained from participant-specific offline data. The results show that there it is possible to design a participant-independent zero-training BCI.Les interfaces cerveau-ordinateur (ICO) ont été utilisées pour contrôler la marche d'un égo-avatar virtuel dans le but d'être utilisées dans la réadaptation de la marche. Une ICO décode les signaux du cerveau représentant un désir de faire produire un mouvement et les transforme en une commande de contrôle pour contrôler des appareils externes. Les sentiments décrits par les participants lorsqu'ils contrôlent un égo-avatar dans un environnement virtuel immersif démontrent que les humains peuvent être incarnés dans un corps d'un avatar (illusion de propriété). Il a été récemment démontré que provoquer l’illusion de propriété puis manipuler les mouvements de l’égo-avatar peut conduire à des stratégies de contrôle moteur compensatoire. Afin de maximiser cet effet, il existe un besoin d'une méthode qui mesure et surveille les niveaux d’incarnation des participants immergés dans la réalité virtuelle (RV) pour induire et maintenir une forte illusion de propriété. D'autre part, atteindre un niveau élevé de performances (taux de classification) ICO et d’incarnation est interconnecté. Pour atteindre l'un d'eux, le second doit également être atteint. Certaines limitations de plusieurs de ces systèmes entravent leur adoption pour la neuroréhabilitation: 1- certains utilisent l'imagerie motrice (IM) des mouvements autres que la marche; 2- la plupart des systèmes permettent à l'utilisateur de faire des pas simples ou de marcher mais pas les deux, ce qui ne permet pas à un utilisateur de passer des pas à la marche; 3- la plupart fonctionnent en un seul mode d’ICO, rythmé (cue-paced) ou auto-rythmé (self-paced). Surmonter les limitations susmentionnées peut être fait en combinant différents modes et options de commande dans un seul système. Cependant, cela aurait un impact négatif sur les performances de l’ICO, diminuant ainsi son utilité en tant qu'outil potentiel de réhabilitation. Dans ce cas, il sera nécessaire d'améliorer les performances des ICO. À cette fin, de nombreuses techniques ont été utilisées dans la littérature, telles que la rétroaction modifiée, le recalibrage du classificateur et l'utilisation d'un classificateur générique. Le projet de cette thèse a été réalisé en 3 études, avec objectif d'étudier dans l'étude 1, la possibilité de mesurer le niveau d'incarnation d'un égo-avatar immersif, lors de l'exécution, de l'observation et de l'imagination de la marche, à l'aide des techniques encéphalogramme (EEG), en présentant une rétroaction visuelle qui entre en conflit avec la commande du contrôle moteur des sujets incarnés. L'objectif de l'étude 2 était de développer un BCI pour contrôler les pas et la marche vers l’avant d'un égo-avatar dans la réalité virtuelle immersive, en utilisant l'imagerie motrice de ces actions, dans des modes rythmés et auto-rythmés. Différentes stratégies d'amélioration des performances ont été mises en œuvre pour augmenter la performance (taux de classification) de l’ICO. Les données de ces deux études ont ensuite été utilisées dans l'étude 3 pour construire des classificateurs génériques qui pourraient éliminer la calibration hors ligne pour les futurs utilisateurs et raccourcir le temps de formation. Vingt participants sains différents ont participé aux études 1 et 2. Dans l'étude 1, les participants portaient un casque EEG et des marqueurs de capture de mouvement, avec un avatar affiché dans un casque de RV du point de vue de la première personne (1PP). Ils ont été invités à performer, à regarder ou à imaginer un seul pas en avant ou la marche vers l’avant (pour quelques secondes) sur le tapis roulant. Pour certains essais, l'avatar a fait un pas avec le membre controlatéral ou a arrêté de marcher avant que le participant ne s'arrête (rétroaction modifiée). Dans l'étude 2, les participants ont participé à un entrainement séquentiel de 4 jours pour contrôler la marche d'un avatar dans les deux modes de l’ICO. En mode rythmé, ils ont imaginé un seul pas en avant, en utilisant leur pied droit ou gauche, ou la marche vers l’avant . En mode auto-rythmé, il leur a été demandé d'atteindre une cible en utilisant l'imagerie motrice (IM) de plusieurs pas (mode de contrôle intermittent) ou en maintenir l'IM de marche vers l’avant (mode de contrôle continu). L'avatar s'est déplacé en réponse à deux classificateurs ‘Regularized Linear Discriminant Analysis’ (RLDA) calibrés qui utilisaient comme caractéristiques la densité spectrale de puissance (Power Spectral Density; PSD) des bandes de fréquences µ (8-12 Hz) sur la zone du pied du cortex moteur. Les classificateurs ont été recalibrés après chaque session. Au cours de l’entrainement et pour certains des essais, une rétroaction modifiée positive a été présentée à la moitié des participants, où l'avatar s'est déplacé correctement quelle que soit la performance réelle du participant. Dans les deux études, l'expérience subjective des participants a été analysée à l'aide d'un questionnaire. Les résultats de l'étude 1 montrent que les niveaux subjectifs d’incarnation sont fortement corrélés à la différence de la puissance de la synchronisation liée à l’événement (Event-Related Synchronization; ERS) sur la bande de fréquence μ et sur le cortex moteur et prémoteur entre les essais de rétroaction modifiés et réguliers. L'étude 2 a montré que tous les participants étaient capables d’utiliser le BCI rythmé et auto-rythmé dans les deux modes. Pour le BCI rythmé, la performance hors ligne moyenne au jour 1 était de 67±6,1% et 86±6,1% au jour 3, ce qui montre que le recalibrage des classificateurs a amélioré la performance hors ligne du BCI (p <0,01). La performance en ligne moyenne était de 85,9±8,4% pour le groupe de rétroaction modifié (77-97%) contre 75% pour le groupe de rétroaction non modifié. Pour le BCI auto-rythmé, la performance moyenne était de 83% en commande de commutateur et de 92% en mode de commande continue, avec un maximum de 12 secondes de commande. Les performances de l’ICO ont été améliorées par la rétroaction modifiée (p = 0,001). Enfin, les résultats de l'étude 3 montrent que pour la classification des initialisations des pas et de la marche, il a été possible de construire des modèles génériques à partir de données hors ligne spécifiques aux participants. Les résultats montrent la possibilité de concevoir une ICO ne nécessitant aucun entraînement spécifique au participant

On the plausibility of simplified acoustic room representations for listener translation in dynamic binaural auralizations

Diese Doktorarbeit untersucht die Wahrnehmung vereinfachter akustischer Raumrepräsentationen in positionsdynamischer Binauralwiedergabe für die Hörertranslation. Die dynamische Binauralsynthese ist eine Audiowiedergabemethode zur Erzeugung räumlicher auditiver Illusionen über Kopfhörer für virtuelle, erweiterte und gemischte Realität (VR/AR/MR). Dabei ist es nun eine typische Anforderung, immersive Inhalte in sechs Freiheitsgraden (6DOF) zu erkunden. Dynamische binaurale Schallfeldimitationen mit hoher physikalischer Genauigkeit zu realisieren, ist meist mit sehr hohem Rechenaufwand verbunden. Frühere psychoakustische Studien weisen jedoch darauf hin, dass Menschen eine begrenzte Empfindlichkeit gegenüber den Details des Schallfelds haben, insbesondere im späten Nachhall. Dies birgt das Potential physikalischer Vereinfachungen bei der positionsdynamischen Auralisation von Räumen. Beispielsweise wurden Konzepte vorgeschlagen, die auf der perzeptiven Mixing Time oder der Hörbarkeitsschwelle von frühen Reflexionen basieren, für welche jedoch eine gründliche psychoakustische Bewertung noch aussteht. Zunächst wurde ein Aufbau zur positionsdynamischen Raumauralisation implementiert und evaluiert. Daran untersucht die Arbeit wesentliche Systemparameter wie die erforderliche räumliche Auflösung eines Positionsrasters für die dynamische Anpassung. Da allgemein etablierte Testmethoden zur wahrnehmungsbezogenen Bewertung von räumlichen auditiven Illusionen unter Berücksichtigung interaktiver Hörertranslation fehlten, untersucht die Arbeit verschiedene Ansätze zur Messung der Plausibilität. Auf dieser Grundlage werden physikalische Vereinfachungen im Verlauf des Schallfeldes in positionsdynamischen binauralen Auralisationen der Raumakustik untersucht. Für die Hauptexperimente wurden binaurale Raumimpulsantworten (BRIRs) entlang einer Linie für die Hörertranslation in einem eher trockenen Hörlabor und einem halligen Seminarraum ähnlicher Größe gemessen. Die erstellten Datensätze enthalten Szenarien von Hörerbewegungen auf eine virtuelle Schallquelle zu, daran vorbei, davon weg oder dahinter. Darüber hinaus betrachten die Untersuchungen zwei Extremfälle der Quellenorientierung, um die Auswirkungen einer Variation der Schallquellenrichtcharakteristik zu berücksichtigen. Die BRIR-Sätze werden systematisch bearbeitet und vereinfacht, um die Auswirkungen auf die Wahrnehmung zu bewerten. Insbesondere das Konzept der perzeptiven Mixing Time und manipulierte räumlich-zeitliche Muster früher Reflexionen dienten als Testfälle in den psychoakustischen Studien. Die Ergebnisse zeigen ein hohes Potential für Vereinfachungen, unterstreichen aber auch die Relevanz der genauen Imitation prominenter früher Reflexionen. Die Ergebnisse bestätigen auch das Konzept der wahrnehmungsbezogenen Mixing Time für die betrachteten Fälle der positionsdynamischen binauralen Wiedergabe. Die Beobachtungen verdeutlichen, dass gängige Testszenarien für Auralisierungen, Interpolation und Extrapolation nicht kritisch genug sind, um allgemeine Schlussfolgerungen über die Eignung der getesteten Rendering-Ansätze zu ziehen. Die Arbeit zeigt Lösungsansätze auf.This thesis investigates the effect of simplified acoustic room representations in position-dynamic binaural audio for listener translation. Dynamic binaural synthesis is an audio reproduction method to create spatial auditory illusions over headphones for virtual, augmented, and mixed reality (AR/VR/MR). It has become a typical demand to explore immersive content in six degrees of freedom (6DOF). Realizing dynamic binaural sound field imitations with high physical accuracy requires high computational effort. However, previous psychoacoustic research indicates that humans have limited sensitivity to the details of the sound field. This fact bears the potential to simplify the physics in position-dynamic room auralizations. For example, concepts based on the perceptual mixing time or the audibility threshold of early reflections have been proposed. This thesis investigates the effect of simplified acoustic room representations in position-dynamic binaural audio for listener translation. First, a setup for position dynamic binaural room auralization was implemented and evaluated. Essential system parameters like the required position grid resolution for the audio reproduction were examined. Due to the lack of generally established test methods for the perceptual evaluation of spatial auditory illusions considering interactive listener translation, this thesis explores different approaches for measuring plausibility. Based on this foundation, this work examines physical impairments and simplifications in the progress of the sound field in position dynamic binaural auralizations of room acoustics. For the main experiments, sets of binaural room impulse responses (BRIRs) were measured along a line for listener translation in a relatively dry listening laboratory and a reverberant seminar room of similar size. These sets include scenarios of walking towards a virtual sound source, past it, away from it, or behind it. The consideration of two extreme cases of source orientation took into account the effects of variations in directivity. The BRIR sets were systematically impaired and simplified to evaluate the perceptual effects. Especially the concept of the perceptual mixing time and manipulated spatiotemporal patterns of early reflections served as test cases. The results reveal a high potential for simplification but also underline the relevance of accurately imitating prominent early reflections. The findings confirm the concept of the perceptual mixing time for the considered cases of position-dynamic binaural audio. The observations highlight that common test scenarios for dynamic binaural rendering approaches are not sufficiently critical to draw general conclusions about their suitability. This thesis proposes strategies to solve this

Perception and Emotion in Virtual Reality: The Role of the Body and the Contribution of Presence

This thesis reports four studies in the context of virtual reality (VR), feelings of presence, emotion, and perception. Previous research established the existence of cross-dimensional perceptual interrelations such as the interconnection between experienced motion and subjective time. This is thought to result from a common perceptual system. However, the specifics of this system are a matter of ongoing research. An important binding factor between perceptual dimensions is the bodily self, which was described as a reference for perception. In Study I, manipulations of the size of a virtual self-representation were shown to affect the spatial judgment of objects. In Study II, the degree of self-motion in an immersive virtual environment (IVE) influenced the subjective perception of time, corroborating previous findings about the common perceptual system. Besides the virtual self-representation, there is another important variable in VR experiments: Presence is described as the feeling of being in a mediated environment. Presence was not associated with improved performance in the spatial and temporal judgments of Studies I and II. However, in Study III, presence in a gaming activity was linked to improved mood after an experimental stress-induction. This especially applied to VR gaming, where impressions about the subjective realism of the IVE might have been crucial for mood repair. As outlined in Study IV, it is important to distinguish between presence as an attentional allocation to the mediated world and as an individual judgment about its realism. Taken together, the results from all studies corroborate the idea of the self as a fundamental perceptual reference, confirm results about the psychological connection between space and time, emphasize the benefits of VR gaming in improving mood, and elucidate the role of perceived realism in assessing presence in IVEs

Évaluation de l'impact de la modification du retour visuel présenté par un égo-avatar temps réel sur la cinématique de la marche

Dans les dernières années, la réalité virtuelle (RV) a trouvé de nombreux usages et a démontré son efficacité dans les domaines de la réhabilitation physique et motrice. Cette démocratisation de la RV est due, en partie, au fait que l’équipement est de plus en plus disponible et abordable. Cette popularité grandissante est également liée au fait qu’il est possible de placer les utilisateurs dans un environnement virtuel (EV) totalement contrôlable. La RV permet de remplacer, par un égo-avatar, la visualisation de leur corps et ainsi de fournir un retour visuel permettant aux participants d’observer leur propre movement performé par leur double virtuel. Cet égo-avatar peut être fidèle aux mouvements ou modifié, et ce, en temps réel. Il a été démontré que l’exposition à un retour visuel modifié fourni par un égo-avatar dans une situation statique induit une dérive proprioceptive et physique, mais il est intéressant de déterminer si de telles observations sont également possibles dans une condition dynamique comme la marche. L’objectif de cette étude est de quantifier les variations cinématiques, cinétiques et spatiotemporelles de la marche des participants lorsque le mouvement du membre inférieur de leur égo-avatar est manipulé; plus précisément, lorsque l’angle de flexion à la hanche de l’avatar est augmenté de 30°. Dans cette étude, dix participants ont été évalués. Ils devaient marcher sur un tapis roulant instrumenté de plates-forms de forces tout en observant leur égo-avatar selon une perspective à la première personne (comme s’ils se voyaient dans un miroir virtuel) et selon une perspective à la troisième personne (comme s’ils se suivaient eux même et s’ils se voyaient de profil). Les paramètres de la marche ont été comparés entre les différentes conditions dans le but d’établir si le participant change sa démarche afin de suivre la marche de son égo-avatar. Il est intéressant de constater que plusieurs paramètres, autant cinématiques, cinétiques et spatiotemporels sont modifiés lorsque le participant est exposé à son égo-avatar suivant fidèlement son mouvement. L’effet de la latence du système et de l’exposition à un retour visuel inhabituel sont explorés comme pistes d’explications. Lorsque l’égo-avatar est modulé, une augmentation de la force verticale au sol au moment du contact du talon est observée. L’algorithme de modulation choisi pour modifier la cinématique de la jambe de l’avatar produit une flexion à la hanche de plus grande amplitude sur une période de temps inchangée. La vitesse de déplacement de la jambe de l’égo-avatar est donc visiblement augmentée. Puisque l’hypothèse initiale est que les participants tenteront de suivre le mouvement de leurs égos-avatars, une augmentation de la vitesse de déplacement vertical du pied du participant pourrait être à l’origine du changement cinétique observé. Un EV plus immersif ainsi qu’un algorithme de modulation générant un mouvement plus naturel et mieux ciblé pourraient permettre d’avoir un impact plus significatif sur les caractéristiques du mouvement des participants et, le cas échant, pourrait s’avérer être un outil Clinique intéressant dans un contexte de réadaptation de la marche