Development and evaluation of an interactive virtual audience for a public speaking training application

Einleitung: Eine der häufigsten sozialen Ängste ist die Angst vor öffentlichem Sprechen. Virtual-Reality- (VR-) Trainingsanwendungen sind ein vielversprechendes Instrument, um die Sprechangst zu reduzieren und die individuellen Sprachfähigkeiten zu verbessern. Grundvoraussetzung hierfür ist die Implementierung eines realistischen und interaktiven Sprecher-Publikum-Verhaltens. Ziel: Die Studie zielte darauf ab, ein realistisches und interaktives Publikum für eine VR-Anwendung zu entwickeln und zu bewerten, welches für die Trainingsanwendung von öffentlichem Sprechen angewendet wird. Zunächst wurde eine Beobachtungsstudie zu den Verhaltensmustern von Sprecher und Publikum durchgeführt. Anschließend wurden die identifizierten Muster in eine VR-Anwendung implementiert. Die Wahrnehmung der implementierten Interaktionsmuster wurde in einer weiteren Studie aus Sicht der Nutzer evaluiert. Beobachtungsstudie (1): Aufgrund der nicht ausreichenden Datengrundlage zum realen interaktiven Verhalten zwischen Sprecher und Publikum lautet die erste Forschungsfrage "Welche Sprecher-Publikums-Interaktionsmuster können im realen Umfeld identifiziert werden?". Es wurde eine strukturierte, nicht teilnehmende, offene Beobachtungsstudie durchgeführt. Ein reales Publikum wurde auf Video aufgezeichnet und die Inhalte analysiert. Die Stichprobe ergab N = 6484 beobachtete Interaktionsmuster. Es wurde festgestellt, dass Sprecher mehr Dialoge als das Publikum initiieren und wie die Zuschauer auf Gesichtsausdrücke und Gesten der Sprecher reagieren. Implementierungsstudie (2): Um effiziente Wege zur Implementierung der Ergebnisse der Beobachtungsstudie in die Trainingsanwendung zu finden, wurde die Forschungsfrage wie folgt formuliert: "Wie können Interaktionsmuster zwischen Sprecher und Publikum in eine virtuelle Anwendung implementiert werden?". Das Hardware-Setup bestand aus einer CAVE, Infitec-Brille und einem ART Head-Tracking. Die Software wurde mit 3D-Excite RTT DeltaGen 12.2 realisiert. Zur Beantwortung der zweiten Forschungsfrage wurden mehrere mögliche technische Lösungen systematisch untersucht, bis effiziente Lösungen gefunden wurden. Infolgedessen wurden die selbst erstellte Audioerkennung, die Kinect-Bewegungserkennung, die Affectiva-Gesichtserkennung und die selbst erstellten Fragen implementiert, um das interaktive Verhalten des Publikums in der Trainingsanwendung für öffentliches Sprechen zu realisieren. Evaluationsstudie (3): Um herauszufinden, ob die Implementierung interaktiver Verhaltensmuster den Erwartungen der Benutzer entsprach, wurde die dritte Forschungsfrage folgendermaßen formuliert: “Wie beeinflusst die Interaktivität einer virtuellen Anwendung für öffentliches Reden die Benutzererfahrung?”. Eine experimentelle Benutzer-Querschnittsstudie wurde mit N = 57 Teilnehmerinnen (65% Männer, 35% Frauen; Durchschnittsalter = 25.98, SD = 4.68) durchgeführt, die entweder der interaktiven oder nicht-interaktiven VR-Anwendung zugewiesen wurden. Die Ergebnisse zeigten, dass, es einen signifikanten Unterschied in der Wahrnehmung zwischen den beiden Anwendungen gab. Allgemeine Schlussfolgerungen: Interaktionsmuster zwischen Sprecher und Publikum, die im wirklichen Leben beobachtet werden können, wurden in eine VR-Anwendung integriert, die Menschen dabei hilft, Angst vor dem öffentlichen Sprechen zu überwinden und ihre öffentlichen Sprechfähigkeiten zu trainieren. Die Ergebnisse zeigten eine hohe Relevanz der VR-Anwendungen für die Simulation öffentlichen Sprechens. Obwohl die Fragen des Publikums manuell gesteuert wurden, konnte das neu gestaltete Publikum mit den Versuchspersonen interagieren. Die vorgestellte VR-Anwendung zeigt daher einen hohen potenziellen Nutzen, Menschen beim Trainieren von Sprechfähigkeiten zu unterstützen. Die Fragen des Publikums wurden immer noch manuell von einem Bediener reguliert und die Studie wurde mit Teilnehmern durchgeführt, die nicht unter einem hohen Grad an Angst vor öffentlichem Sprechen leiden. Bei zukünftigen Studien sollten fortschrittlichere Technologien eingesetzt werden, beispielsweise Spracherkennung, 3D-Aufzeichnungen oder 3D-Livestreams einer realen Person und auch Teilnehmer mit einem hohen Grad an Angst vor öffentlichen Ansprachen beziehungsweise Sprechen in der Öffentlichkeit.Introduction: Fear of public speaking is the most common social fear. Virtual reality (VR) training applications are a promising tool to improve public speaking skills. To be successful, applications should feature a high scenario fidelity. One way to improve it is to implement realistic speaker-audience interactive behavior. Objective: The study aimed to develop and evaluate a realistic and interactive audience for a VR public speaking training application. First, an observation study on real speaker-audience interactive behavior patterns was conducted. Second, identified patterns were implemented in the VR application. Finally, an evaluation study identified users’ perceptions of the training application. Observation Study (1): Because of the lack of data on real speaker-audience interactive behavior, the first research question to be answered was “What speaker-audience interaction patterns can be identified in real life?”. A structured, non-participant, overt observation study was conducted. A real audience was video recorded, and content analyzed. The sample resulted in N = 6,484 observed interaction patterns. It was found that speakers, more often than audience members, initiate dialogues and how audience members react to speakers’ facial expressions and gestures. Implementation Study (2): To find efficient ways of implementing the results of the observation study in the training application, the second research question was formulated as: “How can speaker-audience interaction patterns be implemented into the virtual public speaking application?”. The hardware setup comprised a CAVE, Infitec glasses, and ART head tracking. The software was realized with 3D-Excite RTT DeltaGen 12.2. To answer the second research question, several possible technical solutions were explored systematically, until efficient solutions were found. As a result, self-created audio recognition, Kinect motion recognition, Affectiva facial recognition, and manual question generation were implemented to provide interactive audience behavior in the public speaking training application. Evaluation Study (3): To find out if implementing interactive behavior patterns met users’ expectations, the third research question was formulated as “How does interactivity of a virtual public speaking application affect user experience?”. An experimental, cross-sectional user study was conducted with (N = 57) participants (65% men, 35% women; Mage = 25.98, SD = 4.68) who used either an interactive or a non-interactive VR application condition. Results revealed that there was a significant difference in users’ perception of the two conditions. General Conclusions: Speaker-audience interaction patterns that can be observed in real life were incorporated into a VR application that helps people to overcome the fear of public speaking and train their public speaking skills. The findings showed a high relevance of interactivity for VR public speaking applications. Although questions from the audience were still regulated manually, the newly designed audience could interact with the speakers. Thus, the presented VR application is of potential value in helping people to train their public speaking skills. The questions from the audience were still regulated manually by an operator and we conducted the study with participants not suffering from high degrees of public speaking fear. Future work may use more advanced technology, such as speech recognition, 3D-records, or live 3D-streams of an actual person and include participants with high degrees of public speaking fear

Risk and expression: Physical and material risk states in computational music practices

This research investigates qualities of physical and material risk within musical performance practices and the value that such properties may hold for less physical engagements afforded by computational instruments. The two studies designed for this research draw upon the experiences of practitioners directly, allowing them to speak about their creative processes, values, and priorities, and how risk and expressivity might factor into their practice. Through comparative studies, artifact design, in-depth discussions, and the application of Thematic Analysis I am able to share the perceptions and experiences of practitioners as they themselves describe. By identifying the value that physical and material risk, uncertainty, and the potential for failure play in the creative process we can potentially provide a compelling argument for the importance of such qualities in practices which do not naturally engage with them. Designing for risk and assessing the experiences of practitioners within the field of experimental media performance will contribute to a better understanding of the value of physical and corporeal materials within digital practices and present potential guidelines for the creation and use of new instruments for creative musical expression.Ph.D

Arts-Based Methods in Education Around the World

Arts-Based Methods in Education Around the World aims to investigate arts-based encounters in educational settings in response to a global need for studies that connect the cultural, inter-cultural, cross-cultural, and global elements of arts-based methods in education. In this extraordinary collection, contributions are collected from experts all over the world and involve a multiplicity of arts genres and traditions. These contributions bring together diverse cultural and educational perspectives and include a large variety of artistic genres and research methodologies.The topics covered in the book range from policies to pedagogies, from social impact to philosophical conceptualisations. They are informative on specific topics, but also offer a clear monitoring of the ways in which the general attention to the arts in education evolves through time

Arts-Based Methods in Education Around the World

Arts-Based Methods in Education Around the World aims to investigate arts-based encounters in educational settings in response to a global need for studies that connect the cultural, inter-cultural, cross-cultural, and global elements of arts-based methods in education. In this extraordinary collection, contributions are collected from experts all over the world and involve a multiplicity of arts genres and traditions. These contributions bring together diverse cultural and educational perspectives and include a large variety of artistic genres and research methodologies.The topics covered in the book range from policies to pedagogies, from social impact to philosophical conceptualisations. They are informative on specific topics, but also offer a clear monitoring of the ways in which the general attention to the arts in education evolves through time

Dynamics of Industrial Revolution 4.0: Digital Technology Transformation and Cultural Evolution

Dynamics of Industrial Revolution 4.0: Digital Technology Transformation and Cultural Evolution – Wulandari et al (eds) © 2021 The Author(s), ISBN 978-1-032-04451-4 Preface The 7th Bandung Creative Movement (BCM) held on 12 November 2020, live from Telkom Univer- sity in Bandung, gathered people from creative sectors dealing with creative industries and digital technology. Under the theme Dynamics of Industrial Revolution 4.0: Digital Technology Transformation and cultural evolution, 7th BCM discussed how the digital world and connectivity transformed in accordance with human needs and social culture. It also underlined how technology and community influence each other to continuous innovation by integrating aesthetic, emotional aspects, and culture with the latest technology. The conference examined issues on: • Aesthetic evolution in digital era. • How and to what extent does the digital technology influence environmental transformation? • What is the relation between Digital Technology and cultural evolution? How digital technology changes people behaviour and culture, and vice versa? • What is the importance of Creative Technology and data in the creative industry? • Discussion on innovation of Products, Creative industries management and marketing • Digital education for creative industries In response to the pandemic, issues related to covid-19 and digital technology were also discussed. How the creative world & digital technology respond and answer to the pandemic. The keynote speakers, that came from various backgrounds and from different countries, are: 1. Vichaya Mukdamanee, BFA, MFA, PhD, Silpakorn Thailand 2. Mumtaz Mokhtar (Assoc. Prof. Dr.) PhD, UiTM Malaysia 3. Florian Heinzelmann, PhD, Dipl.-Ing. (FH), M. Arch., SBA, SHAU Architecture and Urbanism, The Netherlands 4. Dr. Ira Wirasari, Telkom University, Indonesia The parallel session presented 64 papers coming from collaborative and individual works. All papers are divided into 7 sub themes as offered in this open access proceeding. We believe and hope that readers will find 7th BCM an enriching overview on digital creative world worth sharin