Collaborative immersive authoring tool for real-time creation of multisensory VR experiences

With the appearance of innovative virtual reality (VR) technologies, the need to create immersive content arose. Although there are already some non-immersive solutions to address immersive audio-visual content, there are no solutions that allow the creation of immersive multisensory content. This work proposes a novel architecture for a collaborative immersive tool that allows the creation of multisensory VR experiences in real-time, thus promoting the expeditious development, adoption, and use of immersive systems and enabling the building of custom-solutions that can be used in an intuitive manner to support organizations’ business initiatives. To validate the presented proposal, two approaches for the authoring tools (Desktop interface and Immersive interface) were subjected to a set of tests and evaluations consisting of a usability study that demonstrated not only the participants’ acceptance of the authoring tool but also the importance of using immersive interfaces for the creation of such VR experiences.info:eu-repo/semantics/publishedVersio

Engaging customers before the trip: experimental analysis of the role of virtual and augmented reality in the creation of tourism pre-experiences

La llegada de las tecnologías de realidad-virtualidad está cambiando la forma en que los consumidores experimentan los entornos reales y virtuales. Las tecnologías inmersivas están siendo cada vez más usadas por parte de las empresas para dar forma a las experiencias de los consumidores. En concreto, la realidad aumentada (RA) y la realidad virtual (RV) están revolucionando la forma en que los turistas potenciales perciben y experimentan los productos y servicios turísticos. Especialmente, estas tecnologías pueden utilizarse para superar las características inherentes al turismo en la etapa previa a la experiencia (intangibilidad). En esta etapa las tecnologías inmersivas proporcionan a los turistas potenciales una información rica y experiencial que les permite evaluar el producto turístico en mejores condiciones, lo que les sitúa en una posición ventajosa para tomar decisiones más adecuadas.Centrándose en esta etapa, esta tesis doctoral tiene como objetivo principal analizar las dimensiones cognitivas, afectivas y comportamentales de las experiencias de los usuarios con la RA y la RV. En este sentido, los objetivos específicos de esta tesis doctoral son:1. Establecer las barreras conceptuales que definen a las diferentes realidades, tecnologías, y las experiencias de los consumidores con las tecnologías de realidad-virtualidad.2. Analizar los efectos de la integración tecnológica (technological embodiment) en las pre-experiencias turísticas con tecnologías inmersivas.3. Comparar los efectos de la RA y la RV en una pre-experiencia turística.4. Examinar los efectos del enriquecimiento sensorial de las pre-experiencias turísticas con RV.5. Analizar el impacto de las pre-experiencias inmersivas a lo largo de diferentes contextos turísticos.La revisión de la literatura realizada sobre el impacto de la RA/RV en el campo del turismo nos permite detectar diferentes tendencias. Cabe destacar el hecho de que la literatura inicial en esta temática es eminentemente teórica y que la mayor parte de los artículos han sido publicados en los últimos años. En la actualidad, se están realizando estudios tanto con RA como con RV, centrándose en las etapas de pre-experiencia y experiencia, usando mayoritariamente metodologías cuantitativas, e incrementando la variedad de contextos turísticos en los que se han estudiado estas tecnologías.En el marco teórico de la tesis doctoral se pretende superar las inconsistencias que existen en el uso de la terminología referente a las diferentes realidades y, considerando los desarrollos recientes, se procede a la actualización del continuo de realidad-virtualidad. De esta forma, se consideran los entornos reales y virtuales como los extremos del continuo. En esta última categoría se encuentra la RV, definida como entornos inmersivos generados mediante ordenador en los que los usuarios pueden navegar y posiblemente interactuar, produciéndose una estimulación de sus sentidos en tiempo real, lo que hace que se sientan presentes en el entorno mostrado. Entre estos extremos del continuo podemos encontrar otras realidades formadas por diferentes mezclas de realidad-virtualidad: RA, en la que los elementos digitales se superponen en el entorno real; virtualidad aumentada, en la que los elementos reales se superponen en el entorno virtual; y realidad mixta pura, en la que los usuarios se encuentran en el mundo real y el contenido digital está totalmente integrado en su entorno, por lo que los usuarios pueden interactuar con los elementos reales y virtuales, y estos elementos pueden interactuar entre ellos. Además, se analiza teóricamente cómo estas realidades pueden ser integradas durante las diferentes etapas del proceso de decisión de compra del consumidor para ofrecer experiencias memorables de mayor valor añadido. A continuación, se presenta el cubo EPI (Embodiment-Presence-Interactivity) que está constituido por tres dimensiones relacionadas con los elementos principales que forman parte de la interacción humano-tecnología: la integración tecnológica (technological embodiment; factor tecnológico), la percepción de presencia (factor humano) y la interactividad (factor comportamental). En primer lugar, la integración tecnológica es definida como estados en los que la tecnología se convierte en una extensión del cuerpo humano al estar cada vez más integrada con los sentidos humanos. Por su parte, la presencia es la percepción subjetiva de un ser humano de encontrarse en un lugar diferente al que realmente se encuentra. Por su parte, la interactividad comportamental se define como la capacidad del usuario de modificar (forma y contenido), así como recibir retroalimentación de sus acciones en la realidad en la que se encuentra. A lo largo de las diferentes caras y en el interior de cubo, las tecnologías actuales (y futuras) de realidad-virtualidad son colocadas de acuerdo a estas dimensiones. El cubo EPI es la base teórica en la que se fundamentan los análisis empíricos realizados.El primer estudio empírico de la tesis analiza cómo el grado de integración tecnológica afecta a las pre-experiencias de los consumidores con un destino turístico. Basándose en el modelo Estímulo-Organismo-Respuesta, se estudia como el nivel de integración tecnológica (estímulo) afecta a las percepciones de inmersión y la estimulación sensorial de los usuarios (organismo), y su posterior efecto en el engagement y las intenciones comportamentales hacia el destino mostrado (respuesta). Además, se analiza el efecto moderador del tipo de turismo (activo vs. pasivo). Los datos se recogieron de un experimento de laboratorio con 202 participantes, que pudieron ver un vídeo en 360 grados en el que se mostraba un destino turístico con dispositivos que difieren en su grado de integración tecnológica. Los resultados demuestran que los RV HMD (Head-Mounted Display) están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. El uso de RV HMD genera experiencias más inmersivas, una mayor estimulación sensorial, engagement, siendo este efecto no significativo en el caso de las intenciones comportamentales. La inmersión y la estimulación sensorial median el efecto del dispositivo en el engagement, mientras que en el caso de las intenciones comportamentales este efecto es mediado por la estimulación sensorial. Finalmente, los efectos de la integración tecnológica en la inmersión, estimulación sensorial y el engagement son mayores cuando se visualizan vídeos de turismo activo (en comparación a turismo pasivo).El segundo estudio se adentra en el análisis del impacto de la RV en la industria hotelera. Se considera el efecto de la integración tecnológica en las reacciones emocionales y en el engagement psicológico y comportamental. En el experimento realizado se pidió a 141 participantes que imaginaran que iban a visitar un destino y que estaban buscando un alojamiento. A continuación, tuvieron una pre-experiencia con una habitación de hotel (vídeo en 360 grados) con dispositivos que diferían en su grado de integración tecnológica. Los resultados vuelven a demostrar empíricamente que los RV HMD están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. Dispositivos más integrados corporalmente generan mayores reacciones emocionales, engagement psicológico y comportamental. Las reacciones emocionales median el efecto de la integración tecnológica en el engagement psicológico (no significativo en el caso del engagement comportamental). Finalmente, el engagement psicológico media el impacto de la integración tecnológica en el engagement comportamental. Ambos estudios ponen de manifiesto la importancia de la integración de la tecnología cuando se analizan las experiencias con tecnologías inmersivas, así como la existencia de un proceso afectivo subyacente en el uso de estas tecnologías.Una vez validado empíricamente el concepto de integración tecnológica, el siguiente estudio procede a comparar la eficacia de la RA y la RV en una pre-experiencia turística. Para realizar este análisis se considera el grado de presencia que genera el contenido visualizado, junto con el grado de integración tecnológica provocado por el dispositivo empleado, y que dan forma a las diferentes experiencias con RA y RV. Se llevó a cabo un experimento de laboratorio en el que 206 participantes tuvieron que imaginar que iban a visitar un destino y debían elegir alojamiento. Los participantes fueron asignados aleatoriamente a una de las condiciones experimentales en las que pudieron ver la habitación del hotel con diferentes combinaciones de contenidos (realista vs. digital) y dispositivos (HMD vs. smartphone). Los resultados vuelven a validar la clasificación de la integración tecnológica, estando los HMD más integrados que los smartphones. Por su parte, los contenidos realistas generan mayor presencia que los digitales. Los contenidos que se parecen al mundo real generan mayores percepciones de atractivo visual, facilitan la imaginación y fomentan las intenciones de reserva. El atractivo visual y la facilidad para imaginar median el impacto del contenido en las intenciones de reserva. Todos estos efectos son mayores cuando se usan HMD (en comparación a smartphones). Estos resultados ponen de manifiesto que la combinación de RV HMD con contenidos realistas es la más adecuada para mostrar un producto turístico.El último estudio empírico trata de adentrarse en el proceso de sensorialización de las experiencias digitales con las tecnologías inmersivas. Se analiza cómo la influencia combinada de los estímulos olfativos y los dispositivos de RV pueden mejorar la estimulación sensorial en el contexto de un destino turístico, y cómo esta estimulación sensorial afecta directamente (e indirectamente a través de la facilidad para imaginar) a las imágenes afectiva y comportamental del destino mostrado. Asimismo, se estudia cómo la congruencia de los olores con el contenido mostrado modera la influencia de la experiencia digital multisensorial en las respuestas afectivas y comportamentales. Se llevó a cabo un experimento en el que 263 participantes vieron un destino turístico usando una determinada tecnología (RV HMD vs. ordenador de sobremesa) en una habitación con diferentes tipos de olores (no olor vs. olor agradable y no congruente vs. olor agradable y congruente). Los resultados confirman que los dispositivos de RV integrados, junto con la incorporación de olores agradables y congruentes, mejoran la estimulación sensorial de la experiencia digital, que directamente (e indirectamente a través de la facilidad para imaginar) influye en las reacciones afectivas y comportamentales. Estas experiencias multisensoriales enriquecidas refuerzan el vínculo entre la imagen afectiva y comportamental del destino. Como conclusiones generales de la tesis doctoral, se clarifican las características que definen a las diferentes realidades, explorando cómo las tecnologías vinculadas a las mismas pueden ayudar en el desarrollo de experiencias del consumidor mejoradas. Asimismo, se establece un marco de referencia (cubo EPI) que permite clasificar a todas estas tecnologías. Los resultados de los estudios empíricos ponen de manifiesto la importancia de considerar la integración del dispositivo en las experiencias con tecnologías inmersivas. Cabe resaltar que estos estudios señalan la existencia de mecanismos subyacentes de carácter cognitivo y afectivo que tienen lugar durante las experiencias inmersivas y que afectan a las respuestas de los turistas potenciales. Además, los resultados de esta tesis enfatizan la importancia de proporcionar contenidos realistas a los turistas potenciales que, junto al uso de dispositivos integrados con los sentidos (HMD), son capaces de generar las pre-experiencias más efectivas. Finalmente, se resalta que la incorporación de olores agradables y congruentes con el destino mostrado es capaz de mejorar la estimulación sensorial durante la pre-experiencia digital, lo que fomenta las reacciones afectivas y comportamentales hacia el destino. A nivel teórico, la revisión de la literatura realizada permite obtener una visión general sobre los temas tratados en relación al impacto de la RA y la RV en la industria turística. Además, la versión actualizada del continuo realidad-virtualidad que se ha propuesto permite delimitar de forma conceptual las características inherentes a estas realidades. El cubo EPI supone la siguiente contribución teórica de la presente tesis doctoral, permitiendo clasificar a las tecnologías actuales (y potenciales) de realidad-virtualidad. Los resultados de los estudios empíricos señalan la importancia de incorporar la variable de integración tecnológica en los estudios con tecnologías inmersivas. Además, se debe considerar la ruta cognitiva y afectiva que tiene lugar con estas tecnologías. De igual forma, se contribuye a la literatura previa realizando el primer estudio que compara empíricamente a la RA y la RV, distinguiendo entre el tipo de contenido y dispositivo que dan forma a las experiencias con estas realidades. Finalmente, se ha contribuido a la literatura emergente sobre experiencias digitales multisensoriales al analizar cómo la incorporación de olores (y sus características específicas) puede mejorar las pre-experiencias turísticas con RV. A nivel práctico, la versión actualizada del continuo realidad-virtualidad permite a los profesionales de la industria de las TIC usar correctamente los términos y, de esta forma, aplicarlos correctamente en la denominación de las tecnologías derivadas de estas realidades y en las experiencias que pueden ofrecer con ellas. Por otra parte, el cubo EPI es una herramienta que permite a los gerentes elegir la tecnología más adecuada según su estrategia de marketing. Los resultados de los estudios empíricos realizados recomiendan a los gerentes turísticos tener en cuenta el grado de integración del dispositivo utilizado con los sentidos humanos (integración tecnológica). Específicamente, el uso de RV con dispositivos más integrados como HMD impulsa el engagement de los turistas potenciales en sus pre-experiencias. Igualmente, las agencias de viaje y los sitios web de reservas pueden utilizar esta tecnología para promocionar mejor los productos turísticos que ofrecen. En los eventos especiales (p. ej. ferias turísticas) el uso de RV HMD supondrá proporcionar experiencias inmersivas más valiosas entre los asistentes. El uso de contenidos realistas (p. ej. vídeos en 360 grados) junto a estas tecnologías supone la combinación más efectiva para la promoción de los productos turísticos. Además, la incorporación de estímulos sensoriales adicionales que complementen los que tradicionalmente proporciona la tecnología (audiovisuales), particularmente en el caso de la RV, supone un avance en la generación de experiencias digitales más similares a la realidad. Finalmente, se muestran las limitaciones generales de la tesis doctoral que ofrecen oportunidades para futuras líneas de investigación. Se propone la realización de experimentos de campo (p. ej. en agencias de viajes) incluyendo muestras más diversas, así como la inclusión de medidas de comportamiento real. Asimismo, futuras investigaciones podrían incluir estímulos sensoriales adicionales a los analizados (p. ej. táctiles y gustativos) para obtener una visión completa de las experiencias digitales multisensoriales con RV. Finalmente, se proporciona una agenda de investigación futura en la que se formulan preguntas en relación a cuatro vertientes: las realidades, la experiencia de los consumidores con las tecnologías inmersivas, el impacto de la RA y RV en el turismo, y la generación de experiencias digitales multisensoriales con las tecnologías inmersivas. La tesis doctoral finaliza reflexionando sobre cómo estas tecnologías pueden ayudar a la recuperación de la industria turística durante y tras la actual pandemia de COVID-19.<br /

The influence of human factors on 360∘ mulsemedia QoE

Quality of Experience (QoE) is indelibly linked to the human side of the multimedia experience. Surprisingly, however, there is a paucity of research which explores the impact that human factors has in determining QoE. Whilst this is true of multimedia, it is even more starkly so as far as mulsemedia - applications that involve media engaging three or more of human senses - is concerned. Hence, in the study reported in this paper, we focus on an exciting subset of mulsemedia applications - 360∘ mulsemedia - particularly important given that the upcoming 5G technology is foreseen to be a key enabler for the proliferation of immersive Virtual Reality (VR) applications. Accordingly, we study the impact that human factors such as gender, age, prior computing experience, and smell sensitivity have on 360∘ mulsemedia QoE. Results showed insight into the potential of 360∘ mulsemedia to inspire and to enrich experiences for Generation Z - a generation empowered by rapidly advancing technology. Patterns of prior media usage and smell sensitivity play also an important role in influencing the QoE evaluation - users who have a preference for dynamic videos enjoy and find realistic the 360∘ mulsemedia experiences

Immersive Authoring of 360 Degree Interactive Applications

Although there are proposals in the literature for authoring mulsemedia (mul tiple se nsorial media) applications with 2D content, there are no suitable solutions when it comes to 360° content. Moreover, little consensus on 360° mulsemedia authoring methodology exists. Aiming at filling this gap, we propose the concept of immersive authoring of 360° multisensory applications. Our proposal comprises an immersive 360° authoring environment to bring the author closer to the final user presentation environment. We implemented our proposal in AMUSEVR, a virtual-reality (VR) environment for authoring 360° mulsemedia applications. We see it as an alternative or a possible complement to available 2D mulsemedia authoring tools. AMUSEVR provides creation and editing of interactive multiple sensorial media scenes by directly arranging objects in a 3D space using VR technology. Also, the tool allows users to run their applications through AMUSEVR viewer mode. We used the Goal Question Metric (GQM) approach to plan our tests and a group of users evaluated the tool with the SUS and UEQ questionnaires, obtaining a SUS score of 82.25 and an excellent UEQ benchmark, which are very promising results.10.13039/501100002322-Brazilian National Council for Scientific and Technological Development (CNPq), Carlos Chagas Filho Foundation for Research Support in the State of Rio de Janeiro (FAPERJ), Coordination for the Improvement of Higher Education Personnel (CAPES), and Program for Institutional Internationalization (CAPES PrInt

Potential applications for virtual and augmented reality technologies in sensory science

peer-reviewedSensory science has advanced significantly in the past decade and is quickly evolving to become a key tool for predicting food product success in the marketplace. Increasingly, sensory data techniques are moving towards more dynamic aspects of sensory perception, taking account of the various stages of user-product interactions. Recent technological advancements in virtual reality and augmented reality have unlocked the potential for new immersive and interactive systems which could be applied as powerful tools for capturing and deciphering the complexities of human sensory perception. This paper reviews recent advancements in virtual and augmented reality technologies and identifies and explores their potential application within the field of sensory science. The paper also considers the possible benefits for the food industry as well as key challenges posed for widespread adoption. The findings indicate that these technologies have the potential to alter the research landscape in sensory science by facilitating promising innovations in five principal areas: consumption context, biometrics, food structure and texture, sensory marketing and augmenting sensory perception. Although the advent of augmented and virtual reality in sensory science offers new exciting developments, the exploitation of these technologies is in its infancy and future research will understand how they can be fully integrated with food and human responses. Industrial relevance: The need for sensory evaluation within the food industry is becoming increasingly complex as companies continuously compete for consumer product acceptance in today's highly innovative and global food environment. Recent technological developments in virtual and augmented reality offer the food industry new opportunities for generating more reliable insights into consumer sensory perceptions of food and beverages, contributing to the design and development of new products with optimised consumer benefits. These technologies also hold significant potential for improving the predictive validity of newly launched products within the marketplace

A rapid prototyping tool to produce 360° video-based immersive experiences enhanced with virtual/multimedia elements

While the popularity of virtual reality (VR) grows in a wide range of application contexts – e.g. entertainment, training, cultural heritage and medicine –, its economic impact is expected to reach around 15bn USD, by the year of 2020. Within VR field, 360° video has been sparking the interest of development and research communities. However, editing tools supporting 360° panoramas are usually expensive and/or demand programming skills and/or advanced user knowledge. Besides, application approaches to quickly and intuitively set up such 360° video-based VR environments complemented with diverse types of parameterizable virtual assets and multimedia elements are still hard to find. Thereby, this paper aims to propose a system specification to simply and rapidly configure immersive VR environments composed of surrounding 360° video spheres that can be complemented with parameterizable multimedia contents – namely 3D models, text and spatial sound –, whose behavior can be either time-range or user-interaction dependent. Moreover, a preliminary prototype that follows a substantial part of the previously mentioned specification and implements the enhancement of 360° videos with time-range dependent virtual assets is presented. Preliminary tests evaluating usability and user satisfaction were also carried out with 30 participants, from which encouraging results were achieved.This work was financed by project “CHIC – Cooperative Holistic View on Internet and Content” (N° 24498), financed the European Regional Development Fund (ERDF) through COMPETE2020 - the Operational Programme for Competitiveness and Internationalisation (OPCI)

Is the World After All Just a Dream?

DocPerform is a multi and interdisciplinary research project based at City, University of London. Led by members of the Department of Library & Information Science, it comprises scholars and practitioners from the fields of performing arts and library & information science. The project concerns conceptual, methodological and technological innovations in the documentation of performance, and the extent to which performance may itself be considered to be a document. The collection of papers in this special issue of Proceedings from the Document Academy are selected from the second DocPerform Symposium, held at City, University of London, 6–7 November 2017. This editorial introduces those papers and provides disciplinary and historical context for DocPerform

Ecological Validity of Immersive Virtual Reality (IVR) Techniques for the Perception of Urban Sound Environments

Immersive Virtual Reality (IVR) is a simulated technology used to deliver multisensory information to people under different environmental conditions. When IVR is generally applied in urban planning and soundscape research, it reveals attractive possibilities for the assessment of urban sound environments with higher immersion for human participation. In virtual sound environments, various topics and measures are designed to collect subjective responses from participants under simulated laboratory conditions. Soundscape or noise assessment studies during virtual experiences adopt an evaluation approach similar to in situ methods. This paper aims to review the approaches that are utilized to assess the ecological validity of IVR for the perception of urban sound environments and the necessary technologies during audio–visual reproduction to establish a dynamic IVR experience that ensures ecological validity. The review shows that, through the use of laboratory tests including subjective response surveys, cognitive performance tests and physiological responses, the ecological validity of IVR can be assessed for the perception of urban sound environments. The reproduction system with head-tracking functions synchronizing spatial audio and visual stimuli (e.g., head-mounted displays (HMDs) with first-order Ambisonics (FOA)-tracked binaural playback) represents the prevailing trend to achieve high ecological validity. These studies potentially contribute to the outcomes of a normalized evaluation framework for subjective soundscape and noise assessments in virtual environment

Proprioceptive accuracy in Immersive Virtual Reality: A developmental perspective

Proprioceptive development relies on a variety of sensory inputs, among which vision is hugely dominant. Focusing on the developmental trajectory underpinning the integration of vision and proprioception, the present research explores how this integration is involved in interactions with Immersive Virtual Reality (IVR) by examining how proprioceptive accuracy is affected by Age, Perception, and Environment. Individuals from 4 to 43 years old completed a self-turning task which asked them to manually return to a previous location with different sensory modalities available in both IVR and reality. Results were interpreted from an exploratory perspective using Bayesian model comparison analysis, which allows the phenomena to be described using probabilistic statements rather than simplified reject/not-reject decisions. The most plausible model showed that 4\u20138-year-old children can generally be expected to make more proprioceptive errors than older children and adults. Across age groups, proprioceptive accuracy is higher when vision is available, and is disrupted in the visual environment provided by the IVR headset. We can conclude that proprioceptive accuracy mostly develops during the first eight years of life and that it relies largely on vision. Moreover, our findings indicate that this proprioceptive accuracy can be disrupted by the use of an IVR headset

Experiential media and transforming storytelling: A theoretical analysis

Journalism and media content rests on a foundation of storytelling. Shaping this storytelling is the quality of the medium of content delivery and the nature of public engagement. With the development of digital, networked media, the audience’s role is transforming to be more of an active user who experiences stories as a participant rather than as a passive receiver of content. This article proposes a new model of experiential media based on six primary qualities of the digital environment. These qualities are 1) interactivity, 2) immersion, 3) multi-sensory presentation, 4) algorithmic and data-driven, 5) first-person perspective, and 6) a natural user interface. Augmented reality and virtual reality are among the most-widely discussed experiential media forms, but others include, for instance, advanced ultra-high-definition video. Experiential media bring implications for the nature, production, impact and the future of mediated storytelling