User quality of experience of mulsemedia applications

User Quality of Experience (QoE) is of fundamental importance in multimedia applications and has been extensively studied for decades. However, user QoE in the context of the emerging multiple-sensorial media (mulsemedia) services, which involve different media components than the traditional multimedia applications, have not been comprehensively studied. This article presents the results of subjective tests which have investigated user perception of mulsemedia content. In particular, the impact of intensity of certain mulsemedia components including haptic and airflow on user-perceived experience are studied. Results demonstrate that by making use of mulsemedia the overall user enjoyment levels increased by up to 77%

Design of a Virtual Reality Scenario and Scent Generator for Sensory Training

A thesis presented to the faculty of the Elmer R. Smith College of Business and Technology at Morehead State University in partial fulfillment of the requirements for the Degree of Master of Science by Yosselin Castro Islas on November 15, 2019

Exploring how to use virtual tours to create an interactive customer remote experience

This paper investigates the use of Virtual Reality (VR) to develop virtual tour applications for marketing purposes. The aim is to explore how virtual technologies can support the creation of knowledge about a specific food product and the achievement of user engagement by a multi-sensory virtual tour of the real production site. The study provides design guidelines to create a valuable, multisensory experience by VR tours and demonstrate how the adoption of a user-driven approach, instead of a technology-driven approach, allows to achieve a positive intention to buy. The case study was represented by one of the excellences among Italian food products, the Parmigiano Reggiano (PR) cheese. The PR virtual tour was validated by a user testing campaign, involving more than 70 users: users' reactions and feedback were collected by human physiological data monitoring and questionnaires' administration. The research results demonstrated how virtual technologies could effectively help people to create a solid knowledge about a food product to support the marketing process and to form an intention to buy thanks to a better understanding of the quality of the local and traditional productions

Mulsemedia: State of the art, perspectives, and challenges

Mulsemedia-multiple sensorial media-captures a wide variety of research efforts and applications. This article presents a historic perspective on mulsemedia work and reviews current developments in the area. These take place across the traditional multimedia spectrum-from virtual reality applications to computer games-as well as efforts in the arts, gastronomy, and therapy, to mention a few. We also describe standardization efforts, via the MPEG-V standard, and identify future developments and exciting challenges the community needs to overcome

Investigating the effects of odour integration in reading and learning experiences

Books are the tools used for reading novels and stories, but also for educational purposes. Conventional books have undergone a radical transformation in recent years due to the use of new technologies. However, even today the technological devices used for reading e-books are still poorly exploited, despite the fact that they represent a fundamental tool to make the reading experience more immersive by using a complete multisensory approach. In this perspective, one sense that represents an important element of human perception is the sense of smell. Consequently, authors make the hypothesis that the introduction of odours during reading sessions could increase the user experience and the learning performances. In order to demonstrate these hypotheses, the authors have defined and carried out several experimental testing sessions. The analysis of the collected data proved that the introduction of odour does not disturb the reader during reading activities but, on the contrary, can actually make the experience more immersive. Similarly, odours do not disturb studying activities, but they can instead increase the level of concentration and people's learning performance

Engaging customers before the trip: experimental analysis of the role of virtual and augmented reality in the creation of tourism pre-experiences

La llegada de las tecnologías de realidad-virtualidad está cambiando la forma en que los consumidores experimentan los entornos reales y virtuales. Las tecnologías inmersivas están siendo cada vez más usadas por parte de las empresas para dar forma a las experiencias de los consumidores. En concreto, la realidad aumentada (RA) y la realidad virtual (RV) están revolucionando la forma en que los turistas potenciales perciben y experimentan los productos y servicios turísticos. Especialmente, estas tecnologías pueden utilizarse para superar las características inherentes al turismo en la etapa previa a la experiencia (intangibilidad). En esta etapa las tecnologías inmersivas proporcionan a los turistas potenciales una información rica y experiencial que les permite evaluar el producto turístico en mejores condiciones, lo que les sitúa en una posición ventajosa para tomar decisiones más adecuadas.Centrándose en esta etapa, esta tesis doctoral tiene como objetivo principal analizar las dimensiones cognitivas, afectivas y comportamentales de las experiencias de los usuarios con la RA y la RV. En este sentido, los objetivos específicos de esta tesis doctoral son:1. Establecer las barreras conceptuales que definen a las diferentes realidades, tecnologías, y las experiencias de los consumidores con las tecnologías de realidad-virtualidad.2. Analizar los efectos de la integración tecnológica (technological embodiment) en las pre-experiencias turísticas con tecnologías inmersivas.3. Comparar los efectos de la RA y la RV en una pre-experiencia turística.4. Examinar los efectos del enriquecimiento sensorial de las pre-experiencias turísticas con RV.5. Analizar el impacto de las pre-experiencias inmersivas a lo largo de diferentes contextos turísticos.La revisión de la literatura realizada sobre el impacto de la RA/RV en el campo del turismo nos permite detectar diferentes tendencias. Cabe destacar el hecho de que la literatura inicial en esta temática es eminentemente teórica y que la mayor parte de los artículos han sido publicados en los últimos años. En la actualidad, se están realizando estudios tanto con RA como con RV, centrándose en las etapas de pre-experiencia y experiencia, usando mayoritariamente metodologías cuantitativas, e incrementando la variedad de contextos turísticos en los que se han estudiado estas tecnologías.En el marco teórico de la tesis doctoral se pretende superar las inconsistencias que existen en el uso de la terminología referente a las diferentes realidades y, considerando los desarrollos recientes, se procede a la actualización del continuo de realidad-virtualidad. De esta forma, se consideran los entornos reales y virtuales como los extremos del continuo. En esta última categoría se encuentra la RV, definida como entornos inmersivos generados mediante ordenador en los que los usuarios pueden navegar y posiblemente interactuar, produciéndose una estimulación de sus sentidos en tiempo real, lo que hace que se sientan presentes en el entorno mostrado. Entre estos extremos del continuo podemos encontrar otras realidades formadas por diferentes mezclas de realidad-virtualidad: RA, en la que los elementos digitales se superponen en el entorno real; virtualidad aumentada, en la que los elementos reales se superponen en el entorno virtual; y realidad mixta pura, en la que los usuarios se encuentran en el mundo real y el contenido digital está totalmente integrado en su entorno, por lo que los usuarios pueden interactuar con los elementos reales y virtuales, y estos elementos pueden interactuar entre ellos. Además, se analiza teóricamente cómo estas realidades pueden ser integradas durante las diferentes etapas del proceso de decisión de compra del consumidor para ofrecer experiencias memorables de mayor valor añadido. A continuación, se presenta el cubo EPI (Embodiment-Presence-Interactivity) que está constituido por tres dimensiones relacionadas con los elementos principales que forman parte de la interacción humano-tecnología: la integración tecnológica (technological embodiment; factor tecnológico), la percepción de presencia (factor humano) y la interactividad (factor comportamental). En primer lugar, la integración tecnológica es definida como estados en los que la tecnología se convierte en una extensión del cuerpo humano al estar cada vez más integrada con los sentidos humanos. Por su parte, la presencia es la percepción subjetiva de un ser humano de encontrarse en un lugar diferente al que realmente se encuentra. Por su parte, la interactividad comportamental se define como la capacidad del usuario de modificar (forma y contenido), así como recibir retroalimentación de sus acciones en la realidad en la que se encuentra. A lo largo de las diferentes caras y en el interior de cubo, las tecnologías actuales (y futuras) de realidad-virtualidad son colocadas de acuerdo a estas dimensiones. El cubo EPI es la base teórica en la que se fundamentan los análisis empíricos realizados.El primer estudio empírico de la tesis analiza cómo el grado de integración tecnológica afecta a las pre-experiencias de los consumidores con un destino turístico. Basándose en el modelo Estímulo-Organismo-Respuesta, se estudia como el nivel de integración tecnológica (estímulo) afecta a las percepciones de inmersión y la estimulación sensorial de los usuarios (organismo), y su posterior efecto en el engagement y las intenciones comportamentales hacia el destino mostrado (respuesta). Además, se analiza el efecto moderador del tipo de turismo (activo vs. pasivo). Los datos se recogieron de un experimento de laboratorio con 202 participantes, que pudieron ver un vídeo en 360 grados en el que se mostraba un destino turístico con dispositivos que difieren en su grado de integración tecnológica. Los resultados demuestran que los RV HMD (Head-Mounted Display) están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. El uso de RV HMD genera experiencias más inmersivas, una mayor estimulación sensorial, engagement, siendo este efecto no significativo en el caso de las intenciones comportamentales. La inmersión y la estimulación sensorial median el efecto del dispositivo en el engagement, mientras que en el caso de las intenciones comportamentales este efecto es mediado por la estimulación sensorial. Finalmente, los efectos de la integración tecnológica en la inmersión, estimulación sensorial y el engagement son mayores cuando se visualizan vídeos de turismo activo (en comparación a turismo pasivo).El segundo estudio se adentra en el análisis del impacto de la RV en la industria hotelera. Se considera el efecto de la integración tecnológica en las reacciones emocionales y en el engagement psicológico y comportamental. En el experimento realizado se pidió a 141 participantes que imaginaran que iban a visitar un destino y que estaban buscando un alojamiento. A continuación, tuvieron una pre-experiencia con una habitación de hotel (vídeo en 360 grados) con dispositivos que diferían en su grado de integración tecnológica. Los resultados vuelven a demostrar empíricamente que los RV HMD están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. Dispositivos más integrados corporalmente generan mayores reacciones emocionales, engagement psicológico y comportamental. Las reacciones emocionales median el efecto de la integración tecnológica en el engagement psicológico (no significativo en el caso del engagement comportamental). Finalmente, el engagement psicológico media el impacto de la integración tecnológica en el engagement comportamental. Ambos estudios ponen de manifiesto la importancia de la integración de la tecnología cuando se analizan las experiencias con tecnologías inmersivas, así como la existencia de un proceso afectivo subyacente en el uso de estas tecnologías.Una vez validado empíricamente el concepto de integración tecnológica, el siguiente estudio procede a comparar la eficacia de la RA y la RV en una pre-experiencia turística. Para realizar este análisis se considera el grado de presencia que genera el contenido visualizado, junto con el grado de integración tecnológica provocado por el dispositivo empleado, y que dan forma a las diferentes experiencias con RA y RV. Se llevó a cabo un experimento de laboratorio en el que 206 participantes tuvieron que imaginar que iban a visitar un destino y debían elegir alojamiento. Los participantes fueron asignados aleatoriamente a una de las condiciones experimentales en las que pudieron ver la habitación del hotel con diferentes combinaciones de contenidos (realista vs. digital) y dispositivos (HMD vs. smartphone). Los resultados vuelven a validar la clasificación de la integración tecnológica, estando los HMD más integrados que los smartphones. Por su parte, los contenidos realistas generan mayor presencia que los digitales. Los contenidos que se parecen al mundo real generan mayores percepciones de atractivo visual, facilitan la imaginación y fomentan las intenciones de reserva. El atractivo visual y la facilidad para imaginar median el impacto del contenido en las intenciones de reserva. Todos estos efectos son mayores cuando se usan HMD (en comparación a smartphones). Estos resultados ponen de manifiesto que la combinación de RV HMD con contenidos realistas es la más adecuada para mostrar un producto turístico.El último estudio empírico trata de adentrarse en el proceso de sensorialización de las experiencias digitales con las tecnologías inmersivas. Se analiza cómo la influencia combinada de los estímulos olfativos y los dispositivos de RV pueden mejorar la estimulación sensorial en el contexto de un destino turístico, y cómo esta estimulación sensorial afecta directamente (e indirectamente a través de la facilidad para imaginar) a las imágenes afectiva y comportamental del destino mostrado. Asimismo, se estudia cómo la congruencia de los olores con el contenido mostrado modera la influencia de la experiencia digital multisensorial en las respuestas afectivas y comportamentales. Se llevó a cabo un experimento en el que 263 participantes vieron un destino turístico usando una determinada tecnología (RV HMD vs. ordenador de sobremesa) en una habitación con diferentes tipos de olores (no olor vs. olor agradable y no congruente vs. olor agradable y congruente). Los resultados confirman que los dispositivos de RV integrados, junto con la incorporación de olores agradables y congruentes, mejoran la estimulación sensorial de la experiencia digital, que directamente (e indirectamente a través de la facilidad para imaginar) influye en las reacciones afectivas y comportamentales. Estas experiencias multisensoriales enriquecidas refuerzan el vínculo entre la imagen afectiva y comportamental del destino. Como conclusiones generales de la tesis doctoral, se clarifican las características que definen a las diferentes realidades, explorando cómo las tecnologías vinculadas a las mismas pueden ayudar en el desarrollo de experiencias del consumidor mejoradas. Asimismo, se establece un marco de referencia (cubo EPI) que permite clasificar a todas estas tecnologías. Los resultados de los estudios empíricos ponen de manifiesto la importancia de considerar la integración del dispositivo en las experiencias con tecnologías inmersivas. Cabe resaltar que estos estudios señalan la existencia de mecanismos subyacentes de carácter cognitivo y afectivo que tienen lugar durante las experiencias inmersivas y que afectan a las respuestas de los turistas potenciales. Además, los resultados de esta tesis enfatizan la importancia de proporcionar contenidos realistas a los turistas potenciales que, junto al uso de dispositivos integrados con los sentidos (HMD), son capaces de generar las pre-experiencias más efectivas. Finalmente, se resalta que la incorporación de olores agradables y congruentes con el destino mostrado es capaz de mejorar la estimulación sensorial durante la pre-experiencia digital, lo que fomenta las reacciones afectivas y comportamentales hacia el destino. A nivel teórico, la revisión de la literatura realizada permite obtener una visión general sobre los temas tratados en relación al impacto de la RA y la RV en la industria turística. Además, la versión actualizada del continuo realidad-virtualidad que se ha propuesto permite delimitar de forma conceptual las características inherentes a estas realidades. El cubo EPI supone la siguiente contribución teórica de la presente tesis doctoral, permitiendo clasificar a las tecnologías actuales (y potenciales) de realidad-virtualidad. Los resultados de los estudios empíricos señalan la importancia de incorporar la variable de integración tecnológica en los estudios con tecnologías inmersivas. Además, se debe considerar la ruta cognitiva y afectiva que tiene lugar con estas tecnologías. De igual forma, se contribuye a la literatura previa realizando el primer estudio que compara empíricamente a la RA y la RV, distinguiendo entre el tipo de contenido y dispositivo que dan forma a las experiencias con estas realidades. Finalmente, se ha contribuido a la literatura emergente sobre experiencias digitales multisensoriales al analizar cómo la incorporación de olores (y sus características específicas) puede mejorar las pre-experiencias turísticas con RV. A nivel práctico, la versión actualizada del continuo realidad-virtualidad permite a los profesionales de la industria de las TIC usar correctamente los términos y, de esta forma, aplicarlos correctamente en la denominación de las tecnologías derivadas de estas realidades y en las experiencias que pueden ofrecer con ellas. Por otra parte, el cubo EPI es una herramienta que permite a los gerentes elegir la tecnología más adecuada según su estrategia de marketing. Los resultados de los estudios empíricos realizados recomiendan a los gerentes turísticos tener en cuenta el grado de integración del dispositivo utilizado con los sentidos humanos (integración tecnológica). Específicamente, el uso de RV con dispositivos más integrados como HMD impulsa el engagement de los turistas potenciales en sus pre-experiencias. Igualmente, las agencias de viaje y los sitios web de reservas pueden utilizar esta tecnología para promocionar mejor los productos turísticos que ofrecen. En los eventos especiales (p. ej. ferias turísticas) el uso de RV HMD supondrá proporcionar experiencias inmersivas más valiosas entre los asistentes. El uso de contenidos realistas (p. ej. vídeos en 360 grados) junto a estas tecnologías supone la combinación más efectiva para la promoción de los productos turísticos. Además, la incorporación de estímulos sensoriales adicionales que complementen los que tradicionalmente proporciona la tecnología (audiovisuales), particularmente en el caso de la RV, supone un avance en la generación de experiencias digitales más similares a la realidad. Finalmente, se muestran las limitaciones generales de la tesis doctoral que ofrecen oportunidades para futuras líneas de investigación. Se propone la realización de experimentos de campo (p. ej. en agencias de viajes) incluyendo muestras más diversas, así como la inclusión de medidas de comportamiento real. Asimismo, futuras investigaciones podrían incluir estímulos sensoriales adicionales a los analizados (p. ej. táctiles y gustativos) para obtener una visión completa de las experiencias digitales multisensoriales con RV. Finalmente, se proporciona una agenda de investigación futura en la que se formulan preguntas en relación a cuatro vertientes: las realidades, la experiencia de los consumidores con las tecnologías inmersivas, el impacto de la RA y RV en el turismo, y la generación de experiencias digitales multisensoriales con las tecnologías inmersivas. La tesis doctoral finaliza reflexionando sobre cómo estas tecnologías pueden ayudar a la recuperación de la industria turística durante y tras la actual pandemia de COVID-19.<br /

Investigating the effects of odour integration in reading and learning experiences

Books are the tools used for reading novels and stories, but also for educational purposes. Conventional books have undergone a radical transformation in recent years due to the use of new technologies. However, even today the technological devices used for reading e-books are still poorly exploited, despite the fact that they represent a fundamental tool to make the reading experience more immersive by using a complete multisensory approach. In this perspective, one sense that represents an important element of human perception is the sense of smell. Consequently, authors make the hypothesis that the introduction of odours during reading sessions could increase the user experience and the learning performances. In order to demonstrate these hypotheses, the authors have defined and carried out several experimental testing sessions. The analysis of the collected data proved that the introduction of odour does not disturb the reader during reading activities but, on the contrary, can actually make the experience more immersive. Similarly, odours do not disturb studying activities, but they can instead increase the level of concentration and people's learning performance

The influence of scent on virtual reality experiences: The role of aroma-content congruence

We live in a multisensory world. Our experiences are constructed by the stimulation of all our senses. Nevertheless, digital interactions are mainly based on audiovisual elements, while other sensory stimuli have been less explored. Virtual reality (VR) is a sensory-enabling technology that facilitates the integration of sensory inputs to enhance multisensory digital experiences. This study analyzes how the addition of ambient scent to a VR experience affects digital pre-experiences in a service context (tourism). Results from a laboratory experiment confirmed that embodied VR devices, together with pleasant and congruent ambient scents, enhance sensory stimulation, which directly (and indirectly through ease of imagination) influence affective and behavioral reactions. These enriched multisensory experiences strengthen the link between the affective and conative images of destinations. We make recommendations for researchers and service providers with ambitions to deliver ambient scents, especially those congruent with displayed content, to enhance the sensorialization of digital VR experiences

An Introduction to 3D User Interface Design

3D user interface design is a critical component of any virtual environment (VE) application. In this paper, we present a broad overview of three-dimensional (3D) interaction and user interfaces. We discuss the effect of common VE hardware devices on user interaction, as well as interaction techniques for generic 3D tasks and the use of traditional two-dimensional interaction styles in 3D environments. We divide most user interaction tasks into three categories: navigation, selection/manipulation, and system control. Throughout the paper, our focus is on presenting not only the available techniques, but also practical guidelines for 3D interaction design and widely held myths. Finally, we briefly discuss two approaches to 3D interaction design, and some example applications with complex 3D interaction requirements. We also present an annotated online bibliography as a reference companion to this article