Engaging customers before the trip: experimental analysis of the role of virtual and augmented reality in the creation of tourism pre-experiences

La llegada de las tecnologías de realidad-virtualidad está cambiando la forma en que los consumidores experimentan los entornos reales y virtuales. Las tecnologías inmersivas están siendo cada vez más usadas por parte de las empresas para dar forma a las experiencias de los consumidores. En concreto, la realidad aumentada (RA) y la realidad virtual (RV) están revolucionando la forma en que los turistas potenciales perciben y experimentan los productos y servicios turísticos. Especialmente, estas tecnologías pueden utilizarse para superar las características inherentes al turismo en la etapa previa a la experiencia (intangibilidad). En esta etapa las tecnologías inmersivas proporcionan a los turistas potenciales una información rica y experiencial que les permite evaluar el producto turístico en mejores condiciones, lo que les sitúa en una posición ventajosa para tomar decisiones más adecuadas.Centrándose en esta etapa, esta tesis doctoral tiene como objetivo principal analizar las dimensiones cognitivas, afectivas y comportamentales de las experiencias de los usuarios con la RA y la RV. En este sentido, los objetivos específicos de esta tesis doctoral son:1. Establecer las barreras conceptuales que definen a las diferentes realidades, tecnologías, y las experiencias de los consumidores con las tecnologías de realidad-virtualidad.2. Analizar los efectos de la integración tecnológica (technological embodiment) en las pre-experiencias turísticas con tecnologías inmersivas.3. Comparar los efectos de la RA y la RV en una pre-experiencia turística.4. Examinar los efectos del enriquecimiento sensorial de las pre-experiencias turísticas con RV.5. Analizar el impacto de las pre-experiencias inmersivas a lo largo de diferentes contextos turísticos.La revisión de la literatura realizada sobre el impacto de la RA/RV en el campo del turismo nos permite detectar diferentes tendencias. Cabe destacar el hecho de que la literatura inicial en esta temática es eminentemente teórica y que la mayor parte de los artículos han sido publicados en los últimos años. En la actualidad, se están realizando estudios tanto con RA como con RV, centrándose en las etapas de pre-experiencia y experiencia, usando mayoritariamente metodologías cuantitativas, e incrementando la variedad de contextos turísticos en los que se han estudiado estas tecnologías.En el marco teórico de la tesis doctoral se pretende superar las inconsistencias que existen en el uso de la terminología referente a las diferentes realidades y, considerando los desarrollos recientes, se procede a la actualización del continuo de realidad-virtualidad. De esta forma, se consideran los entornos reales y virtuales como los extremos del continuo. En esta última categoría se encuentra la RV, definida como entornos inmersivos generados mediante ordenador en los que los usuarios pueden navegar y posiblemente interactuar, produciéndose una estimulación de sus sentidos en tiempo real, lo que hace que se sientan presentes en el entorno mostrado. Entre estos extremos del continuo podemos encontrar otras realidades formadas por diferentes mezclas de realidad-virtualidad: RA, en la que los elementos digitales se superponen en el entorno real; virtualidad aumentada, en la que los elementos reales se superponen en el entorno virtual; y realidad mixta pura, en la que los usuarios se encuentran en el mundo real y el contenido digital está totalmente integrado en su entorno, por lo que los usuarios pueden interactuar con los elementos reales y virtuales, y estos elementos pueden interactuar entre ellos. Además, se analiza teóricamente cómo estas realidades pueden ser integradas durante las diferentes etapas del proceso de decisión de compra del consumidor para ofrecer experiencias memorables de mayor valor añadido. A continuación, se presenta el cubo EPI (Embodiment-Presence-Interactivity) que está constituido por tres dimensiones relacionadas con los elementos principales que forman parte de la interacción humano-tecnología: la integración tecnológica (technological embodiment; factor tecnológico), la percepción de presencia (factor humano) y la interactividad (factor comportamental). En primer lugar, la integración tecnológica es definida como estados en los que la tecnología se convierte en una extensión del cuerpo humano al estar cada vez más integrada con los sentidos humanos. Por su parte, la presencia es la percepción subjetiva de un ser humano de encontrarse en un lugar diferente al que realmente se encuentra. Por su parte, la interactividad comportamental se define como la capacidad del usuario de modificar (forma y contenido), así como recibir retroalimentación de sus acciones en la realidad en la que se encuentra. A lo largo de las diferentes caras y en el interior de cubo, las tecnologías actuales (y futuras) de realidad-virtualidad son colocadas de acuerdo a estas dimensiones. El cubo EPI es la base teórica en la que se fundamentan los análisis empíricos realizados.El primer estudio empírico de la tesis analiza cómo el grado de integración tecnológica afecta a las pre-experiencias de los consumidores con un destino turístico. Basándose en el modelo Estímulo-Organismo-Respuesta, se estudia como el nivel de integración tecnológica (estímulo) afecta a las percepciones de inmersión y la estimulación sensorial de los usuarios (organismo), y su posterior efecto en el engagement y las intenciones comportamentales hacia el destino mostrado (respuesta). Además, se analiza el efecto moderador del tipo de turismo (activo vs. pasivo). Los datos se recogieron de un experimento de laboratorio con 202 participantes, que pudieron ver un vídeo en 360 grados en el que se mostraba un destino turístico con dispositivos que difieren en su grado de integración tecnológica. Los resultados demuestran que los RV HMD (Head-Mounted Display) están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. El uso de RV HMD genera experiencias más inmersivas, una mayor estimulación sensorial, engagement, siendo este efecto no significativo en el caso de las intenciones comportamentales. La inmersión y la estimulación sensorial median el efecto del dispositivo en el engagement, mientras que en el caso de las intenciones comportamentales este efecto es mediado por la estimulación sensorial. Finalmente, los efectos de la integración tecnológica en la inmersión, estimulación sensorial y el engagement son mayores cuando se visualizan vídeos de turismo activo (en comparación a turismo pasivo).El segundo estudio se adentra en el análisis del impacto de la RV en la industria hotelera. Se considera el efecto de la integración tecnológica en las reacciones emocionales y en el engagement psicológico y comportamental. En el experimento realizado se pidió a 141 participantes que imaginaran que iban a visitar un destino y que estaban buscando un alojamiento. A continuación, tuvieron una pre-experiencia con una habitación de hotel (vídeo en 360 grados) con dispositivos que diferían en su grado de integración tecnológica. Los resultados vuelven a demostrar empíricamente que los RV HMD están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. Dispositivos más integrados corporalmente generan mayores reacciones emocionales, engagement psicológico y comportamental. Las reacciones emocionales median el efecto de la integración tecnológica en el engagement psicológico (no significativo en el caso del engagement comportamental). Finalmente, el engagement psicológico media el impacto de la integración tecnológica en el engagement comportamental. Ambos estudios ponen de manifiesto la importancia de la integración de la tecnología cuando se analizan las experiencias con tecnologías inmersivas, así como la existencia de un proceso afectivo subyacente en el uso de estas tecnologías.Una vez validado empíricamente el concepto de integración tecnológica, el siguiente estudio procede a comparar la eficacia de la RA y la RV en una pre-experiencia turística. Para realizar este análisis se considera el grado de presencia que genera el contenido visualizado, junto con el grado de integración tecnológica provocado por el dispositivo empleado, y que dan forma a las diferentes experiencias con RA y RV. Se llevó a cabo un experimento de laboratorio en el que 206 participantes tuvieron que imaginar que iban a visitar un destino y debían elegir alojamiento. Los participantes fueron asignados aleatoriamente a una de las condiciones experimentales en las que pudieron ver la habitación del hotel con diferentes combinaciones de contenidos (realista vs. digital) y dispositivos (HMD vs. smartphone). Los resultados vuelven a validar la clasificación de la integración tecnológica, estando los HMD más integrados que los smartphones. Por su parte, los contenidos realistas generan mayor presencia que los digitales. Los contenidos que se parecen al mundo real generan mayores percepciones de atractivo visual, facilitan la imaginación y fomentan las intenciones de reserva. El atractivo visual y la facilidad para imaginar median el impacto del contenido en las intenciones de reserva. Todos estos efectos son mayores cuando se usan HMD (en comparación a smartphones). Estos resultados ponen de manifiesto que la combinación de RV HMD con contenidos realistas es la más adecuada para mostrar un producto turístico.El último estudio empírico trata de adentrarse en el proceso de sensorialización de las experiencias digitales con las tecnologías inmersivas. Se analiza cómo la influencia combinada de los estímulos olfativos y los dispositivos de RV pueden mejorar la estimulación sensorial en el contexto de un destino turístico, y cómo esta estimulación sensorial afecta directamente (e indirectamente a través de la facilidad para imaginar) a las imágenes afectiva y comportamental del destino mostrado. Asimismo, se estudia cómo la congruencia de los olores con el contenido mostrado modera la influencia de la experiencia digital multisensorial en las respuestas afectivas y comportamentales. Se llevó a cabo un experimento en el que 263 participantes vieron un destino turístico usando una determinada tecnología (RV HMD vs. ordenador de sobremesa) en una habitación con diferentes tipos de olores (no olor vs. olor agradable y no congruente vs. olor agradable y congruente). Los resultados confirman que los dispositivos de RV integrados, junto con la incorporación de olores agradables y congruentes, mejoran la estimulación sensorial de la experiencia digital, que directamente (e indirectamente a través de la facilidad para imaginar) influye en las reacciones afectivas y comportamentales. Estas experiencias multisensoriales enriquecidas refuerzan el vínculo entre la imagen afectiva y comportamental del destino. Como conclusiones generales de la tesis doctoral, se clarifican las características que definen a las diferentes realidades, explorando cómo las tecnologías vinculadas a las mismas pueden ayudar en el desarrollo de experiencias del consumidor mejoradas. Asimismo, se establece un marco de referencia (cubo EPI) que permite clasificar a todas estas tecnologías. Los resultados de los estudios empíricos ponen de manifiesto la importancia de considerar la integración del dispositivo en las experiencias con tecnologías inmersivas. Cabe resaltar que estos estudios señalan la existencia de mecanismos subyacentes de carácter cognitivo y afectivo que tienen lugar durante las experiencias inmersivas y que afectan a las respuestas de los turistas potenciales. Además, los resultados de esta tesis enfatizan la importancia de proporcionar contenidos realistas a los turistas potenciales que, junto al uso de dispositivos integrados con los sentidos (HMD), son capaces de generar las pre-experiencias más efectivas. Finalmente, se resalta que la incorporación de olores agradables y congruentes con el destino mostrado es capaz de mejorar la estimulación sensorial durante la pre-experiencia digital, lo que fomenta las reacciones afectivas y comportamentales hacia el destino. A nivel teórico, la revisión de la literatura realizada permite obtener una visión general sobre los temas tratados en relación al impacto de la RA y la RV en la industria turística. Además, la versión actualizada del continuo realidad-virtualidad que se ha propuesto permite delimitar de forma conceptual las características inherentes a estas realidades. El cubo EPI supone la siguiente contribución teórica de la presente tesis doctoral, permitiendo clasificar a las tecnologías actuales (y potenciales) de realidad-virtualidad. Los resultados de los estudios empíricos señalan la importancia de incorporar la variable de integración tecnológica en los estudios con tecnologías inmersivas. Además, se debe considerar la ruta cognitiva y afectiva que tiene lugar con estas tecnologías. De igual forma, se contribuye a la literatura previa realizando el primer estudio que compara empíricamente a la RA y la RV, distinguiendo entre el tipo de contenido y dispositivo que dan forma a las experiencias con estas realidades. Finalmente, se ha contribuido a la literatura emergente sobre experiencias digitales multisensoriales al analizar cómo la incorporación de olores (y sus características específicas) puede mejorar las pre-experiencias turísticas con RV. A nivel práctico, la versión actualizada del continuo realidad-virtualidad permite a los profesionales de la industria de las TIC usar correctamente los términos y, de esta forma, aplicarlos correctamente en la denominación de las tecnologías derivadas de estas realidades y en las experiencias que pueden ofrecer con ellas. Por otra parte, el cubo EPI es una herramienta que permite a los gerentes elegir la tecnología más adecuada según su estrategia de marketing. Los resultados de los estudios empíricos realizados recomiendan a los gerentes turísticos tener en cuenta el grado de integración del dispositivo utilizado con los sentidos humanos (integración tecnológica). Específicamente, el uso de RV con dispositivos más integrados como HMD impulsa el engagement de los turistas potenciales en sus pre-experiencias. Igualmente, las agencias de viaje y los sitios web de reservas pueden utilizar esta tecnología para promocionar mejor los productos turísticos que ofrecen. En los eventos especiales (p. ej. ferias turísticas) el uso de RV HMD supondrá proporcionar experiencias inmersivas más valiosas entre los asistentes. El uso de contenidos realistas (p. ej. vídeos en 360 grados) junto a estas tecnologías supone la combinación más efectiva para la promoción de los productos turísticos. Además, la incorporación de estímulos sensoriales adicionales que complementen los que tradicionalmente proporciona la tecnología (audiovisuales), particularmente en el caso de la RV, supone un avance en la generación de experiencias digitales más similares a la realidad. Finalmente, se muestran las limitaciones generales de la tesis doctoral que ofrecen oportunidades para futuras líneas de investigación. Se propone la realización de experimentos de campo (p. ej. en agencias de viajes) incluyendo muestras más diversas, así como la inclusión de medidas de comportamiento real. Asimismo, futuras investigaciones podrían incluir estímulos sensoriales adicionales a los analizados (p. ej. táctiles y gustativos) para obtener una visión completa de las experiencias digitales multisensoriales con RV. Finalmente, se proporciona una agenda de investigación futura en la que se formulan preguntas en relación a cuatro vertientes: las realidades, la experiencia de los consumidores con las tecnologías inmersivas, el impacto de la RA y RV en el turismo, y la generación de experiencias digitales multisensoriales con las tecnologías inmersivas. La tesis doctoral finaliza reflexionando sobre cómo estas tecnologías pueden ayudar a la recuperación de la industria turística durante y tras la actual pandemia de COVID-19.<br /

Proceedings of the International Workshop on EuroPLOT Persuasive Technology for Learning, Education and Teaching (IWEPLET 2013)

"This book contains the proceedings of the International Workshop on EuroPLOT Persuasive Technology for Learning, Education and Teaching (IWEPLET) 2013 which was held on 16.-17.September 2013 in Paphos (Cyprus) in conjunction with the EC-TEL conference. The workshop and hence the proceedings are divided in two parts: on Day 1 the EuroPLOT project and its results are introduced, with papers about the specific case studies and their evaluation. On Day 2, peer-reviewed papers are presented which address specific topics and issues going beyond the EuroPLOT scope. This workshop is one of the deliverables (D 2.6) of the EuroPLOT project, which has been funded from November 2010 – October 2013 by the Education, Audiovisual and Culture Executive Agency (EACEA) of the European Commission through the Lifelong Learning Programme (LLL) by grant #511633. The purpose of this project was to develop and evaluate Persuasive Learning Objects and Technologies (PLOTS), based on ideas of BJ Fogg. The purpose of this workshop is to summarize the findings obtained during this project and disseminate them to an interested audience. Furthermore, it shall foster discussions about the future of persuasive technology and design in the context of learning, education and teaching. The international community working in this area of research is relatively small. Nevertheless, we have received a number of high-quality submissions which went through a peer-review process before being selected for presentation and publication. We hope that the information found in this book is useful to the reader and that more interest in this novel approach of persuasive design for teaching/education/learning is stimulated. We are very grateful to the organisers of EC-TEL 2013 for allowing to host IWEPLET 2013 within their organisational facilities which helped us a lot in preparing this event. I am also very grateful to everyone in the EuroPLOT team for collaborating so effectively in these three years towards creating excellent outputs, and for being such a nice group with a very positive spirit also beyond work. And finally I would like to thank the EACEA for providing the financial resources for the EuroPLOT project and for being very helpful when needed. This funding made it possible to organise the IWEPLET workshop without charging a fee from the participants.

Exploring Dimensionality Reduction Effects in Mixed Reality for Analyzing Tinnitus Patient Data

In the context of big data analytics, gaining insights into high-dimensional data sets can be properly achieved, inter alia, by the use of visual analytics. Current developments in the field of immersive analytics, mainly driven by the improvements of smart glasses and virtual reality headsets, are one enabler to enhance user-friendly and interactive ways for data analytics. Along this trend, more and more fields in the medical domain crave for this type of technology to analyze medical data in a new way. In this work, a mixed-reality prototype is presented that shall help tinnitus researchers and clinicians to analyze patient data more efficiently. In particular, the prototype simplifies the analysis on a high-dimensional real-world tinnitus patient data set by the use of dimensionality reduction effects. The latter is represented by resulting clusters, which are identified through the density of particles, while information loss is denoted as the remaining covered variance. Technically, the graphical interface of the prototype includes a correlation coefficient graph, a plot for the information loss, and a 3D particle system. Furthermore, the prototype provides a voice recognition feature to select or deselect relevant data variables by its users. Moreover, based on a machine learning library, the prototype aims at reducing the computational resources on the used smart glasses. Finally, in practical sessions, we demonstrated the prototype to clinicians and they reported that such a tool may be very helpful to analyze patient data on one hand. On the other, such system is welcome to educate unexperienced clinicians in a better way. Altogether, the presented tool may constitute a promising direction for the medical as well as other domains

Analysis domain model for shared virtual environments

The field of shared virtual environments, which also encompasses online games and social 3D environments, has a system landscape consisting of multiple solutions that share great functional overlap. However, there is little system interoperability between the different solutions. A shared virtual environment has an associated problem domain that is highly complex raising difficult challenges to the development process, starting with the architectural design of the underlying system. This paper has two main contributions. The first contribution is a broad domain analysis of shared virtual environments, which enables developers to have a better understanding of the whole rather than the part(s). The second contribution is a reference domain model for discussing and describing solutions - the Analysis Domain Model

Embodied geosensification-models, taxonomies and applications for engaging the body in immersive analytics of geospatial data

This thesis examines how we can use immersive multisensory displays and body-focused interaction technologies to analyze geospatial data. It merges relevant aspects from an array of interdisciplinary research areas, from cartography to the cognitive sciences, to form three taxonomies that describe the senses, data representations, and interactions made possible by these technologies. These taxonomies are then integrated into an overarching design model for such "Embodied Geosensifications". This model provides guidance for system specification and is validated with practical examples

Immersive Composition for Sensory Rehabilitation: 3D Visualisation, Surround Sound, and Synthesised Music to Provoke Catharsis and Healing

There is a wide range of sensory therapies using sound, music and visual stimuli. Some focus on soothing or distracting stimuli such as natural sounds or classical music as analgesic, while other approaches emphasize the active performance of producing music as therapy. This paper proposes an immersive multi-sensory Exposure Therapy for people suffering from anxiety disorders, based on a rich, detailed surround-soundscape. This soundscape is composed to include the users’ own idiosyncratic anxiety triggers as a form of habituation, and to provoke psychological catharsis, as a non-verbal, visceral and enveloping exposure. To accurately pinpoint the most effective sounds and to optimally compose the soundscape we will monitor the participants’ physiological responses such as electroencephalography, respiration, electromyography, and heart rate during exposure. We hypothesize that such physiologically optimized sensory landscapes will aid the development of future immersive therapies for various psychological conditions, Sound is a major trigger of anxiety, and auditory hypersensitivity is an extremely problematic symptom. Exposure to stress-inducing sounds can free anxiety sufferers from entrenched avoidance behaviors, teaching physiological coping strategies and encouraging resolution of the psychological issues agitated by the sound

Social Touch in Human-agent Interactions in an Immersive Virtual Environment

International audienceWorks on artificial social agents, and especially embodied conversational agents, have endowed them with social-emotional capabilities. They are being given the abilities to take into account more and more modalities to express their thoughts, such as speech, gestures, facial expressions, etc. However, the sense of touch, although particularly interesting for social and emotional communication, is still a modality widely missing from interactions between humans and agents. We believe that integrating touch into those modalities of interaction between humans and agents would help enhancing their channels of empathic communication. In order to verify this idea, we present in this paper a system allowing tactile communication through haptic feedback on the hand and the arm of a human user. We then present a preliminary evaluation of the credibility of social touch in human-agent interaction in an immersive environment. The first results are promising and bring new leads to improve the way humans can interact through touch with virtual social agents

Dimensionality Reduction and Subspace Clustering in Mixed Reality for Condition Monitoring of High-Dimensional Production Data

Visual analytics are becoming more and more important in the light of big data and related scenarios. Along this trend, the field of immersive analytics has been variously furthered as it is able to provide sophisticated visual data analytics on one hand, while preserving user-friendliness on the other. Furthermore, recent hardware developments like smart glasses, as well as achievements in virtual-reality applications, have fanned immersive analytic solutions. Notably, such solutions can be very effective when they are applied to high-dimensional data sets. Taking this advantage into account, the work at hand applies immersive analytics to a high-dimensional production data set in order to improve the digital support of daily work tasks. More specifically, a mixed-reality implementation is presented that shall support manufactures as well as data scientists to comprehensively analyze machine data. As a particular goal, the prototype shall simplify the analysis of manufacturing data through the usage of dimensionality reduction effects. Therefore, five aspects are mainly reported in this paper. First, it is shown how dimensionality reduction effects can be represented by clusters. Second, it is presented how the resulting information loss of the reduction is addressed. Third, the graphical interface of the developed prototype is illustrated as it provides a (1) correlation coefficient graph, a (2) plot for the information loss, and a (3) 3D particle system. In addition, an implemented voice recognition feature of the prototype is shown, which was considered as being promising to select or deselect data variables users are interested in when analyzing the data. Fourth, based on a machine learning library, it is shown how the prototype reduces computational resources by the use of smart glasses. The main idea is based on a recommendation approach as well as the use of subspace clustering. Fifth, results from a practical setting are presented, in which the prototype was shown to domain experts. The latter reported that such a tool is actually helpful to analyze machine data on a daily basis. Moreover, it was reported that such system can be used to educate machine operators more properly. As a general outcome of this work, the presented approach may constitute a helpful solution for the industry as well as other domains like medicine