Earth as Interface: Exploring chemical senses with Multisensory HCI Design for Environmental Health Communication

As environmental problems intensify, the chemical senses -that is smell and taste, are the most relevantsenses to evidence them.As such, environmental exposure vectors that can reach human beings comprise air,food, soil and water[1].Within this context, understanding the link between environmental exposures andhealth[2]is crucial to make informed choices, protect the environment and adapt to new environmentalconditions[3].Smell and taste lead therefore to multi-sensorial experiences which convey multi-layered information aboutlocal and global events[4]. However, these senses are usually absent when those problems are represented indigital systems. The multisensory HCIdesign framework investigateschemical sense inclusion withdigital systems[5]. Ongoing efforts tackledigitalization of smell and taste for digital delivery, transmission or substitution [6]. Despite experimentsproved technological feasibility, its dissemination depends on relevant applicationdevelopment[7].This thesis aims to fillthose gaps by demonstratinghow chemical senses provide the means to link environment and health based on scientific andgeolocation narratives [8], [9],[10]. We present a Multisensory HCI design process which accomplished symbolicdisplaying smell and taste and led us to a new multi-sensorial interaction system presented herein. We describe the conceptualization, design and evaluation of Earthsensum, an exploratory case study project.Earthsensumoffered to 16 participants in the study, environmental smell and taste experiences about real geolocations to participants of the study. These experiences were represented digitally using mobilevirtual reality (MVR) and mobile augmented reality (MAR). Its technologies bridge the real and digital Worlds through digital representations where we can reproduce the multi-sensorial experiences. Our study findings showed that the purposed interaction system is intuitive and can lead not only to a betterunderstanding of smell and taste perception as also of environmental problems. Participants comprehensionabout the link between environmental exposures and health was successful and they would recommend thissystem as education tools. Our conceptual design approach was validated and further developments wereencouraged.In this thesis,we demonstratehow to applyMultisensory HCI methodology to design with chemical senses. Weconclude that the presented symbolic representation model of smell and taste allows communicatingtheseexperiences on digital platforms. Due to its context-dependency, MVR and MAR platforms are adequatetechnologies to be applied for this purpose.Future developments intend to explore further the conceptual approach. These developments are centredon the use of the system to induce hopefully behaviourchange. Thisthesisopens up new application possibilities of digital chemical sense communication,Multisensory HCI Design and environmental health communication.À medida que os problemas ambientais se intensificam, os sentidos químicos -isto é, o cheiroe sabor, são os sentidos mais relevantes para evidenciá-los. Como tais, os vetores de exposição ambiental que podem atingir os seres humanos compreendem o ar, alimentos, solo e água [1]. Neste contexto, compreender a ligação entre as exposições ambientais e a saúde [2] é crucial para exercerescolhas informadas, proteger o meio ambiente e adaptar a novas condições ambientais [3]. O cheiroe o saborconduzemassima experiências multissensoriais que transmitem informações de múltiplas camadas sobre eventos locais e globais [4]. No entanto, esses sentidos geralmente estão ausentes quando esses problemas são representados em sistemas digitais. A disciplina do design de Interação Humano-Computador(HCI)multissensorial investiga a inclusão dossentidos químicos em sistemas digitais [9]. O seu foco atual residena digitalização de cheirose sabores para o envio, transmissão ou substituiçãode sentidos[10]. Apesar dasexperimentaçõescomprovarem a viabilidade tecnológica, a sua disseminação está dependentedo desenvolvimento de aplicações relevantes [11]. Estatese pretendepreencher estas lacunas ao demonstrar como os sentidos químicos explicitama interconexãoentre o meio ambiente e a saúde, recorrendo a narrativas científicas econtextualizadasgeograficamente[12], [13], [14]. Apresentamos uma metodologiade design HCImultissensorial que concretizouum sistema de representação simbólica de cheiro e sabor e nos conduziu a um novo sistema de interação multissensorial, que aqui apresentamos. Descrevemos o nosso estudo exploratório Earthsensum, que integra aconceptualização, design e avaliação. Earthsensumofereceu a 16participantes do estudo experiências ambientais de cheiro e sabor relacionadas com localizações geográficasreais. Essas experiências foram representadas digitalmente através derealidade virtual(VR)e realidade aumentada(AR).Estas tecnologias conectamo mundo real e digital através de representações digitais onde podemos reproduzir as experiências multissensoriais. Os resultados do nosso estudo provaramque o sistema interativo proposto é intuitivo e pode levar não apenas a uma melhor compreensão da perceção do cheiroe sabor, como também dos problemas ambientais. O entendimentosobre a interdependência entre exposições ambientais e saúde teve êxitoe os participantes recomendariam este sistema como ferramenta para aeducação. A nossa abordagem conceptual foi positivamentevalidadae novos desenvolvimentos foram incentivados. Nesta tese, demonstramos como aplicar metodologiasde design HCImultissensorialpara projetar com ossentidos químicos. Comprovamosque o modelo apresentado de representação simbólica do cheiroe do saborpermite comunicar essas experiênciasem plataformas digitais. Por serem dependentesdocontexto, as plataformas de aplicações emVR e AR são tecnologias adequadaspara este fim.Desenvolvimentos futuros pretendem aprofundar a nossa abordagemconceptual. Em particular, aspiramos desenvolvera aplicaçãodo sistema para promover mudanças de comportamento. Esta tese propõenovas possibilidades de aplicação da comunicação dos sentidos químicos em plataformas digitais, dedesign multissensorial HCI e de comunicação de saúde ambiental

The influence of scent on virtual reality experiences: The role of aroma-content congruence

We live in a multisensory world. Our experiences are constructed by the stimulation of all our senses. Nevertheless, digital interactions are mainly based on audiovisual elements, while other sensory stimuli have been less explored. Virtual reality (VR) is a sensory-enabling technology that facilitates the integration of sensory inputs to enhance multisensory digital experiences. This study analyzes how the addition of ambient scent to a VR experience affects digital pre-experiences in a service context (tourism). Results from a laboratory experiment confirmed that embodied VR devices, together with pleasant and congruent ambient scents, enhance sensory stimulation, which directly (and indirectly through ease of imagination) influence affective and behavioral reactions. These enriched multisensory experiences strengthen the link between the affective and conative images of destinations. We make recommendations for researchers and service providers with ambitions to deliver ambient scents, especially those congruent with displayed content, to enhance the sensorialization of digital VR experiences

Cocreation In Context: An Evaluation of Participatory Technology Design for Enhancing Community Engagement with Public Spaces

The integration of interactive public displays into urban regeneration is a dynamic research area, extending beyond traditional screens to offer accessible, alternative interactions in outdoor settings. These displays not only provide users with a wealth of information but also provide in depth emotionally charged interactions, evoking nostalgia and re-engaging people with a space.In the ever-evolving urban landscape, this thesis addresses the challenges posed by adapting spaces and the effect this can have on the way people engage with these spaces, highlighting a need for innovative interventions to help communities to remain engaged with their local spaces. This work centres on integrating interactive public displays into urban environments, with a primary focus on evoking nostalgia (an affectionate feeling for the past [54]) and topophilia (emotional connections to a space [271]). This thesis embarks on a journey, engaging a diverse range of users, including designers, children, regeneration experts, and community members. It commences with a nine-month deployment of a tangible embedded interface into a dynamic urban context, receiving over 10,000 session interactions. This real-world experience shows the importance of incorporating aspects of cultural heritage and immersive content into informative designs. Subsequently, the journey explores uncharted territories, navigating the landscape of cocreation methods and collaborative efforts, culminating in the development of a multisensory installation, that integrates olfactory, auditory, and visual elements. This exploration delves into the intricacies of community engagement, technology integration, nostalgia, and the dynamics of urban regeneration. As these chapters unfold, valuablelessons are drawn from field experiences, guiding a reflective journey through the design process with an aim to advance interactive public display creation by addressing gaps in design tools and methodologies. Resulting in feature requirements for an overarching master design suite, this contribution advances the field of HCI within urban regeneration. It brings together valuable lessons learned and recommendations for integrating novel multimodal installations of the future, while also addressing the need for adaptable tools to facilitate their design. This holistic approach underscores the transformative potential of technology in shaping urban environments and community engagement

Investigating the effects of odour integration in reading and learning experiences

Books are the tools used for reading novels and stories, but also for educational purposes. Conventional books have undergone a radical transformation in recent years due to the use of new technologies. However, even today the technological devices used for reading e-books are still poorly exploited, despite the fact that they represent a fundamental tool to make the reading experience more immersive by using a complete multisensory approach. In this perspective, one sense that represents an important element of human perception is the sense of smell. Consequently, authors make the hypothesis that the introduction of odours during reading sessions could increase the user experience and the learning performances. In order to demonstrate these hypotheses, the authors have defined and carried out several experimental testing sessions. The analysis of the collected data proved that the introduction of odour does not disturb the reader during reading activities but, on the contrary, can actually make the experience more immersive. Similarly, odours do not disturb studying activities, but they can instead increase the level of concentration and people's learning performance

Engaging customers before the trip: experimental analysis of the role of virtual and augmented reality in the creation of tourism pre-experiences

La llegada de las tecnologías de realidad-virtualidad está cambiando la forma en que los consumidores experimentan los entornos reales y virtuales. Las tecnologías inmersivas están siendo cada vez más usadas por parte de las empresas para dar forma a las experiencias de los consumidores. En concreto, la realidad aumentada (RA) y la realidad virtual (RV) están revolucionando la forma en que los turistas potenciales perciben y experimentan los productos y servicios turísticos. Especialmente, estas tecnologías pueden utilizarse para superar las características inherentes al turismo en la etapa previa a la experiencia (intangibilidad). En esta etapa las tecnologías inmersivas proporcionan a los turistas potenciales una información rica y experiencial que les permite evaluar el producto turístico en mejores condiciones, lo que les sitúa en una posición ventajosa para tomar decisiones más adecuadas.Centrándose en esta etapa, esta tesis doctoral tiene como objetivo principal analizar las dimensiones cognitivas, afectivas y comportamentales de las experiencias de los usuarios con la RA y la RV. En este sentido, los objetivos específicos de esta tesis doctoral son:1. Establecer las barreras conceptuales que definen a las diferentes realidades, tecnologías, y las experiencias de los consumidores con las tecnologías de realidad-virtualidad.2. Analizar los efectos de la integración tecnológica (technological embodiment) en las pre-experiencias turísticas con tecnologías inmersivas.3. Comparar los efectos de la RA y la RV en una pre-experiencia turística.4. Examinar los efectos del enriquecimiento sensorial de las pre-experiencias turísticas con RV.5. Analizar el impacto de las pre-experiencias inmersivas a lo largo de diferentes contextos turísticos.La revisión de la literatura realizada sobre el impacto de la RA/RV en el campo del turismo nos permite detectar diferentes tendencias. Cabe destacar el hecho de que la literatura inicial en esta temática es eminentemente teórica y que la mayor parte de los artículos han sido publicados en los últimos años. En la actualidad, se están realizando estudios tanto con RA como con RV, centrándose en las etapas de pre-experiencia y experiencia, usando mayoritariamente metodologías cuantitativas, e incrementando la variedad de contextos turísticos en los que se han estudiado estas tecnologías.En el marco teórico de la tesis doctoral se pretende superar las inconsistencias que existen en el uso de la terminología referente a las diferentes realidades y, considerando los desarrollos recientes, se procede a la actualización del continuo de realidad-virtualidad. De esta forma, se consideran los entornos reales y virtuales como los extremos del continuo. En esta última categoría se encuentra la RV, definida como entornos inmersivos generados mediante ordenador en los que los usuarios pueden navegar y posiblemente interactuar, produciéndose una estimulación de sus sentidos en tiempo real, lo que hace que se sientan presentes en el entorno mostrado. Entre estos extremos del continuo podemos encontrar otras realidades formadas por diferentes mezclas de realidad-virtualidad: RA, en la que los elementos digitales se superponen en el entorno real; virtualidad aumentada, en la que los elementos reales se superponen en el entorno virtual; y realidad mixta pura, en la que los usuarios se encuentran en el mundo real y el contenido digital está totalmente integrado en su entorno, por lo que los usuarios pueden interactuar con los elementos reales y virtuales, y estos elementos pueden interactuar entre ellos. Además, se analiza teóricamente cómo estas realidades pueden ser integradas durante las diferentes etapas del proceso de decisión de compra del consumidor para ofrecer experiencias memorables de mayor valor añadido. A continuación, se presenta el cubo EPI (Embodiment-Presence-Interactivity) que está constituido por tres dimensiones relacionadas con los elementos principales que forman parte de la interacción humano-tecnología: la integración tecnológica (technological embodiment; factor tecnológico), la percepción de presencia (factor humano) y la interactividad (factor comportamental). En primer lugar, la integración tecnológica es definida como estados en los que la tecnología se convierte en una extensión del cuerpo humano al estar cada vez más integrada con los sentidos humanos. Por su parte, la presencia es la percepción subjetiva de un ser humano de encontrarse en un lugar diferente al que realmente se encuentra. Por su parte, la interactividad comportamental se define como la capacidad del usuario de modificar (forma y contenido), así como recibir retroalimentación de sus acciones en la realidad en la que se encuentra. A lo largo de las diferentes caras y en el interior de cubo, las tecnologías actuales (y futuras) de realidad-virtualidad son colocadas de acuerdo a estas dimensiones. El cubo EPI es la base teórica en la que se fundamentan los análisis empíricos realizados.El primer estudio empírico de la tesis analiza cómo el grado de integración tecnológica afecta a las pre-experiencias de los consumidores con un destino turístico. Basándose en el modelo Estímulo-Organismo-Respuesta, se estudia como el nivel de integración tecnológica (estímulo) afecta a las percepciones de inmersión y la estimulación sensorial de los usuarios (organismo), y su posterior efecto en el engagement y las intenciones comportamentales hacia el destino mostrado (respuesta). Además, se analiza el efecto moderador del tipo de turismo (activo vs. pasivo). Los datos se recogieron de un experimento de laboratorio con 202 participantes, que pudieron ver un vídeo en 360 grados en el que se mostraba un destino turístico con dispositivos que difieren en su grado de integración tecnológica. Los resultados demuestran que los RV HMD (Head-Mounted Display) están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. El uso de RV HMD genera experiencias más inmersivas, una mayor estimulación sensorial, engagement, siendo este efecto no significativo en el caso de las intenciones comportamentales. La inmersión y la estimulación sensorial median el efecto del dispositivo en el engagement, mientras que en el caso de las intenciones comportamentales este efecto es mediado por la estimulación sensorial. Finalmente, los efectos de la integración tecnológica en la inmersión, estimulación sensorial y el engagement son mayores cuando se visualizan vídeos de turismo activo (en comparación a turismo pasivo).El segundo estudio se adentra en el análisis del impacto de la RV en la industria hotelera. Se considera el efecto de la integración tecnológica en las reacciones emocionales y en el engagement psicológico y comportamental. En el experimento realizado se pidió a 141 participantes que imaginaran que iban a visitar un destino y que estaban buscando un alojamiento. A continuación, tuvieron una pre-experiencia con una habitación de hotel (vídeo en 360 grados) con dispositivos que diferían en su grado de integración tecnológica. Los resultados vuelven a demostrar empíricamente que los RV HMD están más integrados corporalmente que los smartphones, y estos más que los ordenadores de sobremesa. Dispositivos más integrados corporalmente generan mayores reacciones emocionales, engagement psicológico y comportamental. Las reacciones emocionales median el efecto de la integración tecnológica en el engagement psicológico (no significativo en el caso del engagement comportamental). Finalmente, el engagement psicológico media el impacto de la integración tecnológica en el engagement comportamental. Ambos estudios ponen de manifiesto la importancia de la integración de la tecnología cuando se analizan las experiencias con tecnologías inmersivas, así como la existencia de un proceso afectivo subyacente en el uso de estas tecnologías.Una vez validado empíricamente el concepto de integración tecnológica, el siguiente estudio procede a comparar la eficacia de la RA y la RV en una pre-experiencia turística. Para realizar este análisis se considera el grado de presencia que genera el contenido visualizado, junto con el grado de integración tecnológica provocado por el dispositivo empleado, y que dan forma a las diferentes experiencias con RA y RV. Se llevó a cabo un experimento de laboratorio en el que 206 participantes tuvieron que imaginar que iban a visitar un destino y debían elegir alojamiento. Los participantes fueron asignados aleatoriamente a una de las condiciones experimentales en las que pudieron ver la habitación del hotel con diferentes combinaciones de contenidos (realista vs. digital) y dispositivos (HMD vs. smartphone). Los resultados vuelven a validar la clasificación de la integración tecnológica, estando los HMD más integrados que los smartphones. Por su parte, los contenidos realistas generan mayor presencia que los digitales. Los contenidos que se parecen al mundo real generan mayores percepciones de atractivo visual, facilitan la imaginación y fomentan las intenciones de reserva. El atractivo visual y la facilidad para imaginar median el impacto del contenido en las intenciones de reserva. Todos estos efectos son mayores cuando se usan HMD (en comparación a smartphones). Estos resultados ponen de manifiesto que la combinación de RV HMD con contenidos realistas es la más adecuada para mostrar un producto turístico.El último estudio empírico trata de adentrarse en el proceso de sensorialización de las experiencias digitales con las tecnologías inmersivas. Se analiza cómo la influencia combinada de los estímulos olfativos y los dispositivos de RV pueden mejorar la estimulación sensorial en el contexto de un destino turístico, y cómo esta estimulación sensorial afecta directamente (e indirectamente a través de la facilidad para imaginar) a las imágenes afectiva y comportamental del destino mostrado. Asimismo, se estudia cómo la congruencia de los olores con el contenido mostrado modera la influencia de la experiencia digital multisensorial en las respuestas afectivas y comportamentales. Se llevó a cabo un experimento en el que 263 participantes vieron un destino turístico usando una determinada tecnología (RV HMD vs. ordenador de sobremesa) en una habitación con diferentes tipos de olores (no olor vs. olor agradable y no congruente vs. olor agradable y congruente). Los resultados confirman que los dispositivos de RV integrados, junto con la incorporación de olores agradables y congruentes, mejoran la estimulación sensorial de la experiencia digital, que directamente (e indirectamente a través de la facilidad para imaginar) influye en las reacciones afectivas y comportamentales. Estas experiencias multisensoriales enriquecidas refuerzan el vínculo entre la imagen afectiva y comportamental del destino. Como conclusiones generales de la tesis doctoral, se clarifican las características que definen a las diferentes realidades, explorando cómo las tecnologías vinculadas a las mismas pueden ayudar en el desarrollo de experiencias del consumidor mejoradas. Asimismo, se establece un marco de referencia (cubo EPI) que permite clasificar a todas estas tecnologías. Los resultados de los estudios empíricos ponen de manifiesto la importancia de considerar la integración del dispositivo en las experiencias con tecnologías inmersivas. Cabe resaltar que estos estudios señalan la existencia de mecanismos subyacentes de carácter cognitivo y afectivo que tienen lugar durante las experiencias inmersivas y que afectan a las respuestas de los turistas potenciales. Además, los resultados de esta tesis enfatizan la importancia de proporcionar contenidos realistas a los turistas potenciales que, junto al uso de dispositivos integrados con los sentidos (HMD), son capaces de generar las pre-experiencias más efectivas. Finalmente, se resalta que la incorporación de olores agradables y congruentes con el destino mostrado es capaz de mejorar la estimulación sensorial durante la pre-experiencia digital, lo que fomenta las reacciones afectivas y comportamentales hacia el destino. A nivel teórico, la revisión de la literatura realizada permite obtener una visión general sobre los temas tratados en relación al impacto de la RA y la RV en la industria turística. Además, la versión actualizada del continuo realidad-virtualidad que se ha propuesto permite delimitar de forma conceptual las características inherentes a estas realidades. El cubo EPI supone la siguiente contribución teórica de la presente tesis doctoral, permitiendo clasificar a las tecnologías actuales (y potenciales) de realidad-virtualidad. Los resultados de los estudios empíricos señalan la importancia de incorporar la variable de integración tecnológica en los estudios con tecnologías inmersivas. Además, se debe considerar la ruta cognitiva y afectiva que tiene lugar con estas tecnologías. De igual forma, se contribuye a la literatura previa realizando el primer estudio que compara empíricamente a la RA y la RV, distinguiendo entre el tipo de contenido y dispositivo que dan forma a las experiencias con estas realidades. Finalmente, se ha contribuido a la literatura emergente sobre experiencias digitales multisensoriales al analizar cómo la incorporación de olores (y sus características específicas) puede mejorar las pre-experiencias turísticas con RV. A nivel práctico, la versión actualizada del continuo realidad-virtualidad permite a los profesionales de la industria de las TIC usar correctamente los términos y, de esta forma, aplicarlos correctamente en la denominación de las tecnologías derivadas de estas realidades y en las experiencias que pueden ofrecer con ellas. Por otra parte, el cubo EPI es una herramienta que permite a los gerentes elegir la tecnología más adecuada según su estrategia de marketing. Los resultados de los estudios empíricos realizados recomiendan a los gerentes turísticos tener en cuenta el grado de integración del dispositivo utilizado con los sentidos humanos (integración tecnológica). Específicamente, el uso de RV con dispositivos más integrados como HMD impulsa el engagement de los turistas potenciales en sus pre-experiencias. Igualmente, las agencias de viaje y los sitios web de reservas pueden utilizar esta tecnología para promocionar mejor los productos turísticos que ofrecen. En los eventos especiales (p. ej. ferias turísticas) el uso de RV HMD supondrá proporcionar experiencias inmersivas más valiosas entre los asistentes. El uso de contenidos realistas (p. ej. vídeos en 360 grados) junto a estas tecnologías supone la combinación más efectiva para la promoción de los productos turísticos. Además, la incorporación de estímulos sensoriales adicionales que complementen los que tradicionalmente proporciona la tecnología (audiovisuales), particularmente en el caso de la RV, supone un avance en la generación de experiencias digitales más similares a la realidad. Finalmente, se muestran las limitaciones generales de la tesis doctoral que ofrecen oportunidades para futuras líneas de investigación. Se propone la realización de experimentos de campo (p. ej. en agencias de viajes) incluyendo muestras más diversas, así como la inclusión de medidas de comportamiento real. Asimismo, futuras investigaciones podrían incluir estímulos sensoriales adicionales a los analizados (p. ej. táctiles y gustativos) para obtener una visión completa de las experiencias digitales multisensoriales con RV. Finalmente, se proporciona una agenda de investigación futura en la que se formulan preguntas en relación a cuatro vertientes: las realidades, la experiencia de los consumidores con las tecnologías inmersivas, el impacto de la RA y RV en el turismo, y la generación de experiencias digitales multisensoriales con las tecnologías inmersivas. La tesis doctoral finaliza reflexionando sobre cómo estas tecnologías pueden ayudar a la recuperación de la industria turística durante y tras la actual pandemia de COVID-19.<br /

Potential applications for virtual and augmented reality technologies in sensory science

peer-reviewedSensory science has advanced significantly in the past decade and is quickly evolving to become a key tool for predicting food product success in the marketplace. Increasingly, sensory data techniques are moving towards more dynamic aspects of sensory perception, taking account of the various stages of user-product interactions. Recent technological advancements in virtual reality and augmented reality have unlocked the potential for new immersive and interactive systems which could be applied as powerful tools for capturing and deciphering the complexities of human sensory perception. This paper reviews recent advancements in virtual and augmented reality technologies and identifies and explores their potential application within the field of sensory science. The paper also considers the possible benefits for the food industry as well as key challenges posed for widespread adoption. The findings indicate that these technologies have the potential to alter the research landscape in sensory science by facilitating promising innovations in five principal areas: consumption context, biometrics, food structure and texture, sensory marketing and augmenting sensory perception. Although the advent of augmented and virtual reality in sensory science offers new exciting developments, the exploitation of these technologies is in its infancy and future research will understand how they can be fully integrated with food and human responses. Industrial relevance: The need for sensory evaluation within the food industry is becoming increasingly complex as companies continuously compete for consumer product acceptance in today's highly innovative and global food environment. Recent technological developments in virtual and augmented reality offer the food industry new opportunities for generating more reliable insights into consumer sensory perceptions of food and beverages, contributing to the design and development of new products with optimised consumer benefits. These technologies also hold significant potential for improving the predictive validity of newly launched products within the marketplace