A tutorial for olfaction-based multisensorial media application design and evaluation

© ACM, 2017. This is the author's version of the work. It is posted here by permission of ACM for your personal use. Not for redistribution. The definitive version was published in PUBLICATION, {VOL50, ISS5, September 2017} https://doi.org/10.1145/310824

Portable device for augmented reality: five-sense experiences

Dissertação de mestrado, Engenharia Eléctrica e Electrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2017O objectivo deste trabalho é apresentar um dispositivo portátil capaz de proporcionar sensações de tacto, paladar e olfacto a uma experiência de realidade aumentada. Hoje em dia, muitas experiências culturais e pessoais são construídas com base em aplicações móveis, incluindo aqueles que usam Realidade Aumentada (AR). Estas aplicações têm crescido em utilização, devido à enorme popularidade dos dispositivos móveis, com câmaras existentes, com sistemas de posicionamento global (GPS) e também com uma enorme disponibilidade de conexões de internet. Por outro lado, a maior parte das interfaces de utilizador (UI – User Interface) actuais seguiu tradicionalmente um modelo de tamanho único, geralmente ignorando as necessidades, habilidades e preferências dos utilizadores individuais. No entanto, estudos recentes indicam que o desempenho da visualização dos dispositivos poderia ser melhorado se fossem adaptados aspectos de visualização especificamente para cada utilizador individual. Tendo este contexto em mente, o projeto Mobile Five Senses Augmented Reality System for Museums (M5SAR) visa desenvolver um sistema de AR para ser um guia em eventos culturais, históricos e em museus, complementando ou substituindo a orientação tradicional dada pelos guias, sinais direcionais ou mapas. O trabalho descrito na presente tese faz parte deste projeto M5SAR. O sistema completo consiste numa aplicação para smartphone (fora do âmbito desta tese) e num dispositivo físico (o presente trabalho), às vezes referido como "gadget", “dispositivo portátil”, ”AMtop” (Aplicação Móvel + tacto olfacto e paladar) ou “PDTTSS” (Portable Device for Touch Taste and Smell Sensations), para ser integrado no smartphone de forma a explorar os 5 sentidos humanos: visão, audição, tacto, olfacto e paladar. Os sistemas tradicionais de AR dão feedback sensorial a apenas dois dos nossos sentidos, a visão e a audição. Ao contrário desses, a multimédia multissensorial concentra-se em fornecer comunicações imersivas e melhorar a qualidade de experiência dos utilizadores. Com isto em mente, é um dos objetivos do projeto M5SAR, a implementação de um dispositivo de hardware para se integrar ao smartphone, que permita ao utilizador sentir toque, cheiro e sabor, expandindo a experiência digital típica para todos os cinco sentidos. Portanto, é o objetivo deste trabalho, construir e desenvolver esse mesmo dispositivo de realidade aumentada. As soluções actuais relacionadas com o aumento de experiências sensoriais consistem em grandes sistemas de hardware e estão longe de ser portáteis. Nesta tese, é apresentado um novo dispositivo pequeno e portátil, para integrar com o smartphone do utilizador, para reproduzir uma experiência completa com todos os cinco sentidos. O dispositivo implementado embora pequeno e, adiciona ao sistema de realidade aumentada as experiências do toque, cheiro e sabor. Além disso, o dispositivo é suficientemente flexível para se adaptar aos diferentes tamanhos dos tablets e smartphones dos utilizadores. É alimentado por uma bateria recarregável, o que dá ao módulo a capacidade de manter o sistema a funcionar durante toda a visita ao museu. O núcleo principal é um microcontrolador que recebe as instruções da aplicação móvel a correr no smartphone e reage de acordo com essas instruções, activando o restante hardware necessário para disponibilizar a experiência multissensorial ao utilizador. A comunicação entre a aplicação e o dispositivo é feita sem fios, através de um interface Bluetooth. A comunicação com o resto do módulo, denotados aqui como interfaces físicos, é cablada. Estas interfaces serão responsáveis por criar os estímulos que reproduzem os três sentidos: tacto, paladar e olfacto. O restantes sentidos, a visão e a audição, já são reproduzidos pelo próprio smartphone ou tablet do utilizador. Neste relatório, depois de explicados os objectivos e o enquadramento do trabalho, são explicados alguns conceitos necessários para compreender o conteúdo e alcance desta tese, que inclui a compreensão dos sentidos humanos e a forma como são estimulados. São analisadas algumas das tecnologias existentes para reproduzir o estímulo sensorial para os três sentidos humanos menos explorados, toque, sabor e cheiro, quer sejam projetos acadêmicos, ideias em desenvolvimento ou produtos de consumo comercialmente disponíveis, independentemente do tamanho, eficiência ou praticidade. Pela análise dos objetivos e dos requisitos do projeto, e considerando a aplicação final, é apresentado o estudo do modo de desenvolver o dispositivo portátil, desde o seu aspecto físico, até os sistemas sensoriais mais intrincados. São apresentadas diferentes possibilidades de recriar o estímulo para cada sensação e que tecnologias existem e como podem ser aplicadas. Pela sua comparação e análise, são determinadas quais são as melhores e mais apropriados para usar neste projecto, tendo em consideração o tamanho, a portabilidade e as limitações de energia existentes num dispositivo portátil, também não esquecendo a comodidade e segurança para o usuário. São apresentados ainda neste relatório todos os detalhes importantes para a construção do protótipo do dispositivo portátil. Foi desenvolvido um protótipo que serve para fazer a “prova de conceito”, e neste relatório são detalhados os componentes usados, como eles foram ligados e explicadas as mudanças necessárias efectuadas em relação ao conceito projetado anteriormente. São ainda apresentadas as especificações técnicas de cada componente e do próprio PDTTSS, assim como a estrutura da caixa que suporta o dispositivo, mostrando a evolução que a estrutura teve ao longo do projecto, com os seus modelos 3D e a estrutura real impressa em 3D para a construção do protótipo. Desde a posição para cada componente na estrutura, a sua montagem, passando pela electrónica necessária, com a especificação da placa do microcontrolador, o firmware e a interface de comunicação, tudo é apresentado e detalhado neste relatório. Sob o protótipo do dispositivo desenvolvido, foram executados diversos testes. Devido à natureza de algumas interfaces usadas, alguns testes não foram possíveis de quantificar, por isso esses testes foram conduzidos com pessoas para obter seus comentários sobre sua experiência real como usuário da unidade portátil. Os resultados são apresentados e resumidos por interface sensorial. Além do estímulo sensorial, alguns resultados sobre a compatibilidade do uso, em relação ao tamanho e ao peso, também são representados aqui, assim como Uma discussão sobre os múltiplos resultados, analisando-os em termos de relevância e interesse para este aplicativo, bem como possíveis problemas e sua causa provável. Em termos gerais, os resultados são coerentes com uma primeira versão de um protótipo realizado com o objectivo de ser uma prova de conceito. Assim, os resultados mostram que há interfaces que necessitam de ser melhorados, para serem mais perceptíveis pelo utilizador final, nomeadamente a sensação de frio. Outros interfaces são ainda passíveis de melhorias, embora o resultado já obtido seja satisfatório, nomeadamente a sensação de vento. Outros interfaces apresentam já resultados aceitáveis para uma solução final, como a sensação de quente. Em suma, para um protótipo desenvolvido como prova de conceito, este cumpriu exemplarmente as suas funções, pois permitiu validar a ideia, permitindo ainda ter uma noção real da utilização e implementação dos interfaces pelos utilizadores finais. Neste âmbito, a análise dos problemas encontrados nos resultados dos testes permitiu encontrar soluções possíveis para corrigir esses problemas, e soluções de como melhorar o dispositivo portátil para o desenvolvimento de um novo protótipo

Augmenting communication technologies with non-primary sensory modalities

Humans combine their senses to enhance the world around them. While computers have evolved to reflect these sensory demands, only the primary senses of vision and audition (and to an extent, touch) are used in modern communication. This thesis investigated how additional information, such as emotion and navigational assistance, might be communicated using technology-based implementations of sensory displays that output the non-primary modalities of smell, vibrotactile touch, and thermo-touch. This thesis explored using a portable atomiser sprayer to deliver emotional information via smell to mobile phone users, a ring-shaped device worn on the finger to display emotional information using vibration and colours, and an array of thermoelectric coolers worn on the arm to create temperature sensations. Additionally, this thesis explored two methods of signalling temperature using the thermal implementation, and finally, used it in a controlled study to augment the perceived emotion of text messages using temperature. There were challenges with using some of these implementations to display information. Smells produced with the scent technology were ambiguous and highly cognitive, and poor delivery to the user produced undesirable cross-adaption effects when smells lingered and mixed in the environment. The device used to communicate vibrotactile and colour lighting cues neutralized emotions in text messages. Furthermore, temperature pattern discrimination using the thermal implementation was difficult due to non-linear interaction effects that occurred on the skin’s surface, as well as latency resulting from the thermal neurological pathway and the technology used to heat and cool the skin. However, the thermal implementation enabled more accurate user discrimination between thermal signals than what a single stimulator design provided. Furthermore, the utility of continuous thermal feedback, in the context of spatial navigation, was demonstrated, which improved user performance compared to when the user was not presented with any thermal information. Finally, temperature was demonstrated to elicit arousal reactions across subjects using the thermal implementation, and could augment the arousal of text messages, especially when the content of the message was strongly neutral. However, no similar statistical significance was observed with valence, demonstrating the complex implications of using thermal cues to convey emotional information