Touch, taste, & smell user interfaces: the future of multisensory HCI

The senses we call upon when interacting with technology are very restricted. We mostly rely on vision and audition, increasingly harnessing touch, whilst taste and smell remain largely underexploited. In spite of our current knowledge about sensory systems and sensory devices, the biggest stumbling block for progress concerns the need for a deeper understanding of people’s multisensory experiences in HCI. It is essential to determine what tactile, gustatory, and olfactory experiences we can design for, and how we can meaningfully stimulate such experiences when interacting with technology. Importantly, we need to determine the contribution of the different senses along with their interactions in order to design more effective and engaging digital multisensory experiences. Finally, it is vital to understand what the limitations are that come into play when users need to monitor more than one sense at a time. The aim of this workshop is to deepen and expand the discussion on touch, taste, and smell within the CHI community and promote the relevance of multisensory experience design and research in HCI

Digitally Stimulating the Sensation of Taste Through Electrical and Thermal Stimulation

Ph.DDOCTOR OF PHILOSOPH

Modelling of Internet of Things (IoT) for Healthcare

Purpose: Information technology benefits the world, and it’s required for health care system, such as electronic medical records (EMR). We have proposed systematic model to study hoe IoT with 5g network has potential to benefit various healthcare services. For example, telemedicine may have some usage restrictions in rural areas and physicians may find it difficult to provide continuous monitoring to patients from such area. There are higher chances that the calls or video conferences getting significantly affected by poor networks and signals as well as non-compatible devices and patient may not get the treatment on time. 5G networking with IoT devices are believed to be the game changer for communication technology. The IoT model assists in attaining information by measuring its benefits through criteria which include 5G and IoT features along with a healthcare service requirement. Purpose of this paper is to present a model using Internet of Things (IoT) and 5G technology which will help to understand improved efficiency and efficacy of healthcare services. Our main research methodologies are literature review and modeling. The obtained results can be used for information technology applications in healthcare for various healthcare services and assist in increasing health quality in the healthcare industry.Method: Created a model to set the standard for incorporating 5G IoT devices health related technology and services. Reviewed through several models that serve as potential model to involve key factors that are unique certain healthcare services. We picked one model that can be easily incorporated in the system and can be revised to fit within the requirements using 5G IoT devices. Gathering of related literature served as a foundation in understanding the benefits of 5G IoT in the healthcare systems and parameters were pooled from it to revise the IoT model. Results: Incorporating 5G IoT features into a chosen model gave an overview of various determinants that can help understanding how IoT can influence any healthcare service and improve the quality of health. There are no rules and restrictions for use and utilization of this technology for health management yet in developing stage however, healthcare systems can rely on the 5G IoT devices for quality betterment. Conclusion: IoT with 5G has potential to improve healthcare management. The 5G world with an IoT will allow us to enter an era where real-time health services will become the part of the daily routine rather than the exception. However, further research needs to be done about its usage within any kind of specific health technology. Future research directions can utilize our model for other lesser known healthcare services

Bread stories: understanding the drivers of bread consumption for digital food customisation

Consumer demand for food that satisfies specific needs rather than generic mass produced food is growing. In response, the food industry is actively investigating techniques for efficient and comprehensive food customisation. Digital approaches to food customisation are starting to emerge, however, the majority is currently limited to the ingredient level thus excluding consumption drivers such as people’s practices and values around food. Using the approach of cultural probes, we identified four distinct narratives around bread consumption: the healthy bread, the fresh bread, the ethical bread, and the exceptional bread. These themes encapsulate drivers of bread consumption, which we argue can inform the design of digital food innovation platforms

NEUROCOMPUTING AND INTERFACING DIGITAL TASTING SYSTEM: RESEARCH, DESIGN, AND EVALUATION

The continuous evolution in computing and interfacing has been extended to develop multi-sensory experiences in many domains such as neurological, auditory, vision, and haptic domains. So far, only a few remarkable system approaches have been approved to be serving the taste sensation digitally. Although taste sensation is linked to the brain, there is a lack of optimal neurocomputing digital taste sensation systems. Our study provides a new neurocomputing method to digitally stimulate the sense of taste by electrical stimulation on the human tongue. We aim to link chemical stimulation and electrical stimulation in order to design an electronic interface for inducing taste digitally. The design proposes a module that is responsible for electric and stimulation to produce different taste sensations. In addition, the taste is delivered through the tongue interface by silver electrodes, coupled with a control system responsible for generating specific stimulation parameters based on user inputs selected on his mobile. A spoon for implementing the taste interface is issued in order to provide a user-friendly tool as a solution for various problems. Experimental results showed that the new model and design of the digital taste system works well and testing results showed clearly that 90% of the tested members were able to distinguish the taste. Among the taste categories, the initial results recommended that sourness and saltiness are the most probable sensations that would be induced. Besides the Biomedical importance of the new taste system for people suffering from taste problems, (no sense of taste, bad taste in the mouth, diminished sense of taste, distorted sense of taste) and for people having diabetes and hypertension, this technology shows the possibility and could be considered for sharing tastes in social networking and adapting it in virtual reality, gaming and other domains, also the sensation of tastes could be improved by involving others senses such as olfactory and sounds and increasing the population of tested members

Potential applications for virtual and augmented reality technologies in sensory science

peer-reviewedSensory science has advanced significantly in the past decade and is quickly evolving to become a key tool for predicting food product success in the marketplace. Increasingly, sensory data techniques are moving towards more dynamic aspects of sensory perception, taking account of the various stages of user-product interactions. Recent technological advancements in virtual reality and augmented reality have unlocked the potential for new immersive and interactive systems which could be applied as powerful tools for capturing and deciphering the complexities of human sensory perception. This paper reviews recent advancements in virtual and augmented reality technologies and identifies and explores their potential application within the field of sensory science. The paper also considers the possible benefits for the food industry as well as key challenges posed for widespread adoption. The findings indicate that these technologies have the potential to alter the research landscape in sensory science by facilitating promising innovations in five principal areas: consumption context, biometrics, food structure and texture, sensory marketing and augmenting sensory perception. Although the advent of augmented and virtual reality in sensory science offers new exciting developments, the exploitation of these technologies is in its infancy and future research will understand how they can be fully integrated with food and human responses. Industrial relevance: The need for sensory evaluation within the food industry is becoming increasingly complex as companies continuously compete for consumer product acceptance in today's highly innovative and global food environment. Recent technological developments in virtual and augmented reality offer the food industry new opportunities for generating more reliable insights into consumer sensory perceptions of food and beverages, contributing to the design and development of new products with optimised consumer benefits. These technologies also hold significant potential for improving the predictive validity of newly launched products within the marketplace

Digitizing the chemical senses: possibilities & pitfalls

Many people are understandably excited by the suggestion that the chemical senses can be digitized; be it to deliver ambient fragrances (e.g., in virtual reality or health-related applications), or else to transmit flavour experiences via the internet. However, to date, progress in this area has been surprisingly slow. Furthermore, the majority of the attempts at successful commercialization have failed, often in the face of consumer ambivalence over the perceived benefits/utility. In this review, with the focus squarely on the domain of Human-Computer Interaction (HCI), we summarize the state-of-the-art in the area. We highlight the key possibilities and pitfalls as far as stimulating the so-called ‘lower’ senses of taste, smell, and the trigeminal system are concerned. Ultimately, we suggest that mixed reality solutions are currently the most plausible as far as delivering (or rather modulating) flavour experiences digitally is concerned. The key problems with digital fragrance delivery are related to attention and attribution. People often fail to detect fragrances when they are concentrating on something else; And even when they detect that their chemical senses have been stimulated, there is always a danger that they attribute their experience (e.g., pleasure) to one of the other senses – this is what we call ‘the fundamental attribution error’. We conclude with an outlook on digitizing the chemical senses and summarize a set of open-ended questions that the HCI community has to address in future explorations of smell and taste as interaction modalities

The SARS-CoV-2 pandemic and tourist’s views on the need to rethink tourism

Parceria com a Universidade de Lisboa - Instituto de Geografia e Ordenamento do Território.Tourism has been a target of substantial technology investments to keep pace with the acceleration of globalisation and the increasingly demanding needs of consumers. Since tourism is an activity constantly adapting to social and economic adversities, the atypical situation of the SARS-COV-2 pandemic has highlighted the need to question tourism habits. The moment of global lockdown resulted in the partial or total cancellation of travel and leisure experiences and even cast doubt on consumers' habits as tourists in the sense of environmental and social sustainability. Therefore, it is feasible to agree that this pandemic has forced businesses and all entities to rethink tourism to respond to new demands and maintain related business activities. New alternatives have been implemented in restricted periods of constraint, such as the provision of virtualmuseums or visits to a virtual street. Given that this technological reality is increasingly pervasive in consumers’ day-to-day life and that the SARS-CoV-2 pandemic has been accelerating some processesregarding the reformulation of the tourism activity, this dissertation aims to study what personal characteristics and attitudes influence tourists’ intention to experience VT in a post pandemic period. Based on a sample of 229 individuals, the survey’s results suggest that younger tourists, who perceive VT as an alternative for conventional tourism in atypical situations and value authenticity in VT, are the ones with higher interest to experience virtual tourism. A cluster analysis revealed two clusters, named “the digital youngsters” and “the conservative adults”. Theoretical and practical implications are derivedO Turismo tem vindo a ser alvo de inúmeros investimentos a nível tecnológico, de forma a acompanhar a aceleração da globalização e das necessidades, cada vez mais exigentes, dos consumidores. Uma vez que o turismo é um setor em constante adaptação às adversidades sociais e económicas, a situação atípica da pandemia SARS-COV-2 sublinhou a necessidade de questionar o turismo. O momento de confinamento mundial traduziu-se na anulação parcial ou total de viagens e experiências de lazer, e chegou a colocar em dúvida os próprios hábitos dos consumidores enquanto turistas, no âmbito da sustentabilidade ambiental e social. É viável concordar, portanto, que esta pandemia obrigou as empresas e todas as entidades a repensar o turismo, para conseguirem responder às novas procuras e à sobrevivência de negócios relacionados. Novas alternativas têm vindo a ser implementadas em períodos de confinamento restritos, como a disponibilização de museus virtuais ou visitas a uma virtual street. Uma vez que esta realidade tecnológica é cada vez mais transversal ao dia-a-dia do consumidor, e já que a pandemia SARS-COV-2 tem vindo a acelerar alguns processos no que toca à reformulação do setor turístico, o estudo pretende analisar se os turistas reconhecem a urgência em repensar o turismo e adotar a Realidade Virtual como alternativa, ao perspetivar situações atípicas. Com o recurso a uma amostra de 229 pessoas, os resultados do questionário sugerem que turistas mais novos, que veem o TV como uma alternativa ao turismo convencional em situações atípicas e que valorizam a autenticidade no TV, tendem a ser os que têm maior interesse em experienciar virtualmente o turismo. Uma análise de clusters revelou dois grupos independentes, chamados de “os jovens digitais” e “os adultos conservadores”. As implicações teóricas e práticas são derivadas

Portable device for augmented reality: five-sense experiences

Dissertação de mestrado, Engenharia Eléctrica e Electrónica, Instituto Superior de Engenharia, Universidade do Algarve, 2017O objectivo deste trabalho é apresentar um dispositivo portátil capaz de proporcionar sensações de tacto, paladar e olfacto a uma experiência de realidade aumentada. Hoje em dia, muitas experiências culturais e pessoais são construídas com base em aplicações móveis, incluindo aqueles que usam Realidade Aumentada (AR). Estas aplicações têm crescido em utilização, devido à enorme popularidade dos dispositivos móveis, com câmaras existentes, com sistemas de posicionamento global (GPS) e também com uma enorme disponibilidade de conexões de internet. Por outro lado, a maior parte das interfaces de utilizador (UI – User Interface) actuais seguiu tradicionalmente um modelo de tamanho único, geralmente ignorando as necessidades, habilidades e preferências dos utilizadores individuais. No entanto, estudos recentes indicam que o desempenho da visualização dos dispositivos poderia ser melhorado se fossem adaptados aspectos de visualização especificamente para cada utilizador individual. Tendo este contexto em mente, o projeto Mobile Five Senses Augmented Reality System for Museums (M5SAR) visa desenvolver um sistema de AR para ser um guia em eventos culturais, históricos e em museus, complementando ou substituindo a orientação tradicional dada pelos guias, sinais direcionais ou mapas. O trabalho descrito na presente tese faz parte deste projeto M5SAR. O sistema completo consiste numa aplicação para smartphone (fora do âmbito desta tese) e num dispositivo físico (o presente trabalho), às vezes referido como "gadget", “dispositivo portátil”, ”AMtop” (Aplicação Móvel + tacto olfacto e paladar) ou “PDTTSS” (Portable Device for Touch Taste and Smell Sensations), para ser integrado no smartphone de forma a explorar os 5 sentidos humanos: visão, audição, tacto, olfacto e paladar. Os sistemas tradicionais de AR dão feedback sensorial a apenas dois dos nossos sentidos, a visão e a audição. Ao contrário desses, a multimédia multissensorial concentra-se em fornecer comunicações imersivas e melhorar a qualidade de experiência dos utilizadores. Com isto em mente, é um dos objetivos do projeto M5SAR, a implementação de um dispositivo de hardware para se integrar ao smartphone, que permita ao utilizador sentir toque, cheiro e sabor, expandindo a experiência digital típica para todos os cinco sentidos. Portanto, é o objetivo deste trabalho, construir e desenvolver esse mesmo dispositivo de realidade aumentada. As soluções actuais relacionadas com o aumento de experiências sensoriais consistem em grandes sistemas de hardware e estão longe de ser portáteis. Nesta tese, é apresentado um novo dispositivo pequeno e portátil, para integrar com o smartphone do utilizador, para reproduzir uma experiência completa com todos os cinco sentidos. O dispositivo implementado embora pequeno e, adiciona ao sistema de realidade aumentada as experiências do toque, cheiro e sabor. Além disso, o dispositivo é suficientemente flexível para se adaptar aos diferentes tamanhos dos tablets e smartphones dos utilizadores. É alimentado por uma bateria recarregável, o que dá ao módulo a capacidade de manter o sistema a funcionar durante toda a visita ao museu. O núcleo principal é um microcontrolador que recebe as instruções da aplicação móvel a correr no smartphone e reage de acordo com essas instruções, activando o restante hardware necessário para disponibilizar a experiência multissensorial ao utilizador. A comunicação entre a aplicação e o dispositivo é feita sem fios, através de um interface Bluetooth. A comunicação com o resto do módulo, denotados aqui como interfaces físicos, é cablada. Estas interfaces serão responsáveis por criar os estímulos que reproduzem os três sentidos: tacto, paladar e olfacto. O restantes sentidos, a visão e a audição, já são reproduzidos pelo próprio smartphone ou tablet do utilizador. Neste relatório, depois de explicados os objectivos e o enquadramento do trabalho, são explicados alguns conceitos necessários para compreender o conteúdo e alcance desta tese, que inclui a compreensão dos sentidos humanos e a forma como são estimulados. São analisadas algumas das tecnologias existentes para reproduzir o estímulo sensorial para os três sentidos humanos menos explorados, toque, sabor e cheiro, quer sejam projetos acadêmicos, ideias em desenvolvimento ou produtos de consumo comercialmente disponíveis, independentemente do tamanho, eficiência ou praticidade. Pela análise dos objetivos e dos requisitos do projeto, e considerando a aplicação final, é apresentado o estudo do modo de desenvolver o dispositivo portátil, desde o seu aspecto físico, até os sistemas sensoriais mais intrincados. São apresentadas diferentes possibilidades de recriar o estímulo para cada sensação e que tecnologias existem e como podem ser aplicadas. Pela sua comparação e análise, são determinadas quais são as melhores e mais apropriados para usar neste projecto, tendo em consideração o tamanho, a portabilidade e as limitações de energia existentes num dispositivo portátil, também não esquecendo a comodidade e segurança para o usuário. São apresentados ainda neste relatório todos os detalhes importantes para a construção do protótipo do dispositivo portátil. Foi desenvolvido um protótipo que serve para fazer a “prova de conceito”, e neste relatório são detalhados os componentes usados, como eles foram ligados e explicadas as mudanças necessárias efectuadas em relação ao conceito projetado anteriormente. São ainda apresentadas as especificações técnicas de cada componente e do próprio PDTTSS, assim como a estrutura da caixa que suporta o dispositivo, mostrando a evolução que a estrutura teve ao longo do projecto, com os seus modelos 3D e a estrutura real impressa em 3D para a construção do protótipo. Desde a posição para cada componente na estrutura, a sua montagem, passando pela electrónica necessária, com a especificação da placa do microcontrolador, o firmware e a interface de comunicação, tudo é apresentado e detalhado neste relatório. Sob o protótipo do dispositivo desenvolvido, foram executados diversos testes. Devido à natureza de algumas interfaces usadas, alguns testes não foram possíveis de quantificar, por isso esses testes foram conduzidos com pessoas para obter seus comentários sobre sua experiência real como usuário da unidade portátil. Os resultados são apresentados e resumidos por interface sensorial. Além do estímulo sensorial, alguns resultados sobre a compatibilidade do uso, em relação ao tamanho e ao peso, também são representados aqui, assim como Uma discussão sobre os múltiplos resultados, analisando-os em termos de relevância e interesse para este aplicativo, bem como possíveis problemas e sua causa provável. Em termos gerais, os resultados são coerentes com uma primeira versão de um protótipo realizado com o objectivo de ser uma prova de conceito. Assim, os resultados mostram que há interfaces que necessitam de ser melhorados, para serem mais perceptíveis pelo utilizador final, nomeadamente a sensação de frio. Outros interfaces são ainda passíveis de melhorias, embora o resultado já obtido seja satisfatório, nomeadamente a sensação de vento. Outros interfaces apresentam já resultados aceitáveis para uma solução final, como a sensação de quente. Em suma, para um protótipo desenvolvido como prova de conceito, este cumpriu exemplarmente as suas funções, pois permitiu validar a ideia, permitindo ainda ter uma noção real da utilização e implementação dos interfaces pelos utilizadores finais. Neste âmbito, a análise dos problemas encontrados nos resultados dos testes permitiu encontrar soluções possíveis para corrigir esses problemas, e soluções de como melhorar o dispositivo portátil para o desenvolvimento de um novo protótipo

Dining with the Cyborgs: Disembodied Consumption and the Rhetoric of Food Media in the Digital Age

This project explores digital media productions based specifically on food and cooking in order to demonstrate that new communication technologies are increasingly incorporating all five of the bodily senses. In doing so, they contribute significantly to the emergence of new ideological apparatuses appropriate for a global community. These apparatuses – including the formation of a posthumanist subject, the use of technology to support embodied cognition, and the establishment of entertainment as an ideological institution – have become the harbingers of a rhetorical evolution. Based on the work of Gregory Ulmer, along with Jacques Derrida, N. Katherine Hayles, Donna Haraway, and Cary Wolfe, this evolution expands the work of Plato and Aristotle by overcoming the privileging of mind over body and abstract reasoning over concrete physical experience. As such hierarchies become turned on their heads, a renewed emphasis on materiality and embodiment demands virtual products that stimulate the body. As such, a phenomenon I have named disembodied consumption takes place whereby users\u27 chemical senses can be incited through participation with digital technologies. Through the stimulation of these physical senses, and in turn the connected emotions, today\u27s digital citizens are practicing the rhetorical method referred to by Ulmer as conduction. By examining sites, blogs, and postings that include references to food and flavor, I reveal examples of conduction and show how this method is necessary for the development of well-being, and the defeat of compassion fatigue in digital society