Mulsemedia: State of the art, perspectives, and challenges

Mulsemedia-multiple sensorial media-captures a wide variety of research efforts and applications. This article presents a historic perspective on mulsemedia work and reviews current developments in the area. These take place across the traditional multimedia spectrum-from virtual reality applications to computer games-as well as efforts in the arts, gastronomy, and therapy, to mention a few. We also describe standardization efforts, via the MPEG-V standard, and identify future developments and exciting challenges the community needs to overcome

Integration of Multisensorial Stimuli and Multimodal Interaction in a Hybrid 3DTV System

This article proposes the integration of multisensorial stimuli and multimodal interaction components into a sports multimedia asset under two dimensions: immersion and interaction. The first dimension comprises a binaural audio system and a set of sensory effects synchronized with the audiovisual content, whereas the second explores interaction through the insertion of interactive 3D objects into the main screen and on-demand presentation of additional information in a second touchscreen. We present an end-to-end solution integrating these components into a hybrid (internet-broadcast) television system using current 3DTV standards. Results from an experimental study analyzing the perceived quality of these stimuli and their influence on the Quality of Experience are presented

UM APLICATIVO MÓVEL PARAACESSO POR PESSOAS COM DEFICIÊNCIA VISUAL A SISTEMAS MULTIMÍDIA

Os sistemas multimídia são compostos, em sua grande maioria, por recursos visuais, como por exemplo: vídeos, imagens, gráficos e animações. Assim, uma Pessoa com Deficiência Visual (PDV) fica impedida de interagir com esses sistemas. O sistema multimídia Obras 4D, criado para visualização de dados referentes às obras públicas do Estado X, objetiva facilitar o acesso às informações de obras, usando óculos de Realidade Aumentada (RA), utilizando suas localizações geográficas como via de acesso inicial. O sistema Obras 4D foi desenvolvido para que pessoas sem deficiência visual acessem suas informações usando óculos de RA. Neste contexto, propomos um aplicativo para dispositivos móveis, chamado o BlindHelper, que oferece às PDVs o acesso às informações do sistema Obras 4D utilizando smartphones. O aplicativo possibilita a interação baseado em movimentos da mão da PDV que são captados pelo acelerômetro do smartphone e as informações dos elementos multimídia são passadas à PDV por meio de audiodescrição. A interação entre o App e o sistema RA é feita através de marcadores fiduciais. Assim, não é necessário realizar nenhuma modificação de infraestrutura para integrar quaisquer sistemas com o App, nem acrescentar equipamentos adicionais pois o smartphone dos óculos de RA pode ser usado pela PDV