A Multilayered GDIF-Based Setup for Studying Coarticulation in the Movements of Musicians

The paper presents some challenges faced in developing an experimental setup for studying coarticulation in music-related body movements. This has included solutions for storing and synchronising motion capture, biosensor and MIDI data, and related audio and video files. The implementation is based on a multilayered Gesture Description Interchange Format (GDIF) structure, written to Sound Description Interchange Format (SDIF) files using the graphical programming environment Max/MSP

Ambientes sonoros interativos e imersivos

O uso de técnicas de espacialização sonora interativas para a criação de ambientes virtuais sonoros permite atingir uma resolução superior à apresentada pelos ambientes virtuais visuais. Recorrendo a estas ferramentas é possível o desenvolvimento de aplicações interativas e imersivas, como jogos sonoros. Não estando dependentes da componente visual e criando um estímulo à criatividade do utilizador, este género de experiências permite atingir um grau de imersão superior aos jogos tradicionais. Esta investigação pretendeu analisar os principais métodos de espacialização sonora interativa e o fenómeno de imersão, de modo a permitir reunir o conhecimento necessário à concepção de uma instalação sonora interativa e imersiva. Foi desenvolvido e testado o jogo sonoro The Sound of Horror, do género first-person shooter e subgénero survival horror, controlado através de uma interface à semelhança de uma arma de grande porte que permite um controlo gestual orgânico para a execução de múltiplas funções, permitindo ao utilizador interagir com alvos sonoros dinâmicos, na forma de criaturas monstruosas e assustadoras