107 research outputs found
Short overview of parametric loudspeakers array technology and its implications in spatialization in electronic music
UID/EAT/00472/2013In late December of 1962, a Physics Professor\from Brown University, Peter J. Westervelt,\submitted a paper called Parametric Acoustic Array considered primary waves interacting within a given volume and calculated the scattered pressure field due to the non-linearities within a small portion of this common volume in the medium. Since then, many outputs of this technology were developed and applied in contexts such as military, tomography, sonar technology, artistic installations and others. Such technology allows perfect sound directionally and therefore peculiar expressive techniques in electroacoustic music, allowing a very particular music dimension of space. For such reason, it’s here treated as a idiosyncrasy worth to discuss on its on terms. In 2010-2011 I composed the piece "A Anamnese das Constantes Ocultas", commissioned by Grupo de Música Contemporânea de Lisboa, that used a parametric loudspeakers array developed by engineer Joel Paulo. The same technology was used in the 2015 acousmatic piece “Jeux de l'Espace ” for eight loudspeakers and one parametric loudspeaker array. This paper is organized as follows. A theoretical framework of the parametric loudspeaker array is first introduced, followed by a brief description of the main theoretical aspects of such loudspeakers. Secondly, there is a description of practices that use such technology and their applications. The final section describes how I have used it in my music compositions.publishersversionpublishe
Reducing and removing barriers to spatial audio : applications of capital as a critical framework to promote inclusion in spatial audio : a thesis submitted to Massey University in partial fulfilment of the requirements for the degree of Doctorate of Philosophy in Music at Massey University, Wellington, New Zealand
The research within this thesis aims to address the question of whether barriers of capital to the field of spatial audio can be reduced or removed.
Spatial audio is the musical utilization of space, where spatialization is the salient feature of the musical work. As a field, it primarily exists within academic and art institutions. Because of this, there are numerous barriers that prohibit people from engaging with the field. These barriers include significant technical requirements, the need for education, the expense of large spatial audio systems, amongst others. These barriers mean that those who are excluded have little to no pathway to engage with the field.
This thesis explores the barriers in spatial audio through the lens of capital. Viewed as one’s level of resource, a lack of economic, social, symbolic, cultural, and physical capital can exclude many from engaging with spatial audio. The research within this thesis identifies barriers of capital that exist within the field through qualitative and quantitative survey analysis as well as literature review. The identified barriers are then addressed through practice-led and practice-based research with the creation of new spatial audio works and compositional strategies, alongside user surveys to ascertain the efficacy of the research
The role that sound spatialization plays in improving performance in an interactive installation : study of the correlation between gesture and localization of sound sources in space
The main objective of this research work is to study the correlation between gesture and localization of sound
sources in space within the framework of interactive installations, based on theories of hearing and gesture.
We have therefore chosen the experimental method by developing an interactive installation with which
we carry out three different experiments, in which a subject’s hand is tracked by a Microsoft Kinect depth
camera (motion capture) and a deictic gesture is used to trigger recorded music sounds and identify their
localization in the horizontal plane. Thus, we manipulate the direction of sound and we measure the percentage
of correct perceptual sound source localizations resulting from the participant’s responses in an Inquiry Mode
Questionnaire in comparison with the actual directions of the gesture and perceptual sound sources provided
by software.
Descriptive and inferential statistics is applied to the collected data. The main results show that it is easier
to define the origin of sound and that auditory perception is more accurate when its incidence is frontal in the
horizontal plane, just as sound source localization theory predicts. Whereas 86.1% of all volunteers consider
that their gesture coincides with the origin of sound in experiment 1, in which the use of their gesture in a certain
direction produces a sound from that direction, only 58.1% admit the same in experiment 3, in which the same
gesture is used to identify the system-predetermined localization of a perceptual sound source in an angle of
260o around a subject. At least 55.9% of all participants do not perceive that their gesture cannot coincide
with the origin of sound in experiment 2, since sound is produced from the opposite surround direction, which
seems to demonstrate that, when sounds are produced frontally or from the back and a person has the task of
controlling their motion with a deictic gesture at the same time, his or her ability to identify the origin of sound
generally diminishes, in addition to the already well-known reduced ability to identify it when it is in the median
plane, if the head is not rotated.
We therefore conclude that there is a relatively high correlation between gesture and localization of sound
sources in space, but this is not as perfect as it could be owing to the limitations of the human auditory system
and to the natural dependence of head movement on gesture.O objectivo principal deste trabalho de pesquisa é o de estudar a correlação entre gesto e localização de fontes
sonoras no espaço, no âmbito das instalações interactivas, com base nas teorias da audição e do gesto. Na
ocasisão em que começamos a nossa investigação verificámos que havia vários estudos que abordavam os
assuntos “gesto” e “localização de fontes sonoras” de diversas maneiras: 1) de forma independente um do
outro e/ou noutros contextos distintos dos das instalações interactivas, como por exemplo em Blauert (1997),
Pulkki (1999) Pulkki & Karjalainen (2001), Pulkki (2001a), Bates et al. (2007), Hammershøi (2009), McNeill
(1992), Coutaz & Crowley (1995), Choi (2000), Cadoz & Wanderley (2000), Nehaniv (2005), Campbell (2005),
ou Godøy & Leman (2010); 2) de um ponto de vista mais técnico, como por exemplo em Harada et al. (1992),
Jensenius et al. (2006), Marshall et al. (2006), Schacher (2007), Neukom & Schacher (2008), Zelli (2009),
Marshall et al. (2009), Bhuiyan & Picking (2009), ou Schumacher & Bresson (2010); ou 3) de um ponto de
vista mais artístico, como em Bencina et al. (2008) ou Grigoriou & Floros (2010). Havia, no entanto, muito
poucos estudos a envolver ou a abordar ambos os assuntos e a analisar de maneira conjugada as suas
relações de um ponto de vista mais perceptual, como por exemplo em Gröhn (2002), de Götzen (2004) ou
Marentakis et al. (2008). Foi esta última perspectiva que decidimos seguir e que aqui exploramos.
Desta forma, optámos pelo método experimental, aplicando um desenho de medidas repetidas e desenvolvendo
uma instalação interactiva com a qual realizamos três experiências diferentes, em que a mão de um
sujeito é rastreada por uma câmara de profundidade Microsoft Kinect (captação de movimento) e um gesto
díctico é usado para activar sons de música gravada e para identificar as suas localizações no plano de escuta
horizontal. Assim, manipulamos a direcção do som e medimos a percentagem de localizações de fontes
sonoras perceptuais correctas, resultante das respostas dos participantes num Inquérito Por Questionário
em comparação com as direcções reais do gesto díctico e das fontes sonoras perceptuais fornecidas pelo
software que utilizamos no nosso trabalho. Para população-alvo pensámos em pessoas com conhecimentos
musicais e pessoas com poucos ou nenhuns conhecimentos musicais, o que nos levou a solicitar a um grande
número de pessoas a sua participação voluntária, anónima e sem constrangimentos no nosso estudo. Isso foi
levado a cabo sobretudo através do envio de correio electrónico para amigos, para estudantes de diferentes
áreas a frequentar e para colegas a trabalhar na Escola de Artes da Universidade Católica Portuguesa (EA-
-UCP), na Escola Superior de Música e Artes do Espetáculo do Instituto Politécnico do Porto e na Academia
de Música de Espinho. Para além disso, foi também crucial falar-se com amigos e familiares e informar tantas
pessoas quanto possíıvel sobre a nossa investigação, através da colocação de cartazes informativos nas
paredes dos corredores da Universidade Católica, alguns dias antes de as experiências terem sido realizadas
no Laboratório de Captação de Movimento da EA-UCP.
Por fim, é efectuada uma análise estatística descritiva e inferencial dos dados recolhidos. Os principais
resultados apontam no sentido de ser mais fácil definir a origem do som quando a sua incidência é frontal
no plano de escuta horizontal, para além de a percepção auditiva ser mais precisa nessa direcção, tal como
a teoria da localização de fontes sonoras prevê. Enquanto 86.1% de todos os participantes consideram
que o seu gesto díctico coincide com a origem do som na experiência 1, em que o uso desse gesto numa
determinada direcção faz despoletar um som proveniente dessa direcção, apenas 58.1% admitem o mesmo na experiência 3, em que o mesmo gesto é usado para identificar a localização de uma fonte sonora perceptual
predeterminada pelo sistema num ângulo de 260º em torno de um sujeito. Esta última percentagem parece
dever-se ao facto de a maior parte dos sons ser produzida a partir de direcções laterais na experiência 3, tendo
a posição da cabeça voltada para a câmara como referência. Pelo menos 55.9% de todos os voluntários não
percebem que o seu gesto não poderia ter coincidido com a origem do som na experiência 2, já que o som
é produzido a partir da direcção envolvente oposta. Este facto parece demonstrar que, quando os sons são
produzidos frontalmente ou de trás e uma pessoa tem a tarefa de controlar os seus movimentos com um
gesto díctico ao mesmo tempo, a sua capacidade para identificar a origem do som é, em geral, ainda mais
baixa, para além da já conhecida capacidade reduzida para identificá-la quando o som se encontra no plano
mediano, se a cabeça não for rodada.
A maior parte dos participantes sente um controlo imediato sobre o som nas experiências 1 e 2, mas os
tempos estimados pelos próprios são bastante superiores aos aproximadamente 650 milissegundos necessários
para o ser humano ouvir e reagir a um som na nossa instalação interactiva.
Descobrimos também que o tempo médio necessário para localizar sons com o uso de um gesto díctico na
nossa experiência 3 é de cerca de 10 segundos, o que corresponde a um tempo bastante mais longo do que
os 3 segundos que supusemos. Para além disso, os voluntários fazem em média 2 tentativas para localizar
sons com os seus gestos dícticos, tendo a necessidade de ouvir apenas uma vez em média cada som na
íntegra para o localizar.
Os desvios à esquerda e à direita efectuados pela maior parte dos participantes relativamente às direcções
verdadeiras do som, quando estes tentam identificar as localizações predeterminadas pelo sistema das fontes
sonoras perceptuais com os seus gestos dícticos na zona periférica do corpo, são em média de 7.97º e -7.19º,
respectivamente. Desta forma, o desvio médio absoluto é de 7.76º. Comparando esses desvios com aqueles
levados a cabo pelos participantes usando a mão esquerda (desvios de 6.86o para a esquerda e -6.35º para
a direita das direcções verdadeiras do som) e com aqueles usando a mão direita (desvios de 8.46º para
a esquerda e -7.38º para a direita das direcções verdadeiras do som), concluímos que os resultados são bastante parecidos entre si.
Descobrimos que a maior parte dos voluntários estima um tempo muito mais longo do que os 2 segundos
que supusemos experimentalmente para entender cada uma das três experiências. Para além disso,
esse tempo estimado pelos participantes diminui da primeira para a última experiência, aparentemente devido
à familiarização, conscientemente provocada por nós através da mesma sequência de realização das
experiências imposta a cada participante, com o nosso sistema interactivo, embora considerem ter entendido
cada uma das três experiências rapidamente.
Acresce que a maioria dos voluntários interage facilmente com a nossa instalação e concorda que o gesto
sugerido por nós foi adequadamente seleccionado para qualquer uma das três experiências.
Também constatamos que os participantes consideram a resposta do sistema ao gesto como sendo imediata
nas nossas três experiências, ou seja, estimam cerca de 1 segundo, o que é consistente com o resultado
da medição da latência do sistema de cerca de 470 milissegundos.
Além disso, verificamos que a maioria dos voluntários se sente envolvida pelo som na nossa instalação
interactiva usando Ambisonics Equivalent Panning. Portanto, concluímos que, usando uma instalação interactiva como a nossa com um público-alvo semelhante
aquele que tivemos, há uma correlação relativamente elevada entre o gesto e a localização de fontes
sonoras no espaço, mas que esta não é tão perfeita como poderia ser devido às limitações do nosso sistema
auditivo e aparentemente à dependência natural do movimento da cabeça do gesto. Assim, parece que a
espacialização sonora pode melhorar o desempenho numa instalação interactiva, mas de forma moderada.
Mesmo assim, defendemos que um sistema como o nosso pode vir a ser aplicado com vantagem em domínios
diversos como os que apresentamos como exemplos
Embodied gestures
This is a book about musical gestures: multiple ways to design instruments, compose musical performances, analyze sound objects and represent sonic ideas through the central notion of ‘gesture’.
The writers share knowledge on major research projects, musical compositions and methodological tools developed among different disciplines, such as sound art, embodied music cognition, human-computer interaction, performative studies and artificial intelligence. They visualize how similar and compatible are the notions of embodied music cognition and the artistic discourses proposed by musicians working with ‘gesture’ as their compositional material.
The authors and editors hope to contribute to the ongoing discussion around creative technologies and music, expressive musical interface design, the debate around the use of AI technology in music practice, as well as presenting a new way of thinking about musical instruments, composing and performing with them
Embodied gestures
This is a book about musical gestures: multiple ways to design instruments, compose musical performances, analyze sound objects and represent sonic ideas through the central notion of ‘gesture’.
The writers share knowledge on major research projects, musical compositions and methodological tools developed among different disciplines, such as sound art, embodied music cognition, human-computer interaction, performative studies and artificial intelligence. They visualize how similar and compatible are the notions of embodied music cognition and the artistic discourses proposed by musicians working with ‘gesture’ as their compositional material.
The authors and editors hope to contribute to the ongoing discussion around creative technologies and music, expressive musical interface design, the debate around the use of AI technology in music practice, as well as presenting a new way of thinking about musical instruments, composing and performing with them
Sonic Interactions in Virtual Environments
This open access book tackles the design of 3D spatial interactions in an audio-centered and audio-first perspective, providing the fundamental notions related to the creation and evaluation of immersive sonic experiences. The key elements that enhance the sensation of place in a virtual environment (VE) are: Immersive audio: the computational aspects of the acoustical-space properties of Virutal Reality (VR) technologies Sonic interaction: the human-computer interplay through auditory feedback in VE VR systems: naturally support multimodal integration, impacting different application domains Sonic Interactions in Virtual Environments will feature state-of-the-art research on real-time auralization, sonic interaction design in VR, quality of the experience in multimodal scenarios, and applications. Contributors and editors include interdisciplinary experts from the fields of computer science, engineering, acoustics, psychology, design, humanities, and beyond. Their mission is to shape an emerging new field of study at the intersection of sonic interaction design and immersive media, embracing an archipelago of existing research spread in different audio communities and to increase among the VR communities, researchers, and practitioners, the awareness of the importance of sonic elements when designing immersive environments
Sonic interactions in virtual environments
This book tackles the design of 3D spatial interactions in an audio-centered and audio-first perspective, providing the fundamental notions related to the creation and evaluation of immersive sonic experiences. The key elements that enhance the sensation of place in a virtual environment (VE) are: Immersive audio: the computational aspects of the acoustical-space properties of Virutal Reality (VR) technologies Sonic interaction: the human-computer interplay through auditory feedback in VE VR systems: naturally support multimodal integration, impacting different application domains Sonic Interactions in Virtual Environments will feature state-of-the-art research on real-time auralization, sonic interaction design in VR, quality of the experience in multimodal scenarios, and applications. Contributors and editors include interdisciplinary experts from the fields of computer science, engineering, acoustics, psychology, design, humanities, and beyond. Their mission is to shape an emerging new field of study at the intersection of sonic interaction design and immersive media, embracing an archipelago of existing research spread in different audio communities and to increase among the VR communities, researchers, and practitioners, the awareness of the importance of sonic elements when designing immersive environments
- …