Automatic Schaeffer's gestures recognition system

Schaeffer's sign language consists of a reduced set of gestures designed to help children with autism or cognitive learning disabilities to develop adequate communication skills. Our automatic recognition system for Schaeffer's gesture language uses the information provided by an RGB-D camera to capture body motion and recognize gestures using dynamic time warping combined with k-nearest neighbors methods. The learning process is reinforced by the interaction with the proposed system that accelerates learning itself thus helping both children and educators. To demonstrate the validity of the system, a set of qualitative experiments with children were carried out. As a result, a system which is able to recognize a subset of 11 gestures of Schaeffer's sign language online was achieved.This work has been supported by the Spanish Government DPI2013-40534-R Grant, supported with Feder funds

Mental and motor representation for music performance

This research proposes a theory of nonconscious motor representation which precedes mental representation of the outcome of motor actions in music performance. The music performer faces the problem of how to escape sedimented musical paradigms to produce novel configurations of dynamics, timing and tone colour. If the sound were mentally represented as an action goal prior to being produced, it would tend to be assimilated to a known action goal. The proposed theory is intended to account for creativity in music performance, but has implications in other areas for both creativity and motor actions. The investigation began with an ethnographic study of two 'posthardcore' rock bands in London and Bristol. Posthardcore musicians work with minimal explicit knowledge of music theory and cognitive involvement in performance is actively eschewed. Serendipitous musical felicities in performance are valued. Such felicities depend on adjustment and fine control of dynamics, timing and tone colour within the parameters of the given. A selective survey of music aesthetics shows that the defining qualities of music are the production of immanent rather than representational meaning; polysemy; and processuality. Taking an analytic philosophy and cognitive science approach, I argue that apprehensions of immanent meaning depend on relationships between proximal percepts within the specious present. A general argument for nonconceptual perceptual content as perception of relations between magnitudes within the specious present is extended to music and argued to account for both the polysemic richness of music and its processuality. Nonconceptual relational perception can account for novel apprehensions by music listeners, but not for the production of novel configurations by the performer. I argue that motor creativity in music performance is achieved through the nonconscious parameterization of inverse models without conscious representation of the goal of the action. Conscious representation for the performer occurs when they hear their own performance

Exploring Hybridity: An investigation into the integration of instrumental and acousmatic structural strategies

The aim of this commentary, which accompanies a folio of electroacoustic/acousmatic, instrumental and mixed compositions, is to investigate the relationship of instrumental and acousmatic compositional practices and to find common integrating structural strategies. These practices are also related to the handling and organization of disparate and large amounts of sound information in both media. Multi-dimensional aural spaces are very common in both instrumental and acousmatic media when timbre becomes a dynamic and form shaping parameter. The listener may perceive the musical discourse in multi-dimensional musical spaces through multiple perceptional modes. A musical syntax of those - usually indeterminate and ambiguous - aural spaces may be achieved through a hybridization of interconnected temporal concepts, connected to motion, gesture and shape, and spatial concepts, connected to sound source and timbre. The narrative structure of the musical discourse is linked to conceptualizations of physical and conceptual musical spaces through cognitive schemas and patterns and can be approached through visual and spatial metaphors that resemble film and TV montage structures. A sound montage theory provides a basic framework for the organization of narrative structure in sound composition

COMPOSITIONAL EXPLORATIONS OF PLASTIC SOUND

Each piece of music in this research is meant to explore a different aspect of music as a plastic art. Conclusions reached in the review of each new work were used to guide the development of the next. The notions of plasticity in sound, and sound as a plastic material were used to give the overall research a focal point. In exploring different types of composition, reciprocal plasticity between the materials and the developing ideas of the music are discussed in the context of ecological and biological psychology. By restricting all these works within the genre of 'plastic arts' it became necessary to introduce a new technique for instrumental composition. An aural model is used to replace the traditional written score. These instrumental works were developed entirely within an auditory situation.Funded by De Montfort Universit

The 'objets sonores': Rethinking Structural Conventions in Schaeffer, Boulez, Grisey

A rethinking of the conventional strategies of musical structuring has been intensively developed since WWII. At this time, not only the rules of the codified system of tonality were overcome, but also the notion of musical sound itself as it had been conventionally intended was questioned. The note, which implies the supremacy of pitch among sound qualities, was no longer accepted as the basic element of musical language. The notion of 'sonic object' was introduced, which entails the idea that musical sound can exceed the limits defined by conventional practice and codified system, and should be considered as an object to be researched and understood, in order to exploit its full potential. The research consists of a comparative study of three musicians operating in France after WWII: Pierre Schaeffer, Pierre Boulez, and Gerard Grisey. Apart from the obvious geographical connection, they share the will to develop a new way to organise music on the basis of the accurate understanding and complete exploitation of the sonic object. The research is organised in three sections, each devoted to the study of one musician, each using his theoretical and, where possible, his musical output to clarify his thought and the reasons of his practice. However, for every specific topic of discussion, comparisons between the musicians are undertaken, so that the originality and/or inconsistency of each is highlighted by a confrontation with the others. Overall, the work shows how, notwithstanding evident superficial differences, especially in the definition and description of the sonic object, all three musicians had to confront very similar basic issues, and how the theoretical codification of any music is in fact, most of the time, a quest for a conceptual coherence which is always exceeded by musical practice

Electroacoustic music pre-1960: historicity and ideology

A search for the antecedents of early electroacoustic music. An Illustrative survey of ideologies and methodologies pertinent to the development of electroacoustic music of three influential musicians of the period: Varese, Stockhausen and Schaeffer. Illustrative assessment of major works from these composers during this period. The musico-political situation and the tensions between the main protagonists. The impact of the technology of mass communication on the culture of the twentieth century and its musical appropriation

The Visualization and Representation of Electroacoustic Music

In Chapters 1 and 2 there are definitions and a review of electroacoustic music, and then visualization generally and as applied to music. Chapter 3 is a review of specific and relevant literature as regards to the visualization of electroacoustic music. Chapter 4 introduces the concepts of imagining as opposed to discovering new sound, and what is important to this research about these terms; in addition what is meant and indicated by them. Chapter 5 deals with the responses that composers currently working have made to the enquiry concerning visualization. In this chapter these responses are dealt with as case studies. In a similar way, Chapter 6 looks at some examples of historical work in electroacoustic music, again as case studies. In Chapter 7 a taxonomical structure for the use of visualization in electroacoustic composition is established and derived from the case study results. Chapter 8 looks at relevant examples of software and how they offer visualization case studies. Chapter 9 looks at the place of the archive in various stages of the compositional process. Chapter 10 investigates the problems of visualizing musical timbre as possible evidence for future strategies. Chapter 11 offers some conclusions and implications as to the main research questions, as well as more specific outlines of potential strategies for the visualization of electroacoustic music

Composição de sistemas musicais interactivos

This work proposes a contribute to the understanding of computer-based interactive music practices, in order to establish methodologies that can provide a more transparent, flexible and dynamic process in related compositional activity. This research is developed by examining and articulating complementary perspectives on the intersection of computer music with interaction. We begin by researching on models, materials, techniques and concepts that can contribute to this practice, attempting to understand the affordances and constraints that the computational medium provides. We then study how interaction has contributed to the contemporary context of interactive music practices by reshaping the relationship between the composer, the performer, the audience and the environment. In order to further scrutinize the potential of computer-based interactive music, we investigate new programming paradigms and how they can yield a more adequate context for artistic practices such as music. Complementing these explorations, we implement a computational framework, suggesting an alternate approach to interactive music practices.As novas abordagens aos meios digitais levaram à criação de técnicas e processos que procuram solucionar as mais variadas tarefas na composição e performação. Neste contexto, o uso de computadores para a prática musical não contribuiu apenas para a representação complexa de processos musicais com um elevado grau de detalhe e repetibilidade nos domínios da síntese e processamento de sinal em tempo real, para a composição algorítmica ou análise musical. O exponencial crescimento da capacidade de armazenamento e da velocidade de processamento dos computadores, tornou-os instrumentos viáveis para a composição e performação, permitindo a extemporização de decisões musicais e a expansão da performação para além dos limites fisiológicos humanos. Neste sentido, temos assistido a um crescente desenvolvimento de aplicações dedicadas à performação musical, tais como o Ableton Live1 ou o Reason2. Estas aplicações permitem a gravação, edição e reprodução de som e a sua integração com uma grande diversidade de interfaces para o controlo e parametrização de eventos musicais. Encontramos, apesar de tudo, vários obstáculos ao tentar expandir o nosso potencial criativo para o desenvolvimento de situações musicais interactivas. Em geral, ferramentas como as acima mencionadas, condicionam o âmbito de decisão do compositor ao proporcionar soluções generalistas e pré-determinadas, reduzindo as suas possibilidades a uma mera selecção de processos e respectivos ajustes de parâmetros. Consequentemente, estas ferramentas não só conduzem a um inconsciente tecnológico, ao ocultar os processos que caracterizam a prática musical, mas também a uma escuta tecnológica, em que facilmente se percepciona o software utilizado na criação das obras. A utilização de software programável, como o Max/MSP3, Pure Data4 ou SuperCollider5 já permite um maior dinamismo, embora instigue modelos de interacção específicos que se tornam relevantes compreender. Os fluxos de informação das linguagens datafow assemelham-se à configuração de circuitos analógicos na música electrónica. Os 'instrumentos' das linguagens Music-N seguem o paradigma acústico, reforçando consequentemente a distinção entre composição e performação; neste sentido, a composição assume-se como a definição de possibilidades de interacção através da criação de estruturas, instrumentos e interfaces, em que todas as decisões composicionais são tomadas a priori, negligenciando o potencial expressivo das práticas de improvisação. Na tentativa de colmatar estas limitações, consideramos as potencialidades de expressão musical em tempo-real e as possibilidades comunicacionais que daí advêm, reconhecendo que os meios computacionais estão ainda abertos a muitas opportunidades de investigação. Neste sentido, o presente estudo procura contribuir para o alargamento do conhecimento artístico e científico no âmbito da Informática Musical, mais concretamente no que concerne a concepção e utilização de sistemas musicais interactivos, com o fim de estabelecer metodologias que possam fornecer um processo composicional mais transparente, flexível e dinâmico. Pretendemos então desenvolver uma metodologia que permita uma prática composicional mais adequada a este contexto, tornando os processos mais subjectivos, dinâmicos e transparentes, no sentido de facilitar as relações que se estabelecem com o computador, explorando ideias musicais de uma forma criativa, assim como melhorar o discurso que pode ser estabelecido com outros músicos, o público e o meio ambiente. Ao direccionar esta investigação para a intersecção entre música por intermédio do computador e a interacção levantam-se questões importantes que serão abordadas no desenvolvimento desta tese. A definição dos limites da composição no contexto da música interactiva por computador é ambígua, dado que esta prática se encontra intimamente relacionada com composição algorítmica ou com design sonoro por um lado, e por outro com performação e improvisação. A identificação e compreensão de modelos, técnicas e conceitos utilizados neste contexto tecnológico torna-se fundamental na definição da abrangência do nosso estudo. Deste modo, questionamos as ferramentas que utilizamos, o modo como são usadas e quais os objectivos que levaram à sua criação. Esta ideia também se estende à natureza dos materiais utilizados, exigindo uma compreensão mais aprofundada do computador como um medium, e das possíveis articulações que se estabelecem entre o compositor, os resultados sonoros e respectivos processos musicais. A definição de obra musical no contexto da música interactiva entende-se como uma acção ao invés de um objecto, dada a sua natureza efémera. Esta característica aprofunda a sua relação com as práticas de música improvisada. Com o objectivo de desenvolver estratégias mais adequadas para criação de situações interactivas por intermédio do computador são seguidas duas direcções de investigação complementares. Em primeiro lugar, levanta-se a necessidade de fazer um levantamento histórico sobre as práticas musicais interactivas no sentido de extrair os aspectos mais significativos para a música contemporânea. Pretendemos deste modo identificar possíveis soluções a desenvolver na componente prática da nossa investigação. Em segundo lugar, passamos para a aplicação prática destas soluções, através de um trabalho musical que permite a implementação e avaliação dessas hipóteses. Reconhecendo a natureza transdisciplinar do nosso estudo, adoptamos uma metodologia orientada para a acção (action-based research) ⁠ tal como preconizado por Coghlan e Brannick (2010). Deste modo, direccionamos a revisão literária para a compreensão geral da música interactiva em busca de estratégias e modelos que possam indiciar possíveis acções na nossa prática. Em seguida, prosseguimos com a nossa investigação desenvolvendo uma análise teórica e metodológica em paralelo com uma experimentação prática, em ciclos iterativos de acção, planeamento, implementação e avaliação. Fazer um levantamento das possíveis articulações que podem ser estabelecidas entre o compositor e a sua obra permite identificar abordagens alternativas que têm sido levadas a cabo para mediar ideias composicionais, com a expectativa de proporcionar uma compreensão mais profunda da natureza do meio computacional. Desta forma, no primeiro capítulo, investigamos diferentes direcções apontando para a exploração de novas sonoridades e para a delegação de intenções musicais a meios mecânicos, performadores e audiência. Consagramos também neste capítulo a nossa atenção à mudança de paradigma: das obras de formato fixo para obras que tomam a noção de processo como foco central. Esta noção de processo, como o conjunto de técnicas e estratégias mentais que levam à criação da obra musical, é de particular relevância para o nosso estudo. Nesta perspectiva, abordamos diversas obras: desde as primeiras obras no seio da música experimental de John Cage, aos compositores minimais como Steve Reich, passando pelo trabalho desenvolvido por Karlheinz Stockhausen. Também relevantes, são as possibilidades de interacção que se desenvolveram a partir da música electrónica, em que a espontaneidade da performação é particularmente valorizada em prejuízo da forma, contexto em que a Sonic Arts Union assumiu um papel preponderante. No segundo capítulo, a investigação centra-se na natureza computacional e nas estratégias que foram desenvolvidas no sentido de tomar partido do computador para a prática musical. Partindo da máquina de Turing e do conceito de algoritmo, procuramos também proporcionar um entendimento do funcionamento deste tipo de máquinas e das estratégias que se adoptaram para formalizar processos musicais, dando origem à composição assistida por computador. Deste modo, questionamos as ferramentas que utilizamos, o modo como são usadas e quais os objectivos que levaram à sua criação. Esta ideia também se estende à natureza dos materiais utilizados, exigindo uma compreensão mais aprofundada do computador como um medium, e das possíveis articulações que se estabelecem entre o compositor, os resultados sonoros e respectivos processos musicais. No sentido de aprofundar as possibilidades de interacção que os computadores proporcionam, no terceiro capítulo analisamos os sistemas musicais interactivos que se desenvolveram a partir da década de 1970, com o intuito de sublinhar possíveis direcções para a nossa prática musical. Procuramos não só identificar as técnicas e estratégias utilizadas para a criação sonora em tempo-real mas também as possibilidades comunicacionais que daí advêm. No quarto capítulo abordamos os desenvolvimentos mais recentes das artes computacionais no sentido de estabelecer uma nova perspectiva relativamente à prática musical interactiva. Considerando o meio computacional do ponto de vista creativo, em oposição à ideia do computador como uma mera ferramenta, assumimos a programação interactiva como um potencial promissor para a prática musical interactiva. Esta investigação é sustentada por uma prática musical interactiva que se desenvolve através da criação de Thr44, um framework computacional através do qual procuramos proporcionar um contexto mais dinâmico, flexível e transparente para a criação de sistemas musicais interactivos. Em Thr44, relacionamos abordagens à programação interactiva, nomeadamente o live-coding, com o desenvolvimento prévio de um conjunto de objectos e comportamentos que podem ser articulados durante a performação. Estratégias e paradigmas, como por exemplo, a programação baseada em protótipos podem ser usados e modificados dinamicamente (on-the-fly) facilitando a prototipagem de ideias, assim como o incremento de decisões composicionais no âmbito da performação. Procuramos com esta investigação contribuir para a discussão sobre a música interactiva baseada no computador com o objectivo de proporcionar uma compreensão mais profunda destas práticas, dos seus desenvolvimento e das relações que se estabelecem com as ciências e as tecnologias, no contexto da música contemporânea. Nesta perspectiva, propomos uma alternativa às práticas dominantes, que não só afirmam a nossa impotência para interferir com a evolução tecnológica, mas também dificultam as potencialidades criativas que daí podem advir. Consequentemente, procuramos não apenas contribuir com uma reflexão teórica sobre estas práticas, mas também disponibilizamos o sistema computacional desenvolvido, de modo a promover a discussão e experimentação em torno das práticas musicais interactivas