Computational Models of Expressive Music Performance: A Comprehensive and Critical Review

Expressive performance is an indispensable part of music making. When playing a piece, expert performers shape various parameters (tempo, timing, dynamics, intonation, articulation, etc.) in ways that are not prescribed by the notated score, in this way producing an expressive rendition that brings out dramatic, affective, and emotional qualities that may engage and affect the listeners. Given the central importance of this skill for many kinds of music, expressive performance has become an important research topic for disciplines like musicology, music psychology, etc. This paper focuses on a specific thread of research: work on computational music performance models. Computational models are attempts at codifying hypotheses about expressive performance in terms of mathematical formulas or computer programs, so that they can be evaluated in systematic and quantitative ways. Such models can serve at least two purposes: they permit us to systematically study certain hypotheses regarding performance; and they can be used as tools to generate automated or semi-automated performances, in artistic or educational contexts. The present article presents an up-to-date overview of the state of the art in this domain. We explore recent trends in the field, such as a strong focus on data-driven (machine learning) approaches; a growing interest in interactive expressive systems, such as conductor simulators and automatic accompaniment systems; and an increased interest in exploring cognitively plausible features and models. We provide an in-depth discussion of several important design choices in such computer models, and discuss a crucial (and still largely unsolved) problem that is hindering systematic progress: the question of how to evaluate such models in scientifically and musically meaningful ways. From all this, we finally derive some research directions that should be pursued with priority, in order to advance the field and our understanding of expressive music performance

From a musical protolanguage to rhythm and tonality

Treballs Finals del Màster en Ciència Cognitiva i Llenguatge, Facultat de Filosofia, Universitat de Barcelona, Curs: 2014-2015, Tutora: Joana Rosselló Ximenes[eng] Music and language are two faculties that have only evolved in humans, and by mutual interaction. As Darwin (1871) suggested, before speaking, our ancestors were able to sing in a way structurally and functionally similar to what birds do. At that stage, a musical protolanguage with beat yielded a common basis for music and language. Hierarchical recursion along with grammar and lexical meaning joined this musical protolanguage and gave rise to language. Linguistic recursion, in turn, made meter possible. Rhythm therefore would have preceded tonality. Subsequently, in parallel to the emergence of grammar, harmony and tonality were added to the meter. That beat is more primitive than meter is suggested by the fact that some animals perceive but do not externalize it. Crucially, they are all vocal learners. Externalization, either in musical rhythm or language, requires a complex social behaviour, which for rhythm is already present in the drumming behaviour of certain primates. The role of vocalizations, in turn, goes even further: their harmonic spectrum underpinned the tones of our musical scales. Thus, driven to a large extent by language, music has turned out to be as we know it nowadays.[cat] La música i el llenguatge són dues facultats exclusivament humanes que han evolucionat alimentantse mútuament. Com Darwin (1871) ja va suggerir, abans de parlar, els nostres ancestres tenien cants similars funcionalment i estructuralment al cant dels ocells. En aquest estadi, un protollenguatge musical amb pulsació es consolidà com a base comuna de la música i el llenguatge. La recursió jeràrquica, juntament amb la gramàtica i el significat lèxic, es van afegir a aquest protollenguatge musical i van donar lloc al llenguatge. Aquesta recursió lingüística féu possible el metre. El ritme, doncs, va precedir la tonalitat. Ulteriorment, en paral·lel al sorgiment de la gramàtica, l’harmonia i la tonalitat s’afegeixen al metre (compàs). Que la pulsació és més primitiva ho indica el fet que certs animals la perceben però no l’externalitzen espontàniament. Crucialment, tots són vocal learners. L’externalització, tant del ritme com del llenguatge, requereix una conducta social complexa, que ja s’observa en el conducta percutiva (drumming) de certs primats. El paper de les vocalitzacions, per la seva banda, va encara més enllà: l’espectre harmònic que presenten és el fonament de les notes a les escales musical. Així doncs, a remolc del llenguatge, és com s’arriba a la música tal i com l’entenem avui en dia.[spa] La música y el lenguaje son dos capacidades exclusi vamente humanas que han evolucionado alimentándose mutuamente. Como Darwin (1871) ya sug irió, antes de hablar, nuestros ancestros, tenían cantos similares funcionalmente y estructura lmente al canto de los pájaros. En este estadio, un protolenguaje musical con pulsación se consolidó com o la base común de la música y el lenguaje. La recursión jerárquica, junto con la gramática y el sig nificado léxico, se añadieron a este protolenguaje musical y dieron lugar al lenguaje. Esta recursión l ingüística hace posible el metro. El ritmo, pues, precedió la tonalidad. Ulteriormente, en paralelo a l surgimiento de la gramática, la armonía y la tonalidad se añaden al metro (compás). Que la pulsa ción es más primitiva lo indica el hecho de que ciertos animales la perciben pero no la externaliza n espontáneamente. Crucialmente, todos son vocal learners . La externalización, tanto del ritmo como del leng uaje, requiere una conducta social compleja, que ya se observa en la conducta percutiva ( drumming ) de ciertos primates. El papel de las vocalizaciones, por su parte, va aún más allá: el e spectro armónico que presentan es la base de las notas en las escaleras musicales. Así, a remolque d el lenguaje, es como se llega a la música tal y como la entendemos hoy en dí

El tobogan interactiu: aproximació etnogràfica a un disseny de realitat mixta

Aquesta tesi proposa el seguiment en profunditat d'un procés de disseny i d'implementació d'un artefacte interactiu. Explora l'agència de dissenyadors, usuaris i artefactes interactuant junts i configurant processos que van més enllà de la producció d'un objecte acabat. També mostrar com el disseny d'interactius no només és un disseny de tecnologia, sinó també de context d'ús i on els processos socials -entre humans i no humans, també- juguen un paper determinant. La visió del codisseny que es proposa obre una mirada crítica sobre com entenem actualment els processos de disseny i els agents implicats, qüestionant que el centre d'atenció es posi en l'experiència d'usuari sense tenir en compte l'experiència dels propis dissenyadors i el context d'ús. Metodològicament, aquesta tesi revela com quan el dissenyador experimenta amb diferents mètodes etnogràfics la seva forma de comprendre el món requereix no només observar i descriure, sinó també fer i donar forma a la pròpia tecnologia.Esta tesis propone el seguimiento en profundidad de un proceso de diseño y de implementación de un artefacto interactivo. Explora la agencia de diseñadores, usuarios y artefactos interactuando juntos y configurando procesos que van más allá de la producción de un objeto terminado. También muesra cómo el diseño de interactivos no sólo es un diseño de tecnología, sino también de contexto de uso y donde los procesos sociales -entre humanos y no humanos, también- juegan un papel determinante. La visión del codiseño que se propone abre una mirada crítica sobre cómo entendemos actualmente los procesos de diseño y los agentes implicados, cuestionando que el centro de atención se ponga en la experiencia de usuario sin tener en cuenta la experiencia de los propios diseñadores y el contexto de uso. Metodológicamente, esta tesis revela que cuando el diseñador experimenta con diferentes métodos etnográficos su forma de comprender el mundo requiere no sólo observar y describir, sino también hacer y dar forma a la propia tecnología.This Ph.D. thesis proposes to follow a design and implementation process of an interactive artifact. It explores the agency of designers, users and devices interacting together and forming processes that go beyond the production of a finished object. It also shows how the design of interactive artifacts is not only the development of a technology but also the configuration of a context of use t where social processes among humans and non-humans, play a decisive role. The proposed vision of co-design opens a critical view at how we currently understand design processes and stakeholders. I argue that in interactive design the experience of users include the experience of the designers and that the non-human components play also a significative role in how thee artifact becomes. Methodologically, this PhD dissertation reveals how the designer needs to make and shape technology, not only observe and describe, when he experiments with different ethnographic methods to understand the world

dr Henkjan Honing Department of Musicology, and

Is timing in tempo-specific? An online internet experiment on perceptual invariance of timing in music Henkjan Honing University of Amsterdam [comments are invited] Running title: Is timing is tempo-specific