AI Methods in Algorithmic Composition: A Comprehensive Survey

Algorithmic composition is the partial or total automation of the process of music composition by using computers. Since the 1950s, different computational techniques related to Artificial Intelligence have been used for algorithmic composition, including grammatical representations, probabilistic methods, neural networks, symbolic rule-based systems, constraint programming and evolutionary algorithms. This survey aims to be a comprehensive account of research on algorithmic composition, presenting a thorough view of the field for researchers in Artificial Intelligence.This study was partially supported by a grant for the MELOMICS project (IPT-300000-2010-010) from the Spanish Ministerio de Ciencia e Innovación, and a grant for the CAUCE project (TSI-090302-2011-8) from the Spanish Ministerio de Industria, Turismo y Comercio. The first author was supported by a grant for the GENEX project (P09-TIC- 5123) from the Consejería de Innovación y Ciencia de Andalucía

Non-Standard Sound Synthesis with Dynamic Models

Full version unavailable due to 3rd party copyright restrictions.This Thesis proposes three main objectives: (i) to provide the concept of a new generalized non-standard synthesis model that would provide the framework for incorporating other non-standard synthesis approaches; (ii) to explore dynamic sound modeling through the application of new non-standard synthesis techniques and procedures; and (iii) to experiment with dynamic sound synthesis for the creation of novel sound objects. In order to achieve these objectives, this Thesis introduces a new paradigm for non-standard synthesis that is based in the algorithmic assemblage of minute wave segments to form sound waveforms. This paradigm is called Extended Waveform Segment Synthesis (EWSS) and incorporates a hierarchy of algorithmic models for the generation of microsound structures. The concepts of EWSS are illustrated with the development and presentation of a novel non-standard synthesis system, the Dynamic Waveform Segment Synthesis (DWSS). DWSS features and combines a variety of algorithmic models for direct synthesis generation: list generation and permutation, tendency masks, trigonometric functions, stochastic functions, chaotic functions and grammars. The core mechanism of DWSS is based in an extended application of Cellular Automata. The potential of the synthetic capabilities of DWSS is explored in a series of Case Studies where a number of sound object were generated revealing (i) the capabilities of the system to generate sound morphologies belonging to other non-standard synthesis approaches and, (ii) the capabilities of the system of generating novel sound objects with dynamic morphologies. The introduction of EWSS and DWSS is preceded by an extensive and critical overview on the concepts of microsound synthesis, algorithmic composition, the two cultures of computer music, the heretical approach in composition, non- standard synthesis and sonic emergence along with the thorough examination of algorithmic models and their application in sound synthesis and electroacoustic composition. This Thesis also proposes (i) a new definition for “algorithmic composition”, (ii) the term “totalistic algorithmic composition”, and (iii) four discrete aspects of non-standard synthesis

PnP Maxtools: Autonomous Parameter Control in MaxMSP Utilizing MIR Algorithms

This research presents a new approach to computer automation through the implementation of novel real-time music information retrieval algorithms developed for this project. It documents the development of the PnP.Maxtools package, a set of open source objects designed within the popular programming environment MaxMSP. The package is a set of pre/post processing filters, objective and subjective timbral descriptors, audio effects, and other objects that are designed to be used together to compose music or improvise without the use of external controllers or hardware. The PnP.Maxtools package objects are designed to be used quickly and easily using a `plug and play\u27 style with as few initial arguments needed as possible. The PnP.Maxtools package is designed to take incoming audio from a microphone, analyze it, and use the analysis to control an audio effect on the incoming signal in real-time. In this way, the audio content has a real musical and analogous relationship with the resulting musical transformations while the control parameters become more multifaceted and better able to serve the needs of artists. The term Reflexive Automation is presented that describes this unsupervised relationship between the content of the sound being analyzed and the analogous and automatic control over a specific musical parameter. A set of compositions are also presented that demonstrate ideal usage of the object categories for creating reflexive systems and achieving fully autonomous control over musical parameters

FROM MUSIC INFORMATION RETRIEVAL (MIR) TO INFORMATION RETRIEVAL FOR MUSIC (IRM)

This thesis reviews and discusses certain techniques from the domain of (Music) Information Retrieval, in particular some general data mining algorithms. It also describes their specific adaptations for use as building blocks in the CACE4 software application. The use of Augmented Transition Networks (ATN) from the field of (Music) Information Retrieval is, to a certain extent, adequate as long as one keeps the underlying tonal constraints and rules as a guide to understanding the structure one is looking for. However since a large proportion of algorithmic music, including music composed by the author, is atonal, tonal constraints and rules are of little use. Analysis methods from Hierarchical Clustering Techniques (HCT) such as k-means and Expectation-Maximisation (EM) facilitate other approaches and are better suited for finding (clustered) structures in large data sets. ART2 Neural Networks (Adaptive Resonance Theory) for example, can be used for analysing and categorising these data sets. Statistical tools such as histogram analysis, mean, variance as well as correlation calculations can provide information about connections between members in a data set. Altogether this provides a diverse palette of usable data analysis methods and strategies for creating algorithmic atonal music. Now acting as (software) strategy tools, their use is determined by the quality of their output within a musical context, as demonstrated when developed and programmed into the Computer Assisted Composition Environment: CACE4. Music Information Retrieval techniques are therefore inverted: their specific techniques and associated methods of Information Retrieval and general data mining are used to access the organisation and constraints of abstract (non-specific musical) data in order to use and transform it in a musical composition

AN APPROACH TO MACHINE DEVELOPMENT OF MUSICAL ONTOGENY

This Thesis pursues three main objectives: (i) to use computational modelling to explore how music is perceived, cognitively processed and created by human beings; (ii) to explore interactive musical systems as a method to model and achieve the transmission of musical influence in artificial worlds and between humans and machines; and (iii) to experiment with artificial and alternative developmental musical routes in order to observe the evolution of musical styles. In order to achieve these objectives, this Thesis introduces a new paradigm for the design of computer interactive musical systems called the Ontomemetical Model of Music Evolution - OMME, which includes the fields of musical ontogenesis and memetlcs. OMME-based systems are designed to artificially explore the evolution of music centred on human perceptive and cognitive faculties. The potential of the OMME is illustrated with two interactive musical systems, the Rhythmic Meme Generator (RGeme) and the Interactive Musical Environments (iMe). which have been tested in a series of laboratory experiments and live performances. The introduction to the OMME is preceded by an extensive and critical overview of the state of the art computer models that explore musical creativity and interactivity, in addition to a systematic exposition of the major issues involved in the design and implementation of these systems. This Thesis also proposes innovative solutions for (i) the representation of musical streams based on perceptive features, (ii) music segmentation, (iii) a memory-based music model, (iv) the measure of distance between musical styles, and (v) an impi*ovisation-based creative model

Composição de sistemas musicais interactivos

This work proposes a contribute to the understanding of computer-based interactive music practices, in order to establish methodologies that can provide a more transparent, flexible and dynamic process in related compositional activity. This research is developed by examining and articulating complementary perspectives on the intersection of computer music with interaction. We begin by researching on models, materials, techniques and concepts that can contribute to this practice, attempting to understand the affordances and constraints that the computational medium provides. We then study how interaction has contributed to the contemporary context of interactive music practices by reshaping the relationship between the composer, the performer, the audience and the environment. In order to further scrutinize the potential of computer-based interactive music, we investigate new programming paradigms and how they can yield a more adequate context for artistic practices such as music. Complementing these explorations, we implement a computational framework, suggesting an alternate approach to interactive music practices.As novas abordagens aos meios digitais levaram à criação de técnicas e processos que procuram solucionar as mais variadas tarefas na composição e performação. Neste contexto, o uso de computadores para a prática musical não contribuiu apenas para a representação complexa de processos musicais com um elevado grau de detalhe e repetibilidade nos domínios da síntese e processamento de sinal em tempo real, para a composição algorítmica ou análise musical. O exponencial crescimento da capacidade de armazenamento e da velocidade de processamento dos computadores, tornou-os instrumentos viáveis para a composição e performação, permitindo a extemporização de decisões musicais e a expansão da performação para além dos limites fisiológicos humanos. Neste sentido, temos assistido a um crescente desenvolvimento de aplicações dedicadas à performação musical, tais como o Ableton Live1 ou o Reason2. Estas aplicações permitem a gravação, edição e reprodução de som e a sua integração com uma grande diversidade de interfaces para o controlo e parametrização de eventos musicais. Encontramos, apesar de tudo, vários obstáculos ao tentar expandir o nosso potencial criativo para o desenvolvimento de situações musicais interactivas. Em geral, ferramentas como as acima mencionadas, condicionam o âmbito de decisão do compositor ao proporcionar soluções generalistas e pré-determinadas, reduzindo as suas possibilidades a uma mera selecção de processos e respectivos ajustes de parâmetros. Consequentemente, estas ferramentas não só conduzem a um inconsciente tecnológico, ao ocultar os processos que caracterizam a prática musical, mas também a uma escuta tecnológica, em que facilmente se percepciona o software utilizado na criação das obras. A utilização de software programável, como o Max/MSP3, Pure Data4 ou SuperCollider5 já permite um maior dinamismo, embora instigue modelos de interacção específicos que se tornam relevantes compreender. Os fluxos de informação das linguagens datafow assemelham-se à configuração de circuitos analógicos na música electrónica. Os 'instrumentos' das linguagens Music-N seguem o paradigma acústico, reforçando consequentemente a distinção entre composição e performação; neste sentido, a composição assume-se como a definição de possibilidades de interacção através da criação de estruturas, instrumentos e interfaces, em que todas as decisões composicionais são tomadas a priori, negligenciando o potencial expressivo das práticas de improvisação. Na tentativa de colmatar estas limitações, consideramos as potencialidades de expressão musical em tempo-real e as possibilidades comunicacionais que daí advêm, reconhecendo que os meios computacionais estão ainda abertos a muitas opportunidades de investigação. Neste sentido, o presente estudo procura contribuir para o alargamento do conhecimento artístico e científico no âmbito da Informática Musical, mais concretamente no que concerne a concepção e utilização de sistemas musicais interactivos, com o fim de estabelecer metodologias que possam fornecer um processo composicional mais transparente, flexível e dinâmico. Pretendemos então desenvolver uma metodologia que permita uma prática composicional mais adequada a este contexto, tornando os processos mais subjectivos, dinâmicos e transparentes, no sentido de facilitar as relações que se estabelecem com o computador, explorando ideias musicais de uma forma criativa, assim como melhorar o discurso que pode ser estabelecido com outros músicos, o público e o meio ambiente. Ao direccionar esta investigação para a intersecção entre música por intermédio do computador e a interacção levantam-se questões importantes que serão abordadas no desenvolvimento desta tese. A definição dos limites da composição no contexto da música interactiva por computador é ambígua, dado que esta prática se encontra intimamente relacionada com composição algorítmica ou com design sonoro por um lado, e por outro com performação e improvisação. A identificação e compreensão de modelos, técnicas e conceitos utilizados neste contexto tecnológico torna-se fundamental na definição da abrangência do nosso estudo. Deste modo, questionamos as ferramentas que utilizamos, o modo como são usadas e quais os objectivos que levaram à sua criação. Esta ideia também se estende à natureza dos materiais utilizados, exigindo uma compreensão mais aprofundada do computador como um medium, e das possíveis articulações que se estabelecem entre o compositor, os resultados sonoros e respectivos processos musicais. A definição de obra musical no contexto da música interactiva entende-se como uma acção ao invés de um objecto, dada a sua natureza efémera. Esta característica aprofunda a sua relação com as práticas de música improvisada. Com o objectivo de desenvolver estratégias mais adequadas para criação de situações interactivas por intermédio do computador são seguidas duas direcções de investigação complementares. Em primeiro lugar, levanta-se a necessidade de fazer um levantamento histórico sobre as práticas musicais interactivas no sentido de extrair os aspectos mais significativos para a música contemporânea. Pretendemos deste modo identificar possíveis soluções a desenvolver na componente prática da nossa investigação. Em segundo lugar, passamos para a aplicação prática destas soluções, através de um trabalho musical que permite a implementação e avaliação dessas hipóteses. Reconhecendo a natureza transdisciplinar do nosso estudo, adoptamos uma metodologia orientada para a acção (action-based research) ⁠ tal como preconizado por Coghlan e Brannick (2010). Deste modo, direccionamos a revisão literária para a compreensão geral da música interactiva em busca de estratégias e modelos que possam indiciar possíveis acções na nossa prática. Em seguida, prosseguimos com a nossa investigação desenvolvendo uma análise teórica e metodológica em paralelo com uma experimentação prática, em ciclos iterativos de acção, planeamento, implementação e avaliação. Fazer um levantamento das possíveis articulações que podem ser estabelecidas entre o compositor e a sua obra permite identificar abordagens alternativas que têm sido levadas a cabo para mediar ideias composicionais, com a expectativa de proporcionar uma compreensão mais profunda da natureza do meio computacional. Desta forma, no primeiro capítulo, investigamos diferentes direcções apontando para a exploração de novas sonoridades e para a delegação de intenções musicais a meios mecânicos, performadores e audiência. Consagramos também neste capítulo a nossa atenção à mudança de paradigma: das obras de formato fixo para obras que tomam a noção de processo como foco central. Esta noção de processo, como o conjunto de técnicas e estratégias mentais que levam à criação da obra musical, é de particular relevância para o nosso estudo. Nesta perspectiva, abordamos diversas obras: desde as primeiras obras no seio da música experimental de John Cage, aos compositores minimais como Steve Reich, passando pelo trabalho desenvolvido por Karlheinz Stockhausen. Também relevantes, são as possibilidades de interacção que se desenvolveram a partir da música electrónica, em que a espontaneidade da performação é particularmente valorizada em prejuízo da forma, contexto em que a Sonic Arts Union assumiu um papel preponderante. No segundo capítulo, a investigação centra-se na natureza computacional e nas estratégias que foram desenvolvidas no sentido de tomar partido do computador para a prática musical. Partindo da máquina de Turing e do conceito de algoritmo, procuramos também proporcionar um entendimento do funcionamento deste tipo de máquinas e das estratégias que se adoptaram para formalizar processos musicais, dando origem à composição assistida por computador. Deste modo, questionamos as ferramentas que utilizamos, o modo como são usadas e quais os objectivos que levaram à sua criação. Esta ideia também se estende à natureza dos materiais utilizados, exigindo uma compreensão mais aprofundada do computador como um medium, e das possíveis articulações que se estabelecem entre o compositor, os resultados sonoros e respectivos processos musicais. No sentido de aprofundar as possibilidades de interacção que os computadores proporcionam, no terceiro capítulo analisamos os sistemas musicais interactivos que se desenvolveram a partir da década de 1970, com o intuito de sublinhar possíveis direcções para a nossa prática musical. Procuramos não só identificar as técnicas e estratégias utilizadas para a criação sonora em tempo-real mas também as possibilidades comunicacionais que daí advêm. No quarto capítulo abordamos os desenvolvimentos mais recentes das artes computacionais no sentido de estabelecer uma nova perspectiva relativamente à prática musical interactiva. Considerando o meio computacional do ponto de vista creativo, em oposição à ideia do computador como uma mera ferramenta, assumimos a programação interactiva como um potencial promissor para a prática musical interactiva. Esta investigação é sustentada por uma prática musical interactiva que se desenvolve através da criação de Thr44, um framework computacional através do qual procuramos proporcionar um contexto mais dinâmico, flexível e transparente para a criação de sistemas musicais interactivos. Em Thr44, relacionamos abordagens à programação interactiva, nomeadamente o live-coding, com o desenvolvimento prévio de um conjunto de objectos e comportamentos que podem ser articulados durante a performação. Estratégias e paradigmas, como por exemplo, a programação baseada em protótipos podem ser usados e modificados dinamicamente (on-the-fly) facilitando a prototipagem de ideias, assim como o incremento de decisões composicionais no âmbito da performação. Procuramos com esta investigação contribuir para a discussão sobre a música interactiva baseada no computador com o objectivo de proporcionar uma compreensão mais profunda destas práticas, dos seus desenvolvimento e das relações que se estabelecem com as ciências e as tecnologias, no contexto da música contemporânea. Nesta perspectiva, propomos uma alternativa às práticas dominantes, que não só afirmam a nossa impotência para interferir com a evolução tecnológica, mas também dificultam as potencialidades criativas que daí podem advir. Consequentemente, procuramos não apenas contribuir com uma reflexão teórica sobre estas práticas, mas também disponibilizamos o sistema computacional desenvolvido, de modo a promover a discussão e experimentação em torno das práticas musicais interactivas

Chaos in music: historical developments and applications to music theory and composition

The Doctoral Dissertation submitted by Jonathan R. Salter, in partial fulfillment of the requirements for the degree Doctor of Musical Arts at the University of North Carolina at Greensboro comprises the following: 1. Doctoral Recital I, March 24, 2007: Chausson, Andante et Allegro; Tomasi, Concerto for Clarinet; Bartok, Contrasts; Fitkin, Gate. 2. Doctoral Recital II, December 2, 2007: Benjamin, Le Tombeau de Ravel ; Mandat, Folk Songs; Bolcom, Concerto for Clarinet; Kovacs, Sholem-alekhem, rov Fiedman! 3. Doctoral Recital III, May 3, 2009: Kalliwoda, Morceau du Salon; Shostakovich, Sonata, op. 94 (transcription by Kennan); Tailleferre, Arabesque; Schoen eld, Trio for Clarinet, Violin, and Piano. 4. Dissertation Document: Chaos in Music: Historical Developments and Applications to Music Theory and Composition. Chaos theory, the study of nonlinear dynamical systems, has proven useful in a wide-range of applications to scienti c study. Here, I analyze the application of these systems in the analysis and creation of music, and take a historical view of the musical developments of the 20th century and how they relate to similar developments in science. I analyze several 20th century works through the lens of chaos theory, and discuss how acoustical issues and our interpretation of music relate to the theory. The application of nonlinear functions to aspects of music including organization, acoustics and harmonics, and the role of chance procedures is also examined toward suggesting future possibilities in incorporating chaos theory in the act of composition. Original compositions are included, in both sheet music and recorded form

Aesthetically driven design of network based multi-user instruments.

Digital networking technologies open up a new world of possibilities for music making, allowing performers to collaborate in ways not possible before. Network based Multi-User Instruments (NMIs) are one novel method of musical collaboration that take advantage of networking technology. NMIs are digital musical instruments that exist as a single entity instantiated over several nodes in a network and are performed simultaneously by multiple musicians in realtime. This new avenue is exciting, but it begs the question of how does one design instruments for this new medium? This research explores the use of an aesthetically driven design process to guide the design, construction, rehearsal, and performance of a series of NMIs. This is an iterative process that makes use of a regularly rehearsing and performing ensemble which serves as a test-bed for new instruments, from conception, to design, to implementation, to performance. This research includes details of several NMIs constructed in accordance with this design process. These NMIs have been quantitatively analysed and empirically tested for the presence of interconnectivity and group influence during performance as a method for measuring group collaboration. Furthermore qualitative analyses are applied which test for the perceived e ectiveness of these instruments during real-world performances in front of live audiences. The results of these analyses show that an aesthetically driven method of designing NMIs produces instruments that are interactive and collaborative. Furthermore results show that audiences perceive a measurable impression of interconnectivity and liveness in the ensemble even though most of the performers in the ensemble are not physically present