Audiovisual particles: parameter mapping as a framework for audiovisual composition

This thesis investigates the role of cross-modal correspondence within audiovisual composition, presenting both a conceptual model and a methodological framework for the creation of abstract audiovisual art. While this research is specifically aimed at the field of abstract digital animation it is also intended to act as a platform for the future development of concurrent audiovisual synthesis techniques within the general field of audiovisual art. Referencing literature regarding the psychophysiological bases for audiovisual integration, it is argued that temporal congruence offers a mechanism for the manipulation of cross-modal correspondence within audiovisual media. Further to this, electroacoustic and formalist theory is discussed with specific reference to the interrelationship of medium structures to enable the identification of a conceptual model for audiovisual composition. Referencing theory from the fields of musical instrument design and algorithmic composition, parameter mapping is identified as a mechanism for the modulation of temporal congruence. Its implementation within audiovisual composition is then discussed. Derived from both this and a conceptual parallel between the organisational structures of audio grains and visual particles, the audiovisual particles framework is presented as a methodological basis for the creation of abstract audiovisual art. The presented theory is supported by a series of demonstrative studies exploring both the practical application of the audiovisual particles framework and the role of parameter mapping within the process of audiovisual media generation. Experiential observations are discussed for each to inform future praxis. In addition, two audiovisual compositions are presented as both implementations of developed theory and as artworks in their own right

Proceedings of the 7th Sound and Music Computing Conference

Proceedings of the SMC2010 - 7th Sound and Music Computing Conference, July 21st - July 24th 2010

Trois perspectives sur le timbre de la flûte traversière : instrumentale, perceptive et computationnelle

Fichiers sonores complémentairesLe but de cette thèse est de décrire le timbre de la flûte traversière de manière précise et détaillée à partir d’approches qui se regroupent en trois axes principaux : l’expertise instrumentale, la perception, et l’informatique musicale. Des disciplines telles que l’organologie, la pédagogie instrumentale, l’analyse musicale perceptive, l’acoustique, la psychoacoustique, les sciences de l’information et la composition musicale seront mises à contribution afin de cerner ce qui caractérise le timbre de la flûte. Plusieurs aspects relatifs au point de vue instrumental seront investigués. D’abord, il sera question de l’histoire du développement organologique de la flûte et des considérations pratiques et esthétiques qui ont contribué à faire évoluer l’instrument jusqu’à sa forme actuelle. On fera un survol de la pédagogie instrumentale associée à la flûte, puis on abordera la notion de technique de jeu étendue. Un inventaire des différentes techniques de jeu sera ensuite proposé à travers une revue des principaux traités, puis ces techniques seront classifiées selon différents systèmes. Ensuite, l’utilisation d’outils d’analyse musicale perceptive conçus pour les musiques élec- troacoustiques sera explorée pour son potentiel quant à la description du timbre instrumental. Les approches typomorphologique et spectromorphologique, respectivement proposées par Pierre Schaeffer et Denis Smalley, seront investiguées. À travers deux approches distinctes de l’écoute musicale et de la description d’événements sonores, on verra dans quelle mesure les outils pro- posés peuvent s’inscrire dans cette démarche de caractérisation du timbre. Puis, après avoir fait la distinction entre les manières d’appréhender le timbre propres aux sciences de l’information et aux sciences cognitives, une revue de littérature relative aux expériences sur la perception du timbre en psychoacoustique sera présentée. Enfin, on fera un tour d’horizon des librairies informatiques d’analyse du timbre, qui sera suivi de la définition des principaux descripteurs acoustiques du timbre qui seront utilisés dans cette thèse. Les trois derniers chapitres porteront sur des analyses acoustiques effectuées sur des échantillons de sons de flûte représentatifs de la plupart des modes de jeu et des nuances de timbre de l’instrument. Dans un premier cas, une analyse par composantes principales effectuée sur une série de descripteurs du timbre permettra de déterminer de quelles manières les groupes de sons se distinguent, ainsi que les principaux descripteurs qui rendent cette distinction possible. Une deuxième expérience visera à mettre en relation des descripteurs de timbre particuliers afin de valider ou préciser certains résultats obtenus à l’expérience précédente. Finalement, le dernier chapitre portera sur une troisième expérience où des sons modulés par différents types de vibrato et des changements continus (de voyelle, de brillance, de hauteur) seront analysés grâce à un suivi en temps réel d’une série de descripteurs acoustiques, grâce à la librairie zsa.descriptors dans l’environnement Max. L’objectif est double : premièrement, on voudra observer ce qui caractérise les modulations et les changements de timbre analysés. Deuxièmement, il s’agira de mieux comprendre le comportement des descripteurs en présence de timbres changeants, de manière à pouvoir les intégrer efficacement à une stratégie de mappage musical ou audiovisuel.The aim of this thesis is to describe transverse flute timbre in a detailed and precise way, based on approaches that can be grouped in three main axes : instrumental, perceptual, and computational. Research disciplines such as organology, instrumental pedagogy, perceptual musical analysis, acoustics, psychoacoustics, information science and musical composition will contribute to determine which are the elements that characterize flute timbre. Many aspects related to the instrumental axis will be investigated. First, a historical view of the instrument’s organology is presented, with a special focus on practical and aesthetical aspects that influenced its evolution until nowadays. After an overview of instrumental pedagogy from the 19th Century onwards, the notion of extended technique is explained. Then, flute extended techniques are presented through a review of the main treatises on the subject, and a classification based on various systems is proposed. For the perceptual axis, perceptual musical analysis tools conceived for electroacoustic music are explored for their descriptive potential in regard of instrumental timbre. Typomorphological and spectromorphological approaches, as developed respectively by Pierre Schaeffer and Denis Smalley, are investigated. The aim is to see in what extent these two musical event description tools and distinct conceptions of musical listening can be useful in characterizing flute timbre. Furthermore, after distinctions between approaches such as those of music information retrieval and cognitive sciences have been made, a literature review of the major experiments on timbre perception in psychoacoustics is presented. Then, for the computational axis, the main libraries for timbre analysis are presented, after which a definition of the temporal, spectral, spectro-temporal, and harmonic timbre descriptors that will be used later on is given. The last three chapters are dedicated to acoustical analysis made on flute samples that are representative of most of the instrument’s playing techniques and timbre changes. A first experiment consists of a principal component analysis made on 34 timbre descriptors, in order to determine how groups of sounds are distinguishable from one another, and to find out which are the main descriptors that make this differentiation possible. A second experiment combines particular descriptors as an attempt to confirm and/or to precise the results v of the first experiment. Finally, a third experiment consists of a real-time analysis of sounds modulated by different kinds of vibrato, fluttertongue, and of some continuous timbre changes (such as vowel, brightness and pitch variations), made with zsa.descriptors objects in Max. This investigation has a twofold goal : first, to observe what characterizes the sound modulations and changes. And second, to better understand how descriptors vary over the course of time when applied to timbre changes, in order to be able to conceive effective mapping strategies in the context of electroacoustic mixed music and audiovisual interaction