Procedures for intuitive sound synthesis control

Abstract

Sinteza zvuka predstavlja nezaobilazan alat u suvremenoj kompozicijskoj i izvedbenoj praksi, no postizanje željenih zvukova često zahtjeva neintuitivnu manipulaciju numeričkim parametrima. Doktorski rad obuhvaća tri pristupa problemu intuitivne sinteze zvuka. Prvi se pristup temelji na odabiru numeričkih parametara tako da sintetizirani zvuk što bolje odgovara opisu zadanom timbralnim atributima. Razvijena su tri različita postupka, a njihova izvornost leži u činjenici da ne ovise o korištenom glazbenom sintetizatoru, njegovoj arhitekturi i parametrima, što nije bio slučaj s dosadašnjim istraživanjima povezane tematike. Drugi pristup usmjeren je na automatizaciju parametara tijekom izvedbe uživo. Ostvareni postupak prati notni zapis tijekom izvedbe uživo i pravovremeno primjenjuje vrijednosti parametara upisane u referentni notni zapis ili snimku, unatoč potencijalnim varijacijama u izvedbi. Treći je pristup specijaliziran za kontrolu nestandardnih metoda sinteze te su predloženi modaliteti kontrole dinamičke stohastičke sinteze – korištenjem audio signala, fizičkih pokreta i MIDI protokola.Doprinosi doktorskog rada su: (1) postupak za odabir parametara sinteze na temelju timbralnih atributa koji je neovisan o metodi sinteze i arhitekturi sintetizatora, (2) automatizacija parametara glazbenog sintetizatora tijekom izvedbi uživo praćenjem notnog zapisa pomoću modificirane dinamičke vremenske deformacije i (3) postupci interaktivne kontrole dinamičke stohastičke sinteze ulaznim audio signalom, fizičkom pokretom i MIDI porukama.Sound synthesis represents an unavoidable tool for modern composers and performers, but achieving desired sounds often requires unintuitive control of numerical parameters. This doctoral thesis consists of three approaches to intuitive sound synthesis. The first approach is based on the selection of synthesis parameters in a way that generated sounds match input timbral attributes as closely as possible. The doctoral thesis presents three different methods for controlling synthesis parameters by using input attributes without a priori knowledge of underlying synthesizer, its parameters, or architecture. The second approach focuses on controlling synthesis parameters during live performances. The proposed method relies on following the current position of live performance in the referent score or in the recording and on applying parameter values at the appropriate moments. The third approach is specialized for controlling non-standard synthesis techniques and encompasses three modalities of controlling dynamic stochastic synthesis – using audio input, physical gestures, and MIDI protocol.The contributions of this PhD thesis are: (1) an algorithm for selection of sound synthesis parameters based on timbral attributes which does not depend on synthesis method or on synthesizer architecture, (2) parameter automation for live performances using score following with a modified dynamic time warping algorithm, and (3) methods for interactive control of dynamic stochastic synthesis using input audio signals, physical gestures, and MIDI messages