Visual programming language for sound synthesis and computer music creation

Abstract

Vizualni programski jezici često su zbog svojih paradigmi i značajki prilagođeni stručnjacima u neračunarskim područjima. Osmišljeni su tako da omoguće izražavanje vizualnim simbolima bliskima domeni za koju su namijenjeni, da budu jednostavni za upotrebu i da sakrivaju tehničke aspekte jezika od programera. U tom su smislu posebno zanimljivi i često korišteni vizualni jezici u području glazbe. Postojeći vizualni jezici u domeni glazbe koriste audio signale, odnosno matematičkim formulacijama opisan zvuk kao temeljni tip podataka. Međutim, rad s audio signalima zahtijeva poznavanje obrade signala i programerske vještine kako bi se na željeni način moglo njima upravljati. Glazbenicima ovo otežava korištenje jezika. U radu se stoga predlaže jezik koji se oslanja na koncepte timbralnih atributa kako bi se približio vokabularu i predznanju glazbenika. Jezik pritom pokušava zadržati osnovni koncept rada koji je glazbenicima poznat iz postojećih jezika. Kako bi se ostvario novi jezik, istraženi su različiti postupci preslikavanja timbralnih atributa u parametre audio sintetizatora. Zatim su timbralni atributi uklopljeni u tok podataka jezika sličan onome kod postojećih rješenja. Većina uobičajenih blokova i funkcionalnosti takvih jezika prilagođena je za rad s timbralnim atributima. Prilikom oblikovanja, validacije i evaluacije predloženog jezika korištene su metode kvantitativne i kvalitativne analize pomoću anketa te formalne analize pomoću kognitivnih dimenzija. Dodatno, predložena su specifična poboljšanja sučelja blokova u jeziku tako da olakšaju manipulaciju timbralnim atributima. Predstavljena su i rješenja za vizualizaciju rezultata programa i izlaznog zvuka u domeni timbralnih atributa. Konačno, predloženo je rješenje za vizualno uspoređivanja programa čiji je cilj lakše praćenje promjena među inačicama programa kao i otkrivanje pogrešaka.The paradigms and features of visual programming languages are often based on the needs of experts in fields outside computer science. They enable programming using visual symbols closely related to specific domains. Visual languages are prominent in the field of music. Existing visual languages for music use audio signals as their main data type. The manipulation of audio signals requires understanding of signal processing and programming which inhibits musicians from using these languages. This PhD thesis thus proposes a language that employs timbral attributes to bring programming closer to the vocabulary and knowledge of musicians. Simultaneously, the new language maintains existing best practices and basic principles. To model the new language, algorithms that translate timbral attributes into sound synthesis parameters were researched first. Then, timbral attributes were included in the language's data flow. Most of the usual objects and functionalities were adapted to work with timbral attributes. The process of modeling, validating, and evaluating the language was driven by quantitative and qualitative analysis based on questionnaires and formal analysis based on the cognitive dimensions framework. Improvements to object's visual interfaces are also introduced to simplify manipulation of timbral attributes. Similarly, methods of audio signal visualization in the domain of timbral attributes are proposed. Finally, a solution for visual comparisons of programs, that simplifies change tracking and error detection, is demonstrated. Scientific contributions: 1.Visual programming language for sound synthesis based on attribute flow and for computer music creation based on time-domain manipulations. 2.Models of exploration and visualization of sound synthesis results and for the intuitive control of a sound synthesizer and its parameters. 3. Improved and domain-adjusted methods for visual programs comparison