ASSISTED SOUND SAMPLE GENERATION WITH MUSICAL CONDITIONING IN ADVERSARIAL AUTO-ENCODERS

International audienceDeep generative neural networks have thrived in the field of computer vision, enabling unprecedented intelligent image processes. Yet the results in audio remain less advanced and many applications are still to be investigated. Our project targets real-time sound synthesis from a reduced set of high-level parameters, including semantic controls that can be adapted to different sound libraries and specific tags. These generative variables should allow expressive modulations of target musical qualities and continuously mix into new styles. To this extent we train auto-encoders on an orchestral database of individual note samples, along with their intrinsic attributes: note class, timbre domain (an instrument subset) and extended playing techniques. We condition the decoder for explicit control over the rendered note attributes and use latent adversarial training for learning expressive style parameters that can ultimately be mixed. We evaluate both generative performances and correlations of the attributes with the latent representation. Our ablation study demonstrates the effectiveness of the musical conditioning. The proposed model generates individual notes as magnitude spec-trograms from any probabilistic latent code samples (each latent point maps to a single note), with expressive control of orchestral timbres and playing styles. Its training data subsets can directly be visualized in the 3-dimensional latent representation. Wave-form rendering can be done offline with the Griffin-Lim algorithm. In order to allow real-time interactions, we fine-tune the decoder with a pretrained magnitude spectrogram inversion network and embed the full waveform generation pipeline in a plugin. Moreover the encoder could be used to process new input samples, after manipulating their latent attribute representation, the decoder can generate sample variations as an audio effect would. Our solution remains rather lightweight and fast to train, it can directly be applied to other sound domains, including an user's libraries with custom sound tags that could be mapped to specific genera-tive controls. As a result, it fosters creativity and intuitive audio style experimentations. Sound examples and additional visualiza-tions are available on Github 1 , as well as codes after the review process

A temporal programming environment for live shows and art installations

Le temps est un aspect fondamental de tout spectacle vivant, et de bon nombre d’installations artistiques. Les dispositifs techniques participent à un riche réseau d'interactions temporelles avec les interprètes humains et le public. Dans ce contexte, les techniciens et les artistes ont besoin d’outils pour planifier et contrôler les scénarios temporels de leurs œuvres. Dans ce travail, nous présentons un environnement appelé Quadrant, destiné à concevoir et mettre en œuvre des scénarios temporels. Ces scénarios peuvent être utilisés pour piloter divers aspects techniques de spectacles, comme lancer des sons ou des vidéos, contrôler des lumières, etc. Nous explorons une approche hybride entre un langage de programmation et un logiciel de conduite de spectacle. Cet environnement comporte un éditeur structuré opérant sur un arbre de syntaxe combinant des éléments textuels et graphiques. Ceci permet de spécifier algorithmiquement des scénarios, tout en exprimant des transformations temporelles continues grâce à des courbes de tempo. Les scénarios sont compilés à la volée vers un bytecode exécuté par une machine virtuelle. Un ordonnanceur coopératif organise l’exécution de flux concurrents le long d'axes temporels multiples, utilisant des dates et des délais symboliques. Le temps symbolique est traduit en temps réel par le biais de courbes de tempo, pour lesquelles nous fournissons un formalisme en termes d'équations différentielles. La machine virtuelle fournit un flux d'informations à l'éditeur, qui peut ainsi afficher ces informations directement dans le code du programme. Ceci permet à l'utilisateur de visualiser la progression du scénario pendant la performance.Temporality is a critical aspect of live shows and art installations. Technical artifacts and processes participate in a rich network of temporal interactions with the human performers and/or the audience. In this context, technicians and artists need tools to plan and control the temporal scenarios of their show or installation. In this work we present Quadrant, a programming environment for designing and performing temporal scenarios. Such scenarios can be used to drive various technical aspects of live shows and art installations, such as audio and video playback, lights, or mechatronics. We explore a hybrid approach aimed at bridging the gap between a programming language and a show controller. Our environment features a structure editor operating on a syntax tree that combines textual tokens and user interface widgets. This allows specifying scenarios algorithmically, while expressing continuous time transformations using graphical curves. Scenarios are compiled on-the-fly into a bytecode run by a virtual machine. A cooperative scheduler organizes the execution of concurrent flows along multiple time axes, using abstract dates and delays. Abstract time is mapped onto wall-clock time through the use of time transformations, specified as tempo curves, for which we provide a formalism in terms of differential equations. Tempo curves can be built from cubic Bézier curves. The virtual machine feeds back execution informations to the structure editor, which uses it to highlight executed statements and display progress wheels and status icons directly in the code. This allows an operator to easily monitor the progression and the temporality of the scenarios

Un environnement de programmation temporelle pour le spectacle vivant et les installations artistiques

Temporality is a critical aspect of live shows and art installations. Technical artifacts and processes participate in a rich network of temporal interactions with the human performers and/or the audience. In this context, technicians and artists need tools to plan and control the temporal scenarios of their show or installation. In this work we present Quadrant, a programming environment for designing and performing temporal scenarios. Such scenarios can be used to drive various technical aspects of live shows and art installations, such as audio and video playback, lights, or mechatronics. We explore a hybrid approach aimed at bridging the gap between a programming language and a show controller. Our environment features a structure editor operating on a syntax tree that combines textual tokens and user interface widgets. This allows specifying scenarios algorithmically, while expressing continuous time transformations using graphical curves. Scenarios are compiled on-the-fly into a bytecode run by a virtual machine. A cooperative scheduler organizes the execution of concurrent flows along multiple time axes, using abstract dates and delays. Abstract time is mapped onto wall-clock time through the use of time transformations, specified as tempo curves, for which we provide a formalism in terms of differential equations. Tempo curves can be built from cubic Bézier curves. The virtual machine feeds back execution informations to the structure editor, which uses it to highlight executed statements and display progress wheels and status icons directly in the code. This allows an operator to easily monitor the progression and the temporality of the scenarios.Le temps est un aspect fondamental de tout spectacle vivant, et de bon nombre d’installations artistiques. Les dispositifs techniques participent à un riche réseau d'interactions temporelles avec les interprètes humains et le public. Dans ce contexte, les techniciens et les artistes ont besoin d’outils pour planifier et contrôler les scénarios temporels de leurs œuvres. Dans ce travail, nous présentons un environnement appelé Quadrant, destiné à concevoir et mettre en œuvre des scénarios temporels. Ces scénarios peuvent être utilisés pour piloter divers aspects techniques de spectacles, comme lancer des sons ou des vidéos, contrôler des lumières, etc. Nous explorons une approche hybride entre un langage de programmation et un logiciel de conduite de spectacle. Cet environnement comporte un éditeur structuré opérant sur un arbre de syntaxe combinant des éléments textuels et graphiques. Ceci permet de spécifier algorithmiquement des scénarios, tout en exprimant des transformations temporelles continues grâce à des courbes de tempo. Les scénarios sont compilés à la volée vers un bytecode exécuté par une machine virtuelle. Un ordonnanceur coopératif organise l’exécution de flux concurrents le long d'axes temporels multiples, utilisant des dates et des délais symboliques. Le temps symbolique est traduit en temps réel par le biais de courbes de tempo, pour lesquelles nous fournissons un formalisme en termes d'équations différentielles. La machine virtuelle fournit un flux d'informations à l'éditeur, qui peut ainsi afficher ces informations directement dans le code du programme. Ceci permet à l'utilisateur de visualiser la progression du scénario pendant la performance