La représentation dans le cadre de la composition et de la musicologie assistées par ordinateur & Parcours de recherche et création

It’s clear that it is possible to make music with music instruments, but it seems much less obvious to talk and/or communicate about it with the same instruments. Thus, we always needed to rely on the use of natural language and develop a large number of representations to be able to talk and communicate about music. Although the computers conception has pushed further the need for a new representation. In this writing, we will explore the concept of representation, both from the point of view of the process (to represent) than that of the generated object (representation) in the context of computer music composition and computer-aided musicology (or computational musicology). Our interest will focus on the epistemological properties and the various consequences of the representation process, and on the representations as cognitive determinants, specifically: how representations induce the operative field, and how they guide our choices?Concerning my research and musical composition journey, when I look back at my career, I realize that a linear table of contents is not an appropriate way to represent it. This path made of coincidences, encounters, desires and intuitions. I must recognize that there was no ‘’big scheme’’, just curiosity, willingness to act, affinities and coming across inspiring personalities, encouraging people that helped and offered me options in this path that led to my actual career. However, in retrospect I could say that from this fog an outline emerges: "composition - modeling", supported by the problematic of representation, having as background my pedagogical work.S’il est clair qu’il est possible de faire de la musique avec les outils de la musique, il nous semble bien moins évident d'en parler et/ou de communiquer à son propos avec ces mêmes outils. Ainsi, nous avons toujours eu besoin de nous appuyer sur l’utilisation du langage naturel et de développer un grand nombre de représentations pour pouvoir parler et communiquer sur la musique. L’arrivée de l’informatique a poussé plus loin ce besoin de représentation. Dans ce mémoire, nous nous attellerons à étudier le concept de représentation, tant du point de vue du processus (représenter) que de celui de l’objet généré (la représentation) dans le contexte de la composition musicale assistée par ordinateur et de la musicologie computationnelle. Notre intérêt se portera principalement sur les propriétés épistémologiques et les divers corollaires du processus, de l’objet généré, et plus particulièrement sur les représentations en tant que déterminants cognitifs : comment les représentations induisent-elles le champ opératoire, et orientent-elles nos choix ?Concernant mon parcours de recherche et création, ceci n’est pas un mémoire, ceux-ci sont des mémoires.Lorsque je me penche sur mon parcours, je me rends compte qu’une table de matières linéaire n’est pas du tout appropriée pour le représenter. Ce parcours s’est fait de coïncidences, de rencontres, d’envies et d’intuitions. Force est de reconnaître qu’il n’y avait pas de grand plan, juste de la curiosité, une volonté d’action, des affinités et la rencontre avec des personnalités m’inspirant, m’encourageant, m’aidant ou me proposant des chemins. Cependant, avec le recul je pourrais dire que de cette brume un profil se dégage, l’axe « composition – modélisation », soutenu par la problématique de la représentation, ayant comme contexte mon travail pédagogique

Perce-oreilles [pèrsòrèj] : colonie de bruiteurs urbains

Cette recherche-création juxtapose informatique, art sonore et présence du corps. C'est par le biais d'une installation sonore interactive que j'explore l'idée de la cognition énactée. Ce qui m'intéresse est la perception de structures cohérentes et la création de sens dans un processus de codétermination mutuel. J'essaie de me rapprocher des phénomènes biologiques en utilisant un processus de création possédant des trajectoires évolutives. Le dispositif est constitué d'un ensemble d'agents autonomes utilisant un algorithme et des échantillons sonores en interactions avec la présence-action des participants de manière à créer un paysage sonore collaboratif.\ud ______________________________________________________________________________ \ud MOTS-CLÉS DE L’AUTEUR : énaction, paysage sonore, installation sonore, agent, codétermination, perçu sonore

Sonificación computacional arquitectónica

Este estudio busca una manera distinta de entender la lógica constructiva de los espacios destinados al sonido. Trabaja en pequeña escala para poder asentar una base hacia un cambio de pensamiento donde la forma viene generada por su función. El estudio investiga y analiza los espacios que usamos para la música, profundiza en sus geometrías, estudia el sonido con sus parámetros y quiere plantear oportunidades para generar espacios alternativos a los que conocemos. Espacios generados por y para el sonido. Arquitectura, sonido, diseño computacional y sentidos se mezclan para poder conceptualizar este primer acercamiento a una nueva visión de los espacios para ser escuchados. Las bases planteadas en esta investigación son dinámicas y susceptibles a futuras modificaciones, es principio de muchas nuevas preguntas a responder y, seguramente, de más investigaciones.This study seeks a different way of understanding the constructive logic of spaces destined for sound. He works on a small scale in order to lay a foundation for a change of thought where the form is generated by its function. The studio investigates and analyzes the spaces we use for music, delves into their geometries, studies sound with its parameters and wants to propose opportunities to generate alternative spaces to those we know. Spaces generated by and for sound. Architecture, sound, computational design and senses are mixed to be able to conceptualize this first approach to a new vision of spaces to be heard. The bases raised in this research are dynamic and susceptible to future modifications, it is the beginning of many new questions to be answered and, surely, of more research

Poésie de l'ADN : portraits audiovisuels poétiques de l'identité biologique et ésotérique de l’être humain

Le projet artistique Poésie de l’ADN prend source dans une démarche interdisciplinaire, en associant la programmation, la biotechnologie, la création sonore et visuelle, l’ésotérisme ainsi que l’art participatif et performatif. Ce mémoire passe en revue les différentes étapes de réflexion et création autour de ce projet, tout d’abord en le replaçant dans son contexte historique et artistique, à la fois au niveau du courant bioart, puis plus précisément dans l’utilisation de l’acide désoxyribonucléique1 (ADN) en arts. Nous verrons comment s’inscrit Poésie de l’ADN aux côtés des oeuvres d’art génétiques visuelles et sonores, ainsi que de portraiture, tout en présentant les influences artistiques et esthétiques qui inspirent mon travail. Ensuite, ce mémoire aborde trois questionnements qui sont au coeur du développement conceptuel de ce projet : 1) les tensions entre l’aléatoire et la subjectivité, c’est-à-dire la constante négociation entre le contrôle de l’artiste et l’autonomie de la machine; 2) l’interprétation des données afin d’établir la signification que l’on reçoit et apporte à la matière; 3) ainsi que les considérations bioéthiques que soulève ce projet. Puis, le mémoire détaille le processus technique et les outils utilisés, ainsi que le processus créatif au sein duquel l’approche ésotérique est fondamentale. Enfin, nous verrons l’impact des critères ADN sur les oeuvres, ainsi que les portraits qui en découlent. Poésie de l’ADN est un projet artistique qui réunit à la fois le développement d’une application dont l’algorithme et les paramétrages permettent de générer des matières audio-visuelles à partir de données ADN, ainsi que la composition de portraits, à travers l’interprétation artistique, ésotérique et humaine de cette matière, pour créer des vidéomusiques individuelles.DNA Poetry is an artistic project rooted in an interdisciplinary approach, combining programming, biotechnology, sound and visual creation, esotericism as well as participatory and performative art. This thesis reviews the different stages of reflection and creation around this project, first of all by placing it in its historical and artistic context, first off within the bioart artistic movement, then more precisely within the use of deoxyribonucleic acid (DNA) in the arts. We'll see how DNA Poetry fits alongside visual and audio genetic artworks, as well as portraiture, while showcasing the artistic and aesthetic influences that inspire my work. Then, this thesis addresses three questions which are at the heart of the conceptual development of this project: 1) the tensions between algorithm and subjectivity, that is to say the constant negotiation between the artist's control and autonomy of the machine; 2) data interpretation, in order to establish meaning in what is received and brought to the material; 3) and finally the bioethical considerations raised by this project. Then, the thesis details the technical process and the tools used, as well as the creative process in which the esoteric approach is fundamental. Finally, we will see the impact of DNA data on the audio and visual outcome, as well as the portraits that result from them. DNA Poetry is an artistic project that brings together both the development of an application whose algorithm and mappings make it possible to generate audiovisual material from DNA data, as well as the composition of portraits, through the human, esoteric and artistic interpretation of this material, in order to create individual videomusic art pieces

Sonifying Urban Rhythms: Towards the spatio-temporal composition of the urban environment

This thesis is concerned with the composition of the urban rhythms generated by urban design and planning. It recognises the temporal limitations of the graphic urban masterplan, with its tendency of being static and singular in the composition of urban experience. Thus it proposes the integration of rhythm into the urban design and planning process, with the aim to improve the temporal quality of urban design. In order to represent these urban rhythms, as designed in the graphic masterplan, we propose their sonification. A Sonified Urban Masterplan (SUM) tool was developed, allowing the sonification of multiple layers of maps (raster or vector images) along a number of paths of interest. An urban sonic code was then developed in order to map the relevant graphic urban parameters into sound parameters. This sonification strategy was applied to the city of Paris as a case study, producing a sonified set of maps whose composition could be ‘listened’ to over time. Temporal issues concerning human movement, transport infrastructure, activity distribution, and the structuring of urban form and design elements could be represented and heard. We then investigated the potential of the SUM tool as a design and planning tool. We explored how sound could be used to inform the composition of urban form in both time and space, in order to generate the urban rhythms we may desire to experience. Thus through the integration of sonification in urban design and planning, this thesis permits the spatio-­‐temporal representation and composition of urban form. It allows urban designers and planners to compose future urban rhythms and improve the temporal quality of our urban environments. Furthermore, the potential of this tool in other fields has also be recognized, for example in music and the composition of multi-­‐layered open graphic scores

Assistance à la navigation pour les non-voyants : vers un positionnement, un SIG et un suivi adaptés

Le déplacement est une des plus grandes difficultés éprouvées par les déficients visuels dans leur vie quotidienne. Avec l'essor des TIC, plusieurs aides électroniques à la navigation ont vu le jour. L'objectif de ces systèmes est d'améliorer l'autonomie des déficients visuels dans leurs déplacements. Cependant, les aides au déplacement commercialisées aujourd'hui reposent sur une simple adaptation des dispositifs conçus pour les automobilistes et sont donc inadaptés ou mal adaptés à un piéton, de surcroit déficient visuel. Ces systèmes reposent généralement sur un positionnement peu précis et utilisent des cartographies et des stratégies de guidage mal ou non adaptées. Dans ce travail de doctorat, nous proposons la conception et le développement d'un système d'aide à la navigation destiné aux piétons déficients visuels. Cette thèse s'articule autour de trois problématiques identifiées comme critiques à savoir le positionnement, les systèmes d'informations géographiques et le suivi d'itinéraire. Le positionnement développé dans NAVIG repose sur la fusion multi capteurs dans le but d'en améliorer la précision. Cette fusion se base sur un module de vision par ordinateur, un système GPS et des capteurs inertiels. Les résultats obtenus montrent la faisabilité de ces techniques dans un contexte de navigation piétonne. Pour la cartographie, nous proposons une classification de données environnementales permettant d'assurer la perception de l'environnement et le calcul d'itinéraire, notamment pour un utilisateur privé de vision. Un modèle conceptuel adéquat pour le stockage des données est aussi proposé. Le suivi d'itinéraire est une fonction qui permet au système de savoir sur quelle section de l'itinéraire se trouve l'utilisateur à tout instant. C'est un processus important, car il permet d'assurer un guidage de qualité. L'amélioration du guidage passe donc par un suivi adapté à un déplacement piéton. Nous avons proposé quatre stratégies de suivi. L'évaluation des performances de ces différentes stratégies de suivi s'est déroulée dans un simulateur de guidage développé au cours de cette thèse. Il s'agit d'un environnement virtuel multimodal qui permet l'évaluation systématique des différents algorithmes proposés dans un environnement contrôlé et sécurisé. Finalement, un prototype du système NAVIG a été réalisé et a été testé auprès de deux utilisateurs déficients visuels, ce qui a mis en évidence un ensemble de verrous toujours présents. Pour conclure, bien que ce travail de doctorat doive être complété par un ensemble d'évaluations plus systématiques, il a apporté un ensemble de réponses sur un positionnement et un suivi d'itinéraire adaptés à des systèmes d'assistance à la navigation pour déficients visuels. Il ouvre des questions très actuelles sur la disponibilité et le partage des données géographiques et l'utilisation de la vision embarquée. Il ouvre aussi des perspectives intéressantes sur le guidage et la description de l'espace adapté à des utilisateurs piétons et déficients visuels.Navigation, especially in unknown areas, is a major problem for the visually impaired (VI). Over the past 50 years, a number of electronic travel aids (ETAs) have been developed with the aim of improving mobility of the VI. Despite many research efforts, these systems are rarely used. Although the explanation is likely to be incomplete, it is possible to identify three important factors : (1) positioning accuracy provided by these devices is not sufficient to guide a VI pedestrian, (2) these systems are based on Geographical Information Systems not adapted to pedestrian mobility, and (3) the guidance methods should be adapted to the task of VI pedestrian wayfinding. All these three components are sources of usability issues. In this thesis, committed in the collaborative research project called NAVIG, we present the design and implementation of an electronic navigation aid for the blind. In this work, we relied on the analysis of the needs of the visually impaired to propose solutions for improving positioning and guidance. First, we present a solution based on real-time fusion of A-GPS and embedded artificial vision positioning signals. The benefit of our device is two-fold : 1/ it provides a more accurate positioning, compatible with Blind mobility and guidance ; 2/ it matches the needs of Blind users in terms of space perception. Second, we define a classification of objects that should be included in every geographical information system (GIS) that is used in a navigation aid. This classification was based on multiple brainstorming and interviews with blind people and orientation and mobility (O&M) instructors. We present a database scheme integrating the principal classes proposed in this classification. We also propose a methodology allowing the selection of the most appropriate route, based on user needs, and relying on the proposed classification of geographical data. Finally, regarding pedestrian tracking, we propose 3 new strategies adapted to pedestrian navigation. The evaluation of those strategies was performed into a virtual environment framework. To do so, we designed a multimodal (input and output) Virtual Environment (VE) that simulates different interactions that could be used for space perception and guidance in an ETA. This platform subserves two goals : help designers to systematically test guidance strategies (i.e. for the development of new ETAs) and train blind people to use interactive ETAs, with an emphasis on cognitive mapping enhancement. Using this platform we performed several evaluations with 16 users to define the best tracking strategies. To conclude, the combined positioning (vision, GPS) was successfully evaluated in two real environments (Toulouse University campus, and a district in the Toulouse center). Results from evaluations of tracking strategies shown that it is very important to adapt such strategies to pedestrian navigation

Pile à combustible, production d'hydrogène à partir de biomasse, stockage d'hydrogène sur carbones nanostructurés, analyse du cycle de vie : un projet du groupe des Ecoles des Mines en génie des procédés, énergie et environnement (GEM GP E2)

International audienceLes équipes de différents centres de recherche des Ecoles des Mines, impliquées dans les domaines liés à la filière hydrogène, se sont regroupées au sein du Groupe des Ecoles des Mines en Génie des Procédés, Energie et Environnement (GEM GP E2). Le projet H2-PAC mis en place, a ainsi permis de regrouper les compétences de ces équipes pour aborder de manière plus efficace les quatre problématiques suivantes : les piles à combustible à membrane échangeuse de protons, la production d'hydrogène à partir de biomasse, le stockage d'hydrogène sur matériaux carbonés nanostructurés et l'analyse du cycle de vie. Dans chacun de ces thèmes des progrès ont été enregistrés et les équipes se sont mutuellement enrichies de nouvelles connaissances. Le projet a dans l'ensemble permis de créer des liens entre les différentes équipes impliquées, qui permettront de futures collaborations et la concrétisation de nouveaux projets

Vision artificielle pour les non-voyants : une approche bio-inspirée pour la reconnaissance de formes

More than 315 million people worldwide suffer from visual impairments, with several studies suggesting that this number will double by 2030 due to the ageing of the population. To compensate for the loss of sight the current approaches consist of either specific aids designed to answer particular needs or generic systems such as neuroprostheses and sensory substitution devices. These holistic approaches, which try to restore vision as a whole, have been shown to be very inefficient in real life situations given the low resolution of output interfaces. To overcome these obstacles we propose the use of artificial vision in order to pre-process visual scenes and provide the user with relevant information. We have validated this approach through the development of a novel assistive device for the blind called Navig. Through shape recognition and spatialized sounds synthesis, this system allows users to locate and grab objects of interest. It also features navigational aids based on a new positioning method combining GPS, inertial sensors and the visual detection of geolocalized landmarks. To enhance the performance of the visual module we further developed, as part of this thesis, a bio-inspired pattern recognition algorithm which uses latency-based coding of visual information, oriented edge representations and a cascaded architecture combining detection at different resolutions.La déficience visuelle touche aujourd’hui plus de 315 millions de personnes à travers le monde, un chiffre qui pourrait doubler d’ici à 2030 du fait du vieillissement de la population. Les deux grandes approches existantes pour compenser la perte de vision sont les aides spécifiques, répondant à un besoin identifié, et les systèmes génériques tels que les neuroprothèses ou les systèmes de substitution sensorielle. Ces approches holistiques, tentant de restituer l’ensemble de l’information visuelle, s’avèrent inadaptées de par la trop faible résolution des interfaces de sortie, rendant ces systèmes inutilisables dans la vie quotidienne. Face à ce constat, nous proposons dans cette thèse une démarche alternative, consistant à intégrer des méthodes de vision artificielle, afin de prétraiter la scène visuelle, et de ne restituer au non-voyant que les informations extraites pertinentes. Pour valider cette approche, nous présenterons le développement d’un système de suppléance baptisé Navig. Grâce à la reconnaissance de formes et à la synthèse de sons spatialisés, il permet à l’utilisateur de localiser des objets d’intérêt. Il offre également des fonctions de navigation, basées sur une nouvelle méthode de positionnement combinant GPS, données inertielles, et détections de cibles visuelles géolocalisées. Afin d’améliorer les performances du module de vision artificielle, nous proposerons également dans cette thèse un nouvel algorithme de reconnaissance de formes bio-inspiré, reposant sur un codage de l’information visuelle par latence, sur des représentations sous forme d’arêtes orientées, et sur une architecture en cascade combinant des détections à différentes résolutions