GFM-Voc: A real-time voice quality modification system

International audienc

Chanter avec les mains : interfaces chironomiques pour les instruments de musique numériques

This thesis deals with the real-time control of singing voice synthesis by a graphic tablet, based on the digital musical instrument Cantor Digitalis.The relevance of the graphic tablet for the intonation control is first considered, showing that the tablet provides a more precise pitch control than real voice in experimental conditions.To extend the accuracy of control to any situation, a dynamic pitch warping method for intonation correction is developed. It enables to play under the pitch perception limens preserving at the same time the musician's expressivity. Objective and perceptive evaluations validate the method efficiency.The use of new interfaces for musical expression raises the question of the modalities implied in the playing of the instrument. A third study reveals a preponderance of the visual modality over the auditive perception for the intonation control, due to the introduction of visual clues on the tablet surface. Nevertheless, this is compensated by the expressivity allowed by the interface.The writing or drawing ability acquired since early childhood enables a quick acquisition of an expert control of the instrument. An ensemble of gestures dedicated to the control of different vocal effects is suggested.Finally, an intensive practice of the instrument is made through the Chorus Digitalis ensemble, to test and promote our work. An artistic research has been conducted for the choice of the Cantor Digitalis' musical repertoire. Moreover, a visual feedback dedicated to the audience has been developed, extending the perception of the players' pitch and articulation.Le travail de cette thèse porte sur l'étude du contrôle en temps réel de synthèse de voix chantée par une tablette graphique dans le cadre de l'instrument de musique numérique Cantor Digitalis.La pertinence de l'utilisation d'une telle interface pour le contrôle de l'intonation vocale a été traitée en premier lieu, démontrant que la tablette permet un contrôle de la hauteur mélodique plus précis que la voix réelle en situation expérimentale.Pour étendre la justesse du jeu à toutes situations, une méthode de correction dynamique de l'intonation a été développée, permettant de jouer en dessous du seuil de perception de justesse et préservant en même temps l'expressivité du musicien. Des évaluations objective et perceptive ont permis de valider l'efficacité de cette méthode.L'utilisation de nouvelles interfaces pour la musique pose la question des modalités impliquées dans le jeu de l'instrument. Une troisième étude révèle une prépondérance de la perception visuelle sur la perception auditive pour le contrôle de l'intonation, due à l'introduction d'indices visuels sur la surface de la tablette. Néanmoins, celle-ci est compensée par l'important pouvoir expressif de l'interface.En effet, la maîtrise de l'écriture ou du dessin dès l'enfance permet l'acquisition rapide d'un contrôle expert de l'instrument. Pour formaliser ce contrôle, nous proposons une suite de gestes adaptés à différents effets musicaux rencontrés dans la musique vocale. Enfin, une pratique intensive de l'instrument est réalisée au sein de l'ensemble Chorus Digitalis à des fins de test et de diffusion. Un travail de recherche artistique est conduit tant dans la mise en scène que dans le choix du répertoire musical à associer à l'instrument. De plus, un retour visuel dédié au public a été développé, afin d'aider à la compréhension du maniement de l'instrument

Perceptual equivalence of the Liljencrants–Fant and linear-filter glottal flow models

Speech glottal flow has been predominantly described in the time-domain in past decades, the Liljencrants–Fant (LF) model being the most widely used in speech analysis and synthesis, despite its computational complexity. The causal/ anti-causal linear model (LFCALM) was later introduced as a digital filter implementation of LF, a mixed-phase spectral model including both anti-causal and causal filters to model the vocal-fold open and closed phases, respectively. To further simplify computation, a causal linear model (LFLM) describes the glottal flow with a fully causal set of filters. After expressing these three models under a single analytic formulation, we assessed here their perceptual consistency, when driven by a single parameter Rd related to voice quality. All possible paired combinations of signals generated using six Rd levels for each model were presented to subjects who were asked whether the two signals in each pair differed. Model pairs LFLM–LFCALM were judged similar when sharing the same Rd value, and LF was considered the same as LFLM and LFCALM given a consistent shift in Rd. Overall, the similarity between these models encourages the use of the simpler and more computationally efficient models LFCALM and LFLM in speech synthesis applications

Evaluation des endommagements dans les structures BA à partir de mesures vibratoires: études expérimentales et numériques

International audience Après un événement (séisme, modifications du voisinage, ...), une structure BA peut être endommagée. La capacité résistante de cette structure peut être évaluée par des mesures vibratoires. A l'heure actuelle, ce type de mesures permet le diagnostic à l'échelle globale (toute la structure) et de manière qualitative alors que la localisation et la quantification des endommagements restent encore à approfondir. Dans le cadre de cette recherche, le diagnostic à l'échelle locale d'une structure poteaux-poutres béton armé instrumentée en laboratoire est étudié. Ce travail s'insère dans un contexte national de réévaluation des structures existantes. En première partie, le travail de recherche a commencé par une expérimentation en laboratoire sur une structure poteaux-poutres de type H (deux poteaux et une poutre). Différentes sollicitations croissantes ont été imposées au milieu de la poutre correspondant à différents états d'endommagement. Des mesures de champs de déplacement de toute la structure et des mesures vibratoires par accéléromètres ont été effectuées. A partir des mesures vibratoires, les caractéristiques dynamiques de la structure ont été identifiées (fréquences propres, déformées modales). Ces caractéristiques ont permis de caler un modèle numérique EF simplifié (établi par Matlab), qui utilise les éléments « barres » et les connexions semi-rigides entre les poteaux et les poutres. Les rigidités de ces connexions ont été identifiées par des boucles d'optimisation pour trouver les résultats qui s'approchent le plus des résultats expérimentaux. Les rigidités identifiées des connexions sont utilisées pour calculer des facteurs de rigidités qui varient entre 0 (rotule parfaite) et 1 (encastrement parfait). Ils apportent des informations sur l'état d'endommagement des connexions étudiées. Par conséquent, l'évaluation des connexions par des mesures dynamiques, à l'échelle du laboratoire, est possible. En deuxième partie, pour pouvoir vérifier l'influence des endommagements locaux sur d'une part, la réponse dynamique globale de la structure et d'autre part, sur la capacité structurelle globale de toute la structure, un code EF plus complexe (Castem) a été utilisé. Des éléments poutres multifibres ont été utilisés pour modéliser la structure du type portique. Dans un premier temps, les paramètres des matériaux (« béton » et « acier ») ont été identifiés en fonction des résultats expérimentaux sur les matériaux. Ensuite, le résultat numérique sur le portique est comparé avec l'expérimentation. La pertinence du modèle numérique dans l'évaluation de la capacité de la structure après les premiers endommagements est discutée.</p

Seismic Assessment of Rammed Earth Walls Using Pushover Tests

AbstractRammed earth (RE) construction is attracting renewed interest throughout the world thanks to its sustainable characteristics: a very low embodied energy, an advantageous living comfort due to a substantial thermal inertia, good natural moisture buffering, and an attractive appearance. This is why several studies have been carried out recently to investigate RE. However, there have not yet been sufficient studies on the seismic performance of RE buildings.This paper presents an experimental study on the static nonlinear pushover method and its application on the seismic performance of RE structures. Several walls with two height/length ratios were built and tested to obtain the nonlinear “shear force–displacement” curves. By transposing to the “acceleration-displacement” system and by using the standard spectra presented in Eurocode 8, the performance points could be determined which enabled to assess the seismic performance of the studied walls in different conditions (seismicity zones and soil types)

Les instruments chanteurs

Résumé Les instruments chanteurs sont nés de la rencontre entre synthèse vocale et nouvelles interfaces pour l'interaction humain-machine. La voix n'est pas un instrument de musique, car il n'y a pas d'objet externe mis en jeu par les membres ou par le souffle. La synthèse numérique permet pour la première fois une coupure entre le sujet et sa voix, en construisant des instruments chanteurs manipulés par les mains, les pieds, ou par toutes sortes d'interfaces humain-machine. Cependant, les possibilités de contrôle des instruments chanteurs sont encore limitées à certains aspects, car une transposition des gestes internes du chant effectués par l'appareil vocal en gestes externes des membres ne va pas de soi. Certains gestes sont analogues, d'autres sont médiatisés par un espace perceptif. Les travaux menés sur trois instruments chanteurs sont présentés : le contrôle de l'intonation par un stylet sur une tablette graphique et des gestes d'écriture ; le contrôle des voyelles et de la qualité vocale sur une surface ; le contrôle bimanuel de l'articulation consonantique ; le contrôle syllabique du rythme. Les modèles de synthèse sous-jacents utilisent soit la simulation du modèle source-filtre, soit la modification d'échantillons préenregistrés et étiquetés. Le contrôle des instruments chanteurs est multimodal, impliquant l'ou\"\ie ainsi que la vue, le toucher, et la kinesthésie. Cette combinaison sensorielle et motrice permet dans certains cas de rendre les instruments chanteurs plus justes et précis que la voix, la vue privilégiant les aspects mélodiques et l'audition les aspects rythmiques. Miroir de la voix, l'instrument chanteur autorise toutes sortes de spéculations : musicales bien sûr, avec le Chorus Digitalis, chœur de voix de synthèse, mais aussi pour l'analyse des pratiques vocales, pour l'éducation ou la rééducation, en renforçant l'apprentissage de gestes vocaux par des traces visuelles, des gestes manuels ou corporels. Le statut symbolique de la voix est également affecté par la possibilité de contrôler et de produire le son vocal en dehors du corps : corps augmenté, mise en scène de l'expression vocale, double de la voix, jeu de la voix d'un ou d'une autre. Abstract Singing instruments are the result of the encounter between voice synthesis and new interfaces for human-computer interaction. Voice is not a musical instrument, since it does not involve an external object stimulated by limbs or breathe. In contrast, digital synthesis allows for the first time to separate the subject from its voice, by building singing instruments manipulated by hands, feet, or any human-computer interface. However, possibilities for singing instruments control are still limited to some aspects, as the transposition from internal singing gestures realised by the vocal apparatus to external gestures is not trivial. Some gestures are analogous, while others are transposed in perceptive spaces. Related work realised on three singing instruments is introduced: the intonation control by a stylus on a graphic tablet and writing gestures; the vocalic and voice quality controls on a surface; the bi-manual control of onsonantal articulation; the rhythmic control of syllables. The underlying voice production models use either the simulation of a source-filter model, or the modification of pre-recorded and labelled samples. The control of singing instruments is multi-modal, involving hearing, sight, touch, and kinaesthesia. In some extent, this sensorimotor combination allows the singing instrument to be more accurate and precise than natural voice: the sight favouring melodic aspects while hearing being more related to rhythmic aspects. Mirror of voice, the singing instrument allows any kind of speculation: indubitably musical with Chorus Digitalis, a choir of synthesised voices, but also for the analysis of vocal practices, for education or re-education by strengthening the learning of vocal gestures through uses of visual traces, and manual and corporal gestures. Finally, the symbolic status of voice is also affected by the possibility to produce a vocal sound from outside the body: augmented body, staging of vocal expression, voice double, play of someone else's voice

Drawing melodies: Evaluation of chironomic singing synthesis

Cantor Digitalis, a real-time formant synthesizer controlled by a graphic tablet and a stylus, is used for assessment of melodic precision and accuracy in singing synthesis. Melodic accuracy and precision are measured in 3 experiments for groups of 20 and 28 subjects. The task of the subjects is to sing musical intervals and short melodies, at various tempi, using chironomy (hand-controlled singing), mute chironomy (without audio feedback) and their own voices. The results show the high accuracy and precision obtained by all the subjects for chironomic control of singing synthesis. Some subjects performed significantly better in chironomic singing compared to natural singing, although other subjects showed comparable proficiency. For the chironomic condition, mean note accuracy is less than 12 cents and mean interval accuracy is less than 25 cents for all the subjects. Comparing chironomy and mute chironomy shows that the skills used for writing and drawing are used for chironomic singing, but that the audio feedback helps in interval accuracy. Analysis of blind chironomy (without visual reference) indicates that a visual feedback helps much in both note and interval accuracy and precision. This study demonstrates the capabilities of chironomy as a precise and accurate mean for controlling singing synthesis

Cantor Digitalis: chironomic parametric synthesis of singing

Cantor Digitalis is a performative singing synthesizer that is composed of two main parts: a chironomic control interface and a parametric voice synthesizer. The control interface is based on a pen/touch graphic tablet equipped with a template representing vocalic and melodic spaces. Hand and pen positions, pen pressure, and a graphical user interface are assigned to specific vocal controls. This interface allows for real-time accurate control over high-level singing synthesis parameters. The sound generation system is based on a parametric synthesizer that features a spectral voice source model, a vocal tract model consisting of parallel filters for vocalic formants and cascaded with anti-resonance for the spectral effect of hypo-pharynx cavities, and rules for parameter settings and source/filter dependencies between fundamental frequency, vocal effort, and formants. Because Cantor Digitalis is a parametric system, every aspect of voice quality can be controlled (e.g., vocal tract size, aperiodicities in the voice source, vowels, and so forth). It offers several presets for different voice types. Cantor Digitalis has been played on stage in several public concerts, and it has also been proven to be useful as a tool for voice pedagogy. The aim of this article is to provide a comprehensive technical overview of Cantor Digitalis

Singing with hands : chironomic interfaces for digital musical instruments

Le travail de cette thèse porte sur l'étude du contrôle en temps réel de synthèse de voix chantée par une tablette graphique dans le cadre de l'instrument de musique numérique Cantor Digitalis.La pertinence de l'utilisation d'une telle interface pour le contrôle de l'intonation vocale a été traitée en premier lieu, démontrant que la tablette permet un contrôle de la hauteur mélodique plus précis que la voix réelle en situation expérimentale.Pour étendre la justesse du jeu à toutes situations, une méthode de correction dynamique de l'intonation a été développée, permettant de jouer en dessous du seuil de perception de justesse et préservant en même temps l'expressivité du musicien. Des évaluations objective et perceptive ont permis de valider l'efficacité de cette méthode.L'utilisation de nouvelles interfaces pour la musique pose la question des modalités impliquées dans le jeu de l'instrument. Une troisième étude révèle une prépondérance de la perception visuelle sur la perception auditive pour le contrôle de l'intonation, due à l'introduction d'indices visuels sur la surface de la tablette. Néanmoins, celle-ci est compensée par l'important pouvoir expressif de l'interface.En effet, la maîtrise de l'écriture ou du dessin dès l'enfance permet l'acquisition rapide d'un contrôle expert de l'instrument. Pour formaliser ce contrôle, nous proposons une suite de gestes adaptés à différents effets musicaux rencontrés dans la musique vocale. Enfin, une pratique intensive de l'instrument est réalisée au sein de l'ensemble Chorus Digitalis à des fins de test et de diffusion. Un travail de recherche artistique est conduit tant dans la mise en scène que dans le choix du répertoire musical à associer à l'instrument. De plus, un retour visuel dédié au public a été développé, afin d'aider à la compréhension du maniement de l'instrument.This thesis deals with the real-time control of singing voice synthesis by a graphic tablet, based on the digital musical instrument Cantor Digitalis.The relevance of the graphic tablet for the intonation control is first considered, showing that the tablet provides a more precise pitch control than real voice in experimental conditions.To extend the accuracy of control to any situation, a dynamic pitch warping method for intonation correction is developed. It enables to play under the pitch perception limens preserving at the same time the musician's expressivity. Objective and perceptive evaluations validate the method efficiency.The use of new interfaces for musical expression raises the question of the modalities implied in the playing of the instrument. A third study reveals a preponderance of the visual modality over the auditive perception for the intonation control, due to the introduction of visual clues on the tablet surface. Nevertheless, this is compensated by the expressivity allowed by the interface.The writing or drawing ability acquired since early childhood enables a quick acquisition of an expert control of the instrument. An ensemble of gestures dedicated to the control of different vocal effects is suggested.Finally, an intensive practice of the instrument is made through the Chorus Digitalis ensemble, to test and promote our work. An artistic research has been conducted for the choice of the Cantor Digitalis' musical repertoire. Moreover, a visual feedback dedicated to the audience has been developed, extending the perception of the players' pitch and articulation