Sound morphing strategies based on alterations of time-frequency representations by Gabor multipliers

International audienceSounds morphing is an important topic in signal processing of musical sounds and covers a wide variety of techniques whose aim is to "interpolate" between two sound signals. We present here an approach based on the alteration of time-frequency representation. Time-frequency analysis is a classical tool in sounds analysis/synthesis. A time-frequency filter can be well-defined as a diagonal signal operator in a Gabor representation of sounds. Processing can be performed by multiplying a time-frequency representation with such a time-frequency filter, called a Gabor mask. After estimating such a Gabor mask between two sounds, we explore strategies to parametrize it for static morphing between two sounds. We then compare such an approach with standard and non standard approaches of morphing as different kind of sounds combination, notably classical means in the time-frequency domain

Analyse et catégorisation de sons par multiplicateurs temps-fréquence

National audienceOn s'intéresse ici au problème de l'analyse et la catégorisation des sons par l'intermédiaire de la complexité des transformations permettant de les relier. Ces dernières sont modélisées au moyen de multiplicateurs de Gabor, opérateurs linéaires diagonaux dans une représentation de Gabor (complexe) et caractérisés par une fonction de transfert temps-fréquence (à valeurs complexes également). Une mesure de dissimilarité entre signaux est obtenue par mesure de la complexité de cette fonction de transfert. Cette dissimilarité est à son tour exploitée par une méthode de classification hiérarchique

A new method for Gabor multipliers estimation : application to sound morphing

International audienceSound signal analysis can involve a large variety of signal processing methods. This work addresses the analysis of families of sound signals through linear transformations that map signals to each other. These transformations are modeled as Gabor multipliers, which are defined by pointwise multiplication with a given transfer function in the timefrequency (i.e. Gabor) domain. We develop new approaches for the estimation of such transfer functions, and propose corresponding efficient iterated shrinkage algorithms. The estimated transfer functions can be used for various purpooses in signal analysis and processing. This paper describes applications to sound morphing

Estimation de multiplicateur de Gabor par algorithmes d'optimisation

National audienceUne nouvelle approche pour l'analyse et la catégorisation d'une famille de sons exploitant des transformations reliant ces sons deux à deux a été récemment proposée [1,2]. Dans cette approche, ces transformations sont modélisées comme multiplicateurs de Gabor. Un multiplicateur s'écrit de la façon suivante: Mmx = Vg* m Vg, où Vg désigne l'opérateur d'analyse (transformation de Gabor) et Vg désigne l'opérateur de synthèse (transformation de Gabor inverse). Le masque de Gabor m, et agit par multiplication point par point avec la transformée de Gabor Vgx. Nous nous intéressons ici au problème de l'estimation du masque de Gabor m. Pour un couple de signaux donné (x0,x1), le problème peut se formuler comme la minimisation de la fonctionnelle, &_Phi;(m) = &_parallel; x1 - Mm x0&_parallel;2 + &_lambda; d(m) Le second terme est un terme de régularisation qui permet à la solution d'être bien définie, mais aussi permet d'introduire de l'information a priori sur la solution. Nous proposons ici de reformuler le problème de l'estimation du masque de la façon suivante: &_parallel; A&_omega; - b &_parallel; + &_lambda;d(&_omega;) où A est un opérateur linéaire, b=x1-x0 et &_omega; = m-1. Avec cette formulation, il devient possible d'obtenir une solution au moyen d'algorithmes décrits dans la littérature comme ceux de [3] pour des choix d'a priori tels que des normes lp, en considérant d(&_omega;) = &_parallel; &_omega; &_parallel;pp Nous étudierons le rôle du choix de la fonction de régularisation et l'allure des solutions obtenues pour le masque, dans un contexte d'étude des signaux musicaux issus d'instruments de musique. [1] P. Depalle, R. Kronland-Martinet, B. Torrésani. Time-frequency multipliers for sound sythesis SPIE Optics ans Photonics, Wavelet XII, vol 6701, pp. 670118-1 à 670118-15, 26-30 August 2007 , San Diego, USA. [2] A. Olivero, L. Daudet, R. Kronland-Martinet, B. Torrésani. Analyse et Catégorisation de sons par multiplicateurs temps-fréquence. Actes du colloque GRETSI 09, Dijon, Septembre 2009 [3] Pierre Weiss, Algorithmes rapides d'optimisation convexe. Applications à la restauration d'images et à la détection de changements Thèse de doctorat, Université de Nice Novembre 200

Analyse and categorization of sounds with time-frequency multipliers

On s'intéresse ici au problème de l'analyse et la catégorisation des sons par l'intermédiaire de la complexité des transformations permettant de les relier. Ces dernières sont modélisées au moyen de multiplicateurs de Gabor, opérateurs linéaires diagonaux dans une représentation de Gabor (complexe) et caractérisés par une fonction de transfert temps-fréquence (à valeurs complexes également). Une mesure de dissimilarité entre signaux est obtenue par mesure de la complexité de cette fonction de transfert. Cette dissimilarité est à son tour exploitée par une méthode de classification hiérarchique

A Class of Algorithms for Time-Frequency Multiplier Estimation

Abstract—We propose here a new approach together with a corresponding class of algorithms for offline estimation of linear operators mapping input to output signals. The operators are modelled as multipliers, i.e. linear and diagonal operator in a frame or Bessel representation of signals (like Gabor, wavelets...) and characterized by a transfer function. The estimation problem is formulated as a regularized inverse problem, and solved using iterative algorithms, based on gradient descent schemes. Various estimation problems, which differ by a choice for the regularization function, are studied in the case of Gabor multipliers. The transfer function actually provides a meaningful interpretation of the differences between the two signals or signal classes under consideration, and examples are discussed. Furthermore, examples of signal transformations with such Gabor transfer functions are also given

Dissimilarity test modelisation applyied to interior car sound perception.

International audienc