National audienceDans cet article, nous présentons une nouvelle approche pour la localisation de superposition de sources harmoniques. Notre méthode est basée sur le suivi des fréquence prédominantes du signal afin de former des segments sinusoïdaux. Les relations entre les fréquences de ces derniers sont ensuite étudiées afin de regrouper les segments sinusoïdaux appartenant à une même source. Les sources étant localisées sur le plan temps-fréquence, les zones où coexistent différentes sources sont finalement extraites. Notre approche à été testée à la fois sur des contenus de parole et de musique avec des résultats prometteurs

André-Obrecht, Régine

Le Coz, Maxime

Pinquier, Julien

Scientific Publications of the University of Toulouse II Le Mirail

Inte´reˆt du suivi de fre´quences pour la de´tection desources harmoniques multiplesMaxime Le Coz, Julien Pinquier, Re´gine Andre´-ObrechtTo cite this version:Maxime Le Coz, Julien Pinquier, Re´gine Andre´-Obrecht. Inte´reˆt du suivi de fre´quences pour lade´tection de sources harmoniques multiples. 24eme Colloque Groupe de Recherche et d’Etudesdu Traitement du Signal et des Images (GRETSI 2013), Sep 2013, Brest, France. pp. 1-4,2013. <hal-01228708>HAL Id: hal-01228708https://hal.archives-ouvertes.fr/hal-01228708Submitted on 13 Nov 2015HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestine´e au de´poˆt et a` la diffusion de documentsscientifiques de niveau recherche, publie´s ou non,e´manant des e´tablissements d’enseignement et derecherche franc¸ais ou e´trangers, des laboratoirespublics ou prive´s.     Open Archive TOULOUSE Archive Ouverte (OATAO)  OATAO is an open access repository that collects the work of Toulouse researchers and makes it freely available over the web where possible.  This is an author-deposited version published in : http://oatao.univ-toulouse.fr/ Eprints ID : 12641  The contribution was presented at GRETSI 2013: http://www.gretsi.fr/colloque2013/  To cite this version : Le Coz, Maxime and Pinquier, Julien and André-Obrecht, Régine Intérêt du suivi de fréquences pour la détection de sources harmoniques multiples. (2013) In: Groupe de Recherche et d'Etudes du Traitement du Signal et des Images (GRETSI 2013), 3 September 2013 - 6 September 2013 (Brest, France). Any correspondance concerning this service should be sent to the repository administrator: staff-oatao@listes-diff.inp-toulouse.fr Intérêt du suivi de fréquences pour la détection de sourcesharmoniques multiplesMaxime LE COZ, Julien PINQUIER, Régine ANDRÉ-OBRECHTIRIT - 118, route de Narbonne31062 Toulouse Cedex 9, FRANCE{lecoz, pinquier, obrecht}@irit.frRésumé – Dans cet article, nous présentons une nouvelle approche pour la localisation de superposition de sources harmoniques. Notre méthodeest basée sur le suivi des fréquence prédominantes du signal afin de former des segments sinusoïdaux. Les relations entre les fréquences de cesderniers sont ensuite étudiées afin de regrouper les segments sinusoïdaux appartenant à une même source. Les sources étant localisées sur le plantemps-fréquence, les zones où coexistent différentes sources sont finalement extraites. Notre approche à été testée à la fois sur des contenus deparole et de musique avec des résultats prometteurs.Abstract – In this article, we present a new approach for the localization of superposed harmonic sources. Our method relies on a tracking ofthe predominant frequencies of the signal in order to form Sinusoidal segments. The ratios between the frequencies of those Sinusoidal segmentsare studied in order to group together those belonging to the same source. Once the source localized on the time-frequency plan, the instant wheremultiple sources coexist are labeled as containing superposition. The approach has ben tested on both speech and musical contents and showspromissing results.1 Introduction1.1 État de l’artLa détection de zones où plusieurs sources harmoniques sontprésentes est une étape importante pour l’amélioration des sys-tèmes de transcription, que ce soit en musique ou en parole.En effet, les sources harmoniques interagissent de manière ex-trêmement complexe et des stratégies spécifiques doivent êtreenvisagées dans un tel contexte.La communauté parole étudie des contenus de parole lue,préparée, voire spontanée en supposant que le locuteur est seulou éventuellement en contexte bruité. Des recherches plus ré-centes visent la transcription de flux de parole moins maîtriséeen présence notamment de parole superposée [8]. D’autres ap-proches basées sur des filtrages par peignes harmoniques ontégalement été proposées par [5] pour une estimation de plu-sieurs fréquences fondamentales en contexte de parole ou demusique.En musique, l’existence de plusieurs sources harmoniquesest un problème présent dans la grande majorité des cas pra-tiques. La transcription multi-pitch est d’ailleurs un sujet trèsactif de ces dernières années et a donné lieux à plusieurs tâchesdans de grandes campagnes d’évaluation comme MIREX 1 ouQUAERO 2. Diverses approches ont été proposées. On citerapar exemple [4] dont la méthode consiste à analyser un critèrede saillance des fréquences du spectre afin de détecter une fré-1. http ://www.music-ir.org/mirex/2. http ://www.quaero.org/quence prédominante et ses harmoniques. Un motif de décrois-sance de la saillance, défini par la fréquence fondamentale, estensuite soustrait de la fonction de saillance et une nouvelle fré-quence est estimée tant que le résidu reste différent du bruit.Une autre approche basée sur des motifs de décroissance estproposée par [1] sur une analyse fréquentielle multi-résolutionafin de limiter l’influence du bruit.Enfin, les approches basées sur le suivi commencent à êtreutilisées, mais dans un objectif monopitch pour extraire, parmiun ensemble de candidats par trame, le meilleur contour repré-sentant la mélodie principale [7].1.2 Ce que nous cherchonsLe système que nous présentons vise à localiser temporelle-ment plusieurs sources harmoniques par le suivi des fréquencesprédominantes dans le signal. Il vise aussi à attribuer les fré-quences prédominantes détectées à l’une des sources présente.Cette localisation s’effectue sans a priori sur le nombre desources, ni modèle acoustique.2 SystèmeNotre système est basée sur l’analyse en contexte des événe-ments harmoniques à l’aide d’un suivi de fréquences. En effetles sources pouvant être difficiles à discerner dans les instantsde recouvrement, pouvoir estimer la façon dont se comportentles sources dans le contexte des zones problématiques permetde lever l’ambiguïté.La figure 1 illustre bien sur un exemple de parole superposée,la difficulté d’analyse de la zone de superposition. La présencede deux sources différentes est rendu évidente par la prolon-gation des deux sources de part et d’autre du phénomène desuperposition (en bleu et en vert).FIGURE 1 – Exemple de phénomène de superposition en pa-role. Le suivi des fréquences à partir et après la zone de su-perposition permet de mettre en évidence l’existence des deuxsources (en bleu et vert).Le système que nous présentons s’articule autour de cinqétapes principales :– sélection de zones d’intérêt,– sélection des fréquences candidates,– suivi de fréquences,– rassemblement harmonique,– localisation de superpositions.2.1 Sélection de zones d’intérêtUn spectrogramme classique est calculé sur des segmentsisolés de parole ou de musique. La sélection de ces zones estune étape très importante du processus puisque notre approcheprend l’hypothèse de la présence d’au moins une source har-monique. La sélection des zones de parole et de musique peutêtre effectuée a priori en utilisant la méthode décrite dans [6].Sur chaque trame d’analyse, la transformée de Fourier rapideest calculée seulement sur les fréquences inférieures à une fré-quence de coupure Fmax. Ce seuil permet de se concentrer surles zones où les amplitudes des harmoniques liées aux sourcessont les plus énergétiques et les plus clairement dissociées dubruit.2.2 Sélection de fréquences potentiellement liéesaux sourcesSur chaque zone d’intérêt sélectionnée, une étude des fré-quences prédominantes est effectuée. Le pic maximal de chaquetrame analysée est sélectionné. Le couple de valeurs (fréquence,amplitude) de ce pic est noté (fmax, ampmax).Les pics d’amplitude supérieure à un seuil défini par unefonction linéaire par morceau paramétrée définie comme suit :th(f) ={a( (rmax−rdeb)fpmax + rdeb) pour f ∈ [0, fpmax ]a((rfin−rmax)fmax−fpmax + rdeb) pour f ∈ [fpmax , fmax](1)Ce seuil sur l’amplitude permet de prendre en compte l’af-faiblissement du rapport signal sur bruit lors de l’augmentationdes fréquences. Cette décision est également motivée par la né-cessité de garder un nombre élevé de candidats pour les étapessuivantes du traitement, et ce sur l’ensemble de la bande defréquence analysée.La Figure 2 illustre la façon dont les pics sont sélectionnésafin de tenir compte de l’amplitude locale du signal.FrquenceAmpl.apmaxrdeb.apmaxrmax.apmaxrfin.apmaxfpmax fmax0FIGURE 2 – Sélection des pics candidats par seuil dynamique.La fonction linéaire par morceaux utilisée comme seuil est dé-finie par les coordonnées du pic principal. Seuls les pics d’am-plitude supérieure au seuil sont sélectionnés.2.3 Suivi de fréquencesUne fois les pics extraits sur les trames, un suivi de fréquenceest effectué afin de suivre l’évolution temporelle des fréquencesprédominantes. La méthode de suivi a été créée par Tanigushi[9]. Celle-ci permet de relier les pics des différentes trames ensegments sinusoïdaux.Afin d’être reliés, deux pics de deux trames adjacentes res-pectivement pit = (fit , ampit) et p2 =(fjt+1, ampjt+1) doiventremplir la condition dTani(p1, p2) < ThTani.La distance dTani(p1, p2) est calculée selon la formule sui-vante :dTani(p1, p2) =√√√√(f it − f jt+1Cf)2×(ampit − ampjt+1Cp)2(2)Si la condition est remplie, alors les pics des deux tramessont liés au sein d’un même segments sinusoïdal et le processuscontinue jusqu’à l’analyse complète des trames.Les Segments Sinusoïdaux (SS) extraits suivent l’évolutionen temps-fréquences des principales harmoniques présentes surle segment temporel. Afin de ne garder que les SS significatifs,tout ceux de longueur inférieure à un seuil nLenMin ne sontpas conservés. Nous estimons, en effet, que plus une suite depics liés est longue, plus elle est significative et moins elle nepeut être le fruit du hasard.2.4 Regroupement harmoniqueÀ partir d’un ensemble de SS, nous cherchons à estimer ceuxqui sont liés à la même source harmonique. Pour cela, nousutilisons le fait qu’il existe des rapports entiers entres les fré-quences issues d’une même source. Nous calculons la distancedclus entre tous les couples de SS extraits ayant un minimumde thminOverlap trames en commun.Pour chaque couple (ss1, ss2), nous analysons la liste desfréquences lf(ss1) et lf(ss2) sur leur section de recouvrement.Pour chaque suite de thminOverlap couples de fréquencesconsécutive sur la durée du recouvrement, la moyenne des va-leurs de divrg(f1, f2) est calculée. Ceci afin de décrire la rela-tion locale entre le comportement des deux segments sinusoi-daux.divrg calcule la distance entre le ratio de la plus grande fré-quence sur la plus faible et l’entier le plus proche.Une fois cette valeur extraite pour chaque fenêtre, la valeurdclus(ss1, ss2) est extraite comme la valeur médiane parmi lesfenêtres.Ainsi, nous réalisons un graphe où les nœuds sont les SSet nous relions uniquement ceux dont dclus < thclus. De cegraphe, chaque composante connexe représente les SS liés àune source. Ceci permet d’assurer une transitivité pour le grou-pement.Un exemple de graphe représentant les sources pour la mu-sique et pour la parole est présenté sur la figure 2.4.TempsFrquencesMoyenne par fenetreRecouvrementbMediane+ 0.5cCalcul de la distanceCalcul des ratiosFIGURE 3 – Chaine de calcul du critère harmonique entre deuxSegments Sinusoïdaux. Ces différentes étapes permettent d’as-surer un ratio entier constant entre les valeurs de fréquence pourune valeur de distance proche de 0.FIGURE 4 – Exemple de regroupements harmoniques sur unextrait de musique polyphonique. Sur la deuxième partie del’image, nous pouvons observer la transitivité permettant deconserver l’unité de la source grise.2.5 Localisation de zones de superpositionUne fois les différents regroupements établis, la recherchede zones de sources simultanées se fait sur l’ensemble d’unsegment temporel étudié. Nous recherchons alors la présencesimultanée d’au moins deux sources.3 Expérience3.1 DescriptionUne expérience qualitative a permis de donner de bons ré-sultats sur deux types de contextes musicaux. Le premier cor-respond à de la pop européenne : une chanson du concours del’Eurovision, enregistrée en studio comportant des solos et desparties accompagnées. Le second est un chœur ethnique enre-gistré en extérieur avec un fichier de chant africain extrait dela base sonore du musée de l’homme [2]. Dans ce dernier fi-chier, nous cherchons à différentier les passages de chœur etde solo. Malgré la différence de contenu et de qualité de cesdeux enregistrement, nous avons choisi de tester la robustessede notre approche en paramétrant notre système de la mêmefaçon pour ces deux analyses. Chaque segment de 2 secondesd’enregistrement est classé suivant notre méthode.Notre système à également été évalué sur la parole : des fi-chiers extraits de la campagne d’évaluation ANR ETAPE [3].Des zones, contenants respectivement des segments de parolesuperposée et non superposée dans des proportions équivalentes,ont été extraites de ces fichiers afin d’évaluer notre systèmedans des conditions comparables. Ce corpus comprends 60 ex-traits d’une durée d’une seconde en moyenne.3.2 RésultatsL’expérience sur les contenus musicaux obtient un taux d’ac-curacy (bonne classification) de 71% sur le fichier d’Eurovisionet de 69% pour l’enregistrement de musique ethnique. Ces ré-sultats sont obtenus en gardant les mêmes paramètres pour lesdeux types de musique. Bien sûr, une paramétrisation spéci-fique à ces deux types de musique très différents est possible,mais l’objectif de notre méthode est de garder au maximum uneapproche générique pour un type de contenu donné. Les erreurssont principalement dues à une différence d’amplitude trop éle-vée entre deux sources qui tend parfois à masquer l’une dessources, ceci conduisant à une décision erronée de la présenced’une unique source. Inversement, certains cas de recherche desources dans des zones extrêmement bruitées peut conduire àun suivi chaotique des pics appartenant au bruit, et menant àune fausse détection de plusieurs sources.Les résultats sur les segments de parole donnent un taux debonne classification de plus de 78%. Dans cette expérience,les erreurs sont plutôt liées à la sur-détection de sources avecseulement un échantillon de parole superposée classé commen’ayant qu’une seule source. Comme pour l’expérience sur lecontenu musical, les erreurs de détection de « fausses sources »sont principalement dues au suivi dans des zones n’ayant pas desources harmoniques. En effet, la durée de recouvrement de pa-role pouvant être extrêmement courte, elle se trouve de l’ordrede longues fricatives ou des zones de silences de réflexion.4 Conclusion & PerspectivesNotre étude montre la possibilité d’utiliser une méthode desuivi de fréquences pour la détection de sources harmoniquessimultanées. Le principal intérêt de cette approche, par rapportaux approches basées sur des apprentissages, réside dans sasouplesse permettant de s’adapter à des contextes et des conte-nus très différents.Bien que nous ayons choisi de garder la même paramétrisa-tion pour les deux types de musique, notre approche pourraitégalement utiliser des informations a priori sur le contenu àétudier (parole ou musique, niveau de bruit...). Une paramé-trisation différente permettant de rendre le suivi moins sensibleau bruits de fond, ou au contraire de chercher des sources ayantune plus grande différence d’amplitudes entre elles.Afin d’améliorer notre système et d’éviter notamment la sur-évaluation des sources, nous pourrions utiliser un indicateurde présence de source harmonique à l’échelle de la trame afinde ne pas chercher à suivre l’évolution des pics correspondantà du bruit. Nous planifions également de réaliser une fusionentre notre approche et une méthode plus classique d’extractionmulti-pitch en musique afin d’utiliser les forces et faiblessesdes deux approches.L’estimation précise du nombre de sources est également unobjectif à plus long terme de notre approche, nécessitant pro-bablement la combinaison avec d’autres méthodes afin de mi-nimiser les erreurs.Enfin, notre méthode permet une localisation fréquentielledes différentes sources qui pourrait ensuite servir de support àdes analyses visant à les caractériser ou les isoler. Citons parexemple l’identification d’instruments à travers le timbre via leprofil harmonique ou la séparation de sources.Références[1] Karin Dressler. An auditory streaming approach for me-lody extraction from polyphonic music. In ISMIR 2011proceedings, October 2011.[2] Telemeta Plateform For Ethnomusico-logy Exchange. http ://archives.crem-cnrs.fr/items/cnrsmh_i_1957_003_001_03/.[3] Guillaume Gravier, Gilles Adda, Niklas Paulson, MatthieuCarré, Aude Giraudel, and Olivier Galibert. The ETAPEcorpus for the evaluation of speech-based TV content pro-cessing in the French language. In International Confe-rence on Language Resources, Evaluation and Corpora,page na, Turquie, 2012.[4] Anssi Klapuri. Multipitch analysis of polyphonic mu-sic and speech signals using an auditory model. IEEETransactions on Audio, Speech & Language Processing,16(2) :255–266, 2008.[5] Jean-Sylvain Liénard, Francois Signol, and Claude Barras.Speech fundamental frequency estimation using the alter-nate comb. In INTERSPEECH, pages 2773–2776, 2007.[6] J. Pinquier, J. L. Rouas, and R. Andre-Obrecht. A fusionstudy in speech/music classification. In Proc. IEEE Int.Conf. Acoustics, Speech, and Signal Processing (ICASSP’03), volume 2, 2003.[7] Joe Cheri Ross, Vinutha T. P., and Preeti Rao. Detectingmelodic motifs from audio for hindustani classical music.In Fabien Gouyon, Perfecto Herrera, Luis Gustavo Mar-tins, and Meinard Müller, editors, ISMIR, pages 193–198.FEUP Edições, 2012.[8] Francois Signol. Automatic multipitch estimation for mo-naural speech mixture signals. PhD thesis, LIMSI-CNRS,Université Paris Sud B.P. 133 F-91403 ORSAY CEDEX,2009.[9] Toru Taniguchi, Mikio Tohyama, and Katsuhiko Shirai.Detection of speech and music based on spectral tracking.Speech Commun., 50(7) :547–563, July 2008.

Intérêt du suivi de fréquences pour la détection de sources harmoniques multiples

Dans cet article, nous présentons une nouvelle approche pour la localisation de superposition de sources harmoniques. Notre méthode est basée sur le suivi des fréquence prédominantes du signal afin de former des segments sinusoïdaux. Les relations entre les fréquences de ces derniers sont ensuite étudiées afin de regrouper les segments sinusoïdaux appartenant à une même source. Les sources étant localisées sur le plan temps-fréquence, les zones où coexistent différentes sources sont finalement extraites. Notre approche à été testée à la fois sur des contenus de parole et de musique avec des résultats prometteurs

Open Archive Toulouse Archive Ouverte

     Open Archive TOULOUSE Archive Ouverte (OATAO)  OATAO is an open access repository that collects the work of Toulouse researchers and makes it freely available over the web where possible.  This is an author-deposited version published in : http://oatao.univ-toulouse.fr/ Eprints ID : 12641  The contribution was presented at GRETSI 2013: http://www.gretsi.fr/colloque2013/  To cite this version : Le Coz, Maxime and Pinquier, Julien and André-Obrecht, Régine Intérêt du suivi de fréquences pour la détection de sources harmoniques multiples. (2013) In: Groupe de Recherche et d'Etudes du Traitement du Signal et des Images (GRETSI 2013), 3 September 2013 - 6 September 2013 (Brest, France). Any correspondance concerning this service should be sent to the repository administrator: staff-oatao@listes-diff.inp-toulouse.fr Intérêt du suivi de fréquences pour la détection de sourcesharmoniques multiplesMaxime LE COZ, Julien PINQUIER, Régine ANDRÉ-OBRECHTIRIT - 118, route de Narbonne31062 Toulouse Cedex 9, FRANCE{lecoz, pinquier, obrecht}@irit.frRésumé – Dans cet article, nous présentons une nouvelle approche pour la localisation de superposition de sources harmoniques. Notre méthodeest basée sur le suivi des fréquence prédominantes du signal afin de former des segments sinusoïdaux. Les relations entre les fréquences de cesderniers sont ensuite étudiées afin de regrouper les segments sinusoïdaux appartenant à une même source. Les sources étant localisées sur le plantemps-fréquence, les zones où coexistent différentes sources sont finalement extraites. Notre approche à été testée à la fois sur des contenus deparole et de musique avec des résultats prometteurs.Abstract – In this article, we present a new approach for the localization of superposed harmonic sources. Our method relies on a tracking ofthe predominant frequencies of the signal in order to form Sinusoidal segments. The ratios between the frequencies of those Sinusoidal segmentsare studied in order to group together those belonging to the same source. Once the source localized on the time-frequency plan, the instant wheremultiple sources coexist are labeled as containing superposition. The approach has ben tested on both speech and musical contents and showspromissing results.1 Introduction1.1 État de l’artLa détection de zones où plusieurs sources harmoniques sontprésentes est une étape importante pour l’amélioration des sys-tèmes de transcription, que ce soit en musique ou en parole.En effet, les sources harmoniques interagissent de manière ex-trêmement complexe et des stratégies spécifiques doivent êtreenvisagées dans un tel contexte.La communauté parole étudie des contenus de parole lue,préparée, voire spontanée en supposant que le locuteur est seulou éventuellement en contexte bruité. Des recherches plus ré-centes visent la transcription de flux de parole moins maîtriséeen présence notamment de parole superposée [8]. D’autres ap-proches basées sur des filtrages par peignes harmoniques ontégalement été proposées par [5] pour une estimation de plu-sieurs fréquences fondamentales en contexte de parole ou demusique.En musique, l’existence de plusieurs sources harmoniquesest un problème présent dans la grande majorité des cas pra-tiques. La transcription multi-pitch est d’ailleurs un sujet trèsactif de ces dernières années et a donné lieux à plusieurs tâchesdans de grandes campagnes d’évaluation comme MIREX 1 ouQUAERO 2. Diverses approches ont été proposées. On citerapar exemple [4] dont la méthode consiste à analyser un critèrede saillance des fréquences du spectre afin de détecter une fré-1. http ://www.music-ir.org/mirex/2. http ://www.quaero.org/quence prédominante et ses harmoniques. Un motif de décrois-sance de la saillance, défini par la fréquence fondamentale, estensuite soustrait de la fonction de saillance et une nouvelle fré-quence est estimée tant que le résidu reste différent du bruit.Une autre approche basée sur des motifs de décroissance estproposée par [1] sur une analyse fréquentielle multi-résolutionafin de limiter l’influence du bruit.Enfin, les approches basées sur le suivi commencent à êtreutilisées, mais dans un objectif monopitch pour extraire, parmiun ensemble de candidats par trame, le meilleur contour repré-sentant la mélodie principale [7].1.2 Ce que nous cherchonsLe système que nous présentons vise à localiser temporelle-ment plusieurs sources harmoniques par le suivi des fréquencesprédominantes dans le signal. Il vise aussi à attribuer les fré-quences prédominantes détectées à l’une des sources présente.Cette localisation s’effectue sans a priori sur le nombre desources, ni modèle acoustique.2 SystèmeNotre système est basée sur l’analyse en contexte des événe-ments harmoniques à l’aide d’un suivi de fréquences. En effetles sources pouvant être difficiles à discerner dans les instantsde recouvrement, pouvoir estimer la façon dont se comportentles sources dans le contexte des zones problématiques permetde lever l’ambiguïté.La figure 1 illustre bien sur un exemple de parole superposée,la difficulté d’analyse de la zone de superposition. La présencede deux sources différentes est rendu évidente par la prolon-gation des deux sources de part et d’autre du phénomène desuperposition (en bleu et en vert).FIGURE 1 – Exemple de phénomène de superposition en pa-role. Le suivi des fréquences à partir et après la zone de su-perposition permet de mettre en évidence l’existence des deuxsources (en bleu et vert).Le système que nous présentons s’articule autour de cinqétapes principales :– sélection de zones d’intérêt,– sélection des fréquences candidates,– suivi de fréquences,– rassemblement harmonique,– localisation de superpositions.2.1 Sélection de zones d’intérêtUn spectrogramme classique est calculé sur des segmentsisolés de parole ou de musique. La sélection de ces zones estune étape très importante du processus puisque notre approcheprend l’hypothèse de la présence d’au moins une source har-monique. La sélection des zones de parole et de musique peutêtre effectuée a priori en utilisant la méthode décrite dans [6].Sur chaque trame d’analyse, la transformée de Fourier rapideest calculée seulement sur les fréquences inférieures à une fré-quence de coupure Fmax. Ce seuil permet de se concentrer surles zones où les amplitudes des harmoniques liées aux sourcessont les plus énergétiques et les plus clairement dissociées dubruit.2.2 Sélection de fréquences potentiellement liéesaux sourcesSur chaque zone d’intérêt sélectionnée, une étude des fré-quences prédominantes est effectuée. Le pic maximal de chaquetrame analysée est sélectionné. Le couple de valeurs (fréquence,amplitude) de ce pic est noté (fmax, ampmax).Les pics d’amplitude supérieure à un seuil défini par unefonction linéaire par morceau paramétrée définie comme suit :th(f) ={a( (rmax−rdeb)fpmax + rdeb) pour f ∈ [0, fpmax ]a((rfin−rmax)fmax−fpmax + rdeb) pour f ∈ [fpmax , fmax](1)Ce seuil sur l’amplitude permet de prendre en compte l’af-faiblissement du rapport signal sur bruit lors de l’augmentationdes fréquences. Cette décision est également motivée par la né-cessité de garder un nombre élevé de candidats pour les étapessuivantes du traitement, et ce sur l’ensemble de la bande defréquence analysée.La Figure 2 illustre la façon dont les pics sont sélectionnésafin de tenir compte de l’amplitude locale du signal.FrquenceAmpl.apmaxrdeb.apmaxrmax.apmaxrfin.apmaxfpmax fmax0FIGURE 2 – Sélection des pics candidats par seuil dynamique.La fonction linéaire par morceaux utilisée comme seuil est dé-finie par les coordonnées du pic principal. Seuls les pics d’am-plitude supérieure au seuil sont sélectionnés.2.3 Suivi de fréquencesUne fois les pics extraits sur les trames, un suivi de fréquenceest effectué afin de suivre l’évolution temporelle des fréquencesprédominantes. La méthode de suivi a été créée par Tanigushi[9]. Celle-ci permet de relier les pics des différentes trames ensegments sinusoïdaux.Afin d’être reliés, deux pics de deux trames adjacentes res-pectivement pit = (fit , ampit) et p2 =(fjt+1, ampjt+1) doiventremplir la condition dTani(p1, p2) < ThTani.La distance dTani(p1, p2) est calculée selon la formule sui-vante :dTani(p1, p2) =√√√√(f it − f jt+1Cf)2×(ampit − ampjt+1Cp)2(2)Si la condition est remplie, alors les pics des deux tramessont liés au sein d’un même segments sinusoïdal et le processuscontinue jusqu’à l’analyse complète des trames.Les Segments Sinusoïdaux (SS) extraits suivent l’évolutionen temps-fréquences des principales harmoniques présentes surle segment temporel. Afin de ne garder que les SS significatifs,tout ceux de longueur inférieure à un seuil nLenMin ne sontpas conservés. Nous estimons, en effet, que plus une suite depics liés est longue, plus elle est significative et moins elle nepeut être le fruit du hasard.2.4 Regroupement harmoniqueÀ partir d’un ensemble de SS, nous cherchons à estimer ceuxqui sont liés à la même source harmonique. Pour cela, nousutilisons le fait qu’il existe des rapports entiers entres les fré-quences issues d’une même source. Nous calculons la distancedclus entre tous les couples de SS extraits ayant un minimumde thminOverlap trames en commun.Pour chaque couple (ss1, ss2), nous analysons la liste desfréquences lf(ss1) et lf(ss2) sur leur section de recouvrement.Pour chaque suite de thminOverlap couples de fréquencesconsécutive sur la durée du recouvrement, la moyenne des va-leurs de divrg(f1, f2) est calculée. Ceci afin de décrire la rela-tion locale entre le comportement des deux segments sinusoi-daux.divrg calcule la distance entre le ratio de la plus grande fré-quence sur la plus faible et l’entier le plus proche.Une fois cette valeur extraite pour chaque fenêtre, la valeurdclus(ss1, ss2) est extraite comme la valeur médiane parmi lesfenêtres.Ainsi, nous réalisons un graphe où les nœuds sont les SSet nous relions uniquement ceux dont dclus < thclus. De cegraphe, chaque composante connexe représente les SS liés àune source. Ceci permet d’assurer une transitivité pour le grou-pement.Un exemple de graphe représentant les sources pour la mu-sique et pour la parole est présenté sur la figure 2.4.TempsFrquencesMoyenne par fenetreRecouvrementbMediane+ 0.5cCalcul de la distanceCalcul des ratiosFIGURE 3 – Chaine de calcul du critère harmonique entre deuxSegments Sinusoïdaux. Ces différentes étapes permettent d’as-surer un ratio entier constant entre les valeurs de fréquence pourune valeur de distance proche de 0.FIGURE 4 – Exemple de regroupements harmoniques sur unextrait de musique polyphonique. Sur la deuxième partie del’image, nous pouvons observer la transitivité permettant deconserver l’unité de la source grise.2.5 Localisation de zones de superpositionUne fois les différents regroupements établis, la recherchede zones de sources simultanées se fait sur l’ensemble d’unsegment temporel étudié. Nous recherchons alors la présencesimultanée d’au moins deux sources.3 Expérience3.1 DescriptionUne expérience qualitative a permis de donner de bons ré-sultats sur deux types de contextes musicaux. Le premier cor-respond à de la pop européenne : une chanson du concours del’Eurovision, enregistrée en studio comportant des solos et desparties accompagnées. Le second est un chœur ethnique enre-gistré en extérieur avec un fichier de chant africain extrait dela base sonore du musée de l’homme [2]. Dans ce dernier fi-chier, nous cherchons à différentier les passages de chœur etde solo. Malgré la différence de contenu et de qualité de cesdeux enregistrement, nous avons choisi de tester la robustessede notre approche en paramétrant notre système de la mêmefaçon pour ces deux analyses. Chaque segment de 2 secondesd’enregistrement est classé suivant notre méthode.Notre système à également été évalué sur la parole : des fi-chiers extraits de la campagne d’évaluation ANR ETAPE [3].Des zones, contenants respectivement des segments de parolesuperposée et non superposée dans des proportions équivalentes,ont été extraites de ces fichiers afin d’évaluer notre systèmedans des conditions comparables. Ce corpus comprends 60 ex-traits d’une durée d’une seconde en moyenne.3.2 RésultatsL’expérience sur les contenus musicaux obtient un taux d’ac-curacy (bonne classification) de 71% sur le fichier d’Eurovisionet de 69% pour l’enregistrement de musique ethnique. Ces ré-sultats sont obtenus en gardant les mêmes paramètres pour lesdeux types de musique. Bien sûr, une paramétrisation spéci-fique à ces deux types de musique très différents est possible,mais l’objectif de notre méthode est de garder au maximum uneapproche générique pour un type de contenu donné. Les erreurssont principalement dues à une différence d’amplitude trop éle-vée entre deux sources qui tend parfois à masquer l’une dessources, ceci conduisant à une décision erronée de la présenced’une unique source. Inversement, certains cas de recherche desources dans des zones extrêmement bruitées peut conduire àun suivi chaotique des pics appartenant au bruit, et menant àune fausse détection de plusieurs sources.Les résultats sur les segments de parole donnent un taux debonne classification de plus de 78%. Dans cette expérience,les erreurs sont plutôt liées à la sur-détection de sources avecseulement un échantillon de parole superposée classé commen’ayant qu’une seule source. Comme pour l’expérience sur lecontenu musical, les erreurs de détection de « fausses sources »sont principalement dues au suivi dans des zones n’ayant pas desources harmoniques. En effet, la durée de recouvrement de pa-role pouvant être extrêmement courte, elle se trouve de l’ordrede longues fricatives ou des zones de silences de réflexion.4 Conclusion & PerspectivesNotre étude montre la possibilité d’utiliser une méthode desuivi de fréquences pour la détection de sources harmoniquessimultanées. Le principal intérêt de cette approche, par rapportaux approches basées sur des apprentissages, réside dans sasouplesse permettant de s’adapter à des contextes et des conte-nus très différents.Bien que nous ayons choisi de garder la même paramétrisa-tion pour les deux types de musique, notre approche pourraitégalement utiliser des informations a priori sur le contenu àétudier (parole ou musique, niveau de bruit...). Une paramé-trisation différente permettant de rendre le suivi moins sensibleau bruits de fond, ou au contraire de chercher des sources ayantune plus grande différence d’amplitudes entre elles.Afin d’améliorer notre système et d’éviter notamment la sur-évaluation des sources, nous pourrions utiliser un indicateurde présence de source harmonique à l’échelle de la trame afinde ne pas chercher à suivre l’évolution des pics correspondantà du bruit. Nous planifions également de réaliser une fusionentre notre approche et une méthode plus classique d’extractionmulti-pitch en musique afin d’utiliser les forces et faiblessesdes deux approches.L’estimation précise du nombre de sources est également unobjectif à plus long terme de notre approche, nécessitant pro-bablement la combinaison avec d’autres méthodes afin de mi-nimiser les erreurs.Enfin, notre méthode permet une localisation fréquentielledes différentes sources qui pourrait ensuite servir de support àdes analyses visant à les caractériser ou les isoler. Citons parexemple l’identification d’instruments à travers le timbre via leprofil harmonique ou la séparation de sources.Références[1] Karin Dressler. An auditory streaming approach for me-lody extraction from polyphonic music. In ISMIR 2011proceedings, October 2011.[2] Telemeta Plateform For Ethnomusico-logy Exchange. http ://archives.crem-cnrs.fr/items/cnrsmh_i_1957_003_001_03/.[3] Guillaume Gravier, Gilles Adda, Niklas Paulson, MatthieuCarré, Aude Giraudel, and Olivier Galibert. The ETAPEcorpus for the evaluation of speech-based TV content pro-cessing in the French language. In International Confe-rence on Language Resources, Evaluation and Corpora,page na, Turquie, 2012.[4] Anssi Klapuri. Multipitch analysis of polyphonic mu-sic and speech signals using an auditory model. IEEETransactions on Audio, Speech & Language Processing,16(2) :255–266, 2008.[5] Jean-Sylvain Liénard, Francois Signol, and Claude Barras.Speech fundamental frequency estimation using the alter-nate comb. In INTERSPEECH, pages 2773–2776, 2007.[6] J. Pinquier, J. L. Rouas, and R. Andre-Obrecht. A fusionstudy in speech/music classification. In Proc. IEEE Int.Conf. Acoustics, Speech, and Signal Processing (ICASSP’03), volume 2, 2003.[7] Joe Cheri Ross, Vinutha T. P., and Preeti Rao. Detectingmelodic motifs from audio for hindustani classical music.In Fabien Gouyon, Perfecto Herrera, Luis Gustavo Mar-tins, and Meinard Müller, editors, ISMIR, pages 193–198.FEUP Edições, 2012.[8] Francois Signol. Automatic multipitch estimation for mo-naural speech mixture signals. PhD thesis, LIMSI-CNRS,Université Paris Sud B.P. 133 F-91403 ORSAY CEDEX,2009.[9] Toru Taniguchi, Mikio Tohyama, and Katsuhiko Shirai.Detection of speech and music based on spectral tracking.Speech Commun., 50(7) :547–563, July 2008.

http://oatao.univ-toulouse.fr/12641/1/lecoz_12641.pdf

Intérêt du suivi de fréquences pour la détection de sources harmoniques multiples

Abstract

Similar works

Full text

Available Versions

Scientific Publications of the University of Toulouse II Le Mirail

Open Archive Toulouse Archive Ouverte