La situation sanitaire ne permettant pas d’organiser les 9èmes Journées de Phonétique Clinique dans les meilleures conditions (à savoir en présentiel), le comité de programme a décidé d’annuler cette édition 2021 et d’organiser à la place une journée dédiée à la présentation des contributions acceptées le 27 mai 2021.National audienc

Ben Othmane, Imen

Di Martino, Joseph

Ezzine, Kadria

Frikha, Mondher

INRIA a CCSD electronic archive server

HAL Id: hal-03267364https://hal.inria.fr/hal-03267364Submitted on 22 Jun 2021HAL is a multi-disciplinary open accessarchive for the deposit and dissemination of sci-entific research documents, whether they are pub-lished or not. The documents may come fromteaching and research institutions in France orabroad, or from public or private research centers.L’archive ouverte pluridisciplinaire HAL, estdestinée au dépôt et à la diffusion de documentsscientifiques de niveau recherche, publiés ou non,émanant des établissements d’enseignement et derecherche français ou étrangers, des laboratoirespublics ou privés.Une nouvelle méthodologie prédictive fondée sur unmodèle séquence à séquence utilisé pour latransformation de la parole œsophagienne en voixlaryngéeKadria Ezzine, Imen Ben Othmane, Joseph Di Martino, Mondher FrikhaTo cite this version:Kadria Ezzine, Imen Ben Othmane, Joseph Di Martino, Mondher Frikha. Une nouvelle méthodolo-gie prédictive fondée sur un modèle séquence à séquence utilisé pour la transformation de la paroleœsophagienne en voix laryngée. JPC 2021 - 9èmes Journées de Phonétique Clinique, May 2021,Toulouse, France. ￿hal-03267364￿Titre :  Une  nouvelle  méthodologieprédictive  fondée  sur  un  modèleséquence  à  séquence  utilisé  pour  latransformation  de  la  paroleœsophagienne en voix laryngéeKadria EZZINE1Imen BEN OTHMANE2Joseph DI MARTINO3Mondher FRIKHA11Unité de Recherche en AdvancedTechnologies For Image And Signal Processing,ATISP, ENET’COM, Université de Sfax, Tunisie2Laboratoire de Recherche Electricitéintelligente & TIC, Ecole Nationaled’Ingénieurs de Carthage, ENICarthage,  Université de Carthage, Tunisie3Laboratoire Lorrain de Recherche en Informatique et ses Applications, LORIA, Vandœuvre-lès-Nancy, FranceLa conversion de la parole œsophagienne (ES)en voix plus naturelle est un moyen efficace pouraméliorer  la  qualité  auditive  et  l’intelligibilité  decette  parole  pathologique.  Par  rapport  à  la  voixlaryngée, ES se caractérise par un bruit spécifiquequi ressemble à des éructations avec une fréquencefondamentale chaotique, une faible intensité et untimbre généralement dur. Récemment, plusieurs approches basées sur laconversion vocale ont été proposées [1], [2], [3], [4]qui  visent à rapprocher les caractéristiques de lavoix  œsophagienne  (source)  de  celles  de  la  voixlaryngée (cible). Dans ce travail,  nous proposons une méthodede rehaussement de la parole œsophagienne baséesur une technique séquence à séquence (SEQ2SEQ)[5],  [6]  combinée  à  un  mécanisme  d’attentionauditive. Le point fort de la méthode proposée estqu’elle  ne  nécessite  pas  d’alignement  temporeldurant la phase d’apprentissage ce qui permet deréduire  considérablement  le  temps  de  calcul  decelle-ci.Premièrement,  un  réseau  BiLSTM(Bidirectionnel  Long  Short  Time Memory)  [7]  estutilisé comme encodeur qui traite chaque séquenced’entrée  dans  un  espace  de  caractéristiques  degrande dimension puis l’encode dans un vecteur decontexte  de  longueur  fixe.  Ensuite,  le  décodeuravec son mécanisme d’attention vise à améliorer laqualité  et  la  précision  des  sorties  de  l’encodeur.Enfin,  pour  préserver  l’identité  du locuteur cible,les coefficients de l’excitation et de la phase sontestimés à partir  de l’espace d’apprentissage ciblestructuré  sous  la  forme  d’un  arbre  de  recherchebinaire en interrogeant celui-ci par les coefficientsdu  conduit  vocal  précédemment  prédits  par  lemodèle SEQ2SEQ. Au niveau de la resynthèse, nousavons appliqué la méthode addition-recouvrement àcourt terme OLA-FFT.  Dans nos expériences, nous avons adopté deuxméthodes référence de comparaison qui sont DNN[8]  et  LSTM  [9].  Trois  corpus  parallèle  ont  étéutilisés  pour  évaluer  notre  système  derehaussement  de  la  voix  œsophagienne.  Troismesures, y compris l'évaluation perceptuelle de laqualité de la parole (PESQ), l'intelligibilité objectiveà court terme (STOI) et la distorsion Mel-Cepstral(MCD) ont été utilisées pour mesurer objectivementla qualité de la parole. De plus un test MOS a étéutilisé  pour  évaluer  les  résultats  de  manièresubjective.   Les résultats  expérimentaux démontrent  quenotre  méthode  se  comporte  mieux  et  atteint  demeilleures  performances  même dans  certains  casdifficiles.  En  effet  elle  surpasse  les  méthodesconventionnelles  en  termes  de  rendu  naturel  etd’intelligibilité1.Références bibliographiques[1] TODA,  T.,  NAKAMURA,  K.,  SARUWATARI,  H.,  &SHIKANO, K. (2014). Alaryngeal speech enhancementbased  on  one-to-many  eigenvoiceconversion. IEEE/ACM transactions on audio, speech,and language processing, 22(1-2), 172-183. [2] LACHHAB,  O.,  Di  MARTINO,  J.,  ELHAJ,  E.  I.,  &HAMMOUCH,  A.  (2015).  A  preliminary  study  onimproving the recognition of esophageal speech usinga  hybrid  system  based  on  statistical  voiceconversion. SpringerPlus, 4(1), 644. [3] BEN  OTHMANE,  I.,  Di  MARTINO,  J.,  &  OUNI,  K.(2019). Enhancement of esophageal speech obtainedby  a  voice  conversion  technique  using  time  dilatedFourier  cepstra.  International  Journal  of  SpeechTechnology, 22(1), 99-110. [4] BEN  OTHMANE,  I.,  Di  MARTINO,  J.,  &  OUNI,  K.(2017).  Vers  la  transformation  de  la  parole1 http://techtech-solution.com/Kadria/seq2seq-ES-enhancement.html oesophagienne en voix laryngée à l’aide de techniquesde conversion vocale,  7ème Journées de PhonétiqueClinique – JPC 7, Paris.[5] SUTSKEVER,  I.,  VINYALS,  O.,  &  LE,  Q.  V.  (2014).“Sequence  to  sequence  learning  with  neuralnetworks,”  Neural  Information  Processing  Systems,pp. 3104–3112. [6] CHO,  K.,  VAN MERRIËNBOER,  B.,  GULCEHRE,  C.,BAHDANAU,  D.,  BOUGARES,  F.,  SCHWENK,  H.,  &BENGIO, Y. (2014). “Learning phrase representationsusing  RNN  encoder–decoder  for  statistical  machinetranslation,” Empirical Methods in Natural LanguageProcessing, pp. 1724–1734.[7] SUN, L., KANG, S., Li, K., & MENG, H. (2015, April).Voice conversion using deep bidirectional long short-term  memory  based  recurrent  neural  networks.In 2015 IEEE international  conference  on acoustics,speech  and  signal  processing  (ICASSP) (pp.  4869-4873). IEEE. [8] WU, Z.,  WATTS, O., & KING, S. (2016, September).Merlin:  An  Open  Source  Neural  Network  SpeechSynthesis System. In SSW (pp. 202-207). [9] CHEN,  J.,  &  WANG,  D.  (2017).  Long  short-termmemory  for  speaker  generalization  in  supervisedspeech  separation.  The  Journal  of  the  AcousticalSociety of America, 141(6), 4705-4714.

Une nouvelle méthodologie prédictive fondée sur un modèle séquence à séquence utilisé pour la transformation de la parole œsophagienne en voix laryngée

https://hal.inria.fr/hal-03267364v1/file/JPC9-Kadria-Ezzine.pdf

Une nouvelle méthodologie prédictive fondée sur un modèle séquence à séquence utilisé pour la transformation de la parole œsophagienne en voix laryngée

Abstract

Similar works

Full text

Available Versions

INRIA a CCSD electronic archive server