Speech Synthesis from Text and Ultrasound Tongue Image-based Articulatory Input

Articulatory information has been shown to be effective in improving the performance of HMM-based and DNN-based text-to-speech synthesis. Speech synthesis research focuses traditionally on text-to-speech conversion, when the input is text or an estimated linguistic representation, and the target is synthesized speech. However, a research field that has risen in the last decade is articulation-to-speech synthesis (with a target application of a Silent Speech Interface, SSI), when the goal is to synthesize speech from some representation of the movement of the articulatory organs. In this paper, we extend traditional (vocoder-based) DNN-TTS with articulatory input, estimated from ultrasound tongue images. We compare text-only, ultrasound-only, and combined inputs. Using data from eight speakers, we show that that the combined text and articulatory input can have advantages in limited-data scenarios, namely, it may increase the naturalness of synthesized speech compared to single text input. Besides, we analyze the ultrasound tongue recordings of several speakers, and show that misalignments in the ultrasound transducer positioning can have a negative effect on the final synthesis performance.Comment: accepted at SSW11 (11th Speech Synthesis Workshop

Prozódiai változatosság rejtett Markov-modell alapú szövegfelolvasóval

A prozódiai változatossággal kiegészített szövegfelolvasó rendszer olyan alkalmazásokban lehet hasznos, ahol hasonló jelleg, ismétld mondatok szintetizálására van szükség. A cikkben bemutatunk egy új módszert, amellyel egy adott szöveghez különböz prozódiával rendelkez mondatváltozatokat lehet szintetizálni. A prozódia komponensei közül a dallammal és hangsúllyal foglalkozunk az alapfrekvencia (F0) változtatásán keresztül. Ehhez egy statisztikai F0-modellt használunk fel rejtett Markov-modell alapú beszédszintetizátorban. A betanításhoz használt eredeti beszédkorpuszt a SOFM (Self Organizing Feature Map) módszerrel felbontjuk több részkorpuszra. A különböz beszédkorpuszokból betanult modellekkel eltér dallamú mondatváltozatokat szintetizálunk azonos szöveghez. A mondatváltozatok közötti különbségeket megvizsgálva a szubjektív kísérletek azt mutatják, hogy az alapfrekvencia eltérése sok esetben elég jelents ahhoz, hogy ez az emberi fül számára is észlelhet legyen