Statistical Augmentation of a Chinese Machine-Readable Dictionary

We describe a method of using statistically-collected Chinese character groups from a corpus to augment a Chinese dictionary. The method is particularly useful for extracting domain-specific and regional words not readily available in machine-readable dictionaries. Output was evaluated both using human evaluators and against a previously available dictionary. We also evaluated performance improvement in automatic Chinese tokenization. Results show that our method outputs legitimate words, acronymic constructions, idioms, names and titles, as well as technical compounds, many of which were lacking from the original dictionary.Comment: 17 pages, uuencoded compressed PostScrip

Domain-optimized Chinese speech generation.

Fung Tien Ying.Thesis (M.Phil.)--Chinese University of Hong Kong, 2001.Includes bibliographical references (leaves 119-128).Abstracts in English and Chinese.Abstract --- p.1Acknowledgement --- p.1List of Figures --- p.7List of Tables --- p.11Chapter 1 --- Introduction --- p.14Chapter 1.1 --- General Trends on Speech Generation --- p.15Chapter 1.2 --- Domain-Optimized Speech Generation in Chinese --- p.16Chapter 1.3 --- Thesis Organization --- p.17Chapter 2 --- Background --- p.19Chapter 2.1 --- Linguistic and Phonological Properties of Chinese --- p.19Chapter 2.1.1 --- Articulation --- p.20Chapter 2.1.2 --- Tones --- p.21Chapter 2.2 --- Previous Development in Speech Generation --- p.22Chapter 2.2.1 --- Articulatory Synthesis --- p.23Chapter 2.2.2 --- Formant Synthesis --- p.24Chapter 2.2.3 --- Concatenative Synthesis --- p.25Chapter 2.2.4 --- Existing Systems --- p.31Chapter 2.3 --- Our Speech Generation Approach --- p.35Chapter 3 --- Corpus-based Syllable Concatenation: A Feasibility Test --- p.37Chapter 3.1 --- Capturing Syllable Coarticulation with Distinctive Features --- p.39Chapter 3.2 --- Creating a Domain-Optimized Wavebank --- p.41Chapter 3.2.1 --- Generate-and-Filter --- p.44Chapter 3.2.2 --- Waveform Segmentation --- p.47Chapter 3.3 --- The Use of Multi-Syllable Units --- p.49Chapter 3.4 --- Unit Selection for Concatenative Speech Output --- p.50Chapter 3.5 --- A Listening Test --- p.51Chapter 3.6 --- Chapter Summary --- p.52Chapter 4 --- Scalability and Portability to the Stocks Domain --- p.55Chapter 4.1 --- Complexity of the ISIS Responses --- p.56Chapter 4.2 --- XML for input semantic and grammar representation --- p.60Chapter 4.3 --- Tree-Based Filtering Algorithm --- p.63Chapter 4.4 --- Energy Normalization --- p.67Chapter 4.5 --- Chapter Summary --- p.69Chapter 5 --- Investigation in Tonal Contexts --- p.71Chapter 5.1 --- The Nature of Tones --- p.74Chapter 5.1.1 --- Human Perception of Tones --- p.75Chapter 5.2 --- Relative Importance of Left and Right Tonal Context --- p.77Chapter 5.2.1 --- Tonal Contexts in the Date-Time Subgrammar --- p.77Chapter 5.2.2 --- Tonal Contexts in the Numeric Subgrammar --- p.82Chapter 5.2.3 --- Conclusion regarding the Relative Importance of Left versus Right Tonal Contexts --- p.86Chapter 5.3 --- Selection Scheme for Tonal Variants --- p.86Chapter 5.3.1 --- Listening Test for our Tone Backoff Scheme --- p.90Chapter 5.3.2 --- Error Analysis --- p.92Chapter 5.4 --- Chapter Summary --- p.94Chapter 6 --- Summary and Future Work --- p.95Chapter 6.1 --- Contributions --- p.97Chapter 6.2 --- Future Directions --- p.98Chapter A --- Listening Test Questionnaire for FOREX Response Genera- tion --- p.100Chapter B --- Major Response Types For ISIS --- p.102Chapter C --- Recording Corpus for Tone Investigation in Date-time Sub- grammar --- p.105Chapter D --- Statistical Test for Left Tonal Context --- p.109Chapter E --- Statistical Test for Right Tonal Context --- p.112Chapter F --- Listening Test Questionnaire for Backoff Unit Selection Scheme --- p.115Chapter G --- Statistical Test for the Backoff Unit Selection Scheme --- p.117Chapter H --- Statistical Test for the Backoff Unit Selection Scheme --- p.118Bibliography --- p.11

Pattern Matching for Translating Domain-Specific Terms from Large Corpora

Translating domain-specific terms is one significant component of machine translation and Machine-aided translation systems. These terms are often not found in standard dictionaries. Human translators, not being experts in every technical or regional domain, cannot produce their translations effectively. Automatic translation of domain-specific terms is therefore highly desirable. Most other work on automatic term translation uses statistical information of words from parallel corpora. Parallel corpora of clean- translated texts are hard to come by whereas there are more noisy- translated texts and many more monolingual texts in various domains. We propose using noisy parallel texts and same-domain texts of a pair of languages to translate terms. In our work, we propose using a novel paradigm of pattern matching of statistical signals of word features. These features are robust to the syntactic structure, character sets, language of the text, and to the domain. We obtain statistical information which is related to the lexical properties of a word and its translation in any other language of the same domain. These lexical properties are extracted from the corpora and represented in vector form. We propose using signal processing techniques for matching these features vectors of a word to those of its translation. Another matching technique we propose is applying discriminative analysis of the word features. For each word, the various features are combined into a single vector which is then transformed into a smaller dimension eigenvector for matching. Since most domain specific terms are nouns and noun phrases, we concentrate on translating English nouns and noun phrases into other languages. We study the relationship between English noun phrases and their translations in Chinese, Japanese and French in parallel corpora. The result of this study is used in our system for translation of English noun phrases into these other languages from noisy parallel and non-parallel corpora

Unit selection and waveform concatenation strategies in Cantonese text-to-speech.

Oey Sai Lok.Thesis (M.Phil.)--Chinese University of Hong Kong, 2005.Includes bibliographical references.Abstracts in English and Chinese.Chapter 1. --- Introduction --- p.1Chapter 1.1 --- An overview of Text-to-Speech technology --- p.2Chapter 1.1.1 --- Text processing --- p.2Chapter 1.1.2 --- Acoustic synthesis --- p.3Chapter 1.1.3 --- Prosody modification --- p.4Chapter 1.2 --- Trends in Text-to-Speech technologies --- p.5Chapter 1.3 --- Objectives of this thesis --- p.7Chapter 1.4 --- Outline of the thesis --- p.9References --- p.11Chapter 2. --- Cantonese Speech --- p.13Chapter 2.1 --- The Cantonese dialect --- p.13Chapter 2.2 --- Phonology of Cantonese --- p.14Chapter 2.2.1 --- Initials --- p.15Chapter 2.2.2 --- Finals --- p.16Chapter 2.2.3 --- Tones --- p.18Chapter 2.3 --- Acoustic-phonetic properties of Cantonese syllables --- p.19References --- p.24Chapter 3. --- Cantonese Text-to-Speech --- p.25Chapter 3.1 --- General overview --- p.25Chapter 3.1.1 --- Text processing --- p.25Chapter 3.1.2 --- Corpus based acoustic synthesis --- p.26Chapter 3.1.3 --- Prosodic control --- p.27Chapter 3.2 --- Syllable based Cantonese Text-to-Speech system --- p.28Chapter 3.3 --- Sub-syllable based Cantonese Text-to-Speech system --- p.29Chapter 3.3.1 --- Definition of sub-syllable units --- p.29Chapter 3.3.2 --- Acoustic inventory --- p.31Chapter 3.3.3 --- Determination of the concatenation points --- p.33Chapter 3.4 --- Problems --- p.34References --- p.36Chapter 4. --- Waveform Concatenation for Sub-syllable Units --- p.37Chapter 4.1 --- Previous work in concatenation methods --- p.37Chapter 4.1.1 --- Determination of concatenation point --- p.38Chapter 4.1.2 --- Waveform concatenation --- p.38Chapter 4.2 --- Problems and difficulties in concatenating sub-syllable units --- p.39Chapter 4.2.1 --- Mismatch of acoustic properties --- p.40Chapter 4.2.2 --- "Allophone problem of Initials /z/, Id and /s/" --- p.42Chapter 4.3 --- General procedures in concatenation strategies --- p.44Chapter 4.3.1 --- Concatenation of unvoiced segments --- p.45Chapter 4.3.2 --- Concatenation of voiced segments --- p.45Chapter 4.3.3 --- Measurement of spectral distance --- p.48Chapter 4.4 --- Detailed procedures in concatenation points determination --- p.50Chapter 4.4.1 --- Unvoiced segments --- p.50Chapter 4.4.2 --- Voiced segments --- p.53Chapter 4.5 --- Selected examples in concatenation strategies --- p.58Chapter 4.5.1 --- Concatenation at Initial segments --- p.58Chapter 4.5.1.1 --- Plosives --- p.58Chapter 4.5.1.2 --- Fricatives --- p.59Chapter 4.5.2 --- Concatenation at Final segments --- p.60Chapter 4.5.2.1 --- V group (long vowel) --- p.60Chapter 4.5.2.2 --- D group (diphthong) --- p.61References --- p.63Chapter 5. --- Unit Selection for Sub-syllable Units --- p.65Chapter 5.1 --- Basic requirements in unit selection process --- p.65Chapter 5.1.1 --- Availability of multiple copies of sub-syllable units --- p.65Chapter 5.1.1.1 --- "Levels of ""identical""" --- p.66Chapter 5.1.1.2 --- Statistics on the availability --- p.67Chapter 5.1.2 --- Variations in acoustic parameters --- p.70Chapter 5.1.2.1 --- Pitch level --- p.71Chapter 5.1.2.2 --- Duration --- p.74Chapter 5.1.2.3 --- Intensity level --- p.75Chapter 5.2 --- Selection process: availability check on sub-syllable units --- p.77Chapter 5.2.1 --- Multiple copies found --- p.79Chapter 5.2.2 --- Unique copy found --- p.79Chapter 5.2.3 --- No matched copy found --- p.80Chapter 5.2.4 --- Illustrative examples --- p.80Chapter 5.3 --- Selection process: acoustic analysis on candidate units --- p.81References --- p.88Chapter 6. --- Performance Evaluation --- p.89Chapter 6.1 --- General information --- p.90Chapter 6.1.1 --- Objective test --- p.90Chapter 6.1.2 --- Subjective test --- p.90Chapter 6.1.3 --- Test materials --- p.91Chapter 6.2 --- Details of the objective test --- p.92Chapter 6.2.1 --- Testing method --- p.92Chapter 6.2.2 --- Results --- p.93Chapter 6.2.3 --- Analysis --- p.96Chapter 6.3 --- Details of the subjective test --- p.98Chapter 6.3.1 --- Testing method --- p.98Chapter 6.3.2 --- Results --- p.99Chapter 6.3.3 --- Analysis --- p.101Chapter 6.4 --- Summary --- p.107References --- p.108Chapter 7. --- Conclusions and Future Works --- p.109Chapter 7.1 --- Conclusions --- p.109Chapter 7.2 --- Suggested future works --- p.111References --- p.113Appendix 1 Mean pitch level of Initials and Finals stored in the inventory --- p.114Appendix 2 Mean durations of Initials and Finals stored in the inventory --- p.121Appendix 3 Mean intensity level of Initials and Finals stored in the inventory --- p.124Appendix 4 Test word used in performance evaluation --- p.127Appendix 5 Test paragraph used in performance evaluation --- p.128Appendix 6 Pitch profile used in the Text-to-Speech system --- p.131Appendix 7 Duration model used in Text-to-Speech system --- p.13

Harvesting and summarizing user-generated content for advanced speech-based human-computer interaction

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2012.Cataloged from PDF version of thesis.Includes bibliographical references (p. 155-164).There have been many assistant applications on mobile devices, which could help people obtain rich Web content such as user-generated data (e.g., reviews, posts, blogs, and tweets). However, online communities and social networks are expanding rapidly and it is impossible for people to browse and digest all the information via simple search interface. To help users obtain information more efficiently, both the interface for data access and the information representation need to be improved. An intuitive and personalized interface, such as a dialogue system, could be an ideal assistant, which engages a user in a continuous dialogue to garner the user's interest and capture the user's intent, and assists the user via speech-navigated interactions. In addition, there is a great need for a type of application that can harvest data from the Web, summarize the information in a concise manner, and present it in an aggregated yet natural way such as direct human dialogue. This thesis, therefore, aims to conduct research on a universal framework for developing speech-based interface that can aggregate user-generated Web content and present the summarized information via speech-based human-computer interaction. To accomplish this goal, several challenges must be met. Firstly, how to interpret users' intention from their spoken input correctly? Secondly, how to interpret the semantics and sentiment of user-generated data and aggregate them into structured yet concise summaries? Lastly, how to develop a dialogue modeling mechanism to handle discourse and present the highlighted information via natural language? This thesis explores plausible approaches to tackle these challenges. We will explore a lexicon modeling approach for semantic tagging to improve spoken language understanding and query interpretation. We will investigate a parse-and-paraphrase paradigm and a sentiment scoring mechanism for information extraction from unstructured user-generated data. We will also explore sentiment-involved dialogue modeling and corpus-based language generation approaches for dialogue and discourse. Multilingual prototype systems in multiple domains have been implemented for demonstration.by Jingjing Liu.Ph.D

Generation of prosody and speech for Mandarin Chinese

Ph.DDOCTOR OF PHILOSOPH

The extraction of prosodic hierarchy in a mandarin text-to-speech system

一般人在發音時，並非完全以詞為單位來發音，而是若干個詞為一個單元下去發音，並且句子過長的時候，會有一些停頓。我們的研究在於找出這些單元。有了這些資訊後，我們便可以對這些單元的邊界給定一些合理的停頓(break)，並適當的調整音量或是基週(pitch)。 我們的目標是發展一個模組，它將所輸入的文句斷成一組發音單位，並指出這些單位的層級。文獻上對於這些問題的解法，較多是以統計式的方式，我們在此提出以文法樹的方式，來得到這些單位。最後我們將以估計出來的結果，實際合成語音。並作偏好測試目錄 第一章 緒論 ••••••••••••••••••••••••••••••••••••••••••••• 4 1.1 研究動機 •••••••••••••••••••••••••••••••••••••••••• 4 1.2 研究方向 •••••••••••••••••••••••••••••••••••••••••• 5 1.3 論文架構 •••••••••••••••••••••••••••••••••••••••••• 6 第二章 中文文轉音系統基本架構與簡介 ••••••••••••••••••••• 7 2.1 韻律階層定義 •••••••••••••••••••••••••••••••••••••• 8 2.2 韻律階層的角色 •••••••••••••••••••••••••••••••••••• 8 2.3 韻律階層求取的困難 •••••••••••••••••••••••••••••••• 10 第三章 文法剖析器 ••••••••••••••••••••••••••••••••••••••• 11 3.1 基本架構 •••••••••••••••••••••••••••••••••••••••••• 12 3.2 中研院句結構樹庫 •••••••••••••••••••••••••••••••••• 13 3.3 句結構樹格式說明 •••••••••••••••••••••••••••••••••• 14 3.4 句法剖析演算法 •••••••••••••••••••••••••••••••••••• 15 第四章 文句中韻律階層的求取 ••••••••••••••••••••••••••••••• 17 4.1 文獻上的作法 •••••••••••••••••••••••••••••••••••••• 17 4.1.1 CART(Classification And Regression Trees) ••••• 17 4.1.2 統計式的方式 •••••••••••••••••••••••••••••••••• 23 4.2 我們的實驗 •••••••••••••••••••••••••••••••••••••••• 24 4.2.1 韻律詞及韻律段的字數 •••••••••••••••••••••••••• 26 4.2.2 2 Pass Scan ••••••••••••••••••••••••••••••••••• 28 4.2.3 Top-down scan ••••••••••••••••••••••••••••••••• 35 4.2.4 Bottom-up scan ••••••••••••••••••••••••••••••••• 40 第五章 實驗與結果 ••••••••••••••••••••••••••••••••••••••• 44 5.1 語料的建立 •••••••••••••••••••••••••••••••••••••••• 44 5.2 預測結果評估 •••••••••••••••••••••••••••••••••••••• 44 5.2.1 召回率(Recall) •••••••••••••••••••••••••••••••• 46 5.2.2 精確率(Precision) ••••••••••••••••••••••••••••• 46 5.2.3 正確率(Accuracy) •••••••••••••••••••••••••••••• 46 5.3 實驗結果 •••••••••••••••••••••••••••••••••••••••••• 47 5.3.1 CART •••••••••••••••••••••••••••••••••••••••••• 47 5.3.2 文法樹方式 •••••••••••••••••••••••••••••••••••• 52 第六章 結論與未來展望 ••••••••••••••••••••••••••••••••••• 59 圖目錄 圖 1.1 韻律階層和中斷對應•••••••••••••••••••••••••••••••••• 6 圖 2.1 TTS架構圖 •••••••••••••••••••••••••••••••••••• 7 圖 2.2 prosodic hierarchy •••••••••••••••••••••••••••••••• 10 圖 3.1 剖析器基本架構圖 •••••••••••••••••••••••••••••••••• 12 圖 4.1 二元樹狀圖 •••••••••••••••••••••••••••••••••••••••• 18 圖 4.2 Gini分割圖(一) •••••••••••••••••••••••••••••••••••• 19 圖 4.3 Gini分割圖(二) •••••••••••••••••••••••••••••••••••• 20 圖 4.4 決策樹分割圖 •••••••••••••••••••••••••••••••••••••• 21 圖 4.5 決策樹修剪結果(二) •••••••••••••••••••••••••••••••• 22 圖 4.6 決策樹修剪結果(三) •••••••••••••••••••••••••••••••• 23 圖 4.7 模組關係圖 •••••••••••••••••••••••••••••••••••••••• 25 圖 4.8 文法樹圖1 ••••••••••••••••••••••••••••••••••••••••• 26 圖 4.9文法樹圖2 ••••••••••••••••••••••••••••••••••••••••• 29 圖 4.10 韻律階層圖(2 pass) ••••••••••••••••••••••••••••••• 35 圖 4.11 節點字數圖 ••••••••••••••••••••••••••••••••••••••• 36 圖 4.12 韻律階層圖(Top Down) ••••••••••••••••••••••••••••• 39 圖 4.13 小樹縮減結果 •••••••••••••••••••••••••••••••••••• 40 圖 4.14 同層合併結果 •••••••••••••••••••••••••••••••••••• 41 圖 4.15 上昇處理圖示 •••••••••••••••••••••••••••••••••••• 42 圖 4.16 韻律階層圖(Bottom-up) ••••••••••••••••••••••••••••• 43 表目錄 表4.1 韻律段字數分佈圖 •••••••••••••••••••••••••••••••••••• 27 表4.2 韻律詞字數分佈圖 •••••••••••••••••••••••••••••••••••• 27 表4.3 句長與最大韻律詞(段)字數關係表 ••••••••••••••••••••••• 27 表5.1 confusion matrix •••••••••••••••••••••••••••••••••••• 45 表5.2 語料1 最佳結果 •••••••••••••••••••••••••••••••••••••• 48 表5.3 語料2 最佳結果 •••••••••••••••••••••••••••••••••••••• 48 表5.4 語料3 最佳結果 •••••••••••••••••••••••••••••••••••••• 49 表5.5 語料4 最佳結果 •••••••••••••••••••••••••••••••••••••• 49 表5.6 語料5 最佳結果 •••••••••••••••••••••••••••••••••••••• 49 表5.7 語料6 最佳結果 •••••••••••••••••••••••••••••••••••••• 50 表5.8 語料7 最佳結果 •••••••••••••••••••••••••••••••••••••• 50 表5.9 語料8 最佳結果 •••••••••••••••••••••••••••••••••••••• 50 表5.10 語料9 最佳結果 •••••••••••••••••••••••••••••••••••••• 51 表5.11 全部 最佳結果 •••••••••••••••••••••••••••••••••••••• 51 表5.12 語料1 最佳結果 •••••••••••••••••••••••••••••••••••••• 52 表5.13 語料2 最佳結果 •••••••••••••••••••••••••••••••••••••• 53 表5.14 語料3 最佳結果 •••••••••••••••••••••••••••••••••••••• 53 表5.15 語料4 最佳結果 •••••••••••••••••••••••••••••••••••••• 53 表5.16 語料5 最佳結果 •••••••••••••••••••••••••••••••••••••• 53 表5.17 語料6 最佳結果 •••••••••••••••••••••••••••••••••••••• 54 表5.18 語料7 最佳結果 •••••••••••••••••••••••••••••••••••••• 54 表5.19 語料8 最佳結果 •••••••••••••••••••••••••••••••••••••• 54 表5.20 語料9 最佳結果 •••••••••••••••••••••••••••••••••••••• 54 表5.21 總結果(2 pass) ••••••••••••••••••••••••••••••••••••• 55 表5.23 總結果(Top Down) •••••••••••••••••••••••••••••••••••• 55 表5.24 總結果(Bottom Up) ••••••••••••••••••••••••••••••••••• 55 表5.32 MOS測試結果 •••••••••••••••••••••••••••••••••••••••• 57 表5.31 偏好測試結果 ••••••••••••••••••••••••••••••••••••••• 5