운율 정보를 이용한 마비말장애 음성 자동 검출 및 평가

학위논문 (석사) -- 서울대학교 대학원 : 인문대학 언어학과, 2020. 8. Minhwa Chung.말장애는 신경계 또는 퇴행성 질환에서 가장 빨리 나타나는 증 상 중 하나이다. 마비말장애는 파킨슨병, 뇌성 마비, 근위축성 측삭 경화증, 다발성 경화증 환자 등 다양한 환자군에서 나타난다. 마비말장애는 조음기관 신경의 손상으로 부정확한 조음을 주요 특징으로 가지고, 운율에도 영향을 미치는 것으로 보고된다. 선행 연구에서는 운율 기반 측정치를 비장애 발화와 마비말장애 발화를 구별하는 것에 사용했다. 임상 현장에서는 마비말장애에 대한 운율 기반 분석이 마비말장애를 진단하거나 장애 양상에 따른 알맞은 치료법을 준비하는 것에 도움이 될 것이다. 따라서 마비말장애가 운율에 영향을 미치는 양상뿐만 아니라 마비말장애의 운율 특징을 긴밀하게 살펴보는 것이 필요하다. 구체 적으로, 운율이 어떤 측면에서 마비말장애에 영향을 받는지, 그리고 운율 애가 장애 정도에 따라 어떻게 다르게 나타나는지에 대한 분석이 필요하다. 본 논문은 음높이, 음질, 말속도, 리듬 등 운율을 다양한 측면에 서 살펴보고, 마비말장애 검출 및 평가에 사용하였다. 추출된 운율 특징들은 몇 가지 특징 선택 알고리즘을 통해 최적화되어 머신러닝 기반 분류기의 입력값으로 사용되었다. 분류기의 성능은 정확도, 정밀도, 재현율, F1-점수로 평가되었다. 또한, 본 논문은 장애 중증도(경도, 중등도, 심도)에 따라 운율 정보 사용의 유용성을 분석하였다. 마지막으로, 장애 발화 수집이 어려운 만큼, 본 연구는 교차 언어 분류기를 사용하였다. 한국어와 영어 장애 발화가 훈련 셋으로 사용되었으며, 테스트셋으로는 각 목표 언어만이 사용되었다. 실험 결과는 다음과 같이 세 가지를 시사한다. 첫째, 운율 정보 를 사용하는 것은 마비말장애 검출 및 평가에 도움이 된다. MFCC 만을 사용했을 때와 비교했을 때, 운율 정보를 함께 사용하는 것이 한국어와 영어 데이터셋 모두에서 도움이 되었다. 둘째, 운율 정보는 평가에 특히 유용하다. 영어의 경우 검출과 평가에서 각각 1.82%와 20.6%의 상대적 정확도 향상을 보였다. 한국어의 경우 검출에서는 향상을 보이지 않았지만, 평가에서는 13.6%의 상대적 향상이 나타났다. 셋째, 교차 언어 분류기는 단일 언어 분류기보다 향상된 결과를 보인다. 실험 결과 교차언어 분류기는 단일 언어 분류기와 비교했을 때 상대적으로 4.12% 높은 정확도를 보였다. 이것은 특정 운율 장애는 범언어적 특징을 가지며, 다른 언어 데이터를 포함시켜 데이터가 부족한 훈련 셋을 보완할 수 있 음을 시사한다.One of the earliest cues for neurological or degenerative disorders are speech impairments. Individuals with Parkinsons Disease, Cerebral Palsy, Amyotrophic lateral Sclerosis, Multiple Sclerosis among others are often diagnosed with dysarthria. Dysarthria is a group of speech disorders mainly affecting the articulatory muscles which eventually leads to severe misarticulation. However, impairments in the suprasegmental domain are also present and previous studies have shown that the prosodic patterns of speakers with dysarthria differ from the prosody of healthy speakers. In a clinical setting, a prosodic-based analysis of dysarthric speech can be helpful for diagnosing the presence of dysarthria. Therefore, there is a need to not only determine how the prosody of speech is affected by dysarthria, but also what aspects of prosody are more affected and how prosodic impairments change by the severity of dysarthria. In the current study, several prosodic features related to pitch, voice quality, rhythm and speech rate are used as features for detecting dysarthria in a given speech signal. A variety of feature selection methods are utilized to determine which set of features are optimal for accurate detection. After selecting an optimal set of prosodic features we use them as input to machine learning-based classifiers and assess the performance using the evaluation metrics: accuracy, precision, recall and F1-score. Furthermore, we examine the usefulness of prosodic measures for assessing different levels of severity (e.g. mild, moderate, severe). Finally, as collecting impaired speech data can be difficult, we also implement cross-language classifiers where both Korean and English data are used for training but only one language used for testing. Results suggest that in comparison to solely using Mel-frequency cepstral coefficients, including prosodic measurements can improve the accuracy of classifiers for both Korean and English datasets. In particular, large improvements were seen when assessing different severity levels. For English a relative accuracy improvement of 1.82% for detection and 20.6% for assessment was seen. The Korean dataset saw no improvements for detection but a relative improvement of 13.6% for assessment. The results from cross-language experiments showed a relative improvement of up to 4.12% in comparison to only using a single language during training. It was found that certain prosodic impairments such as pitch and duration may be language independent. Therefore, when training sets of individual languages are limited, they may be supplemented by including data from other languages.1. Introduction 1 1.1. Dysarthria 1 1.2. Impaired Speech Detection 3 1.3. Research Goals & Outline 6 2. Background Research 8 2.1. Prosodic Impairments 8 2.1.1. English 8 2.1.2. Korean 10 2.2. Machine Learning Approaches 12 3. Database 18 3.1. English-TORGO 20 3.2. Korean-QoLT 21 4. Methods 23 4.1. Prosodic Features 23 4.1.1. Pitch 23 4.1.2. Voice Quality 26 4.1.3. Speech Rate 29 4.1.3. Rhythm 30 4.2. Feature Selection 34 4.3. Classification Models 38 4.3.1. Random Forest 38 4.3.1. Support Vector Machine 40 4.3.1 Feed-Forward Neural Network 42 4.4. Mel-Frequency Cepstral Coefficients 43 5. Experiment 46 5.1. Model Parameters 47 5.2. Training Procedure 48 5.2.1. Dysarthria Detection 48 5.2.2. Severity Assessment 50 5.2.3. Cross-Language 51 6. Results 52 6.1. TORGO 52 6.1.1. Dysarthria Detection 52 6.1.2. Severity Assessment 56 6.2. QoLT 57 6.2.1. Dysarthria Detection 57 6.2.2. Severity Assessment 58 6.1. Cross-Language 59 7. Discussion 62 7.1. Linguistic Implications 62 7.2. Clinical Applications 65 8. Conclusion 67 References 69 Appendix 76 Abstract in Korean 79Maste

Automatic Severity Classification of Dysarthric Speech based on Pronunciation Accuracy

학위논문 (석사) -- 서울대학교 대학원 : 인문대학 언어학과, 2021. 2. 정민화.Dysarthria is a motor speech disorder that occurs when muscles related to speech production are paralyzed or weakened. Dysarthria is diagnosed of its severity levels by trained speech therapists, who use perceptual evaluation on the purpose of providing appropriate treatments to each patient. While the professional diagnosis is important, perceptual evaluation not only takes a lot of time and effort but can also be biased and subjective. The automatic severity classification of dysarthric speech could compensate for these shortcomings and aid the therapists. Pronunciation accuracy, consisted of the percentage of correct phonemes and the degree of vowel distortion, is one of the most commonly used features in a clinical setting to classify the severity levels of dysarthria. However, few previous studies have considered pronunciation accuracy as a feature for automatic severity classification. In this paper, we propose pronunciation accuracy to be beneficial in automatically classifying the severity levels for dysarthric speech. Experiments were designed to confirm the usefulness of these features in contrast to the features used in previous studies: spectral features(MFCCs), voice quality features, and prosody features. Two feature selection methods-Recursive Feature Elimination(RFE) and Extra Trees Classifier(ETC) were used to determine the optimal feature set. Each optimal feature set was used as the input to two classifiers-Support Vector Machine(SVM) and Multiple Layer Perceptron(MLP). The classifiers were trained to determine the severity levels of each utterance into five categories - healthy, mild, mild-to-moderate, moderate-to-severe, severe. The performance of the classifier was evaluated using accuracy, precision, recall, and F1-score metrics. Results from the experiments before and after adding pronunciation accuracy features were compared. For the SVM classifier, the classification accuracy showed a relative increase of 15.83%, 25.42%, 23.39% before feature selection, after applying the RFE algorithm, and applying the ETC algorithm, respectively. For the MLP classifier, the relative increase accuracy of 28.97%, 21.19%, 22.95% were seen. ETC algorithm-SVM classifier experiment showed the best performance with 77.5% accuracy. The optimal feature set included % of voice breaks, speech duration, Percentage of Correct Consonants, Percentage of Correct Vowels, Percentage of Correct Phonemes, Vowel Space Area(VSA), Vowel Articulatory Index(VAI), Formant Centralized Ratio(FCR), and F2-ratio. Furthermore, the selected feature sets from each experiment were compared. When the pronunciation accuracy features were included, many voice quality features and prosody features that were selected in the baseline experiment were replaced by the pronunciation accuracy features. The contribution weight of the features from the optimal feature set showed that all pronunciation accuracy features have higher contribution weight compared to voice quality and prosody features. The results suggest two ways. First, the pronunciation accuracy features are helpful for the automatic severity classification of dysarthria. While pronunciation accuracy features have been generally used by speech pathologists, few studies related to automatic severity classification have looked into their effect. This study proves that the pronunciation accuracy features are useful for automatic severity classification as for a clinical setting. Second, the pronunciation accuracy features play a more important role than voice quality features or prosody features. Features related to articulation are proven to have the highest correlation with the speech intelligibility score of dysarthric speech among several features related to speech production. This study indicates that this fact holds the same for automatic severity classification.마비말장애는 중추 신경계 및 자율 신경계의 손상으로 말소리 산출과 관련된 근육이 마비되거나 약해지면서 생기는 말운동장애이다. 언어재활사는 알맞은 중재방안을 모색하기 위해 마비말장애의 중증도를 판단한다. 그러나 일반적으로 장애 중증도 분류에 사용되는 청지각적 평가는 많은 시간과 노력이 소요될 뿐만 아니라 평가자 간 및 평가자 내 신뢰도를 확보하기 어렵다는 단점이 있다. 마비말장애 중증도 자동 분류 기술은 이러한 단점들을 보완하며 언어재활사의 업무를 보조할 수 있다. 분류에 소요되는 시간과 노력을 절약하고, 객관적이고 일관된 결과를 제공하기 때문이다. 선행연구에서는 마비말장애 중증도 자동 분류를 위한 다양한 특징 셋을 제안하였다. 음성의 전반적 특징을 반영하는 스펙트럼 특징만을 사용하거나, 음성적 특징을 세분화하여 음질 특징, 운율 특징 등으로 특징 셋을 구성하였다. 그러나 선행 연구의 특징 셋은 음소 단위의 특징인 발음 정확도 특징을 반영하고 있지 않다. 발음 정확도 특징은 언어치료 분야에서 마비말장애의 중증도를 구분할 때 가장 일반적으로 사용되는 반면, 장애 중증도 자동 분류 연구에서는 상대적으로 거의 사용되지 않았다. 본 논문은 발음 정확도 특징을 마비말장애 중증도 자동 분류에 사용하는 것을 제안한다. 발음 정확도 특징은 음소정확도 특징과 모음왜곡도 특징을 포함하는 개념으로 음소정확도 특징은 자음정확도, 모음정확도, 음소정확도(자음+모음), 모음왜곡도 특징은 모음사각도 면적, VAI, FCR, F2-Ratio로 구성된다. 본 논문에서는 발음 정확도 특징의 유용성을 확인하기 위해 앞서 언급한 스펙트럼 특징(MFCCs), 음질 특징, 운율 특징을 베이스라인 특징으로 사용하였다. 추출된 특징 셋은 Recursive Feature Elimination(RFE)과 Extra Trees Classifier(ETC) 두 개의 특징 선택 알고리즘을 통해 최적화되었다. 선택된 특징들은 SVM(Support Vector Machine)과 MLP(Multiple Layer Perceptron) 분류기의 입력값으로 사용되었고, 분류기는 각 음성의 장애 중증도(비장애/경도/경도-중등도/중등도-중도/중도)를 분류하도록 학습되었다. 분류기의 성능은 정확도, 정밀도, 재현율, F1-점수로 평가되었다. 발음 정확도 특징 추가 전후의 실험 결과를 살펴본 결과, 특징 선택 전, RFE 적용 후, ETC 적용 후 SVM의 분류 정확도 상대적 증가율은 각각 15.83%, 25.42%, 23.39%였고, MLP의 분류 정확도 상대적 증가율은 각각 28.97%, 21.19%, 22.95%로 나타났다. 최고의 성능을 보인 실험은 ETC 특징 선택 알고리즘-SVM 조합 실험으로, 77.5%의 분류 정확도를 보였다. 더 나아가, 각 실험에서 특징 선택 알고리즘이 선택한 특징과 특징 별 개별 기여도를 살펴보았다. 그 결과, 발음 정확도 특징을 추가했을 때 베이스라인에서 선택되었던 음질, 운율 특징 다수가 발음 정확도 특징에 의해 대체되었으며, 발음 정확도 특징은 음질, 운율 특징보다 더 높은 기여가중치를 가졌다. 실험 결과는 다음을 시사한다. 첫째, 발음 정확도 특징은 마비말장애 중증도 자동 분류에 도움이 된다. 발음 정확도 특징 추가 전후 분류 정확도를 비교했을 때, 발음 정확도 특징을 추가했을 때 더 높은 분류 정확도를 보였다. 발음 정확도 특징은 언어치료 분야에서 일반적으로 사용되어왔지만, 자동 분류 연구에서는 명시적으로 사용된 경우가 적다. 실험 결과는 발음 정확도 특징이 자동 분류에서도 사용되어야 함을 시사한다. 둘째, 발음 정확도 특징은 마비말장애 중증도 자동 분류에서 음질, 운율 특징보다 더 큰 영향력을 행사한다. 실험 별 선택된 특징을 살펴본 결과, 발음 정확도 특징이 음질, 운율 특징에 비해 대체되었다. 특징 별 개별 기여도를 살펴본 결과, 모든 발음 정확도 특징의 개별 기여도가 음질, 운율 특징의 개별 기여도가 높았다. 이는 발음 정확도 특징이 다른 특징보다 마비말장애 중증도와 높은 상관관계를 보인다는 선행연구와 일맥상통한 결과이다.1. 서론 ............................................................................................... 1 2. 관련 연구 ....................................................................................... 4 2.1 장애 중증도 분류 기준 .......................................................................... 4 2.1.1 말명료도 ........................................................................................ 4 2.1.2 자음정확도 ........................................................................................ 5 2.2 마비말장애 음성의 발음 정확도 특징 .............................................. 6 2.3 마비말장애 음성 장애 중증도 자동 분류 .......................................... 7 3. 실험 방법론 .................................................................................. 11 3.1 실험 설계 ................................................................................................. 11 3.2 특징 정의 및 특징 추출 방법 ............................................................ 11 3.2.1 Mel Frequency Cepstral Coefficients (MFCCs) .............. 12 3.2.2 음질 특징 ..................................................................................... 14 3.2.3 운율 특징 ..................................................................................... 15 3.2.3.1 발화 속도 ............................................................................ 15 3.3.3.2 음높이 ................................................................................. 15 3.3.3.3 리듬 ..................................................................................... 16 3.2.4 발음 정확도 특징 ....................................................................... 17 3.4.1 음소정확도 ............................................................................ 17 3.4.2 모음왜곡도 ............................................................................ 18 3.3 특징 선택 알고리즘 ............................................................................... 19 3.2.3.1 Recursive Feature Elimination(RFE) ........................ 20 3.3.3.2 Extra Trees Classifier(ETC) ...................................... 20 3.4 머신러닝 분류기 ..................................................................................... 21 3.4.1 Support Vector Machine(SVM) ............................................ 21 4.3.2 Multiple Layer Perceptron(MLP) ......................................... 22 4. 데이터베이스 ................................................................................ 24 4.1 QoLT(Quality of Life Technology) 코퍼스 ................................... 24 4.2 자음정확도 평가 ..................................................................................... 24 4.3 말명료도 평가 ......................................................................................... 25 4.4 자음정확도 평가 결과와 말명료도 평가 결과 비교 ..................... 26 4.5 데이터베이스 통계 분석 ...................................................................... 27 4.5.1 음질 특징 ..................................................................................... 27 4.5.2 운율 특징 ..................................................................................... 28 4.5.2.1 발화 속도 ............................................................................ 28 4.5.2.2 음높이 .................................................................................. 29 4.5.2.3 리듬 ...................................................................................... 30 4.5.3 발음 정확도 특징 ..................................................................... 31 4.5.3.1 음소정확도 .......................................................................... 31 4.5.3.2 모음왜곡도 ........................................................................ 32 5. 실험 .............................................................................................. 34 5.1 실험 데이터 구성 ................................................................................... 34 5.2 분류기 성능 척도 ................................................................................... 34 5.3 실험 결과 ............................................................................................... 35 5.3.1 특징 선택 적용 전 ....................................................................... 35 5.3.2 RFE 적용 후 ................................................................................ 35 5.3.3 ETC 적용 후 ............................................................................... 37 5.4 실험 결과 정리 ....................................................................................... 39 5.4.1 분류 정확도 비교 ............................................................................ 39 5.4.2 특징 선택 .......................................................................................... 41 5.5 토의............................................................................................................. 43 6. 결론 .............................................................................................. 45 참 고 문 헌 ....................................................................................... 47 Abstract ........................................................................................... 52Maste

Evaluation of STT technologies performance and database design for Spanish dysarthric speech

[EN] Automatic Speech Recognition (ASR) systems have become an everyday use tool worldwide. Their use has spread throughout these last years and they have also been implemented in Environmental Control Systems (ECS) or Speech Generating Devices (SGD), among others. These systems might be especially beneficial for people with physical disabilities, as they would be able to control different devices with voice commands, therefore reducing the physical effort they have to make. However, people with functional diversity usually present difficulties in speech articulation too. One of the most common speech articulation problems is dysarthria, a disorder in the nervous system which causes weakness in muscles used for speech. Existing commercial ASR systems are not able to correctly understand dysarthric speech, so people with this condition cannot exploit this technology. Some investigation tackling this issue has been conducted, but an optimal solution has not been reached yet. On the other hand, nearly all existing investigation on the matter is in English, no previous study has approached the problem in other languages. Apart form this, ASR systems require of large speech databases, which are currently very few, most of them in English and they have not been designed for this end. Some commercial ASR systems offer a customization interface where users can train a base model with their speech data and thus improve the recognition accuracy. In this thesis, we evaluated the performance of the commercial ASR system Microsoft Azure Speech to Text. First, we reviewed the current state of the art. Then, we created a pilot database in Spanish and recorded it with 3 heterogeneous people with dysarthria and 1 typical speaker to be used as reference. Lastly, we trained the system and conducted different experiments to measure its accuracy. Results show that, overall, the customized models outperform the base models of the system. However, the results were not homogeneous, but vary depending on the speaker. Even though the recognition accuracy improved considerably, the results were far from being as good as those obtained for typical speech

Optimizing Vocabulary Modeling for Dysarthric Voice User Interface

학위논문 (박사)-- 서울대학교 대학원 : 협동과정 인지과학전공, 2016. 2. 정민화.마비말장애 화자의 음성 인터페이스 활용에서 빈번한 조음오류, 눌변, 빈번하고 불규칙적으로 발생하는 발화중단, 느린 발화속도 등은 오인식을 유발하는 요인이 된다. 선행연구에서는 장애발화의 음향 및 음운적 특성을 분석하고 이를 기반으로 장애발화 수정, 음향모델 적응, 발음변이 모델링, 문법 및 어휘 모델링 등을 통해 인식오류의 문제를 보완하였다. 본 논문에서는 장애발화의 특징을 반영하여 음향모델을 최적화했다. 또한 어휘모델의 구성에서 음소범주 기반의 조음특징과 인식오류와의 관계를 모형화하여 단어의 선택기준으로 도입했고 단어 간 유사도를 줄임으로써 장애화자의 음성 인터페이스 시 발생하는 인식오류를 줄였다. 마비말장애 화자를 위한 음향모델의 구축을 위해 첫째로 장애화자의 느린 발화속도에 따라 특징추출의 윈도우 크기와 HMM를 구성하는 state 개수를 조정하여 오류를 낮췄다. 둘째로 HMM의 출력확률 모델로서 GMM, Subspace GMM, DNN 등을 도입하여 인식오류를 비교했다. 셋째로 학습데이터 부족문제에 대한 대응방법으로 정상발화 도입의 효율성을 인식실험으로 확인했다. 조음특징과 인식오류율의 혼합선형모델 분석에서 자음범주 중 오류율과 유의수준 0.05 이하에서 상관관계를 보인 범주는 마찰음과 비음이고 모든 모음범주는 오류율과 유의수준 0.05 이하에서 상관관계를 보였다. 또한 혼합모델은 자음을 조음방법으로 범주화할 때가 조음위치로 범주화할 때에 비해 낮은 AIC를 보였고 모음을 혀의 위치로 범주화할 때가 낮은 AIC를 보였다. 음소를 조음방법과 혀의 위치로 범주화했을 때 마찰음은 단어에 포함될수록 인식오류를 높이는 결과를 보였고 비음은 인식정확도를 높였다. 폐쇄음, 파찰음, 유음 등은 인식결과에 대한 영향이 0에 가까웠다. 모든 모음 범주는 인식정확도를 높였다. 그 중 중설모음의 영향력이 가장 컸고 후설모음, 전설모음, 이중모음 순으로 작아졌다. 단어 간 인식오류의 유발 가능성을 Levenshtein 거리와 Cosine 거리 등 열 거리 기준의 단어 간 유사도로 모델링했고 유사도의 최소-최대 비교와 N-best 추정으로 정의된 단어간 유사도가 음성인식에 영향을 주는 요인이 될 수 있음을 확인했다. 장애발화 인식을 위한 어휘모델의 구성에서 먼저 조음특징 기반의 혼합모델로 단어의 조음점수를 계산하고 점수를 최대화하는 단어로 인식단어 리스트를 만들었다. 또한 단어 간 유사도를 최소화하도록 어휘모델을 수정하여 실험한 결과 기존 통화표 방식에 비해 절대적으로 5.7%, 상대적으로 34.6%의 인식오류가 감소하였다.Articulation errors, disfluency, impulsive pause, low speaking rate have been suggested as factors of recognition error for dysarthric speakers using voice user interface. In related works, methods for correcting dysarthric speech, AM adaptation, pronunciation variation modeling, grammar modeling and vocabulary modeling based on acoustic and phonetic analyses on dysarthric speech were proposed to compensate those factors. In this paper, acoustic model was optimized. And words in the vocabulary were selected by the GLMM which had modeled relationship between recognition errors and articulatory features for phonetic class and optimized by lowering similarity between words. Problems in training AM for dysarthric speech recognition were addressed: firstly low speaking rate was compensated by varying the window length of FFT and the number of states of HMM. Secondly the efficiency of models for emission probability of HMM was compared. Thirdly AM trained using large amount of non-dysarthric speech was experimented. Fricative and nasal were statistically significant in the analysis of relation between recognition error and consonant classes. And all vowel classes were significant. AIC was lower by classifying consonants based on manner of articulation than based on place and by classifying vowels based on position of tongue than based on height. Fricatives increased WER and nasals increased accuracy of recognition. Estimates of plosive, affricate, liquid were close to zero. All vowel classes increased accuracy. Estimate of central vowel was the largest followed by back vowel, front vowel and diphthong. Triggering recognition error by competitive words was modeled by similarity between words based on Levenshtein and cosine distance respectively. Effect of similarity between words on recognition result was confirmed by the minimum-maximum similarity contrast and the N-best prediction. Prior to model vocabulary, articulation score for each word was calculated. Firstly the vocabulary was composed of the words with the maximum articulation scores. Secondly the words in the vocabulary with high similarity were replaced by the word with less similarity and large articulation score. In dysarthric speech recognitions, the optimized vocabulary lowered WER by 5.72% (34.60% ERR).제 1 장 서론 1 제 2 장 관련연구 5 제 1 절 마비말장애 발화 조음오류 분석 5 제 2 절 음성인식 시스템의 구조와 모델 9 2.1 특징추출 12 2.2 음향모델 12 2.3 발음모델 16 2.4 언어모델 18 제 3 절 음성인식시스템의 활용분야 18 제 4 절 마비말장애 발화 인식 22 제 3 장 특징추출 및 음향모델 베이스라인 구축 27 제 1 절 접근방법 28 제 2 절 개발 환경 29 2.1 음성 데이터 29 2.2 음성인식 환경 및 음향모델 학습절차 30 제 3 절 인식실험 32 3.1 발화속도 모델링 32 3.2 출력확률 모델 파라미터 최적화 38 3.3 음향모델 학습 데이터의 구성 44 3.4 실험결과 분석 및 요약 46 제 4 절 결론 48 제 4 장 조음오류 특성 기반 인식단어 선택기준 49 제 1 절 한국어 음소 정의와 조음 특징에 의한 범주화 50 제 2 절 연구 목표 53 제 3 절 분석 데이터 53 3.1 음성 데이터 53 3.2 음소의 범주 및 통계 54 3.3 음성인식 56 3.4 데이터 분석 57 제 4 절 분석 결과 59 제 5 절 결론 62 제 5 장 단어 간 유사도 최소화 기준 인식단어 최적화 63 제 1 절 열 거리 기반의 단어 간 유사도 65 제 2 절 인식률에 대한 단어 간 유사도의 영향 67 제 3 절 N-best 추정 68 제 6 장 인식실험 74 제 1 절 단어 리스트 구성 74 1.1 베이스라인 인식 단어 리스트 76 1.2 조음점수 최대화 단어 리스트 77 1.3 단어 간 유사도 최소화 단어 리스트 77 제 2 절 기초 실험 78 제 3 절 실험 환경 81 3.1 음성 코퍼스 구성 81 제 4 절 인식 결과 84 4.1 베이스라인 모델 84 4.2 조음점수 최대화 모델 84 4.3 단어 간 유사도 최소화 모델 86 제 7 장 결론 88 제 1 절 연구결과 요약 및 평가 88 제 2 절 기여도 요약 90 제 3 절 향후 연구 91 참고 문헌 94 부록 101 Abstract 114Docto

Subspace Gaussian Mixture Models for Language Identification and Dysarthric Speech Intelligibility Assessment

En esta Tesis se ha investigado la aplicación de técnicas de modelado de subespacios de mezclas de Gaussianas en dos problemas relacionados con las tecnologías del habla, como son la identificación automática de idioma (LID, por sus siglas en inglés) y la evaluación automática de inteligibilidad en el habla de personas con disartria. Una de las técnicas más importantes estudiadas es el análisis factorial conjunto (JFA, por sus siglas en inglés). JFA es, en esencia, un modelo de mezclas de Gaussianas en el que la media de cada componente se expresa como una suma de factores de dimensión reducida, y donde cada factor representa una contribución diferente a la señal de audio. Esta factorización nos permite compensar nuestros modelos frente a contribuciones indeseadas presentes en la señal, como la información de canal. JFA se ha investigado como clasficador y como extractor de parámetros. En esta última aproximación se modela un solo factor que representa todas las contribuciones presentes en la señal. Los puntos en este subespacio se denominan i-Vectors. Así, un i-Vector es un vector de baja dimensión que representa una grabación de audio. Los i-Vectors han resultado ser muy útiles como vector de características para representar señales en diferentes problemas relacionados con el aprendizaje de máquinas. En relación al problema de LID, se han investigado dos sistemas diferentes de acuerdo al tipo de información extraída de la señal. En el primero, la señal se parametriza en vectores acústicos con información espectral a corto plazo. En este caso, observamos mejoras de hasta un 50% con el sistema basado en i-Vectors respecto al sistema que utilizaba JFA como clasificador. Se comprobó que el subespacio de canal del modelo JFA también contenía información del idioma, mientras que con los i-Vectors no se descarta ningún tipo de información, y además, son útiles para mitigar diferencias entre los datos de entrenamiento y de evaluación. En la fase de clasificación, los i-Vectors de cada idioma se modelaron con una distribución Gaussiana en la que la matriz de covarianza era común para todos. Este método es simple y rápido, y no requiere de ningún post-procesado de los i-Vectors. En el segundo sistema, se introdujo el uso de información prosódica y formántica en un sistema de LID basado en i-Vectors. La precisión de éste estaba por debajo de la del sistema acústico. Sin embargo, los dos sistemas son complementarios, y se obtuvo hasta un 20% de mejora con la fusión de los dos respecto al sistema acústico solo. Tras los buenos resultados obtenidos para LID, y dado que, teóricamente, los i-Vectors capturan toda la información presente en la señal, decidimos usarlos para la evaluar de manera automática la inteligibilidad en el habla de personas con disartria. Los logopedas están muy interesados en esta tecnología porque permitiría evaluar a sus pacientes de una manera objetiva y consistente. En este caso, los i-Vectors se obtuvieron a partir de información espectral a corto plazo de la señal, y la inteligibilidad se calculó a partir de los i-Vectors obtenidos para un conjunto de palabras dichas por el locutor evaluado. Comprobamos que los resultados eran mucho mejores si en el entrenamiento del sistema se incorporaban datos de la persona que iba a ser evaluada. No obstante, esta limitación podría aliviarse utilizando una mayor cantidad de datos para entrenar el sistema.In this Thesis, we investigated how to effciently apply subspace Gaussian mixture modeling techniques onto two speech technology problems, namely automatic spoken language identification (LID) and automatic intelligibility assessment of dysarthric speech. One of the most important of such techniques in this Thesis was joint factor analysis (JFA). JFA is essentially a Gaussian mixture model where the mean of the components is expressed as a sum of low-dimension factors that represent different contributions to the speech signal. This factorization makes it possible to compensate for undesired sources of variability, like the channel. JFA was investigated as final classiffer and as feature extractor. In the latter approach, a single subspace including all sources of variability is trained, and points in this subspace are known as i-Vectors. Thus, one i-Vector is defined as a low-dimension representation of a single utterance, and they are a very powerful feature for different machine learning problems. We have investigated two different LID systems according to the type of features extracted from speech. First, we extracted acoustic features representing short-time spectral information. In this case, we observed relative improvements with i-Vectors with respect to JFA of up to 50%. We realized that the channel subspace in a JFA model also contains language information whereas i-Vectors do not discard any language information, and moreover, they help to reduce mismatches between training and testing data. For classification, we modeled the i-Vectors of each language with a Gaussian distribution with covariance matrix shared among languages. This method is simple and fast, and it worked well without any post-processing. Second, we introduced the use of prosodic and formant information with the i-Vectors system. The performance was below the acoustic system but both were found to be complementary and we obtained up to a 20% relative improvement with the fusion with respect to the acoustic system alone. Given the success in LID and the fact that i-Vectors capture all the information that is present in the data, we decided to use i-Vectors for other tasks, specifically, the assessment of speech intelligibility in speakers with different types of dysarthria. Speech therapists are very interested in this technology because it would allow them to objectively and consistently rate the intelligibility of their patients. In this case, the input features were extracted from short-term spectral information, and the intelligibility was assessed from the i-Vectors calculated from a set of words uttered by the tested speaker. We found that the performance was clearly much better if we had available data for training of the person that would use the application. We think that this limitation could be relaxed if we had larger databases for training. However, the recording process is not easy for people with disabilities, and it is difficult to obtain large datasets of dysarthric speakers open to the research community. Finally, the same system architecture for intelligibility assessment based on i-Vectors was used for predicting the accuracy that an automatic speech recognizer (ASR) system would obtain with dysarthric speakers. The only difference between both was the ground truth label set used for training. Predicting the performance response of an ASR system would increase the confidence of speech therapists in these systems and would diminish health related costs. The results were not as satisfactory as in the previous case, probably because an ASR is a complex system whose accuracy can be very difficult to be predicted only with acoustic information. Nonetheless, we think that we opened a door to an interesting research direction for the two problems