학위논문(박사) -- 서울대학교대학원 : 융합과학기술대학원 융합과학부(디지털정보융합전공), 2023. 2. 이교구.Major depressive disorder (commonly referred to as depression) is a common disorder that affects 3.8% of the world's population. Depression stems from various causes, such as genetics, aging, social factors, and abnormalities in the neurotransmitter system; thus, early detection and monitoring are essential. The human voice is considered a representative biomarker for observing depression; accordingly, several studies have developed an automatic depression diagnosis system based on speech.
However, constructing a speech corpus is a challenge, studies focus on adults under 60 years of age, and there are insufficient medical hypotheses based on the clinical findings of psychiatrists, limiting the evolution of the medical diagnostic tool. Moreover, the effect of taking antipsychotic drugs on speech characteristics during the treatment phase is overlooked.
Thus, this thesis studies a speech-based automatic depression diagnosis system at the semantic level (sentence). First, to analyze depression among the elderly whose emotional changes do not adequately reflect speech characteristics, it developed the mood-induced sentence to build the elderly depression speech corpus and designed an automatic depression diagnosis system for the elderly.
Second, it constructed an extrapyramidal symptom speech corpus to investigate the extrapyramidal symptoms, a typical side effect that can appear from an antipsychotic drug overdose. Accordingly, there is a strong correlation between the antipsychotic dose and speech characteristics. The study paved the way for a comprehensive examination of the automatic diagnosis system for depression.주요 우울 장애 즉 흔히 우울증이라고 일컬어지는 기분 장애는 전 세계인 중 3.8%에 달하는 사람들이 겪은바 있는 매우 흔한 질병이다. 유전, 노화, 사회적 요인, 신경전달물질 체계의 이상등 다양한 원인으로 발생하는 우울증은 조기 발견 및 일상 생활에서의 관리가 매우 중요하다고 할 수 있다. 인간의 음성은 우울증을 관찰하기에 대표적인 바이오마커로 여겨져 왔으며, 음성 데이터를 기반으로한 자동 우울증 진단 시스템 개발을 위한 여러 연구들이 진행되어 왔다. 그러나 음성 말뭉치 구축의 어려움과 60세 이하의 성인들에게 초점이 맞추어진 연구, 정신과 의사들의 임상 소견을 바탕으로한 의학적 가설 설정의 미흡등의 한계점을 가지고 있으며, 이는 의료 진단 기구로 발전하는데 한계점이라고 할 수 있다. 또한, 항정신성 약물의 복용이 음성 특징에 미칠 수 있는 영향 또한 간과되고 있다.
본 논문에서는 위의 한계점들을 보완하기 위한 의미론적 수준 (문장 단위)에서의 음성 기반 자동 우울증 진단에 대한 연구를 시행하고자 한다. 우선적으로 감정의 변화가 음성 특징을 잘 반영되지 않는 노인층의 우울증 분석을 위해 감정 발화 문장을 개발하여 노인 우울증 음성 말뭉치를 구축하고, 문장 단위에서의 관찰을 통해 노인 우울증 군에서 감정 문장 발화가 미치는 영향과 감정 전이를 확인할 수 있었으며, 노인층의 자동 우울증 진단 시스템을 설계하였다. 최종적으로 항정신병 약물의 과복용으로 나타날 수 있는 대표적인 부작용인 추체외로 증상을 조사하기 위해 추체외로 증상 음성 말뭉치를 구축하였고, 항정신병 약물의 복용량과 음성 특징간의 상관관계를 분석하여 우울증의 치료 과정에서 항정신병 약물이 음성에 미칠 수 있는 영향에 대해서 조사하였다. 이를 통해 주요 우울 장애의 영역에 대한 포괄적인 연구를 진행하였다.Chapter 1 Introduction 1
1.1 Research Motivations 3
1.1.1 Bridging the Gap Between Clinical View and Engineering 3
1.1.2 Limitations of Conventional Depressed Speech Corpora 4
1.1.3 Lack of Studies on Depression Among the Elderly 4
1.1.4 Depression Analysis on Semantic Level 6
1.1.5 How Antipsychotic Drug Affects the Human Voice? 7
1.2 Thesis objectives 9
1.3 Outline of the thesis 10
Chapter 2 Theoretical Background 13
2.1 Clinical View of Major Depressive Disorder 13
2.1.1 Types of Depression 14
2.1.2 Major Causes of Depression 15
2.1.3 Symptoms of Depression 17
2.1.4 Diagnosis of Depression 17
2.2 Objective Diagnostic Markers of Depression 19
2.3 Speech in Mental Disorder 19
2.4 Speech Production and Depression 21
2.5 Automatic Depression Diagnostic System 23
2.5.1 Acoustic Feature Representation 24
2.5.2 Classification / Prediction 27
Chapter 3 Developing Sentences for New Depressed Speech Corpus 31
3.1 Introduction 31
3.2 Building Depressed Speech Corpus 32
3.2.1 Elements of Speech Corpus Production 32
3.2.2 Conventional Depressed Speech Corpora 35
3.2.3 Factors Affecting Depressed Speech Characteristics 39
3.3 Motivations 40
3.3.1 Limitations of Conventional Depressed Speech Corpora 40
3.3.2 Attitude of Subjects to Depression: Masked Depression 43
3.3.3 Emotions in Reading 45
3.3.4 Objectives of this Chapter 45
3.4 Proposed Methods 46
3.4.1 Selection of Words 46
3.4.2 Structure of Sentence 47
3.5 Results 49
3.5.1 Mood-Inducing Sentences (MIS) 49
3.5.2 Neutral Sentences for Extrapyramidal Symptom Analysis 49
3.6 Summary 51
Chapter 4 Screening Depression in The Elderly 52
4.1 Introduction 52
4.2 Korean Elderly Depressive Speech Corpus 55
4.2.1 Participants 55
4.2.2 Recording Procedure 57
4.2.3 Recording Specification 58
4.3 Proposed Methods 59
4.3.1 Voice-based Screening Algorithm for Depression 59
4.3.2 Extraction of Acoustic Features 59
4.3.3 Feature Selection System and Distance Computation 62
4.3.4 Classification and Statistical Analyses 63
4.4 Results 65
4.5 Discussion 69
4.6 Summary 74
Chapter 5 Correlation Analysis of Antipsychotic Dose and Speech Characteristics 75
5.1 Introduction 75
5.2 Korean Extrapyramidal Symptoms Speech Corpus 78
5.2.1 Participants 78
5.2.2 Recording Process 79
5.2.3 Extrapyramidal Symptoms Annotation and Equivalent Dose Calculations 80
5.3 Proposed Methods 81
5.3.1 Acoustic Feature Extraction 81
5.3.2 Speech Characteristics Analysis recording to Eq.dose 83
5.4 Results 83
5.5 Discussion 87
5.6 Summary 90
Chapter 6 Conclusions and Future Work 91
6.1 Conclusions 91
6.2 Future work 95
Bibliography 97
초 록 121박
