주요 우울 장애의 음성 기반 분석: 연속적인 발화의 음향적 변화를 중심으로

학위논문(박사) -- 서울대학교대학원 : 융합과학기술대학원 융합과학부(디지털정보융합전공), 2023. 2. 이교구.Major depressive disorder (commonly referred to as depression) is a common disorder that affects 3.8% of the world's population. Depression stems from various causes, such as genetics, aging, social factors, and abnormalities in the neurotransmitter system; thus, early detection and monitoring are essential. The human voice is considered a representative biomarker for observing depression; accordingly, several studies have developed an automatic depression diagnosis system based on speech. However, constructing a speech corpus is a challenge, studies focus on adults under 60 years of age, and there are insufficient medical hypotheses based on the clinical findings of psychiatrists, limiting the evolution of the medical diagnostic tool. Moreover, the effect of taking antipsychotic drugs on speech characteristics during the treatment phase is overlooked. Thus, this thesis studies a speech-based automatic depression diagnosis system at the semantic level (sentence). First, to analyze depression among the elderly whose emotional changes do not adequately reflect speech characteristics, it developed the mood-induced sentence to build the elderly depression speech corpus and designed an automatic depression diagnosis system for the elderly. Second, it constructed an extrapyramidal symptom speech corpus to investigate the extrapyramidal symptoms, a typical side effect that can appear from an antipsychotic drug overdose. Accordingly, there is a strong correlation between the antipsychotic dose and speech characteristics. The study paved the way for a comprehensive examination of the automatic diagnosis system for depression.주요 우울 장애 즉 흔히 우울증이라고 일컬어지는 기분 장애는 전 세계인 중 3.8%에 달하는 사람들이 겪은바 있는 매우 흔한 질병이다. 유전, 노화, 사회적 요인, 신경전달물질 체계의 이상등 다양한 원인으로 발생하는 우울증은 조기 발견 및 일상 생활에서의 관리가 매우 중요하다고 할 수 있다. 인간의 음성은 우울증을 관찰하기에 대표적인 바이오마커로 여겨져 왔으며, 음성 데이터를 기반으로한 자동 우울증 진단 시스템 개발을 위한 여러 연구들이 진행되어 왔다. 그러나 음성 말뭉치 구축의 어려움과 60세 이하의 성인들에게 초점이 맞추어진 연구, 정신과 의사들의 임상 소견을 바탕으로한 의학적 가설 설정의 미흡등의 한계점을 가지고 있으며, 이는 의료 진단 기구로 발전하는데 한계점이라고 할 수 있다. 또한, 항정신성 약물의 복용이 음성 특징에 미칠 수 있는 영향 또한 간과되고 있다. 본 논문에서는 위의 한계점들을 보완하기 위한 의미론적 수준 (문장 단위)에서의 음성 기반 자동 우울증 진단에 대한 연구를 시행하고자 한다. 우선적으로 감정의 변화가 음성 특징을 잘 반영되지 않는 노인층의 우울증 분석을 위해 감정 발화 문장을 개발하여 노인 우울증 음성 말뭉치를 구축하고, 문장 단위에서의 관찰을 통해 노인 우울증 군에서 감정 문장 발화가 미치는 영향과 감정 전이를 확인할 수 있었으며, 노인층의 자동 우울증 진단 시스템을 설계하였다. 최종적으로 항정신병 약물의 과복용으로 나타날 수 있는 대표적인 부작용인 추체외로 증상을 조사하기 위해 추체외로 증상 음성 말뭉치를 구축하였고, 항정신병 약물의 복용량과 음성 특징간의 상관관계를 분석하여 우울증의 치료 과정에서 항정신병 약물이 음성에 미칠 수 있는 영향에 대해서 조사하였다. 이를 통해 주요 우울 장애의 영역에 대한 포괄적인 연구를 진행하였다.Chapter 1 Introduction 1 1.1 Research Motivations 3 1.1.1 Bridging the Gap Between Clinical View and Engineering 3 1.1.2 Limitations of Conventional Depressed Speech Corpora 4 1.1.3 Lack of Studies on Depression Among the Elderly 4 1.1.4 Depression Analysis on Semantic Level 6 1.1.5 How Antipsychotic Drug Affects the Human Voice? 7 1.2 Thesis objectives 9 1.3 Outline of the thesis 10 Chapter 2 Theoretical Background 13 2.1 Clinical View of Major Depressive Disorder 13 2.1.1 Types of Depression 14 2.1.2 Major Causes of Depression 15 2.1.3 Symptoms of Depression 17 2.1.4 Diagnosis of Depression 17 2.2 Objective Diagnostic Markers of Depression 19 2.3 Speech in Mental Disorder 19 2.4 Speech Production and Depression 21 2.5 Automatic Depression Diagnostic System 23 2.5.1 Acoustic Feature Representation 24 2.5.2 Classification / Prediction 27 Chapter 3 Developing Sentences for New Depressed Speech Corpus 31 3.1 Introduction 31 3.2 Building Depressed Speech Corpus 32 3.2.1 Elements of Speech Corpus Production 32 3.2.2 Conventional Depressed Speech Corpora 35 3.2.3 Factors Affecting Depressed Speech Characteristics 39 3.3 Motivations 40 3.3.1 Limitations of Conventional Depressed Speech Corpora 40 3.3.2 Attitude of Subjects to Depression: Masked Depression 43 3.3.3 Emotions in Reading 45 3.3.4 Objectives of this Chapter 45 3.4 Proposed Methods 46 3.4.1 Selection of Words 46 3.4.2 Structure of Sentence 47 3.5 Results 49 3.5.1 Mood-Inducing Sentences (MIS) 49 3.5.2 Neutral Sentences for Extrapyramidal Symptom Analysis 49 3.6 Summary 51 Chapter 4 Screening Depression in The Elderly 52 4.1 Introduction 52 4.2 Korean Elderly Depressive Speech Corpus 55 4.2.1 Participants 55 4.2.2 Recording Procedure 57 4.2.3 Recording Specification 58 4.3 Proposed Methods 59 4.3.1 Voice-based Screening Algorithm for Depression 59 4.3.2 Extraction of Acoustic Features 59 4.3.3 Feature Selection System and Distance Computation 62 4.3.4 Classification and Statistical Analyses 63 4.4 Results 65 4.5 Discussion 69 4.6 Summary 74 Chapter 5 Correlation Analysis of Antipsychotic Dose and Speech Characteristics 75 5.1 Introduction 75 5.2 Korean Extrapyramidal Symptoms Speech Corpus 78 5.2.1 Participants 78 5.2.2 Recording Process 79 5.2.3 Extrapyramidal Symptoms Annotation and Equivalent Dose Calculations 80 5.3 Proposed Methods 81 5.3.1 Acoustic Feature Extraction 81 5.3.2 Speech Characteristics Analysis recording to Eq.dose 83 5.4 Results 83 5.5 Discussion 87 5.6 Summary 90 Chapter 6 Conclusions and Future Work 91 6.1 Conclusions 91 6.2 Future work 95 Bibliography 97 초 록 121박

Towards a Sustainable Life: Smart and Green Design in Buildings and Community

This Special Issue includes contributions about occupants’ sustainable living in buildings and communities, highlighting issues surrounding the sustainable development of our environments and lives by emphasizing smart and green design perspectives. This Special Issue specifically focuses on research and case studies that develop promising methods for the sustainable development of our environment and identify factors critical to the application of a sustainable paradigm for quality of life from a user-oriented perspective. After a rigorous review of the submissions by experts, fourteen articles concerning sustainable living and development are published in this Special Issue, written by authors sharing their expertise and approaches to the concept and application of sustainability in their fields. The fourteen contributions to this special issue can be categorized into four groups, depending on the issues that they address. All the proposed methods, models, and applications in these studies contribute to the current understanding of the adoption of the sustainability paradigm and are likely to inspire further research addressing the challenges of constructing sustainable buildings and communities resulting in a sustainable life for all of society

Medical Informatics and Data Analysis

During recent years, the use of advanced data analysis methods has increased in clinical and epidemiological research. This book emphasizes the practical aspects of new data analysis methods, and provides insight into new challenges in biostatistics, epidemiology, health sciences, dentistry, and clinical medicine. This book provides a readable text, giving advice on the reporting of new data analytical methods and data presentation. The book consists of 13 articles. Each article is self-contained and may be read independently according to the needs of the reader. The book is essential reading for postgraduate students as well as researchers from medicine and other sciences where statistical data analysis plays a central role

딥러닝 기반 가속도 및 자이로 센서 데이터 활용 낙상감지 방법

학위논문(석사) -- 서울대학교대학원 : 공학전문대학원 응용공학과, 2022.2. 조성준.As the world enters a super-aged society, fall accidents of elderly people are significantly increasing. These fall accidents, if not detected in time, may lead to serious consequences such as death in the worst cases. Therefore, when a fall accident occurs, it is necessary to establish a system for immediately detection. Among various methods for detecting falls, a device that is easy to wear and can be applied indoors and outdoors is devised. This study aims to develop a model that measures people movement using wearable-based accelerometer sensors and gyro sensors, analyzes acceleration and angular velocity, and classifies whether a fall occurs. In order to obtain data, an experiment was conducted in which 12 ADL movements and 4 Fall movements were repeatedly performed while the subjects were wearing a wearable device. ADL movements include sitting, standing, and walking, and the Fall movement consisting of falling forward and falling backward. In order to detect falls and non-falling, LSTM model of the Recurrent Neural Network (RNN) is used. The model was advanced through a data preprocessing and fine-tuning method applied to the input value of the LSTM model that determines whether to fall or not. In the experimental environment, the fall detection accuracy of the model is 99.91%, which is intended to determine the validity of fall detection from the perspective of deep learning.전 세계가 초고령화 사회로 진입함에 따라 노인 낙상 사고가 크게 증가하고 있다. 이러한 낙상 사고는 제때 감지되지 않을 경우 최악의 경우 사망까지 이를 수 있다. 그러므로 낙상이 발생할 경우 즉시 감지할 수 있는 시스템이 요구된다. 낙상을 발견하기 위한 여러 가지 방법 중에서 착용이 쉽고 실내외에서 적용이 가능한 웨어러블(Wearable) 장치의 형태를 고안한다. 본 연구는 웨어러블 기반 가속도 센서와 자이로 센서를 활용하여 착용자의 움직임을 측정하고, 가속도 및 각속도 값을 분석하여 낙상 발생 여부를 분류하는 모델을 개발하고자 한다. 데이터를 획득하기 위하여 피실험자에게 웨어러블 장치를 착용한 상태로 12가지 일상생활동작과 4가지 낙상동작을 반복적으로 실시하는 실험을 수행하였다. 일상생활동작은 앉기, 서있기, 걷기 등이 있고, 낙상동작은 앞으로 넘어지는 동작, 뒤로 넘어지는 동작 등으로 구성된 데이터를 확보하였다. 낙상과 비낙상 여부를 검출하기 위하여 딥러닝 알고리즘 모델 중 순환 신경망(Recurrent Neural Network, RNN) 계열의 LSTM을 활용한다. 낙상 여부를 판단하는 LSTM 모델에 적용되는 데이터의 전처리 및 미세조정(Fine-Tuning)을 통해서 모델을 고도화 하였다. 실험 환경에서 모델의 낙상감지 정확도(Accuracy)는 99.91%로 심층학습 관점에서 낙상 검출의 타당성을 판단하고자 한다.I. Introduction 1 1.1 Research Background and Objective 1 1.2 Research Scope and Structure of Paper 3 II. Background Knowledge and Related Research 5 2.1 Falls 5 2.2 Fall Detection Techniques 6 2.3 Machine Learning 8 2.4 Recurrent Neural Networks and LSTM 9 III. Methods 13 3.1 Measurement Methods and Devices 13 3.2 Definition of Falls and Daily Living Activities 15 3.3 Development of Fall Detection Model 19 3.4 Performance Evaluation Metrics 21 IV. Results 23 4.1 Data Collection 23 4.2 Data Preprocessing 26 4.3 Model Fine-Tuning 34 4.4 Performance and Results Analysis 36 V. Conclusion 39 5.1 Discussion 39 5.2 Limitations 39 5.3 Future Works 40 Bibliography 43 Abstract in Korean 45석

AI and Non AI Assessments for Dementia

Current progress in the artificial intelligence domain has led to the development of various types of AI-powered dementia assessments, which can be employed to identify patients at the early stage of dementia. It can revolutionize the dementia care settings. It is essential that the medical community be aware of various AI assessments and choose them considering their degrees of validity, efficiency, practicality, reliability, and accuracy concerning the early identification of patients with dementia (PwD). On the other hand, AI developers should be informed about various non-AI assessments as well as recently developed AI assessments. Thus, this paper, which can be readable by both clinicians and AI engineers, fills the gap in the literature in explaining the existing solutions for the recognition of dementia to clinicians, as well as the techniques used and the most widespread dementia datasets to AI engineers. It follows a review of papers on AI and non-AI assessments for dementia to provide valuable information about various dementia assessments for both the AI and medical communities. The discussion and conclusion highlight the most prominent research directions and the maturity of existing solutions.Comment: 49 page

Women, Health and Aging: Building a Statewide Movement

Provides an overview of current policy and program environments that affect the state's most vulnerable elder population, and considers some effective strategies to address the growing needs of older persons in California

Models and Analysis of Vocal Emissions for Biomedical Applications

The International Workshop on Models and Analysis of Vocal Emissions for Biomedical Applications (MAVEBA) came into being in 1999 from the particularly felt need of sharing know-how, objectives and results between areas that until then seemed quite distinct such as bioengineering, medicine and singing. MAVEBA deals with all aspects concerning the study of the human voice with applications ranging from the neonate to the adult and elderly. Over the years the initial issues have grown and spread also in other aspects of research such as occupational voice disorders, neurology, rehabilitation, image and video analysis. MAVEBA takes place every two years always in Firenze, Italy. This edition celebrates twenty years of uninterrupted and succesfully research in the field of voice analysis

from Issue Investigation to Design Solutions

학위논문(박사) -- 서울대학교대학원 : 공과대학 산업공학과, 2021.8. 윤명환.가전제품을 포함한 현대 기술은 사용자의 삶에 혜택을 제공하지만 제조업체와 설계자의 접근성 지원 부족으로 인해 장애인 및 고령 사용자는 그 혜택으로부터 소외되었다. 여러 신 기능의 개발 및 발전은 비장애인 사용자의 삶의 질을 풍요롭게 한 것과는 반대로 이러한 기능들은 복잡도가 상향되어 장애인 및 고령 사용자의 접근성과 독립적 사용을 저해하고 이내 사용자 경험을 저하시켰을 뿐이다. 이와 같이 접근성 지원이 필요한 상용자의 사용자 경험을 수집하는 것은 생각보다 번거로운 일이다. 대상 사용자들은 민감한 개인정보상의 이유로 사용자 경험 제공을 꺼릴 수도 있고, 인터뷰나 설문조사를 수행하기에 적합한 조건이 아닐 수도 있으며, 더 나아가 소통에 어려움이 있을 수도 있다. 이와 같은 문제는 제조업체나 설계자와 같은 이해당사자와 대상 사용자 간에 장벽을 만들고, 이러한 장벽은 사용자들이 일상 제품을 사용하며 겪게 되는 문제를 온전히 이해하고 정의하는 것을 어렵게 만들어 공감의 형성이 불가능해진다. 이해당사자들은 장애가 있다는 것, 고령이 된다는 것을 경험해 보지 못 했기 때문에 그들의 사용자 경험을 잘못 해석할 수 있고, 이러한 공감의 부족은 장애인 및 고령 사용자에 대한 편견과 오해로 이어진다. 결국, 접근 가능한 제품 개발을 목표로 하는 제조사나 설계자가 이들의 불편사항 및 요구를 인지한다 해도 대상 사용자의 이러한 문제를 해결하기는 어렵거나 심지어 불가능하기도 하다. 이러한 문제로, 본 연구의 3장에서는 인터뷰와 관찰 데이터를 기반으로 가전제품 사용 맥락에 따른 네 가지 사용자 유형에 대한 여덟 종류의 퍼소나를 개발하였다. 시각장애(전맹, 저시력), 청각장애(농아, 인공 와우), 척수장애(주먹 쥔 손, 펴진 손), 고령자(할머니, 할아버지) 퍼소나는 각각 퍼소나 카드의 시나리오와 같은 형식으로 접근성 이슈를 제공하여 실 사용자와 면대면으로 만나기 어려운 이해당사자로 하여금 대상 사용자의 접근성 이슈를 파악하고 공감할 수 있도록 하는 것을 목표로 한다. 또한, 이해당사자들은 사용자 인터랙션 관점에서 장애인 및 고령 사용자의 다른 행태를 파악하고 이해할 도구가 필요하다. 본 연구의 4장에서는 위계적 작업분석(Hierarchical Task Analysis; HTA)을 수행하여 가전제품 사용 시 시간 순서에 따른 일반적 작업 구조를 제시하여 사용자의 작업 행태를 시각화 하였다. 이 구조와 함께 서블릭(Therblig)을 통해 사용자의 작업을 미시적으로 표현하였다. 서블릭은 가전제품 맥락에 맞도록 재정의하고 사용자군 별로 문제가 있는 서블릭이 파악된 경우 동작경제 원칙에 의한 설계 가이드에 따라 개선안을 제시하도록 하였다. 동작경제원칙은 사용자의 작업측면에서의 문제점과 설계측면에서의 해결안을 연관 지어 해석하는 짐을 덜어주는 역할을 해, 제안하는 접근성 도구는 접근성 평가 도구로서 큰 가치를 가진다. 마지막으로 본 연구의 5장에서는 기존 표준과 가이드라인을 수집해 설계 가이드라인을 개발하였다. 기존 표준 및 가이드라인은 여러 수치를 제공하고는 있지만 장애인 및 고령 사용자의 사용 맥락을 충분히 반영하지 못 하고 사용자의 신체 능력, 환경, 제품의 형태에 따라 적용이 어려워 실제적 활용도가 낮은 문제가 있다. 또한 접근성과 인간공학적 전문성이 부족할수록 실 적용이 어려워져 이러한 문서의 가치는 더욱 낮아질 수밖에 없다. 이에 장애인과 고령자의 사용 맥락을 반영해 가이드라인을 재정립하고 이를 기반으로 총 일곱가지의 프로토타입을 개발하였다. 총 14명의 참가자가 프로토타입을 평가하여 대상 가전제품의 접근성 향상 여부를 평가하였다. 대부분의 프로토타입은 성공적으로 접근성에 향상을 보여 설계 가이드라인의 유효성 또한 반증하였다. 또한, 본 논문에서 사용된 절차를 따라 접근성 보장 제품 설계 시 각 가이드라인의 수치를 어떤 식으로 설계에 적용하는지를 참고할 수도 있다. 본 논문의 의의는 다음과 같다. 첫 째, 본 논문은 시각장애, 청각장애, 척수장애인을 대상으로 사용자 조사를 진행하고 이를 기반으로 사용자들의 접근성 이슈를 퍼소나 형식으로 구체화하여 이해당사자가 대상 사용자와 보다 쉽게 공감할 수 있도록 하였다. 둘째, 본 논문은 접근성 연구분야에서 부족한 접근성 평가 도구를 제안하여 접근성 연구의 연구장벽을 낮추는데 기여하였다. 마지막으로 실제 접근성 향상 제품을 개발을 위한 가이드라인과 이를 기반으로 제작된 프로토타입을 실제 사용자들이 평가하도록 해 가이드라인의 실효성을 검증하였다. 전반적으로, 본 연구는 접근성 문제의 장벽을 돌파하기 위해 전반적인 제품 개발 프로세스를 적용하였으며 유니버설 디자인 관점에서 접근성 문제 해결을 위한 일련의 새로운 접근 방식으로 제안하여 사용자가 본인의 장애나 연령과 상관없이 제품 – 특히 가전제품 – 을 자유롭고 안전하게 사용하도록 하였다.Modern-day technologies - including home appliances - deliver benefits to our lives yet the lack of accessibility supports from the manufacturers and designers have forsaken a considerable number of elderly and disabled people. Unlike how the development and advancement with a variety of new functions and features enriched the quality of life for non-disabled users, it only degraded the user experience for the elderlies and disabled users since such functions and features come along with the increased complexity, which hinders not only the accessible use but also the independent use of a disabled or elderly user. Collecting user experience from the users in need of accessibility support is much more troublesome than one might think. The users may be reluctant to provide their user experience for sensitive privacy reasons, may not be in the appropriate physical conditions for interviews or surveys, or even have communication problems. Such barriers between the stakeholder and the target users do not allow the stakeholders to fully understand and define the problems these users confront every day; simply, impossible to build empathy. The lack of empathy breeds misconceptions on the elderly and disabled users, created by misinterpretation of the users’ experiences since the stakeholders have never experienced what it is like to be a disabled or elderly user. Even if manufacturers and designers who oversee developing accessible products recognize the needs and frustrations of the disabled population, it is challenging or even inaccessible for them to address these issues of their target customers. In Chapter 3, based on the interview and observation data, this study developed eight personas for four different types of disabled users under the context of home appliance usage: visually impaired (blind and low-vision), hearing impaired (deaf and cochlear implemented), spinal cord injured (opened palm and closed fist), and elderly (grandma and grandpa). Each persona provides their accessibility issues through a persona card and scenario-like explanation. Personas created in this study will help manufacturers and designers empathize with their users although they did not meet the real users face-to-face. Moreover, stakeholders need a tool to investigate how their users in need of accessibility support behave differently from non-disabled users, which provides a deeper understanding of the users’ perspectives in terms of “interaction.” In Chapter 4, this study conducted Hierarchical Task Analysis (HTA) and created general task structures of home appliances based on their product compartment and chronological usage phase. This task structure visualizes the user behavior. Combined with the task structure, therbligs expressed the user task on a micro-scale. Therbligs were redefined to fit the home appliance context and, if found problematic, there was the principle of motion economy to provide design guidance to solve the problems of corresponding therbligs. Moreover, the principle of motion economy is valuable because it reduces the burden of a researcher to convert a task-oriented problem found in terms of user behavior into a design-oriented solution. Lastly, in Chapter 5, a design guideline is developed by collecting existing standards and guidelines. Existing standards and documents related to accessibility lack a detailed explanation of real-world application, although the documentations provide various numerical values related to designs. The numbers are not directly implementable since the context-of-use of elderly or disabled users may vary by their capability, environment, and basically by the form factor of the products they use. Lower the expertise in ergonomics and accessibility less valuable the standards and guidelines will be to implement in a product design. With the design guideline developed and ideas collected from an ideation workshop, a total of seven prototypes were built. A total of 14 participants evaluated the prototype whether it enhanced the accessibility of target home appliances or not. As a result, most prototypes successfully improved the accessibility and approved the validity of design guidelines. This procedure as a case study will provide how to implement the principles and dimensional values found in the existing standards and guidelines when developing an accessible product. Overall, this study applied a whole product development cycle to breakthrough the barriers of accessibility problems and proposes it as a set of novel approaches for accessibility issues resolution based on the perspectives of universal design so that a user can freely and safely use their products – especially home appliances – regardless of their disability or age.Chapter 1 Introduction 1 1.1 Accessibility Barriers 1 1.1.1 Barriers for Users 1 1.1.2 Barriers for Stakeholders 3 1.2 Research Objectives and Study Outline 12 Chapter 2 Background 15 2.1 Target Users and Products 15 2.1.1 Target Users 15 2.1.2 Target Home Appliances and Compartments 19 2.2 Definition of Accessibility 29 2.3 Design Approach 33 2.3.1 Accessible and Universal Design 33 Chapter 3 Persona to Investigate the Accessibility Issues of Disabled and Elderly Users Under the Context of Home Appliances Usage 35 3.1 Overview 35 3.2 Methods 38 3.2.1 User Data Collection 38 3.2.2 Data Analysis for Personas 42 3.2.3 Persona Creation for Identifying Accessibility Issue 45 3.3 Persona Development 48 3.3.1 User Behaviors and Characteristics 48 3.3.2 Created Personas 53 3.4 Results and Discussion 59 3.4.1 Behaviors and Characteristics of Personas 60 3.4.2 Accessibility Issues from Personas 67 3.5 Probable Applications and Future Studies 77 Chapter 4 TAT: Therbligs as Accessibility Tool 82 4.1 Overview 82 4.1.1 Task Analysis 84 4.1.2 Therbligs and Motion Studies 86 4.1.3 Redefining Therbligs 89 4.1.4 Changes in the Principles of Motion Economy 95 4.2 Methods 102 4.2.1 Therblig-based Task Analysis 103 4.2.2 Task Evaluation 107 4.3 Results 109 4.3.1 General Task Structures 109 4.3.2 Accessibility Evaluation Results 116 4.4 Discussions 122 4.4.1 Problematic Therbligs and Related Principles of Motion Economy for Improvements 125 4.4.2 The Final Set of Therbligs for Accessibility Evaluation 133 4.4.3 New Task Design for Disabled and Elderly Users 139 4.5 Conclusion 142 Chapter 5 Accessible Home Appliance Designs : Prototyping and Design Guidelines 145 5.1 Overview 145 5.2 Ideation for accessible home appliances 148 5.2.1 Ideation Workshop 148 5.2.2 Ideation Result 153 5.3 Development of Design Guidelines and Prototypes 156 5.3.1 Design Guideline Principles 161 5.3.2 Prototyping 173 5.4 Experiment for validation 186 5.4.1 Evaluation Results 188 5.5 Discussion 197 5.6 Conclusion 201 Chapter 6 Conclusion 203 Bibliography 206 국문 초록 222 감사의 글 225 Acknowledgment 226 APPENDICES 227박

Advancements in AI-driven multilingual comprehension for social robot interactions: An extensive review

In the digital era, human-robot interaction is rapidly expanding, emphasizing the need for social robots to fluently understand and communicate in multiple languages. It is not merely about decoding words but about establishing connections and building trust. However, many current social robots are limited to popular languages, serving in fields like language teaching, healthcare and companionship. This review examines the AI-driven language abilities in social robots, providing a detailed overview of their applications and the challenges faced, from nuanced linguistic understanding to data quality and cultural adaptability. Last, we discuss the future of integrating advanced language models in robots to move beyond basic interactions and towards deeper emotional connections. Through this endeavor, we hope to provide a beacon for researchers, steering them towards a path where linguistic adeptness in robots is seamlessly melded with their capacity for genuine emotional engagement