질의응답 시스템을 위한 텍스트 랭킹 심층 신경망

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·정보공학부, 2020. 8. 정교민.The question answering (QA) system has attracted huge interests due to its applicability in real-world applications. This dissertation proposes novel ranking algorithms for the QA system based on deep neural networks. We first tackle the long-text QA that requires the model to understand the excessively large sequence of text inputs. To solve this problem, we propose a hierarchical recurrent dual encoder that encodes texts from word-level to paragraph-level. We further propose a latent topic clustering method that utilizes semantic information in the target corpus, and thus it increases the performance of the QA system. Secondly, we investigate the short-text QA, where the information in text pairs are limited. To overcome the insufficiency, we combine a pretrained language model and an enhanced latent clustering method to the QA model. This novel architecture enables the model to utilizes additional information, resulting in achieving state-of-the-art performance for the standard answer-selection tasks (i.e., WikiQA, TREC-QA). Finally, we investigate detecting supporting sentences for complex QA system. As opposed to the previous studies, the model needs to understand the relationship between sentences to answer the question. Inspired by the hierarchical nature of the text, we propose a graph neural network-based model that iteratively propagates necessary information between text nodes and achieve the best performance among existing methods.본 학위 논문은 딥 뉴럴 네트워크 기반 질의응답 시스템에 관한 모델을 제안한다. 먼저 긴 문장에 대한 질의응답을 하기 위해서 계층 구조의 재귀신경망 모델을 제안하였다. 이를 통해 모델이 주어진 문장을 짧은 시퀀스 단위로 효율적으로 다룰 수 있게 하여 큰 성능 향상을 얻었다. 또한 학습 과정에서 데이터 안에 내포된 토픽을 자동 분류하는 모델을 제안하고, 이를 기존 질의응답 모델에 병합하여 추가 성능 개선을 이루었다. 이어지는 연구로 짧은 문장에 대한 질의응답 모델을 제안하였다. 문장의 길이가 짧아질수록 문장 안에서 얻을 수 있는 정보의 양도 줄어들게 된다. 우리는 이러한 문제를 해결하기 위해, 사전 학습된 언어 모델과 새로운 토픽 클러스터링 기법을 적용하였다. 제안한 모델은 종래 짧은 문장 질의응답 연구 중 가장 좋은 성능을 획득하였다. 마지막으로 여러 문장 사이의 관계를 이용하여 답변을 찾아야 하는 질의응답 연구를 진행하였다. 우리는 문서 내 각 문장을 그래프로 도식화한 후 이를 학습할 수 있는 그래프 뉴럴 네트워크를 제안하였다. 제안한 모델은 각 문장의 관계성을 성공적으로 계산하였고, 이를 통해 복잡도가 높은 질의응답 시스템에서 기존에 제안된 모델들과 비교하여 가장 좋은 성능을 획득하였다.1 Introduction 1 2 Background 8 2.1 Textual Data Representation 8 2.2 Encoding Sequential Information in Text 12 3 Question-Answer Pair Ranking for Long Text 16 3.1 Related Work 18 3.2 Method 19 3.2.1 Baseline Approach 19 3.2.2 Proposed Approaches (HRDE+LTC) 22 3.3 Experimental Setup and Dataset 26 3.3.1 Dataset 26 3.3.2 Consumer Product Question Answering Corpus 30 3.3.3 Implementation Details 32 3.4 Empirical Results 34 3.4.1 Comparison with other methods 35 3.4.2 Degradation Comparison for Longer Texts 37 3.4.3 Effects of the LTC Numbers 38 3.4.4 Comprehensive Analysis of LTC 38 3.5 Further Investigation on Ranking Lengthy Document 40 3.5.1 Problem and Dataset 41 3.5.2 Methods 45 3.5.3 Experimental Results 51 3.6 Conclusion 55 4 Answer-Selection for Short Sentence 56 4.1 Related Work 57 4.2 Method 59 4.2.1 Baseline approach 59 4.2.2 Proposed Approaches (Comp-Clip+LM+LC+TL) 62 4.3 Experimental Setup and Dataset 66 4.3.1 Dataset 66 4.3.2 Implementation Details 68 4.4 Empirical Results 69 4.4.1 Comparison with Other Methods 69 4.4.2 Impact of Latent Clustering 72 4.5 Conclusion 72 5 Supporting Sentence Detection for Question Answering 73 5.1 Related Work 75 5.2 Method 76 5.2.1 Baseline approaches 76 5.2.2 Proposed Approach (Propagate-Selector) 78 5.3 Experimental Setup and Dataset 82 5.3.1 Dataset 82 5.3.2 Implementation Details 83 5.4 Empirical Results 85 5.4.1 Comparisons with Other Methods 85 5.4.2 Hop Analysis 86 5.4.3 Impact of Various Graph Topologies 88 5.4.4 Impact of Node Representation 91 5.5 Discussion 92 5.6 Conclusion 93 6 Conclusion 94Docto

소형동물의 뇌신경 자극을 위한 완전 이식형 신경자극기

학위논문(박사)--서울대학교 대학원 :공과대학 전기·정보공학부,2020. 2. 김성준.In this study, a fully implantable neural stimulator that is designed to stimulate the brain in the small animal is described. Electrical stimulation of the small animal is applicable to pre-clinical study, and behavior study for neuroscience research, etc. Especially, behavior study of the freely moving animal is useful to observe the modulation of sensory and motor functions by the stimulation. It involves conditioning animal's movement response through directional neural stimulation on the region of interest. The main technique that enables such applications is the development of an implantable neural stimulator. Implantable neural stimulator is used to modulate the behavior of the animal, while it ensures the free movement of the animals. Therefore, stable operation in vivo and device size are important issues in the design of implantable neural stimulators. Conventional neural stimulators for brain stimulation of small animal are comprised of electrodes implanted in the brain and a pulse generation circuit mounted on the back of the animal. The electrical stimulation generated from the circuit is conveyed to the target region by the electrodes wire-connected with the circuit. The devices are powered by a large battery, and controlled by a microcontroller unit. While it represents a simple approach, it is subject to various potential risks including short operation time, infection at the wound, mechanical failure of the device, and animals being hindered to move naturally, etc. A neural stimulator that is miniaturized, fully implantable, low-powered, and capable of wireless communication is required. In this dissertation, a fully implantable stimulator with remote controllability, compact size, and minimal power consumption is suggested for freely moving animal application. The stimulator consists of modular units of surface-type and depth-type arrays for accessing target brain area, package for accommodating the stimulating electronics all of which are assembled after independent fabrication and implantation using customized flat cables and connectors. The electronics in the package contains ZigBee telemetry for low-power wireless communication, inductive link for recharging lithium battery, and an ASIC that generates biphasic pulse for neural stimulation. A dual-mode power-saving scheme with a duty cycling was applied to minimize the power consumption. All modules were packaged using liquid crystal polymer (LCP) to avoid any chemical reaction after implantation. To evaluate the fabricated stimulator, wireless operation test was conducted. Signal-to-Noise Ratio (SNR) of the ZigBee telemetry were measured, and its communication range and data streaming capacity were tested. The amount of power delivered during the charging session depending on the coil distance was measured. After the evaluation of the device functionality, the stimulator was implanted into rats to train the animals to turn to the left (or right) following a directional cue applied to the barrel cortex. Functionality of the device was also demonstrated in a three-dimensional maze structure, by guiding the rats to navigate better in the maze. Finally, several aspects of the fabricated device were discussed further.본 연구에서는 소형 동물의 두뇌를 자극하기 위한 완전 이식형 신경자극기가 개발되었다. 소형 동물의 전기자극은 전임상 연구, 신경과학 연구를 위한 행동연구 등에 활용된다. 특히, 자유롭게 움직이는 동물을 대상으로 한 행동 연구는 자극에 의한 감각 및 운동 기능의 조절을 관찰하는 데 유용하게 활용된다. 행동 연구는 두뇌의 특정 관심 영역을 직접적으로 자극하여 동물의 행동반응을 조건화하는 방식으로 수행된다. 이러한 적용을 가능케 하는 핵심기술은 이식형 신경자극기의 개발이다. 이식형 신경자극기는 동물의 움직임을 방해하지 않으면서도 그 행동을 조절하기 위해 사용된다. 따라서 동물 내에서의 안정적인 동작과 장치의 크기가 이식형 신경자극기를 설계함에 있어 중요한 문제이다. 기존의 신경자극기는 두뇌에 이식되는 전극 부분과, 동물의 등 부분에 위치한 회로부분으로 구성된다. 회로에서 생산된 전기자극은 회로와 전선으로 연결된 전극을 통해 목표 지점으로 전달된다. 장치는 배터리에 의해 구동되며, 내장된 마이크로 컨트롤러에 의해 제어된다. 이는 쉽고 간단한 접근방식이지만, 짧은 동작시간, 이식부위의 감염이나 장치의 기계적 결함, 그리고 동물의 자연스러운 움직임 방해 등 여러 문제점을 야기할 수 있다. 이러한 문제의 개선을 위해 무선통신이 가능하고, 저전력, 소형화된 완전 이식형 신경자극기의 설계가 필요하다. 본 연구에서는 자유롭게 움직이는 동물에 적용하기 위하여 원격 제어가 가능하며, 크기가 작고, 소모전력이 최소화된 완전이식형 자극기를 제시한다. 설계된 신경자극기는 목표로 하는 두뇌 영역에 접근할 수 있는 표면형 전극과 탐침형 전극, 그리고 자극 펄스 생성 회로를 포함하는 패키지 등의 모듈들로 구성되며, 각각의 모듈은 독립적으로 제작되어 동물에 이식된 뒤 케이블과 커넥터로 연결된다. 패키지 내부의 회로는 저전력 무선통신을 위한 지그비 트랜시버, 리튬 배터리의 재충전을 위한 인덕티브 링크, 그리고 신경자극을 위한 이상성 자극파형을 생성하는 ASIC으로 구성된다. 전력 절감을 위해 두 개의 모드를 통해 사용률을 조절하는 방식이 장치에 적용된다. 모든 모듈들은 이식 후의 생물학적, 화학적 안정성을 위해 액정 폴리머로 패키징되었다. 제작된 신경자극기를 평가하기 위해 무선 동작 테스트가 수행되었다. 지그비 통신의 신호 대 잡음비가 측정되었으며, 해당 통신의 동작거리 및 데이터 스트리밍 성능이 검사되었고, 장치의 충전이 수행될 때 코일간의 거리에 따라 전송되는 전력의 크기가 측정되었다. 장치의 평가 이후, 신경자극기는 쥐에 이식되었으며, 해당 동물은 이식된 장치를 이용해 방향 신호에 따라 좌우로 이동하도록 훈련되었다. 또한, 3차원 미로 구조에서 쥐의 이동방향을 유도하는 실험을 통하여 장치의 기능성을 추가적으로 검증하였다. 마지막으로, 제작된 장치의 특징이 여러 측면에서 심층적으로 논의되었다.Chapter 1 : Introduction 1 1.1. Neural Interface 2 1.1.1. Concept 2 1.1.2. Major Approaches 3 1.2. Neural Stimulator for Animal Brain Stimulation 5 1.2.1. Concept 5 1.2.2. Neural Stimulator for Freely Moving Small Animal 7 1.3. Suggested Approaches 8 1.3.1. Wireless Communication 8 1.3.2. Power Management 9 1.3.2.1. Wireless Power Transmission 10 1.3.2.2. Energy Harvesting 11 1.3.3. Full implantation 14 1.3.3.1. Polymer Packaging 14 1.3.3.2. Modular Configuration 16 1.4. Objectives of This Dissertation 16 Chapter 2 : Methods 18 2.1. Overview 19 2.1.1. Circuit Description 20 2.1.1.1. Pulse Generator ASIC 21 2.1.1.2. ZigBee Transceiver 23 2.1.1.3. Inductive Link 24 2.1.1.4. Energy Harvester 25 2.1.1.5. Surrounding Circuitries 26 2.1.2. Software Description 27 2.2. Antenna Design 29 2.2.1. RF Antenna 30 2.2.1.1. Design of Monopole Antenna 31 2.2.1.2. FEM Simulation 31 2.2.2. Inductive Link 36 2.2.2.1. Design of Coil Antenna 36 2.2.2.2. FEM Simulation 38 2.3. Device Fabrication 41 2.3.1. Circuit Assembly 41 2.3.2. Packaging 42 2.3.3. Electrode, Feedthrough, Cable, and Connector 43 2.4. Evaluations 45 2.4.1. Wireless Operation Test 46 2.4.1.1. Signal-to-Noise Ratio (SNR) Measurement 46 2.4.1.2. Communication Range Test 47 2.4.1.3. Device Operation Monitoring Test 48 2.4.2. Wireless Power Transmission 49 2.4.3. Electrochemical Measurements In Vitro 50 2.4.4. Animal Testing In Vivo 52 Chapter 3 : Results 57 3.1. Fabricated System 58 3.2. Wireless Operation Test 59 3.2.1. Signal-to-Noise Ratio Measurement 59 3.2.2. Communication Range Test 61 3.2.3. Device Operation Monitoring Test 62 3.3. Wireless Power Transmission 64 3.4. Electrochemical Measurements In Vitro 65 3.5. Animal Testing In Vivo 67 Chapter 4 : Discussion 73 4.1. Comparison with Conventional Devices 74 4.2. Safety of Device Operation 76 4.2.1. Safe Electrical Stimulation 76 4.2.2. Safe Wireless Power Transmission 80 4.3. Potential Applications 84 4.4. Opportunities for Further Improvements 86 4.4.1. Weight and Size 86 4.4.2. Long-Term Reliability 93 Chapter 5 : Conclusion 96 Reference 98 Appendix - Liquid Crystal Polymer (LCP) -Based Spinal Cord Stimulator 107 국문 초록 138 감사의 글 140Docto

The characteristics of sleep in headache patients

Dept. of Dental Science/석사[한글]두통과 수면과의 상관관계는 여러 연구들에 의해 보고되어 왔다. 하지만 이들 간의 정확한 상관관계는 아직 명확히 밝혀지지 않았으며 현재까지도 논란이 계속되고 있다. 본 연구는 두통 환자의 수면 양상에 대한 분석을 통하여 두통과 수면과의 상관관계에 대하여 조사 하는 것을 목적으로 하였다. 총 101명의 두통 환자 및 128명의 두통이 존재하지 않는 건강한 대조군이 본 연구에 참여하였다. 두통군은 두통의 특성에 대한 문진 및 Migraine Disability Assessment (MIDAS) 설문을 시행하였으며, 모든 참가자는 Pittsburgh Sleep Quality Index (PSQI) 와 Epworth Sleepiness Scale (ESS)를 이용하여 수면의 질 및 주간졸리움증의 정도를 평가하였다. 추가적으로 두통군과 대조군 각각 28명의 참가자를 임의 선정하여 간이수면검사기인 ApneaLinkTM (Resmed Inc., Poway, California, USA)를 이용하여 수면무호흡-저호흡지수 (AHI, Apnea-hypopnea index), 산소불포화지수 (ODI, Oxygen desaturation index), 야간산소포화도 (nocturnal oxygen saturation) 및 수면장애호흡 (SDB, sleep disordered breathing)의 유병률에 대하여 조사하였다. 연구 결과는 다음과 같다. 1. 두통과 수면의 질 사이에는 유의한 상관관계가 관찰되었다. Global PSQI 는 대조군에 비하여 두통군에서 현저히 높게 나타났으며 (p5)의 비율 또한 두통군에서 현저히 높았다(p<0.0001). 2. 두통과 주간졸리움증 사이에는 유의한 상관관계가 관찰되었다. ESS scores는 대조군에 비하여 두통군에서 현저히 높게 나타났으며 (p10)이 유병률 또한 두통군에서 현저히 높았다 (p<0.0001). 3. 수면의 질은 두통의 강도와 유의한 연관성을 보였다. poor sleeper group은 good sleeper group에 비하여 높은 NRS (p=0.0347) 및 MIDAS score (p=0.0016)를 나타내었다. 반면, 주간졸리움증은 두통의 강도와 유의할 만한 연관성을 보이지 않았다. 4. 두통의 만성도는 수면의 질 및 주간졸리움증과 유의한 연관성을 보였다. 만성 두통군은 급성 두통군에 비하여 높은 global PSQI (p=0.0003) 및 주간졸리움증의 유병률 (p=0.0312)을 나타내었다. 하지만 기상 시 두통 (morning headache)의 존재 유무는 수면의 질 또는 주간졸리움증과 유의할 만한 연관성을 보이지 않았다 5. 두통군과 대조군간의 수면무호흡-저호흡지수, 산소불포화지수, 수면장애호흡의 유병률, 야간산소포화도는 유의할만한 차이를 보이지 않았다. 6. 기상 시 두통이 존재하는 군과 그렇지 않은 군 간의 수면무호흡-저호흡지수, 산소불포화지수, 수면장애호흡의 유병률, 야간산소포화도는 유의할만한 차이를 보이지 않았다. 상기 연구 결과에 기초하였을 때, 두통과 수면 사이에는 유의한 연관성이 존재하는 것으로 보인다. 특히 두통의 강도 및 만성도는 수면의 질과 주간졸리움증과 유의한 연관성을 나타냈다. 하지만, 본 연구에서는 두통과 야간저산소증 (nocturnal hypoxia) 또는 수면장애호흡의 존재 유무 사이의 유의할만한 연관성을 발견할 수 없었다. [영문]Background: The relationship between headache and sleep has been investigated by many studies, but it remains controversial and poorly understood. Objectives: This study investigated the relationship between headache and sleep by evaluating sleep quality, daytime sleepiness, and specific features related to sleep-disordered breathing (SDB). Method: A total of 101 subjects suffering from headache and 128 healthy controls were enrolled. In order to collect information on various aspects of headache attacks, those in the headache group completed a self-reported questionnaire about the characteristics of headache attacks and the Migraine Disability Assessment (MIDAS) questionnaire. The subjective quality of sleep was evaluated in all of the subjects using the Pittsburgh Sleep Quality Index (PSQI) and Epworth Sleepiness Scale (ESS). In addition, the following specific features of sleep were evaluated in 28 subjects selected randomly from each group: apnea-hypopnea index (AHI), prevalence of SDB, nocturnal oxygen saturation (SaO2), and oxygen desaturation index (ODI) as measured using a portable monitoring device (ApneaLinkTM, Resmed Inc., Poway, California, USA). Results: 1. Sleep quality was significantly associated with headache. The global PSQI and the prevalence of poor sleeping (global PSQI >5) were significantly higher in the headache group than in the control group (both p<0.0001). 2. Daytime sleepiness was significantly associated with headache. ESS scores and the prevalence of daytime sleepiness (ESS score >10) were significantly higher in the headache group than in the control group (both p<0.0001). 3. Sleep quality was significantly associated with headache severity. The mean scores on the numerical rating scale and the MIDAS were significantly higher in the poor-sleeper group than in the good-sleeper group (p=0.0347 and p=0.0016, respectively). However, daytime sleepiness was not significantly associated with headache severity. 4. Headache chronicity was significantly associated with sleep quality and daytime sleepiness. The global PQSI and prevalence of daytime sleepiness were significantly higher in the chronic-headache group than in the acute-headache group (p=0.0003 and p=0.0312, respectively). However, morning headache was not significantly associated with sleep quality or daytime sleepiness. 5. The AHI, ODI, prevalence of SDB, and nocturnal SaO2 did not differ significantly between the headache and control groups. 6. The AHI, ODI, prevalence of SDB, and nocturnal SaO2 did not differ significantly between the morning-headache group and no-morning-headache group. Conclusion: The obtained results indicate that there is a significant association between headache and sleep. Among various characteristics of headache, severity and chronicity were significantly associated with sleep quality and daytime sleepiness, while no statistically significant association was evident between headache and nocturnal hypoxia or SDB.ope

3차원 형상변형을 위한 스윕기반의 접근

학위논문(박사) --서울대학교 대학원 :전기. 컴퓨터공학부,2007.Docto

Adaptive Control of Milling Force by Indirect Measurement of Cutting Forces

Maste

순환신경망을 이용한 개인화 언어모델 학습 방법에 관한 연구

학위논문 (석사)-- 서울대학교 대학원 : 전기·정보공학부, 2017. 2. 정교민.In this paper, we propose an efficient transfer leaning methods for training a personalized language model using a recurrent neural network with long short-term memory architecture. With our proposed fast transfer learning schemes, a general language model is updated to a personalized language model with a small amount of user data and a limited computing resource. These methods can be applied especially useful to a mobile device environment while the data is prevented from transferring out of the device for privacy purposes. Through experiments on dialogue data in a drama, it is verified that our transfer learning methods have successfully generated the personalized language model.1 INTRODUCTION 1 2 RELATED WORK 3 3 METHODOLOGY 5 3.1 Language Model 5 3.1.1 Sentence Completion Language Model 6 3.1.2 Message-Reply Prediction Language Model 6 3.2 Proposed Methods 7 3.2.1 Fast Transfer Learning Schemes 7 3.3 Measures 8 3.3.1 Cross Entropy Metric 8 4 EXPERIMENTS 11 4.1 Datasets 11 4.2 Test Results 12 4.2.1 Literary-Style to Spoken-Style Sentence Completion 12 4.2.2 General-Style to Personal-Style Message-Reply Prediction 13 5 CONCLUSION 20 Abstract (In Korean) 24Maste

생산 용량을 고려한 사건기반(Event-driven) MRP의 컴포넌트 개발에 관한 연구

학위논문(석사)--서울대학교 대학원 :산업공학과,1999.Maste

2차원 절삭력 추정을 위한 이송모터 전류의 거동분석

22kc