역연산에 기반한 합성곱신경망의 설명 및 시각화

학위논문(박사) -- 서울대학교대학원 : 공과대학 전기·정보공학부, 2021.8. 권혁진.Interpretability and explainability of machine learning systems have received ever-increasing attention, especially for convolutional neural networks (CNN). Although there are various interpretation techniques for learning algorithms, post-hoc local explanation methods (e.g., the attribution method that visualizes pixel-level contribution of input to its corresponding result) are under great interest because they can deal with the high dimensional parameters and nonlinear operations of CNNs. Therefore, this dissertation presents three new post-hoc local explanation methods to visualize and understand the working mechanisms of CNNs. At first, this dissertation presents a new method called guided nonlinearity (GNL) that improves the performance of attribution by backpropagating only positive gradients through nonlinear operations. GNL is inspired by the mechanism of action potential (AP) generation in the postsynaptic neuron that depends on the sum of excitatory (EPSP) and inhibitory postsynaptic potentials (IPSP). This dissertation assumes that paths consisting of excitatory synapses faithfully reflect the contributions of inputs to the output. Then this assumption is applied to CNNs by allowing only positive gradients backpropagate through nonlinear operations. Experimental results have shown that GNL outperforms existing methods for computing attributions in terms of the deletion metrics and yields fine-grained and human-interpretable attributions. However, the attributions from existing methods, including GNL, lack a common theoretical background and sometimes give contradicting results. To address this problem, this dissertation develops the operation-wise inverse method that computes the inverse of prediction in an operation-wise manner by considering that CNNs can be decomposed with four fundamental operations (convolution, max-pooling, ReLU, and fully-connected). The operation-wise inverse process assumes that the forward-pass of CNN is a sequential propagation of physical quantities that indicate the magnitude of specific image features. The inverses of fundamental operations are formulated as constrained optimization problems that inverse results should generate output features consistent with the forward-pass. Then, the inverse of prediction is computed by sequentially applying inverses of fundamental operations of CNN. Experimental results show that the proposed operation-wise approach can be a reference tool for computing attributions because it can provide equivalent visualization results to several conventional methods, and the attributions from the operation-wise method achieve state-of-the-art performances in terms of deletion score. Although the operation-wise method can provide a reference framework to compute attributions, applying the attribution concept to CNNs with multiple-valued predictions has not yet been addressed because the computation of attribution requires a single scalar value represents the prediction. To address this problem, this dissertation proposes the layer-wise inverse-based approach by decomposing CNNs into a set of layers that process only positive values that can be interpreted as neural activations. Then, the inverses of layers are formulated as constrained optimization problems that identify activations-of-interest in lower-layers. Then, the inverse of prediction is computed by sequentially applying inverses of layers of CNN as in the operation-wise method. Experimental results show that the proposed layer-wise inverse-based method can analyze CNNs for classification and regression in the same framework. Especially for the case of regression, the layer-wise approach showed that conventional CNNs for single image super-resolution overlook a portion of frequency bands that may result in performance degradation.해석 가능한 기계학습 알고리즘들은 최근 많은 관심을 받고 있으며, 이 중 합성곱신경망 (CNN)의 설명 및 시각화는 주요한 연구주제로서 취급되고 있다. 기계학습 알고리즘을 이해하기 위한 다양한 방법 중 특히 주어진 알고리즘의 예측 결과에 대한 입력의 기여도를 시각화하는 귀인 (attribution)과 같은 사후검정 (post-hoc) 국소설명 (local explanation) 방법은 고차원 매개 변수를 가진 비선형 함수에 적용할 수 있어서 CNN의 설명 및 시각화의 주요한 방법으로 사용되고 있다. 이에 따라 본 논문은 CNN의 작동 원리를 시각화하고 이해하는데 사용될 수 있는 세 가지 사후검정 국소설명 방법들을 제시한다. 첫 번째로, 본 논문은 비선형 연산의 양의 기울기 (positive valued gradient)만 역전파 (backpropagation)하여 귀인 성능을 향상시키는 유도된비선형법 (guided nonlinearity method)을 제시한다. 유도된비선형법의 설계는 흥분성 및 억제성 시냅스 후 전위의 합에 의존하는 시냅스 후 뉴런의 활동 전위 생성 메커니즘으로부터 비롯되었다. 본 논문은 흥분성 시냅스로 구성된 경로가 출력에 대한 입력의 기여도를 충실하게 반영하고 있다고 가정하였다. 그 후, 본 논문은 비선형 연산의 양의 기울기만 역전파 되도록 허용함으로써 이 가정을 CNN의 설명 및 시각화에 적용할 수 있도록 구현하였다. 본 논문은 실험을 통해, 제안된 유도된비선형법이 삭제척도 (deletion metric) 측면에서 기존의 방법들보다 향상된 성능을 보이며 해석 가능하고 세밀한 (fine-grained) 귀인을 산출함을 보였다. 그러나 유도된비선형법을 포함한 기존의 귀인 방법들은 서로 다른 이론을 기반으로 설계되었으며, 이로 인하여 서로 모순되는 귀인들을 계산하는 때도 있다. 이 문제를 해결하기 위해 본 논문에서는 CNN이 합성곱 (convolution), 최대풀링 (max-pooling), ReLU, 전연결 (full-connected)의 4가지 기본 연산들의 합성함수로 표현될 수 있다는 점에 기반하여, CNN을 통한 예측의 역상 (inverse image)을 기본 연산들의 역연산을 통해 계산하는 연산별역연산법 (operation-wise inverse-based method)을 제안한다. 연산별역연산법은 CNN의 정방향진행 (forward-pass)을 특정 이미지특징 (image feature)의 크기를 의미하는 물리량의 순차적 전파로 가정한다. 이 가정하에 연산별역연산법은 계산된 역상이 기존의 정방향진행 결과와 모순되지 않도록 설계된 제한된 최적화 문제 (constrained optimization problem)를 통해 기본 연산의 역연산을 계산한다. 본 논문은 실험을 통해 연산별역연산법이 기존의 여러 귀인 방법들보다 삭제척도 측면에서 향상되었으면서도 질적 측면에서 유사한 시각화 결과를 제공하는 것을 보임으로써 연산별역연산법이 귀인계산의 공통 프레임 워크 (reference framework)로 사용될 수 있음을 보였다. 한편, 영상 분류 문제와 같이 단일 예측을 대상으로 한 CNN과는 달리 복수의 예측값을 가지는 CNN에 대하여 귀인계산을 시도한 연구는 현재까지 보고되지 않았다. 이는 기존의 귀인 계산방법들은 CNN에 대하여 단일 스칼라 (scalar) 값을 출력하도록 요구하기 때문이다. 이 문제를 해결하기 위해 본 논문에서는 계층별역연산법 (layer-wise inverse-based method)을 제안한다. 계층별역연산법은 CNN을 인공 뉴런의 활성값 (neural activation)으로 해석할 수 있는 양의 실수들을 입출력으로 하는 계층 (layer)으로 분해하고, 제한된 최적화 문제로 정의되는 각 계층의 역연산을 정방향진행 결과에 순차적으로 적용함으로써 CNN을 통한 예측의 역상을 계산한다. 본 논문은 실험을 통해, 제안된 계층별역연산법이 영상 분류 및 회기를 대상으로 한 CNN들의 설명 및 시각화를 동일한 프레임 워크 (common framework)에서 처리할 수 있음을 확인하였다. 또한, 본 논문은 계층별역연산법을 통해 단일 영상 고해상화 (single image super-resolution)를 대상으로 한 CNN인 VDSR이 입력 영상의 주파수 대역의 일부를 간과하고 있고 이는 VDSR을 통한 고해상화시 특정 주파수 대역에서 영상 품질의 하락을 유발할 수 있음을 보였다.Contents 1 List of Tables 4 List of Figures 5 1 Introduction 7 1.1 Guided Nonlinearity 8 1.2 Inverse-based approach 9 1.2.1 Operation-wise method 10 1.2.2 Layer-wise method 11 1.3 Outline 14 2 RelatedWork 15 2.1 Activation-based approach 15 2.2 Perturbation-based approach 16 2.3 Backpropagation-based approach 17 2.4 Inverse-based approach 18 3 Guided Nonlinearity 19 3.1 Motivation and Overview 19 3.2 Proposed Guided Non-linearity 23 3.2.1 Integrated Gradients 23 3.2.2 Postulations 23 3.2.3 Proposed method 24 3.3 Experimental Results 27 3.3.1 Evaluation Metrics 29 3.3.2 Experiment details 29 3.3.3 Results and Discussions 30 3.4 Summary 30 4 Operation-wise Approach 32 4.1 Motivation and Overview 32 4.2 Proposed Method 35 4.2.1 Problem statement 36 4.2.2 Proposed constraints 36 4.2.3 Mathematical formulation 37 4.3 Implementation details 38 4.3.1 Inverse of ReLU and Max Pooling 38 4.3.2 Inverse of Fully Connected and Convolution Layers 39 4.4 Experimental Settings 40 4.4.1 Qualitative results 40 4.4.2 Quantitative Results 46 4.5 Summary 50 5 Layer-wise Approach 51 5.1 Motivation and Overview 51 5.2 Formulation of the Proposed Inverse Approach 55 5.2.1 Activation range 56 5.2.2 Minimal activation 56 5.2.3 Linear approximation 57 5.2.4 Layer-wise inverse 57 5.3 Details of inverse computation 59 5.3.1 Convolution block (linear part) + ReLU 59 5.3.2 Max-pooling layer 60 5.3.3 Fully connected block (linear part) + ReLU 61 5.3.4 Fully connected block (linear part) + Softmax 61 5.4 Application to the ImageNet classification task 62 5.4.1 Evaluation of output-reconstruction in terms of input-simplicity 62 5.4.2 Deletion and insertion scores 63 5.4.3 Selection of the regularization term weight 64 5.4.4 Comparison to Existing Methods 67 5.4.5 Output-reconstruction versus input-simplicity plot 68 5.4.6 Ablation study of the activation regularization 72 5.5 The inverse of single image super-resolution network 72 5.5.1 Experimental setting 72 5.5.2 Selection of the regularization term weight 74 5.5.3 Evaluation of the proposed inverse process 77 5.5.4 Frequency domain analysis of attribution 77 5.6 Summary 81 6 Conclusions 82 Bibliography 84 Abstract (In Korean) 95박

건설산업 정보화를 통한 생산성 제고방안 연구(Strategies on enhancing productivity by adopting information technology for construction industry)

노트 : 이 연구보고서의 내용은 국토연구원의 자체 연구물로서 정부의 정책이나 견해와는 상관없습니다

건설산업 지식기반 구축방안 연구(A study on strategies for establishment of knowledge-based construction industry)

노트 : 이 연구보고서의 내용은 국토연구원의 자체 연구물로서 정부의 정책이나 견해와는 상관없습니다

지역별 사회간접자본(SOC) 스톡 추계 연구(II)(Estimation of regional social overhead capital stock)

노트 : 이 연구보고서의 내용은 국토연구원의 자체 연구물로서 정부의 정책이나 견해와는 상관없습니다

사회간접자본(SOC) 스톡 추계 연구(Estimation of social overhead capital stock)

노트 : 이 연구보고서의 내용은 국토연구원의 자체 연구물로서 정부의 정책이나 견해와는 상관없습니다

지역개발사업의 효율적 추진을 위한 SOC투자 연계집행 방안

노트 : 이 연구보고서의 내용은 국토연구원의 자체 연구물로서 정부의 정책이나 견해와는 상관없습니다

건설산업 발전을 위한 건설보증 역할강화 방안(Strategies to strengthen the role of the construction surety to develop the construction economy)

노트 : 이 연구보고서의 내용은 국토연구원의 자체 연구물로서 정부의 정책이나 견해와는 상관없습니다

알츠하이머와 파킨슨 질병에 치료 효과를 보이는 세리아 나노 입자

학위논문 (박사)-- 서울대학교 대학원 : 공과대학 화학생물공학부, 2018. 8. 현택환.Ceria 나노 입자는 Ce3+ (환원) 및 Ce4+ (산화) 상태의 산화 환원 순환에 의해 활성 산소 종 (ROS) 및 활성 질소 종 (RNS)을 제거 할 수 있는 효과적인 항산화제이다. 또한, 5nm 미만의 크기를 갖는 세리아 나노 입자의 촉매 활성은 재활용되는 장점이 있다. 이러한 이유로 활성 산소가 유발하는 산화 스트레스에 의해 유발되는 다양한 질병에 대한 잠재적 인 치료제 개발에 매우 적합하다. 이러한 배경으로 제 1 장에서는 의료용 세리아 나노 입자를 활용한 의학적 적용을 기술하였다. 제 2 장은 알츠하이머 질환에 대한 항산화제로서 미토콘드 리아 표적 세리아 나노 입자를 합성하고 그 치료에 대한 효과를 기술하였다. 미토콘드리아 산화 스트레스는 알츠하이머 병을 비롯한 신경 퇴행성 질환의 주요 병리학 적 요소이다. 미토콘드리아 기능 장애로 인해 활성산소가 비정상적으로 생성되면 신경 세포의 퇴행과 사멸을 야기한다. 세리아 나노 입자는 Ce3+와 Ce4+ 산화 상태 사이를 왕복하면서 강하고 재활용 가능한 항산화제이다. 그래서, 세리아 나노 입자를 선택적으로 미토콘드리아로 표적화 하는 것은 신경 퇴행성 질환에 대한 유망한 치료법 일 수 있다. 그래서 세리아 나노입자 표면에 미토콘드리아 표적 물질인 Triphenylphosphonium (TPP) 를 결합시켜 TPP-세리아를 설계하고 합성하였다. 그리고 5XFAD 유전자 변형 알츠하이머 병 쥐 모델에 치료제로 사용해 보았다. 그 결과 TPP가 결합 된 세리아 나노 입자는 쥐의 뇌에서 미토콘드리아 손상을 완화, 산화적 스트레스 완화, 뇌염증 감소와 신경세포 사멸 감소의 치료 효과를 보였다. 이러한 결과들은 TPP가 접합 된 세리아 나노 입자가 알츠하이머 병에서 미토콘드리아 산화 스트레스의 잠재적인 치료 후보 물질이라는 것을 보여주었다. 제 3 장에서는 파킨슨 질병에서 미토콘드리아, 세포 내 및 세포 외 활성 산소를 선택적으로 제거하는 세리아 나노 입자 시스템에 대해 기술하였다. 활성 산소에 의해 유발 된 산화 스트레스는 많은 질병의 병인 및 진행에 중요한 요인 중 하나이다. 그러나, 세포내의 위치에 따라 활성산소를 제거하는 적절한 기술이 부족해 필수적인 그 병리학적 효과에 대한 이해와 연구가 가능하지 않다. 그래서 지금까지 개발된 기술을 활용하여 세리아 나노입자의 크기와 표면 성질을 다르게 해서 미토콘드리아, 세포 내 및 세포 외 활성 산소의 선택적 제거가 가능한 시스템을 개발 하였다. 이 시스템은 앞서 개발된 세포 내 표적 세리아, 미토콘드리아 표적 세리아 나노 입자와 세포 외 표적 세리아 나노 입자 덩어리로 구성되었다. 그리고 나는 이 시스템을 파킨슨 질병 모델 쥐 적용해 치료 연구를 해보았다. 그 결과 세포 내 또는 미토콘드리아 활성 산소를 제거하는 것이 파킨슨 모델 쥐의 선조체에서 타이로신 하이드록실레이즈를 보호하면서 신경세포의 퇴행성과 사멸을 방지하고, 별 아교 세포의 활성화 및 지질의 과산화에 의한 산화 스트레스를 억제한다는 것을 보여주었다. 이 결과는 파킨슨 질병의 진행에서 세포 내 및 미토콘드리아 활성산소의 필수 역할을 규명해주었다. 나는 세리아 나노입자 시스템이 다른 질병에서도 다양한 ROS의 기능을 밝히는데 유용한 도구로 사용될 것으로 기대한다. 주요어: 나노 입자, 세리아 나노 입자, 미토콘드리아, 알츠하이머 질병, 파킨슨 질병, 활성 산소, 항산화제, 미토콘드리아 활성 산소, 세포 밖 활성 산소, 세포내 활성 산소, 치매 치료제, 신경 퇴행성 질환, Chapter 1. Introduction: Ceria Nanoparticles in Medical Applications 1 1.1 Introduction 1 1.2 Ceria nanoparticles for neurodegenerative disease therapy 2 1.3 Ceria nanoparticles for Ischemic stroke therapy 3 1.4 Ceria nanoparticles for retinal degenerative disease therapy. 4 1.5 Ceria nanoparticles for cancer therapy 5 1.6 References 9 Chapter 2. Mitochondria-targeting ceria nanoparticles as antioxidants for Alzheimers disease 11 2.1 Introduction 11 2.2 Experimental section 14 2.3 Result and discussion 25 2.4 Conclusion 61 2.5 References 63 Chapter 3. Ceria nanoparticle systems for selective scavenging of mitochondrial, intracellular, and extracellular reactive oxygen species in Parkinsons disease 70 3.1 Introduction 70 3.2 Experimental section 75 3.3 Result and discussion 86 3.4 Conclusion 107 3.5 References 109 Bibliography 115 국문 초록 (Abstract in Korean) 118Docto

선박 기적음의 위상차를 이용한 방향탐지 시스템

In this paper, a sound reception system using a phase difference of whistle signals is proposed and analyzed through a spectral analysis. The proposed system receives whistle signals from four microphones which are installed toward four directions with 90 degree interval at the position. The proposed algorithm detects the phase of each received signal through the spectral analysis and estimates the direction of the whistle signal by obtaining the phase differences of the received signals from two adjacent microphones. Also, we theoretically analyze the phase difference between two adjacent received signals according to the arrival angle of the received signal and implement the proposed system using DSP chip. In addition, we verify the operation of the proposed algorithm using the implemented system in a laboratory environment. Experimental results show that the proposed scheme can well estimate the direction of the whistle signal.목 차 List of Tables iii List of Figures iv Abstract vi 1. 서 론 1 2. 음향 수신 장치 2.1 음향 수신 장치의 개요 4 2.2 음향 수신 장치의 구성 4 3. 방향탐지 알고리즘 3.1 수신각도에 따른 기적소리신호의 위상차이 8 3.2 위상 차이를 이용한 방향탐지 알고리즘 14 4. 시뮬레이션 16 5. 방향탐지 시스템 하드웨어 구현 21 6. 실험 6.1 실험 과정 25 6.2 실험 결과 27 7. 결론 47Maste