시각 기반 추론을 위한 다중 양태의 깊은 학습

학위논문 (박사)-- 서울대학교 대학원 : 인문대학 협동과정 인지과학전공, 2018. 8. 장병탁.컴퓨터 시각과 자연어 처리 기술의 발달은 일반 인공 지능에 대한 연구를 가속화 하였다. 시각과 자연어는 인간이 사용하는 가장 상호 작용적인 양태이므로 시각과 언어에 모두 기반한 이해와 추론은 일반 인공 지능의 핵심 과제가 된다. 시각 질의 응답(VQA)은 시각 튜링 테스트의 한 예로서, 초석이 되는 튜링 테스트 [Turing, 1950] 연구에 기반한다. VQA 데이터셋 [Agrawal et al., 2017]은 대용량의 이미지 데이터셋을 이용해 지도 학습을 위한 질문-답 쌍을 수집하였다. 예를 들면 "누가 안경을 쓰고 있나?", "우산이 뒤집어져 있나?", "침대에는 몇 명의 아이들이 있는 가?"와 같은 질문에 기계는 수집한 답들을 이용해 학습한 후 이미지와 질문만을 보고 답을 내어야 한다. 본 연구에서는 시각 질의 응답 과제를 다중 양태 학습 문제로 일반화하고, 다중 양태 학습의 발전을 다층 구조 신경망의 다양한 형태를 활용하여 계층적 표상을 학습하는깊은학습,다중양태깊은학습 관점에서살펴본다.다중양태깊은학 습을 세 가지 분류 기준, 다중 양태 융합, 교차 양태, 공유 표상 학습으로 나누어 소개한다. 또, 이전 연구들 Kim et al. [2016b, 2017a, 2018]를 바탕으로 세 가지 주요 연구, 다중 양태 잔차 학습, 다중 양태 저계수 쌍일차 추출, 쌍일차 주의 망 의 내용들을 논의한다. 다중 양태 잔차 학습은 잔차 학습을 기반으로 시각-언어 다중 양태의 결합 표상 을 찾는다. 여기에서 신경망의 일부는 앞 부분의 신경망이 표현하는 목적 함수의 잔차 오류를 학습하도록 강제한다. 반면, 다중 양태 저계수 쌍일차 추출은 각 양태 가 적절하게 선형 사영된 조건에서 원소곱이 결합 함수로서 가지는 수학적 의미를 설명할 수 있게 한다. 쌍일차 주의 망은 이전 두 연구를 통합한다. 저계수 쌍일차 추출에 대한 해석을 바탕으로 행렬 연결 곱을 이용해 단일 주의 기제를 쌍일차 주의로 성공적으로 일반화하여 계산 비용은 단일 주의 망과 비슷한 수준으로 효율적이다. 더 나아가, 주의 잔차 학습을 제안하여 여덟 개의 쌍일차 주의 지도를 추론 과정에서 활용할 수 있게 하여 다층 주의 망에서 발생하는 과조정을 방지한다. 그 결과, 다중 양태 잔차 망 (MRN)은 VQA 챌린지 2016에서 4위를 기록하였 고, 2016년 11월 출판 시점에는 보다 적은 파라미터를 이용하여 다중 양태 저계수 쌍일차 주의 망 (MLB)을 제안하고 세계 최고 성능을 갱신하였다. 쌍일차 주의 망 (BAN)은 VQA 챌린지 2018에서 준우승(공동 2위)를 하였으나 단일 모델로는 최고 성능을 보였다. 이 결과는 2018년 6월 18일, CVPR 2018 학회(미국 솔트레이크 시티) 워크샵에 초청되어 구두 발표하였다. 시각 또는 자연어 처리는 계속 발전 중인 분야이므로 제안하는 다중 양태 깊은 학습 방법들은 컴퓨터 시각과 자연어 처리 기술의 발달과 더불어 더 향상될 수 있는 가능성이 있다.Abstract i Chapter 1 Introduction 1 Chapter 2 Multimodal Deep Learning 6 2.1 Introduction 6 2.2 Linear Model 8 2.3 Multimodal Deep Learning 10 2.3.1 Multimodal Fusion 10 2.3.2 Cross Modality Learning 11 2.3.3 Shared Representation Learning 13 2.4 Cognitive Models 13 2.5 Conclusions 15 Chapter 3 Multimodal Residual Learning 16 3.1 Introduction 16 3.2 Related Works 18 3.2.1 Deep Residual Learning 18 3.2.2 Stacked Attention Networks 19 3.3 Multimodal Residual Networks 20 3.3.1 Background 20 3.3.2 Multimodal Residual Networks 21 3.4 Experiments 22 3.4.1 Visual QA Dataset 22 3.4.2 Implementation 24 3.4.3 Exploring Alternative Models 26 3.5 Results 27 3.5.1 Quantitative Analysis 27 3.5.2 Qualitative Analysis 29 3.6 Conclusions 30 Chapter 4 Multimodal Low-rank Bilinear Pooling 37 4.1 Introduction 37 4.2 Low-rank Bilinear Model 39 4.3 Low-rank Bilinear Pooling 40 4.3.1 Full Model 41 4.3.2 Nonlinear Activation 41 4.3.3 Shortcut Connection 42 4.4 Multimodal Low-rank Bilinear Attention Networks 43 4.4.1 Low-rank Bilinear Pooling in Attention Mechanism 43 4.4.2 Multimodal Low-rank Bilinear Attention Networks 43 4.4.3 Model Schema 44 4.5 Experiments 45 4.5.1 Preprocessing 48 4.5.2 Vision Embedding 48 4.5.3 Hyperparameters 49 4.6 Results 49 4.6.1 Six Experiment Results 50 4.6.2 Comparison with State-of-the-Art 52 4.6.3 Ensemble of Seven Models 52 4.7 Related Works 52 4.7.1 Multimodal Residual Networks 53 4.7.2 Higher-Order Boltzmann Machines 53 4.7.3 Multiplicative Integration with Recurrent Neural Networks 54 4.7.4 Compact Bilinear Pooling 55 4.8 Discussions 56 4.8.1 Understanding of Multimodal Compact Bilinear Pooling 56 4.8.2 Replacement of Low-rank Bilinear Pooling 58 4.9 Conclusions 59 Chapter 5 Bilinear Attention Networks 62 5.1 Introduction 62 5.2 Low-rank Bilinear Pooling 64 5.3 Bilinear Attention Networks 66 5.4 Related Works 68 5.5 Experiments 69 5.5.1 Datasets 69 5.5.2 Preprocessing 71 5.5.3 Nonlinearity 72 5.6 Variants of BAN 72 5.6.1 Enhancing Glove Word Embedding 72 5.6.2 Integrating Counting Module 73 5.6.3 Integrating Multimodal Factorized Bilinear (MFB) Pooling 75 5.6.4 Classifier 75 5.6.5 Hyperparameters and Regularization 76 5.7 VQA Results and Discussions 77 5.7.1 Quantitative Results 77 5.7.2 Residual Learning of Attention 78 5.7.3 Qualitative Analysis 80 5.8 Flickr30k Entities Results and Discussions 80 5.9 Conclusions 82 Chapter 6 Conclusions 89 Bibliography 91 초록 106Docto