심층 신경망을 활용한 영상 품질 강화 기법

학위논문(박사) -- 서울대학교대학원 : 자연과학대학 협동과정 계산과학전공, 2021.8. 노형민.In this thesis, we focus on deep learning methods to enhance the quality of a single image. We first categorize the image quality enhancement problem into three tasks: denoising, deblurring, and super-resolution, then introduce deep learning techniques optimized for each problem. To solve these problems, we introduce a novel deep neural network suitable for multi-scale analysis and propose efficient model-agnostic methods that help the network extract information from high-frequency domains to reconstruct clearer images. Experiments on SIDD, Flickr2K, DIV2K, and REDS datasets show that our method achieves state-of-the-art performance on each task. Furthermore, we show that our model can overcome the over-smoothing problem commonly observed in existing PSNR-oriented methods and generate more natural high-resolution images by applying adversarial training.본 학위 논문은 단일 영상의 품질 강화를 위한 딥러닝 기법에 대한 연구를 다룬다. 영상 품질 강화를 손상된 이미지의 잡음 제거 및 디블러링과 저해상도 이미지를 고해상도로 변환하는 초해상도 문제로 세분화한 뒤, 각각의 문제 해결에 최적화된 딥러닝 기법을 단계별로 소개한다. 특히, 손상된 영상의 특성을 효과적으로 분석하고 보다 깔끔한 고해상도 영상을 생성하기 위하여 주어진 영상을 다중 스케일로 분석하는 심층 신경망 구조를 제안하였으며, 이외에도 딥러닝 모델이 영상 내 복잡한 고주파수 영역에 대한 정보를 효과적으로 추출하고 재건할 수 있도록 돕는 기법들을 소개한다. 우리는 제안된 기법들을 SIDD, Flickr2K, DIV2K, REDS 등 데이터셋에 적용하여 기존의 딥러닝 기반 기법보다 향상된 성능을 실험적으로 증명하였다. 또한 초해상도 문제 해결을 위해 학습된 심층 신경망에 추가적인 적대적 학습을 적용함으로써 기존 딥러닝 기법들의 한계로 지적되었던 부분 평균화 문제를 극복하고 보다 자연스러운 고해상도 영상을 생성할 수 있음을 보였다.1. Introduction 1 2. Preliminaries 4 2.1 Image Denoising 4 2.1.1 Problem Formulation: AWGN 4 2.1.2 Existing Methods 6 2.2 Image Deblurring 7 2.2.1 Problem Formulation: Blind Deblur 7 2.2.2 Existing Methods 7 2.3 Single Image Super-Resolution 9 2.3.1 Problem Formulation: SISR 9 2.3.2 Existing Methods 12 3. Image Denoising 15 3.1 Proposed Methods 15 3.1.1 Multi-scale Edge Filtering 15 3.1.2 Feature Attention Module 17 3.1.3 Network Architecture 19 3.2 Experiments 21 3.2.1 Training Details 21 3.2.2 Experimental Results on DIV2K+AWGN dataset 21 3.2.3 Experimental Results on SIDD dataset 26 4. Image Deblurring 28 4.1 Proposed Methods 28 4.1.1 Multi-Scale Feature Analysis 29 4.1.2 Network Architecture 29 4.2 Experiments 31 4.2.1 Training Details 31 4.2.2 Experimental Results on Flickr2K dataset 31 4.2.3 Experimental Results on REDS dataset 34 5. Single Image Super-Resolution 38 5.1 Proposed Methods 38 5.1.1 High-Pass Filtering Loss 39 5.1.2 Gradient Magnitude Similarity Map Masking 41 5.1.3 Soft Gradient Magnitude Similarity Map Masking 43 5.1.4 Network Architecture 44 5.1.5 Adversarial Training for Perceptual Generative Model 45 5.2 Experiments 47 5.2.1 Training Details 47 5.2.2 Experimental Results on DIV2K dataset 48 5.2.3 Experimental Results on Set5/Set14 dataset 55 5.2.4 Experimental Results on REDS dataset 60 6. Conclusion and Future Works 63박