Prior-adaptive Convolutional Neural Network for Image Denoising

학위논문 (박사)-- 서울대학교 대학원 공과대학 전기·컴퓨터공학부, 2017. 8. 조남익.디지털 영상 취득 과정에서 다양한 잡음이 발생하고 그로 인해 영상의 화질이 저하된 다. 영상 잡음 제거는 이러한 잡음을 보정하는 중요한 과정으로, 따라서 다양한 연구가 이루어지고 있다. 잡음 제거는 대표적인 불량조건문제이기 때문에 고전적인 연구는 영 상 프라이어 (prior) 에 관한 다양한 모델을 이용하는 잡음 제거 방법을 개발해 왔다. 이러한 알고리즘들에서 결과 영상은 개발자가 설계한 영상의 특성을 따르는 방향으로 복원된다. 최근에는 학습 기반의 영상 잡음 제거 알고리즘도 많이 개발되었다. 이 방법 들은 데이터 주도 (data-driven) 방식을 통해 잡음 영상으로부터 복원영상을 얻어내는 함수를 학습하는 방식으로, 현재 여러 잡음 제거 알고리즘 중가장 뛰어난 성능을 보이 고 있다. 본 논문에서는 컨벌루션 신경망 (CNN)을 기반으로 한 잡음 제거 알고리즘을 제안한다. 기존의 학습 기반방법들은 픽셀 오차를 최소화하는 데에만 집중하면서 영상 의 특성은 고려하지 못하는 데 반해, 제안하는 알고리즘은 영상 프라이어를 고려하여 보다 개선된 결과를 얻도록 한다. 첫 번째로, 기존의 CNN을 여러 개의 변형된 입력 영상에 적용하여 보다 향상된 복원 영상을 얻을 수 있도록 하는 자가위원회 네트워크 방법을 제안한다. 일반적인 가역변환을 겪은 영상을입력으로 받을 때, CNN 이 만드는 복원 함수는 다른 특성을 갖고, 그에 따라 원본 영상을 입력으로 받는 것과 유사하지만 다른 결과를 생성하게 된다. 기존의 커미트 머신(Committee machine) 방법들로부터 알려져 있듯이이결과 영상들을 종합하여 보다 개선된 복원영상을 얻을 수 있다. 기존 의 위원회 기반 방법들은 여러 개의 다른 네트워크를 사용하는 반면, 제안하는 방법은 하나의 네트워크로부터 위원회를 구성한다. 위원회 구성에 사용하는 가역변환은 영상 처리의 특성으로부터 결정된다. 제안하는 자가위원회 네트워크는 별도의 학습 없이도 기존 CNN의 성능을 향상시킨다. 두 번째로, 영상 프라이어를 네트워크 학습에 적용하는 방법을 제안한다. 다양한프 라이어 중 본 논문에서는 잡음 제거에 가장 널리 사용되는 비국부적 자가유사성 (NSS) 프라이어를 적용한다. 제안하는 BMCNN 방법은 블록 매칭을 통해 유사한 패치들을 결 합하여 하나의 원본 패치를 예측한다. BMCNN 방법은 다양한 특성을 가진 영상들에서 기존의 방법들보다 뛰어난 성능을 보였다. 또한, 기존의 NSS 기반 방법들은 BMCNN 의 구조로 해석될 수 있다. 세 번째로, 가우시안 잡음 이외의 잡음 모델에 대해서도 제안하는 방법들을 적용 시킨다. 본 논문에서는 푸아송 잡음과 실제 카메라로부터 촬영한 영상의 Real 잡음에 대한 실험을 구성한다. 제안하는 방법은 다양한 잡음 모델에 대해 좋은 성능을 보였다. 잡음의 특성이 명확하지 않고 영상 좌표의 어긋남이 존재하는 Real 잡음의 경우 특히 뛰어난 성능을 보였다.1. Introduction 1 1.1 Self - Committee Network based on Image Processing Prior 4 1.2 Image Denoising by a Block-Matching Convolutional Neural Network 5 1.3 Non-Gaussian Noise 8 1.4 Contribution 9 1.5 Contents 10 2. Related Work 11 2.1 Prior based Image Denoising 11 2.2 Learning based Image Restoration 13 2.3 Non-Gaussian Image Denoising 15 3 Self-Committee Network based on Image Processing Prior 17 3.1 Committee Machine 17 3.2 Proposed Algorithm 18 3.2.1 Flip and/or Rotation (FR) 19 3.2.2 Linearity 20 3.3 Experimental Results 21 3.3.1 Experiments on image denoising network 22 3.3.2 Experiments on a single image super-resolution network 26 4 Image Denoising by a Block-Matching Convolutional Neural Network 29 4.1 BlockMatching Convolutional Neural Network 29 4.1.1 Patch Extraction and Block Matching 30 4.1.2 Network Structure 32 4.1.3 Patch aggregation 35 4.1.4 Connection with Traditional NSS based Denoising 36 4.2 Experiments 39 4.2.1 TrainingMethodology 39 4.2.2 Training and Test Data 40 4.2.3 Comparision with the State-of-the-ArtMethods 41 4.2.4 Effects of Network Formulation 48 5 Applications: Denoising of Non-Gaussian Noise 55 5.1 Denoising of Poisson Noise 55 5.1.1 Poisson Noise 55 5.1.2 Training Criteria 57 5.1.3 Experiments 58 5.2 Denoising of Real Noise 66 5.2.1 Real Noise Database 66 5.2.2 Training Criteria 68 5.2.3 Experiments 69 6 Conclusions 83 Bibliography 85 Abstract (Korean) 97Docto