Enhanced CNN for image denoising

Owing to flexible architectures of deep convolutional neural networks (CNNs), CNNs are successfully used for image denoising. However, they suffer from the following drawbacks: (i) deep network architecture is very difficult to train. (ii) Deeper networks face the challenge of performance saturation. In this study, the authors propose a novel method called enhanced convolutional neural denoising network (ECNDNet). Specifically, they use residual learning and batch normalisation techniques to address the problem of training difficulties and accelerate the convergence of the network. In addition, dilated convolutions are used in the proposed network to enlarge the context information and reduce the computational cost. Extensive experiments demonstrate that the ECNDNet outperforms the state-of-the-art methods for image denoising.Comment: CAAI Transactions on Intelligence Technology[J], 201

심층 신경망을 활용한 자동 영상 잡음 제거 기법

학위논문 (박사) -- 서울대학교 대학원 : 자연과학대학 협동과정 계산과학전공, 2020. 8. 강명주.Noise removal in digital image data is a fundamental and important task in the field of image processing. The goal of the task is to remove noises from the given degraded images while maintaining essential details such as edges, curves, textures, etc. There have been various attempts on image denoising: mainly model-based methods such as filtering methods, total variation based methods, non-local mean based approaches. Deep learning have been attracting significant research interest as they have shown better results than the classical methods in almost all fields. Deep learning-based methods use a large amount of data to train a network for its own objective; in the image denoising case, in order to map the corrupted image to a desired clean image. In this thesis we proposed a new network architecture focusing on white Gaussian noise and real noise cancellation. Our model is a deep and wide network designed by constructing a basic block consisting of a mixture of various types of dilated convolutions and repeatedly stacking them. We did not use a batch normal layer to maintain the original own color information of each input data. Also skip connection was utilized so as not to lose the existing information. Through several experiments and comparisons, it was proved that the proposed network has better performance compared to the traditional and latest methods in image denoising.디지털 영상 데이터 내의 잡음 제거 및 감소는 열화된 영상의 노이즈를 제거하면서 모서리, 곡선, 질감 등과 같은 필수 세부 정보를 유지하는 것이 목적인 영상 처리 분야의 기본적이고 필수적인 작업이다. 딥러닝 기반의 영상 잡음 제거 방법들은 열화된 영상을 원하는 품질의 영상으로 매핑하도록 대용량의 데이터를 이용하여 네트워크를 지도학습하며 고전적인 방법들보다 뛰어난 결과를 보여주고 있다. 본 논문에서는 이미지 디노이징에 대한 여러 방법들을 조사했을 뿐만 아니라, 특히 백색 가우시안 잡음과 실제 잡음 제거 문제에 집중하면서 네트워크 아키텍처를 설계하고 실험하였다. 여러 형태의 딜레이티드 콘볼루션들을 혼합하여 기본 블록을 구성하고 이를 반복하여 쌓아서 설계한 네트워크를 제안하였고, 각각 본연의 색상을 유지할 수 있도록 여러 입력 영상을 하나로 묶어 구성하는 배치를 평준화하는 배치노멀 레이어는 사용하지 않았다. 그리고 블록이 여러 층 진행되는 동안 기존의 정보를 손실하지 않도록 스킵 커넥션을 사용하였다. 여러 실험과 기존에 제안된 방법과 최신 벤치 마크와의 비교를 통하여 제안한 네트워크가 노이즈 감소 및 제거 작업에서 기존의 방법들과 비교하여 우수한 성능을 가지고 있음을 입증하였다. 하지만 제안한 아키텍처방법의 한계점도 몇 가지 존재한다. 제안한 네트워크는 다운샘플링을 사용하지 않음으로써 정보 손실을 최소화하였지만 최신 벤치마크에 비하여 더 많은 추론 시간이 필요하여 실시간 작업에는 적용하기가 쉽지 않다. 실제 영상에는 단순한 잡음보다는 영상 획득, 저장 등과 같은 프로세스를 거치면서 여러 요인들로 인한 다양한 잡음, 블러와 같은 열화가 혼재 되어 있다. 실제 잡음에 대한 다양한 각도에서의 분석과 여러 모델링 실험, 그리고 영상 잡음 및 블러, 압축과 같은 복합 모델링이 필요하다. 향후에는 이러한 점들을 보완함으로써 성능을 향상시키고 네트워크의 조정을 통해 실시간으로 적용될 수 있음을 기대한다.1 Introduction 1 2 Review on Image Denoising Methods 4 2.1 Image Noise Models 4 2.2 Traditional Denoising Methods 8 2.2.1 TV-based regularization 9 2.2.2 Non-local regularization 9 2.2.3 Sparse representation 10 2.2.4 Low-rank minimization 10 2.3 CNN-based Denoising Methods 11 2.3.1 DnCNN 11 2.3.2 FFDNet 12 2.3.3 WDnCNN 12 2.3.4 DHDN 13 3 Proposed models 15 3.1 Related Works 15 3.1.1 Residual learning 15 3.1.2 Dilated convolution 16 3.2 Proposed Network Architecture 17 4 Experiments 21 4.1 Training Details 21 4.2 Synthetic Noise Reduction 23 4.2.1 Set12 denoising 24 4.2.2 Kodak24 and BSD68 denoising 30 4.3 Real Noise Reduction 34 4.3.1 DnD test results 35 4.3.2 NTIRE 2020 real image denoising challenge 42 5 Conclusion and Future Works 46 Abstract (in Korean) 54Docto

Fully Trainable and Interpretable Non-Local Sparse Models for Image Restoration

Non-local self-similarity and sparsity principles have proven to be powerful priors for natural image modeling. We propose a novel differentiable relaxation of joint sparsity that exploits both principles and leads to a general framework for image restoration which is (1) trainable end to end, (2) fully interpretable, and (3) much more compact than competing deep learning architectures. We apply this approach to denoising, jpeg deblocking, and demosaicking, and show that, with as few as 100K parameters, its performance on several standard benchmarks is on par or better than state-of-the-art methods that may have an order of magnitude or more parameters.Comment: ECCV 202