단일 이미지 내 비제거를 위한 다중스케일 연결 합성곱 신경망

학위논문(석사) -- 서울대학교대학원 : 자연과학대학 협동과정 계산과학전공, 2021.8. 강명주.본 논문에서는 신경망에서 생성된 모든 스케일의 특징들을 활용하여 이미지의 세부 정보까지 복구할 수 있는 다중스케일 연결 합성곱 신경망(MC-CNN)을 제안한다. 세부 정보 복구를 위한 MC-CNN의 첫 번째 핵심은 다중스케일 연결로, 인코더 부분의 모든 스케일 특징들을 디코더에 연결하여 가능한 많은 정보를 활용하여 이미지를 복구할 수 있도록 하는 것이다. 다중스케일 연결은 단순히 각 스케일의 특징을 합치는 것이 아니라 어느 스케일의 특징이 현재 과정에서 중요한지 배울 수 있도록 채널 어텐션을 고려한다. 두 번째 핵심은 와이드 논로컬 (WRNL) 블록이다. 우리는 넓은 직사각형으로 이미지를 나눌 때 각 패치가 가장 고른 분포를 가진다는 것을 알아냈고, 이를 바탕으로 WRNL을 제안하였다. 합성 및 실제 비 데이터셋으로 진행된 많은 실험 결과들을 통해 MC-CNN이 정량적으로 기존 방법들을 능가하고 정성적으로도 많은 개선이 이루어졌음을 확인하였다.In this thesis, we propose an end-to-end multi-scale connected convolutional neural network (MC-CNN) that leverages all scale features to remove rain streaks while recovering detailed information on images. The first key point for recovering details is a multi-scale connection, which connects all scale features of the encoder part to the decoder part to restore the image with as much information as possible. Multi-scale connection considers channel-wise attention to learn which scale features are important in the current process, rather than simply combining the features of each scale. The second key point is a wide regional non-local (WRNL) block. We find that dividing images into wide rectangular patches makes each patch have a more even distribution than the existing method and based on this, we propose a WRNL block. Experimental results on synthetic and real-world datasets demonstrate that MC-CNN quantitatively outperforms existing state-of-the-art models and qualitatively achieves several improvements.1 Introduction 1 2 Related Work 4 3 Proposed Network 6 3.1 Multi-scale Connection 8 3.2 Wide Regional Non-Local Block 9 3.2.1 Analysis 10 3.3 Discrete Wavelet Transform 12 3.4 Data Augmentation 12 3.5 Loss Function 13 4 Experiments 14 4.1 Datasets and Evaluation Metrics 14 4.2 Experiment Details 15 4.3 Results 16 4.3.1 Synthetic Datasets 16 4.3.2 Real-world Datasets 18 4.4 Ablation Study 20 4.4.1 Multi-scale connection 20 4.4.2 Region types of non-Local block 21 5 Conclusion 23 Abstract (In Korean) 32석