Deformable Offset Gating Network with Variational Auto-encoder for Compression Artifacts Reduction

학위논문(석사) -- 서울대학교대학원 : 공과대학 전기·정보공학부, 2023. 2. 조남익.JPEG 압축 알고리즘은 빠른 속도와 좋은 압축률 때문에 가장 널리 사용되는 압축 알고리즘이 되었다. 하지만, 압축률을 높이기 위해 큰 품질 계수(Quality Factor)를 이용하여 압축할 경우, 주파수 영역에서 손실이 발생하고, 이는 이미지 영역에서의 아티팩트로 나타난다. 이에 따라 JPEG 압축 과정에서 발생한 아티팩트를 제거하는 연구는 이미지 복원 분야에서 중요한 과제로 인식되었다. JPEG 아티팩트를 제거하기 위한 방법들은 데이터 기반의 인공신경망 구조가 도입되면서 커다란 발전이 있었다. 기존의 방법들은 대부분 메타 데이터로부터 이미지의 품질에 대한 정보를 읽어오는 것을 전제로 하고 있거나 심지어 하나의 품질계수(Quality Factor)에 하나의 모델을 학습시키는 등 실제 JPEG 아티팩트를 제거하려는 상황과는 거리가 있었다. 본 논문에서는 품질 계수 게이팅 오프셋 블록(Quality factor Gating Offset Block; QGOB)를 새롭게 제안하여 이러한 문제를 해결하고자 하였다. 제안하는 구조는 품질 계수에 따라 적응적으로 변형 가능한 합성곱의 오프셋을 조절한다. 또한 인코더디코더 구조에서 이전 스케일의 오프셋을 현재 스케일의 오프셋에 전달해 효과적으로 오프셋을 학습한다. 다양한 실험을 통해 제안하는 구조가 흑백 이미지와 컬러이미지, 그리고 두 번 압축한 이미지에서 우수한 성능을 보임을 확인할 수 있었다.JPEG compression has become the most widely used compression algorithm due to its fast speed and reasonable compression rate. However, when compressed with a high quality factor to increase the compression rate, a large loss occurs in the frequency domain, which appears as an artifact in the image domain. Accordingly, research to remove artifacts generated during the JPEG compression process was recognized as an important task in the field of image restoration. Early studies for image compression artifacts reduction have made great progress with the introduction of data-driven convolution neural networks. Most of the existing methods exploit information on image quality factors from metadata, which is sometimes wrong due to double compression. Moreover, some methods trained one network for each quality factor, which hinders practical applications where images are compressed with different quality factors case by case in real situations. To deal with this issue, we propose a Deformable Offset Gating Network (DOGNet), based on a variational autoencoder (VAE) and deformable residual network. The main idea of the proposed method is to use latent features of the VAE to guide the offset of the deformable convolutions in restoring the compressed image flexibly. Extensive experiments on various datasets and quality factors show that the proposed method achieves better or comparable results to the state-of-the-art in JPEG artifact removal.제 1 장 서론 6 1.1 연구의 배경 6 1.2 연구의 내용 7 1.3 논문의 구성 8 제 2 장 기존 연구 9 2.1 학습 기반의 JPEG 아티팩트 제거 9 2.2 이산 코사인 변환(DCT)을 이용한 JPEG 아티팩트 제거 10 2.3 이중 압축된 이미지의 복원 11 2.4 베이즈 추론을 이용한 복원 12 제 3 장 제안하는 방법 14 3.1 변형 가능한 합성곱 구조 14 3.2 품질 계수 게이팅 오프셋 블록 16 3.3 손실 함수 17 제 4 장 실험 결과 및 분석 19 4.1 데이터 준비 및 구현 세부 사항 19 4.2 한 번 압축한 이미지 19 4.2.1 한 번 압축된 흑백 이미지에 대한 복원 19 4.2.2 한 번 압축된 컬러 이미지에 대한 복원 21 4.3 두 번 압축한 이미지 22 4.4 제안 방법을 구성하는 요소들의 검증 25 4.4.1 제안하는 구조에 대한 검증 25 4.4.2 수용영역에 대한 시각화 25 제 5 장 결론 29 ABSTRACT 33석

color image processing and its applications

Maste

DEVELOPMENT OF A STEREOSCOPIC PIV VELOCITY FIELD MEASUREMENT TECHNIQUE AND ITS APPLICATIONS

Docto

Mechanisms of the undetectability of HBsAg in patients with chronic liver disease, type B

학위논문(박사)--서울대학교 대학원 :의학과 내과학전공,1997.Docto

PIV 기법을 이용한 비등온 부력제트의 유동구조에 관한 연구

22kc

STEREOSCOPIC PIV기법을 이용한 선박용 프로펠러 후류의 3차원 속도장 측정

22kc

Stereoscopic PTV 기법의 개발과 성능비교 연구

2

레이저 형광여기(LIF)를 이용한 비등온 제트유동의 온도장 측정

2

TLC 와 컬러화상처리를 이용한 자동차 실내환기유동의 온도장 측정연구

2