슈퍼픽셀을 이용한 적응형 이미지 처리

학위논문(박사)--서울대학교 대학원 :자연과학대학 수리과학부,2020. 2. 강명주.Human-like Artificial Intelligence(AI) is also crucial issue in the field of image processing. In this trend, classical methods, processing images based on each pixel show some limitation because human being dont focus information of a single pixel. As recent studies shows, humans interpret images as the complicated combination of the number of meaningful `clusters'. Therefore in order to deal with various and complex images in the human-like way, we should process images based on these `clusters'. This paper will cover superpixels that can act as these `clusters' in images.We will introduce several superpixel generating algorithms and their advantages and disadvantages. And we will show the effectiveness of the superpixels in the image processing based on their contribution to the image evaluation field. Next, we propose a new approach to image analysis based on pivot colors of them. To find pivot colors, we propose a novel method called Superpixelwise Mean shift. This method combines the idea of mean shift procedure and the representative superpixels and is fast and robust. In the latter chapters, we will show its application to the image segmentation problem and the color mapping problem and result of them.인간과 비슷하게 동작하게 인공 지능의 개발은 이미지 프로세싱 분야에서도 중요한 이슈 중에 하나이다. 이러한 추세에서 픽셀을 기반으로 이미지를 다루는 고전적인 방법들은 여러 가지 한계를 보여주는데, 가장 큰 이유는 인간은 개별 픽셀이 가지는 정보에 큰 관심을 주지 않기 때문이다. 많은 연구가 보여주듯이 인간을 이미지를 의미를 가지는 수많은 덩어리 들의 복합적인 결합으로 보는 경향이 있으며 다양하고 복잡한 이미지를 다루기 위해서는 픽셀보다는 이러한 '덩어리'를 기반으로 이미지를 파악할 필요가 있다. 이 논문에서는 이미지에서 이러한 덩어리 역할을 할 수 있는 슈퍼픽셀을 다룬다. 앞부분에서는 먼저 다양한 슈퍼픽셀 생성 기법들과 그들의 장단점을 소개하고 이미지 평가 분야에서의 결과를 바탕으로 슈퍼픽셀이 이미지를 다루는데 얼마나 효과적인지를 보이겠다. 그 다음에 우리는 이미지의 기조 색상을 바탕으로 한 새로운 이미지 분석 방법을 제시하고 그 기조 색상을 구하기 위해서 Superpixelwise Mean Shift라는 새로운 방법론을 제시하였다. 이 방식은 Mean shift procedure와 슈퍼픽셀의 대표값을 결합시킨 방식으로 매우 빠르고 확고하다. 뒤의 장에서는 이 방법론을 이미지 분할 문제와 색 이동 문제에서 적용하고 그 결과를 보이겠다.1 Introduction 1 2 Preliminaries 4 2.1 Superpixel Generating Methods 5 2.1.1 Various Superpixel Generating Methods 5 2.1.2 Performance Comparison between the Superpixels and Choosing the Method 16 2.2 Image Quality Assessment System and Superpixels 17 2.2.1 Object of Image Evaluation System 17 2.2.2 Various Image Quality Assessment System 18 2.2.3 Applying Superpixels to IQA System 24 2.2.4 Performance Comparison of IQA System 28 3 Adaptive Image Segmentation Based on Superpixel 30 3.1 Superpixelwise Mean Shift 31 3.2 Two-Step Approach using S-Mean Shift 36 3.3 Gradient Transition and Eliminating Small Pieces 39 3.4 Merging On Balanced Gradient Transition 42 3.5 Experimental Result 45 3.5.1 Experiment of CSIQ Dataset 45 3.5.2 Experiment of Berkeley Dataset 50 3.5.3 Computational Time and Parameters 55 4 Color Mapping Based on Superpixel 57 4.1 Color Mapping Problem and Superpixels 58 4.2 Applying S-Mean Shift to Color Mapping 63 5 Conclusion 67 Abstract (in Korean) 73 Acknowledgement (in Korean) 74Docto

Superpixel-based Color Transfer

In this work, we propose a fast superpixel-based color transfer method (SCT) between two images. Superpixels enable to decrease the image dimension and to extract a reduced set of color candidates. We propose to use a fast approximate nearest neighbor matching algorithm in which we enforce the match diversity by limiting the selection of the same superpixels. A fusion framework is designed to transfer the matched colors, and we demonstrate the improvement obtained over exact matching results. Finally, we show that SCT is visually competitive compared to state-of-the-art methods.Generalized Optimal Transport Models for Image processin