Content-based image analysis with applications to the multifunction printer imaging pipeline and image databases

Image understanding is one of the most important topics for various applications. Most of image understanding studies focus on content-based approach while some others also rely on meta data of images. Image understanding includes several sub-topics such as classification, segmentation, retrieval and automatic annotation etc., which are heavily studied recently. This thesis proposes several new methods and algorithms for image classification, retrieval and automatic tag generation. The proposed algorithms have been tested and verified in multiple platforms. For image classification, our proposed method can complete classification in real-time under hardware constraints of all-in-one printer and adaptively improve itself by online learning. Another image understanding engine includes both classification and image quality analysis is designed to solve the optimal compression problem of printing system. Our proposed image retrieval algorithm can be applied to either PC or mobile device to improve the hybrid learning experience. We also develop a new matrix factorization algorithm to better recover the image meta data (tag). The proposed algorithm outperforms other existing matrix factorization methods

Text block compression of a compound image using a sub-pixel index

학위논문 (석사)-- 서울대학교 대학원 공과대학 전기·정보공학부, 2017. 8. 이혁재.본 논문에서는 compound image의 텍스트 블록을 압축하기 위한 알고리즘을 제안하였다. 기존의 텍스트 블록을 압축하는 대표적인 알고리즘인 SPGC 알고리즘은 텍스트 블록에서 나타나는 sub-pixel의 선형적인 특징을 gradient로 코딩하는 방식이다. 하지만 SPGC 알고리즘은 높은 압축률과 PSNR을 갖지만 텍스트 블록에서 나타나는 gradient의 반복적인 특징을 제대로 담아내지 못하였다. 따라서 본 논문에서는 gradient의 반복적인 특징을 고려하여 효율적으로 gradient를 압축할 수 있는 방법을 제안하였다. 본 논문에서 제안하는 알고리즘은 global index compression과 local index compression으로 이루어져 있다. 두 알고리즘 모두 텍스트 영상에서 반복적으로 나타나는 gradient나 gradient로 이루어진 pattern을 dictionary에 저장하여 dictionary의 index로 코딩하는 dictionary index 방식으로 구현하였다. Global index compression은 텍스트 블록 전체 영역에서 반복적으로 나타날 가능성이 있는 gradient에 대해 index로 코딩하는 방식이다. Global index의 dictionary는 특정 조건을 만족하는 gradient만을 entry로 갖는다. Dictionary에 저장된 gradient에 대해서 variable length code 방식으로 index bit를 부여하여 압축 효율을 증가시켰다. 또한 dictionary의 최대 index bit는 각각의 블록 내에 존재하는 gradient의 분포에 따라 adaptive하게 결정된다. Local index compression은 global index compression 방식으로 압축되지 않는 gradient에 대해 적용하기 위한 알고리즘이다. Global index compression 방식으로 압축되지 않는 gradients는 complex pattern의 형태를 띄게 되며, local index dictionary는 이러한 complex pattern을 entry로 갖는다. 본 논문에서는 이러한 2가지 알고리즘을 이용하여 텍스트 블록의 sub-pixel 영역에서 나타나는 gradient들에 대해 index 방식으로 압축하였다. 본 논문에서 제안하는 알고리즘은 기존의 SPGC 방식과 비교해서 20~25% 높은 압축 효율을 보였으며, PSNR 측면에서는 1~1.5dB의 성능 향상을 확인할 수 있었다.제 1 장 서 론 1 1.1 연구의 배경 1 1.2 연구의 내용 4 1.3 논문의 구성 5 제 2 장 기존의 sub-pixel gradient 코딩 6 2.1 De-colorization 6 2.2 텍스트 블록 코딩 방법 8 2.2.1 Gradient 부분 코딩 방법 9 2.2.2 Gradient가 없는 부분 코딩 방법 10 제 3 장 Global index 코딩 12 3.1 텍스트 블록의 gradient 특징 12 3.2 Global index 코딩 방법 17 3.2.1 Adaptive block decision 18 3.2.2 Global index 코딩 후보 21 3.2.3 Index 부여 방법 및 index 개수 결정 조건 22 3.2.4 Dictionary 생성 방식 27 3.3 Global index 코딩 동작 29 3.3.1 Global index 코딩 후보인 gradient의 Global index 코딩 - (1) 31 3.3.2 Global index 코딩 후보가 아닌 gradient의 SPGC 코딩 33 3.3.3 Global index 코딩 후보인 gradient의 SPGC 코딩 – (1) 35 3.3.4 Global index 코딩 후보인 gradient의 Global index 코딩 – (2) 37 3.3.5 Global index 코딩 후보인 gradient의 SPGC 코딩 – (2) 39 3.3.6 Global index 코딩 후보인 gradient의 Global index 코딩 – (3) 42 3.4 Global index 코딩 실험 결과 44 제 4 장 Local index 코딩 51 4.1 Row 단위로 나타나는 graident 특징 53 4.2 Local index 코딩 방법 56 4.2.1 패턴의 분류 및 Local index 코딩 후보 57 4.2.2 Local index dictionary vs Global index dictionary 59 4.2.3 Local index dictionary 생성 및 코딩 방법 60 4.3 Local index 코딩 실험 결과 62 제 5 장 결론 66 참고문헌 68 Abstract 70Maste

Sub-pixel gradient 를 활용한 compound 영상 압축

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2014. 2. 김수환.컴퓨터 성능과 네트워크 속도가 발전함에 따라 컴퓨터 화면에 표시되는 compound image 의 기술은 다양한 전송 환경에서 비디오 및 양방향 서비스가 가능해졌다. 그러나 compound image는 다양한 종류의 영상이 복합적으로 나타나기 때문에 영상의 종류를 명확히 구분하고 각 종류에 맞는 영상 데이터 처리 방식이 필요하게 된다. 영상의 데이터 처리 방식이 복잡해 질수록 서버와 클라이언트의 성능 불균형은 데이터를 원활히 생성/재현 하지 못하는 문제를 가질 수 있다. Compound image 의 분류는 텍스트로 구성된 부분에 대하여 다른 종류의 영상으로 분류하지 않아야 한다. 이는 블록 단위로 구분하여 분류하는 방법에서 인접한 블록간에 서로 다른 코딩 방법을 적용하게 되면 사람이 느끼는 영상의 화질은 낮아지게 된다. 본 연구에서는 이러한 문제점을 해결하기 위해서 텍스트의 생성과정을 역이용한 sub-pixel gradient 블록 분류 방법을 제시한다. 평판 디스플레이에서는 텍스트의 부드러움을 표현하기 위하여 sub-pixel 단위로 컬러의 변화량을 조절하게 된다. 이를 whole-pixel의 단위로 영상을 구분하게 되면, 텍스트의 영역을 명확하게 구분하지 못한다. 본 연구에는 sub-pixel gradient 블록 분류 방법을 통하여 텍스트로 구성된 영역과 텍스트가 아닌 영역에 대한 판단이 정확히 이루어짐을 실험을 통하여 확인하였다. 텍스트의 코딩방법 중 손실 압축방법은 텍스트로 구성된 영상이 높은 주파수를 가지는 영상이기 때문에 양자화나 변환과정을 거치게 되면 영상의 손실이 커지게 된다. 하지만 무 손실 압축 방법은 높은 데이터 량을 가지게 되고, 영상 전송 속도가 높아져야 하는 문제가 발생한다. 본 연구에서는 sub-pixel gradient 방법을 이용한 텍스트 영역에 대한 코딩 방법을 제시한다. 텍스트 영상이 가지는 특성을 이용하여 영상에서 발생하는 기울기에 대하여 코딩을 진행한다. 이를 통하여 영상의 손실을 줄이고 텍스트의 가독성을 높일 수 있다. 동일한 압축률에서 다른 압축 알고리즘에 비하여 텍스트의 화질과 가독성이 뛰어남을 확인하였다. Compound image는 자연 영상과는 다르게 움직임이 단순하고 노이즈가 없다는 특성을 가진다. 이는 기존의 움직임 추정방법에 비하여 복잡도가 낮은 방법을 가능하게 한다. 본 연구에서는 이러한 compound image의 영상 특성을 이용한 그룹 움직임 추정 방법을 제시한다. 픽셀의 움직임을 확인하기 전에 영상의 분류에 따라 분류된 영역의 움직임을 먼저 파악하고 이를 통하여 최종적인 움직임을 추정하게 된다. 그룹 움직임 추정 방법을 사용하면 기존의 탐색영역 방법과 비교하여 탐색 영역을 최소화 할 수 있으며, 복잡도를 낮출 수 있음을 실험을 통하여 확인하였다.초 록 i 차 례 iii 그림 목차 vi 표 목 차 ix 제1장 서 론 1 1.1 연구 배경 1 1.2 연구 내용 4 1.3 논문 구성 6 제2장 텍스트 생성과정 및 기존압축방법 7 2.1 텍스트 생성과정 7 2.2 표준 영상 압축 방법 14 2.3 H.264 inter prediction 16 2.4 Compound image 의 압축 알고리즘 19 제3장 Sub-pixel gradient 블록 분류 방법 23 3.1 Background & Text color extraction 28 3.2 Text De-colorization 32 3.3 블록 분류 실험 결과 38 제4장 Sub-pixel Gradient text 블록 코딩 방법 46 4.1 Gradient fitting process 51 4.2 Text Coding 56 4.2.1 Gradient로 구성된 부분의 코딩방법 56 4.2.2 Gradient가 없는 부분의 코딩방법 57 4.2.3 local min/max 값 예측 57 4.2.4 Whole-pixel 코딩 59 4.2.5 화질 enhancement 60 4.3 텍스트 코딩 동작 64 4.3.1 텍스트 코딩 입력 65 4.3.2 Whole-pixel 코딩 1 66 4.3.3 역방향 Sub-pixel gradient 코딩 1 67 4.3.4 Local minimum 코딩 1 69 4.3.5 순방향 gradient 코딩 1 70 4.3.6 Local maximum 코딩 1 71 4.3.7 역방향 gradient 코딩 2 72 4.3.8 Local minimum 코딩 2 73 4.3.9 순방향 gradient 코딩 2 74 4.3.10 Whole-pixel 코딩 2 75 4.4 텍스트 블록 코딩 실험 결과 77 제5장 그룹 움직임 추정 방법 88 5.1 Block Grouping 94 5.2 Group Matching 97 5.3 Group motion vector calculation 101 5.4 그룹 움직임 추정 방법 실험 결과 104 제6장 결 론 109 참 고 문 헌 112 Abstract 119Docto

Optimum Implementation of Compound Compression of a Computer Screen for Real-Time Transmission in Low Network Bandwidth Environments

Remote working is becoming increasingly more prevalent in recent times. A large part of remote working involves sharing computer screens between servers and clients. The image content that is presented when sharing computer screens consists of both natural camera captured image data as well as computer generated graphics and text. The attributes of natural camera captured image data differ greatly to the attributes of computer generated image data. An image containing a mixture of both natural camera captured image and computer generated image data is known as a compound image. The research presented in this thesis focuses on the challenge of constructing a compound compression strategy to apply the ‘best fit’ compression algorithm for the mixed content found in a compound image. The research also involves analysis and classification of the types of data a given compound image may contain. While researching optimal types of compression, consideration is given to the computational overhead of a given algorithm because the research is being developed for real time systems such as cloud computing services, where latency has a detrimental impact on end user experience. The previous and current state of the art videos codec’s have been researched along many of the most current publishing’s from academia, to design and implement a novel approach to a low complexity compound compression algorithm that will be suitable for real time transmission. The compound compression algorithm will utilise a mixture of lossless and lossy compression algorithms with parameters that can be used to control the performance of the algorithm. An objective image quality assessment is needed to determine whether the proposed algorithm can produce an acceptable quality image after processing. Both traditional metrics such as Peak Signal to Noise Ratio will be used along with a new more modern approach specifically designed for compound images which is known as Structural Similarity Index will be used to define the quality of the decompressed Image. In finishing, the compression strategy will be tested on a set of generated compound images. Using open source software, the same images will be compressed with the previous and current state of the art video codec’s to compare the three main metrics, compression ratio, computational complexity and objective image quality