산업 응용을 위한 물체 표현법 및 분할 방법론

학위논문(박사) - 한국과학기술원 : 전기및전자공학부, 2018.2,[x, 105 p. :]In this dissertation, we address the question of how framing and labelling processes of our cognitive abilities can be computationally modelled for various industrial applications. Over the past decades, industrial jobs increasingly require too repetitive tasks that often needs very high accuracy. In the cases that a labour could not work, or the conditions for a human to work is not available, our focus is to introduce and demonstrate a new approach for artificial workers to perform the same tasks with better representation and segmentation methods. To be specific, we are interested in automating typical image editing tasks in media applications as well as a robotic assembly task in smart manufacturing. For the first sub-task, we investigate multi-view object representations for highly accurate foreground-background separation in digital content creation. By linearly increasing the dimension of available information, we take advantage of a geometric relationship between different viewpoints. On top of exploring unique 2D appearance models from a single viewpoint, we analyze how much the multi-view representation has some benefits for robust initialization and segmentation. For image editing, matting regions can be adaptively detected along the object boundaries based on information theory. Our final results are high-quality alpha mattes geometrically consistent across all different viewpoints. In addition to use multiple camera viewpoints, we study a new photometric object representation using a multi-band information such as RGB and NIR channels, and develop a semantic segmentation system for smart vehicle applications. Among all the input data, we observe salient information is critical in visual recognition. In the next sub-task, we present a CNN-based ranking system for automatically selecting natural bases and salient views of virtual 3D objects with arbitrary poses. Based on a large number of well-aligned 3D shapes and category-labelled 2D images, the data-driven solution needs category learning process for upright orientation and salient views of 3D models. Since direct annotations for the web data is not adequate, we make reasonable assumptions to come up with a way of utilizing category-labelled data for the supervised learning. Even in the slightly different context, our system fully utilizes the big data preserved by humans, thus the selected salient views for thumbnails or previews of 3D models are more appealing to humans than the other views from conventional view selection algorithms. We define a good view is a recognizable view, but we also analyze what is recognizable is actually category-specific. Lastly, we develop deep representations of industrial components with simulated images and from data-specific salient viewpoints. While CNN-based representations replacing all the hand-designed features, it requires a huge amount of human annotations. Hence, we introduce a photo-realistic simulation space in the near-infrared band that minimizes the domain differences between real and simulated appearances. By doing so, we can learn BRDFs of various industrial components and their fine-grained shape variations from real-world and simulated data, and improve the recognition performance with mixed data. Based on our experimental results, we discuss how the simulated samples interpolate real-world samples and stabilize the training process. In addition, we select category-independent and category-specific viewpoints on target objects and analyze the benefits in recognition performance. After modifying the state-of-the-art CNN architectures for detection and semantic segmentation methods, we demonstrate component retrieval and pixel-level localization in the context of robotic assembly automation. For all the sub-tasks, the purpose of this dissertation is to provide theoretical grounds and experimental confirmation in our new approaches to object representations and segmentation methods. After overcoming several technical issues in challenging conditions, we qualitatively and quantitatively validate the methods with various examples, and demonstrate interesting applications for each industrial field.한국과학기술원 :전기및전자공학부

METHOD AND APPARATUS FOR EXTRACTING MULTI-VIEW OBJECT WITH FRACTIONAL BOUNDARIES

적어도 하나의 프로세서에 의해 동작하는 객체 추출 장치의 동작 방법으로서, 다시점에서 객체를 촬영한 복수의 시점 이미지들을 기초로 3차원 공간에서 객체가 포함된 관심 볼륨을 추출하는 단계, 각 시점 이미지로 상기 관심 볼륨을 투영하여 각 시점 이미지에서 상기 객체가 포함된 초기 전경 영역을 획득하는 단계, 상기 초기 전경 영역으로부터 초기화된 기하학적 에너지 모델과 컬러 및 질감에 관련된 외형 에너지 모델을 갱신하면서 상기 초기 전경 영역으로부터 수렴된 각 시점 이미지의 전경 영역을 추출하는 단계, 그리고 각 시점 이미지의 전경과 배경을 나누는 이진 마스크를 출력하는 단계를 포함한다

Extraction of the Focused Object

본 연구는 문화체육관광부의 IT 원천기술개발사업 의 일환으로 수행하였음. [2008-F030-01, 방통융 합형 Full 3D 복원 기술 개발

Multi-view object extraction with a fractional boundary

학위논문(석사) - 한국과학기술원 : 전기 및 전자공학과, 2010.2, [ vi, 72 p. ]본 논문에서는 다시점 카메라에 의해 획득된 객체를 모든 시점의 배경으로부터 분리하는 알고리즘이다. 이것은 카메라 시야각에 형성된 닫힌 공간 밖에 있는 칼라 샘플들과 비슷한 픽셀을 지워나가고, 동시에 모든 시점으로부터 전경이라고 생각되는 영역을 검출하게 된다. 그리고 이때의 전경의 외각선은 근처의 샘플들간의 관계에 따라 실수값으로 다시 추정된다. 이를 위하여, 먼저 카메라들은 보정되어 있어야 하며, 목표가 되는 물체는 관심 공간 내에서 구별되는 색을 가질 수록 유리하다. 기존 연구는 배경에 대한 강한 가정으로 적용이 제한되거나 혹은 이를 해결하기 위해 도입된 반복적 그래프컷의 수렴되는 영역이 초기 파라메터와 주관적인 종료 조건에 의해 결정되기 쉬웠다. 하지만 본 논문에서는 배경에 대한 어떠한 가정 없이 문제를 다루었고, 또 칼라 정보와 기하학적 정보에 대한 에너지 항이, 전/배경으로부터의 히스토그램 비교 그리고 겹쳐짐 현상 평가에 의해 조절되며, 이에 따라 수렴 점이 안정해진다. 또한 제안되는 투표 기반 모델 갱신 영역 결정과 함께 영상을 이미지 좌표와 변환된 칼라값의 벡터로 표현하고, 이를 상향식의 계층적 클러스터링을 사용하여 칼라 모델을 만들었다. 뿐만 아니라 기존의 연구들은 비교적 외각선이 단순 물체로 적용을 한정시키지만, 제안되는 시스템은 추출되는 객체의 외각선을 실수값으로 추정한다. 모든 과정에서 사용자의 입력을 요구하지 않으며, 그러면서도 현재 나와있는 알고리즘들과 비슷한 결과를 보여주거나 혹은 더 좋은 성능을 나타낸다. 마지막으로 제안되는 알고리즘의 질적, 양적 평가를 제공받거나 혹은 직접 획득한 총 6개의 데이터 셋을 통해 평가하였다.한국과학기술원 : 전기 및 전자공학과