특징 공간에서의 데이터 증강을 이용한 퓨샷 러닝

학위논문(석사)--서울대학교 대학원 :공과대학 기계항공공학부,2020. 2. 박종우.When applying deep learning to supervised learning problems, a large amount of labeled data is usually required to achieve good generalization performance. Using few-shot learning, however, we can train deep learning models that are capable of recognizing unseen classes even with limited labeled data. As one of the representative categories of few-shot learning, hallucination-based methods have been utilized. To address data deficiency, methods in this category learn an image generator network and make use of the generator to hallucinate new supplementary data. The downside of the hallucination-based approach is that training the generator is itself difficult and requires a great deal of time and memory. This thesis proposes a data augmentation method for a few-shot learning task using various types of interpolation and extrapolation in feature space. Our approach does not need any trained generator for data augmentation and can be applied to any few-shot learning methods which use feature extracting networks. We conduct few-shot classification experiments using benchmark datasets as well as a visual inspection dataset. Experiments demonstrate that classification accuracy improves as the amount of data increases by the proposed method. Besides, using few-shot learning scheme and our data augmentation method at manufacturing fields that suffer from lack of defective data is expected to help reduce the labeling costs by filtering out the data roughly.지도학습 문제에 딥러닝을 사용할 때, 일반적으로 라벨링된 데이터가 충분히 많아야 좋은 성능을 기대할 수 있다. 하지만 퓨샷 러닝 기법을 통해서라면 아주 적은 양의 라벨링된 데이터로 학습한 딥러닝 모델도 뛰어난 분류 성능을 보일 수 있다. 퓨샷 러닝의 대표적인 방법 중 하나로 이미지 생성 네트워크를 학습하여 데이터의 양을 늘리는 방법이 제시되어왔다. 그러나 이미지 생성 네트워크는 그 자체로 학습하기가 어려울 뿐만 아니라 시간과 메모리 소요가 크다는 단점이 있다. 본 논문에서는 보다 간단하게 특징 공간에서 보간과 외삽을 통해 데이터의 양을 늘리는 방법을 제안한다. 이러한 방식을 사용하면 이미지 생성 네트워크를 추가적으로 학습할 필요도 없으며, 특징 추출 네트워크를 사용하는 방법이라면 어디에든 적용할 수 있다는 장점이 있다. 본 연구에서는 퓨샷 러닝에 쓰이는 대표적인 데이터셋, 그리고 비전 검사용 데이터셋을 이용해 퓨샷 분류 실험을 수행하였다. 결과적으로 특징 공간에서 보간과 외삽을 이용해 데이터의 양을 늘리면 분류 정확도가 상승하는 것을 확인하였다. 또한 정상 데이터에 비해 결함 데이터가 부족하여 문제를 겪는 제조업 현장에서 퓨샷 러닝과 우리의 데이터 증강 방법을 이용한다면 대략적으로 데이터를 필터링하여 라벨링 비용을 줄이는 데 도움이 될 것으로 기대된다.1 Introduction 1 1.1 Previous Research 2 1.2 Contributions of This Thesis 4 1.3 Organization 6 2 Preliminaries 7 2.1 Few-Shot Learning 7 2.1.1 Problem Definition of Few-Shot Learning 7 2.1.2 Classification Problem 9 2.1.3 Few-Shot Classification Problem: N-way K-shot Problem 9 2.2 Two Main Frameworks of Few-Shot Learning 11 2.2.1 Meta-Learning for Few-Shot Learning 12 2.2.2 Transfer learning for Few-Shot Learning 12 2.3 Data Augmentation by Image Manipulations 13 3 Few-Shot Classification via Data Augmentation in Feature Space 16 3.1 Few-Shot Classification Based on Cosine Similarity 16 3.1.1 Details of Few-Shot Learning Based on Transfer Learning17 3.1.2 Cosine Classifier 18 3.2 Data Augmentation in Feature Space 19 3.2.1 Previous Research on Interpolation in Feature Space 19 3.2.2 Various Types of Interpolation in Feature Space 20 4 Experiments and Results 25 4.1 Benchmark Experiments 25 4.1.1 Datasets 25 4.1.2 Experiment Details 27 4.1.3 Evaluation Results 29 4.1.4 Discussion 32 4.2 Visual Inspection Experiments 35 4.2.1 MVTec-AD Dataset 35 4.2.2 AUC Score 37 4.2.3 Experiment Details 38 4.2.4 Evaluation Results 40 4.2.5 Discussion 41 4.2.6 Toward Reducing Labeling Costs 49 5 Conclusion 53 Bibliography 55 Abstract (Korean) 60Maste

연구소 선도 TLO 지원사업[기관매칭] 최종보고서

한국해양과학기술

바이스태틱 다중편파 데이터를 이용한 표적식별에 대한 연구

2

Class separability measure for radar signals and ISAR imaging method for its application

Doctor본 논문에서는 레이다 신호를 위한 새로운 클래스간 분리도 측정 방법과 그 활용을 위한 ISAR 영상 형성 방법에 대한 연구 결과를 논의한다. 먼저, 클래스간 분리도 측정 방법에서는 표적과 레이더간의 상대적 각도 차이의 따른 레이더 신호의 민감도를 감소시키기 위해(RCS(radar cross section)의 경우 두 신호의 상관계수(correlation coefficient)를 구하고, 1차원 신호의 경우(i.e., high resolution range profile (HRRP)) 선형 이동을 하며 상관계수를 구한다. 2차원 레이더 신호 (i.e., inverse synthetic aperture radar (ISAR))의 경우 두 레이더 신호를 회전하면서 상관계수를 계산한다. 그런 다음, 두 레이더 신호가 가장 잘 배열되었을 경우의 최대 상관계수를 구하고, 이를 이용해 새로운 형태의 상관 기반 분리 행렬을 구성한다. 상관 기반 분리 행렬의 누적분포함수를 구하여 상위 확률에 응답하는 값을 구하였고, 그 값은 레이더 신호의 분리 능력을 정확하게 나타낸다. 제안된 방법을 이용하여 실험하였고, 그 결과 표적 분리 능력을 정확하게 추정할 수 있었다. 일반적으로 ISAR 영상의 경우 표적의 회전 속도(rotation velocity: RV)에 따라서 수직 거리(cross-range) 영역에서 확장 또는 수축되는 현상이 발생한다. 이러한 문제는 ISAR 영상의 클래스 분리도에 대한 정확한 추정을 어렵게 한다. 이를 해결하기 위해 3장에서는 ISAR 영상에 대한 수직-거리 스케일링 방법을 제안한다. 제안된 방법에서는 두 연속된 ISAR 영상의 주요한 축(major axes)을 라돈 변환 (Radon transform)과 투영(projection) 방법을 이용하여 구한다. 그러한 다음 주요한 축을 이용하여 비용함수(cost function)을 구하고, 마지막으로 이분법(bisection) 알고리즘을 통해 회전 속도를 구한다. 실험 결과, 제안되 방법은 기존 방법에 비해 짧은 계산 속도로 정확하게 수직-거리 스케일링을 수행한다.This dissertation discusses a study on class separability measure for radar signals and ISAR imaging method for its application. The organization of this study is as follows. First, we propose a novel class separability measure for radar signals. To evaluate the discriminatory power of the radar signals, the proposed method first calculates the correlation coefficients between two radar cross sections (RCSs) or by linearly shifting one-dimensional (1-D) high-resolution-range profiles (HRRPs) or by rotating two 2-D inverse synthetic aperture radar (ISAR) images. Subsequently, it uses the correlation coefficient when two radar signals are best aligned. Next, the proposed method obtains the new correlation-based discriminant matrices (CDMs) using the correlation coefficients, and the mean value of the CDM precisely represents the discriminatory power of the radar signal. Our experimental results show that the proposed method can accurately measure the target separability. Next, we propose a cross-range scaling technique for inverse synthetic aperture radar (ISAR) images, by estimating the rotation velocity (RV) of a target. In the proposed method, the major axes of two consecutive ISAR images are determined using the Radon transform and its projection onto the angle direction, we then establish an appropriate cost function using the major axes. Finally, the RV is estimated using the bisection algorithm. Experimental results show that the proposed method can perform robust cross-range scaling in a short computation time, even in a low signal to noise ratio (SNR) environment

다중편파 데이터를 이용한 표적 산란점 추출에 대한 연구

본 논문에서는 다중 편파(polarimetry) 데이터를 이용한 산란점(scattering center) 추출 알고리즘을 소개하고자 한다. 산란파 계산을 위해 상용 툴인 VIRAF(virtual aircraft framework)의 물리 광학법(Physical Optics: PO)/물리광학 회절이론(Physical Theory of Diffraction: PTD)을 사용하여 표적 표면과 모서리에 의한 산란을 각각 계산하였다. 또한, 단위 변환(unitary transformation)을 이용하여 선형 기저(linear basis) 기반 4-채널 데이터를 수평/수직-좌원형 기저(horizontal/vertical-circular basis) 2-채널 데이터로 변환하였고, 그 결과 데이터를 코히런트하게 압축할 수 있었다. 스펙트럼 추정 방법(spectral estimation technique)에 하나인 2차원 RELAX 알고리즘을 사용하여 산란점(scattering center) 추출을 하였고, 편파 방향과 관측각도 변화에 따른 산란현상을 각각 분석하였다.22Nkc

Classification of ISAR images using VIRAF software

1

Study on Class Separability Measure for Radar Signals

본 논문에서는 레이다 신호를 위한 새로운 클래스간 분리도 측정 방법을 제시한다. 제안된 방법에서는 표적과 레이다 간의 상대적 각도 차이의 따른 레이다 신호의 민감도를 감소시키기 위해 RCS(radar cross section)의 경우 두 신호의 상관계수(correlation coefficient)를 구하고, 1차원 신호의 경우(i.e., high resolution range profile(HRRP)) 선형이동을 하며 상관계수를 구한다. 2차원 레이다 신호(i.e., inverse synthetic aperture radar(ISAR))의 경우 두 레이다 신호를 회전하면서 상관계수를 계산한다. 그런 다음, 두 레이다 신호가 가장 잘 배열되었을 경우의 최대 상관계수를 구하고, 이를 이용해 새로운 형태의 상관 기반 분리 행렬을 구성한다. 상관 기반 분리 행렬의 누적분포함수를 구하여 상위 확률에 응답하는 값을 구하였고, 그 값은 레이다 신호의 분리 능력을 정확하게 나타낸다. 제안한 방법을 이용한 실험 결과, 표적 분리 능력을 정확하게 추정할 수 있었다.22Nkc

Overview of the Cancer Genetics and Pathway Curation tasks of BioNLP Shared Task 2013

We present the design, preparation, results and analysis of the Cancer Genetics (CG) and Pathway Curation (PC) main tasks of the BioNLP Shared Task 2013. These two information extraction tasks target the recognition of events, represented as structured n-ary associations of given physical entities. The CG task focuses on the cancer literature, emphasizing the extraction of information relating physical entities and physiological and pathological processes across multiple levels of biological organization, from the molecular to the whole organism. The PC task targets reactions relevant to the curation, evaluation and maintenance of detailed biomolecular pathway models, selecting documents by relevance to specific reactions and defining its extraction targets and their semantics with reference to pathway model standards and ontologies. Six participating groups submitted final results to the CG task and two groups to the PC task. The best-performing systems achieved F-scores of 55.4% on the CG task and 52.8% on the PC task, a level of performance broadly comparable with the state of the art for previously proposed event extraction tasks. These results demonstrate that both tasks are feasible for current event extraction methods and that event extraction generalizes well to higher levels of biological organization and is applicable to the analysis of scientific texts on cancer as well as to supporting pathway curation efforts. In this paper, we extend on previously reported results for these two tasks through additional analyses of the task data and system predictions. The CG and PC tasks continue as open challenges for all interested parties, with data, tools and resources available from http://2013.bionlp-st.org

Distributed and Parallel Path Query Processing for Semantic Sensor Networks

As the sensor networks are broadly used in diverse range of applications, Semantic Web technologies have been adopted as a means to manage the huge amount of heterogeneous sensor nodes and their observation data. Large amount of sensor data are annotated with spatial, temporal, and thematic semantic metadata. As a consequence, efficient query processing over large RDF graph is becoming more important in retrieving contextual information from semantic sensor data. In this paper we propose a novel path querying scheme which uses RDF schema information. By utilizing the class path expressions precalculated from RDF schema, the graph search space is significantly reduced. Compared with the conventional BFS algorithm, the proposed algorithm (bidirectional BFS combined with class path lookup approach) achieves performance improvement by 3 orders of magnitude. Additionally, we show that the proposed algorithm is efficiently parallelizable, and thus, the proposed algorithm returns graph search results within a reasonable response time on even much larger RDF graph

바이스태틱 레이다를 이용한 이동표적에 대한 표적식별 성능 분석

바이스태틱(Bistatic) 레이다는 기존의 모노스태틱(Monostatic) 레이다로는 수행하기 어려운 저피탐(stealth) 표적에 대한탐지 및 식별을 용이하게 해준다. 하지만 표적식별을 위해 바이스태틱 레이다의 수신신호로부터 고해상도 거리 측면도(high resolution range profile: HRRP)를 형성할 시, 바이스태틱 고유의 기하구조로 인해 바이스태틱 HRRP 내 왜곡현상이발생하고, 이는 표적에 대한 정확한 거리 정보를 획득하기 어렵게 한다. 더욱이 바이스태틱 HRRP 내 나타나는 표적의전자기적 산란 메커니즘은 바이스태틱 기하구조에 따라 다양하게 변하기 때문에 효율적인 훈련 데이터베이스 구축은바이스태틱 표적식별에서의 핵심 사항이 된다. 본 논문에서는 모노스태틱 표적식별에서 효과적인 성능을 보였던 비행시나리오에 기반한 훈련 데이터베이스 구축 기법을 바이스태틱 표적식별에 적용해 보고, 그 성능과 효율성을 분석한다. 시뮬레이션에서는 레이다와 표적의 거리가 충분히 먼 경우, 비행시나리오에 기반한 데이터베이스를 이용하여 효율적으로 바이스태틱 표적식별을 수행할 수 있음을 보인다.22Nkc