cuDNN과 유사한 인터페이스를 갖는 오픈소스 딥 러닝 프리미티브 라이브러리

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2019. 2. 이재욱.Deep neural networks (DNNs) are a key enabler of today's intelligent applications and services. cuDNN is the de-facto standard library of deep learning primitives, which makes it easy to develop sophisticated DNN models. However, cuDNN is a propriatary software from NVIDIA, and thus does not allow the user to customize the library based on her needs. Furthermore, it only targets NVIDIA GPUs and cannot support other hardware devices such as manycore CPUs and FPGAs. In this thesis we propose OpenDNN, an open-source, cuDNN-like DNN primitive library that can flexibly support multiple hardware devices. In particular, we demonstrate the portability and flexibility of OpenDNN by porting it to multiple popular DNN frameworks and hardware devices, including GPUs, CPUs, and FPGAs.심층 신경망은 오늘날의 지능형 어플리케이션과 서비스의 핵심 요소로 각광받고 있다. NVIDIA에서 개발한 cuDNN은 딥 러닝 프리미티브 라이브러리의 표준으로, 정교한 심층 신경망 모델을 쉽게 개발하도록 돕는다. 그러나, cuDNN은 NVIDIA의 특허 소프트웨어로 유저들이 자신들의 요구에 맞게 제작하는 것을 허용하지 않는다. 게다가 NVIDIA GPU만을 지원하기 때문에 멀티코어 CPU나 타 FPGA를 지원하지 않는다. 이 논문에서는 다양한 하드웨어 장치를 유연하게 지원하고, cuDNN과 유사한 인터페이스를 가진 딥 러닝 프리미티브 라이브러리인 OpenDNN을 소개한다. 특히, 다양한 심층 신경망 프레임워크와 CPU, GPU, 그리고 FPGA와 같은 하드웨어 장치들에 연동하여 OpenDNN의 이식성과 유연성을 입증한다.Abstract Contents List of Tables List of Figures Chapter 1 Introduction Chapter 2 Background 2.1 Deep Neural Network 2.2 Heterogeneous Computer Chapter 3 OpenDNN API 3.1 Overview 3.2 Context Manager 3.3 Descriptor Manager 3.4 Computation Functions 3.5 Summary Chapter 4 Backend Devices 4.1 CPU 4.2 GPU 4.3 FPGA Chapter 5 OpenDNN-enabled DNN Frameworks 5.1 Caffe 5.2 TensorFlow 5.3 DarkNet Chapter 6 Evaluation 6.1 Programmable Effort 6.2 Performance Chapter 7 Related Work Chapter 8 Conclusion Bibliography 국문초록 AcknowledgementsMaste

변별 웨이블렛 패킷 기반 표면 품질 판별 방법론

The successful implementation of image processing technology has been made it possible to replace the human vision with automated machine vision. In many applications of machine vision, the product grading is considered as the most challenging problem in image analysis field. Recently, image data can be acquired from a product surface in real time by image sensor systems in chemical plants. For quality determination based on these image datasets, effective texture classification methodology is essential to handle high dimensional images and to extract quality-related information from these product surface images. In this thesis, a surface quality determination methodology based on texture analysis technique was proposed. The proposed methodology has four main stages: image acquisition, feature extraction, feature selection and determination. Feature extraction is a crucial step in pattern recognition problems as well as in methods for characterizing the quality of a product surface. The different types of wavelet transforms, i.e., the wavelet packet transform and the discrete wavelet transform, are compared in the feature extraction step for classification of the surface quality of rolled steel sheets. Feature selection approach was also proposed for selecting discriminative bases for surface quality determination which had not been performed in wavelet packet domain. Wavelet texture analysis is useful for reducing the dimension and extracting textural information from images. Although wavelet texture analysis extracts only textural characteristics from images, the extracted features still contain unnecessary information to be classified. The texture analysis method can be improved by retaining only class-dependent features and removing obstructive features for classification. In previous works, best bases and local discriminant bases were the most popular techniques for selecting important bases from the wavelet packet bases. Because previous methods were designed for wavelet coefficients as features for analysis, their performance was poor at wavelet texture analysis. However, feature selection based on wavelet texture analysis has not been studied for texture classification. The proposed methodology is validated through quality determination for industrial steel surfaces. Using this real-world industrial example, it is experimentally shown that which transform method (wavelet packet transform versus discrete wavelet transform) is appropriate for characterizing industrial product surface. In feature selection stage, it is found that orthonormal constraint which has been used in wavelet bases selection for a long time is unnecessary for surface classification when wavelet coefficients are summarized by wavelet texture analysis. From this finding, feature selection strategy to select important bases was proposed for surface quality determination of product. The experimental results show that the proposed method has lower classification errors than previous methods. This work supports development of automated determination system by providing surface quality determination methodology. The work will be used for other multi-class surface image classification problems as a basic methodology.이미지 처리 기술의 발달로 인해, 인간 시각의 역할을 기계나 컴퓨터로 대체하는 기계 시각(Machine vision)연구 기반이 과거에 비해 급속도로 발전하고 있다. 기계 시각 연구의 영역 중, 제품의 품질 판별은 단순히 인간의 인지 영역을 탐구하는 것이 아닌 지식과 경험을 가진 기술자에 상응하는 전문적인 역할을 수행해야 하므로, 이미지 분석 분야에서 도전적인 과제로 여겨진다. 이미지 센서 기술, 데이터 저장매체, 컴퓨팅 기술의 발달로 다량의 제품 이미지를 수집하고 분석하는 작업은 산업에서 빠르게 확산되고 있다. 이러한 하드웨어적 기반을 바탕으로 자동화된 제품 이미지 판별 시스템을 개발하기 위해서는 많은 양의 이미지 데이터에서 제품의 품질과 관련된 특성을 추출하는 효과적인 이미지 처리 기술 연구가 필수적이다. 본 논문에서는, 질감 분석에 기반한 표면 품질 판별 방법론이 제안된다. 제안된 방법론은 이미지 수집, 특성 추출, 특성 선별, 판별의 단계로 구성되어 있다. 이미지 특성 추출은 제품 표면 품질의 특성화에 있어 핵심적인 과정 이다. 이를 위해 기존에 널리 사용되던 이산 웨이블렛 변환(Discrete Wavelet Transform)과 웨이블렛 패킷 변환 (Wavelet Packet Transform)의 비교를 통하여, 제품 품질의 판별을 위한 효과적인 이미지 변환방법을 제시한다. 웨이블렛 질감 분석(Wavelet Texture Analysis) 기법은 이미지의 차원을 축소하는 동시에 질감 정보만을 추출할 수 있는 효과적인 기술이다. 웨이블렛 질감 분석으로 얻어진 특성 정보는 이미지의 질감 성분만을 추출하여 이미지 분석에 있어 효율성을 높였으나, 이 특성 정보에는 판별과정에서 불필요한 정보들도 혼재해 있다. 이미지 질감 분석 방법은 클래스에 기반한 정보만을 추출하고, 불필요한 특성을 제거함으로써 그 성능을 향상시킬 수 있다. 그 동안 제품 이미지 기반 판별을 위해 이용되지 않았던 웨이블렛 패킷 변환 기반 특성 선별 접근이 제시된다. 이전의 웨이블렛 패킷 변환에서 사용되던 최적의 분할 구조 (best sub-band structure for decomposition)를 찾아내기 위한 방법은 베스트 베이시스(Best Bases)와 로컬 변별 베이시스(Local Discriminant Bases)이다. 기존의 이 방법론들은 웨이블렛 패킷 변환에서 웨이블렛 상수(wavelet coefficients)를 특성 변수로 사용할 경우에 대해 고안된 방법이기 때문에, 이를 웨이블렛 질감 분석에 바로 적용 시 성능이 저하된다. 그럼에도 불구하고, 그 동안의 연구에서는 질감 분류(texture classification)를 위한 웨이블렛 질감 분석기반 베이시스 탐색 방법론이 제대로 연구되지 않았다. 제안된 방법론은 철판 이미지의 품질 데이터를 통해 성능을 검증하였다. 이를 통해, 웨이블렛 패킷 변환이 이산 웨이블렛 변환에 비해 판별 성능이 향상된다는 것을 증명하였다. 특성 선별 과정에서는 기존의 정규직교(orthonormal)의 제약조건을 지닌 베이시스 선택방법은 웨이블렛 질감 분석에 맞지 않으며, 정규직교 제약조건의 제거로 성능을 향상시킬 수 있음을 보여주었다. 이를 기반으로, 최적 패킷 구조를 찾기 위해 특성 선별(feature selection)접근을 시도하였다. 기존의 방법을 수정하여 제시한 방법론이 이전의 방법에 비해 적은 오차를 보임을 실험적으로 증명하였다. 제안된 표면 품질 판별 기법은 추가적인 연구를 통해 표면 품질 자동화 시스템의 구축에 이용될 수 있을 것이다. 또한, 색감 기반 질감 연구와 특성 판별이 어려운 이미지, 품질 분류가 복잡한 실제 품질 판별 연구의 성능 향상을 위해 활용될 수 있을 것이다.Contents_x000D_ _x000D_ CHAPTER 1 : Introduction 1_x000D_ 1.1. Research motivation 1_x000D_ 1.2. Research objectives 2_x000D_ 1.3. Outline of the thesis 3_x000D_ CHAPTER 2 : Image Texture Analysis Techniques 5_x000D_ 2.1. Introduction 5_x000D_ 2.2. Direct PLS-DA approach 6_x000D_ 2.3. GLCM (Gray level co-occurrence matrix) features 9_x000D_ 2.4. Multivariate image analysis 12_x000D_ 2.5. Wavelet texture analysis 14_x000D_ 2.6. Effective image analysis techniques for extracting textural features 16_x000D_ CHAPTER 3 : Application of Texture Analysis Methodology for Surface Quality Determination 18_x000D_ 3.1. Description of steel sheets data 18_x000D_ 3.2. Preparation of images 19_x000D_ 3.3. Surface determination framework based on texture classification method 21_x000D_ 3.3.1. Image acquisition 21_x000D_ 3.3.2. Feature extraction 21_x000D_ 3.3.3. Feature selection 22_x000D_ 3.3.4. Quality determination 23_x000D_ CHAPTER 4 : The Use of Wavelet Packet Transform in Characterization of Surface Quality 25_x000D_ 4.1. Introduction 25_x000D_ 4.2. Methodology for surface quality characterization 27_x000D_ 4.2.1. Discrete wavelet transform 27_x000D_ 4.2.2. Wavelet packet transform 30_x000D_ 4.3. Implementation to steel quality classification 33_x000D_ 4.3.1. Determination of decomposition level 33_x000D_ 4.3.2. Surface quality classification 33_x000D_ 4.4. Results and analysis 35_x000D_ 4.4.1. KNN classification performances of DWT and WPT 35_x000D_ 4.4.2. Linear classification performances of DWT and WPT 39_x000D_ 4.4.3. Bandwidth characteristics 39_x000D_ 4.5. Conclusions 44_x000D_ CHAPTER 5 : Bases Selection for Wavelet Texture Analysis based on Wavelet Packets 45_x000D_ 5.1. Introduction 45_x000D_ 5.2. Bases selection for WPT 47_x000D_ 5.3. BB approach 49_x000D_ 5.3.1. Selection criterion for discriminate measure 50_x000D_ 5.3.2. Non-orthonormal bases selection 51_x000D_ 5.3.3. Difference between Non-orthonormal bases and BB 53_x000D_ 5.4. Classification performance of different bases selection 56_x000D_ 5.4.1. KNN classification results 56_x000D_ 5.4.2. Linear classification result of different bases 60_x000D_ 5.5. Classification performance of different features 63_x000D_ 5.6. Conclusions 67_x000D_ CHAPTER 6 : Feature Selection Approach for Discriminating Packets 68_x000D_ 6.1. Introduction 68_x000D_ 6.2. Discriminative packet selection for wavelet analysis 70_x000D_ 6.2.1. Feature selection for WTA 70_x000D_ 6.2.2. Feature selection problem for discrimination 70_x000D_ 6.3. Feature selection algorithms for discrimination 71_x000D_ 6.3.1. Individual selection 71_x000D_ 6.3.2. Sequential forward selection 71_x000D_ 6.3.3. Sequential backward selection 72_x000D_ 6.3.4. Sequential forward floating selection 72_x000D_ 6.4. Classification performance of different feature selection 74_x000D_ 6.4.1. KNN classification performance 74_x000D_ 6.4.2. Linear classification performance 77_x000D_ 6.5. Comparison of feature selection with all methods 80_x000D_ 6.6. Conclusions 83_x000D_ CHAPTER 7 : Concluding Remarks 84_x000D_ 7.1. Conclusions 84_x000D_ 7.2. Future works 85_x000D_ Nomenclature 87_x000D_ Literature cited 90_x000D_ Abstract in Korean (요 약) 94_x000D_ _x000D_  _x000D_ List of Figures_x000D_ _x000D_ Figure 2 1. Schematic for PLS-DA approach for image analysis 8_x000D_ Figure 2 2. GLCM features for analysis of (a) intensity image array with 3 gray scale, (b) GLCM of intensity array12 11_x000D_ Figure 2 3. Multivariate image by spatial shifting and staked13 13_x000D_ Figure 3 1. Sample images of steel surfaces; quality was determined as (a) excellent, (b) good, (c) medium, and (d) bad; all original images were divided as shown in (a) 20_x000D_ Figure 3 2. Framework for surface quality determination 24_x000D_ Figure 4 1. A separable structure for 2-D DWT at the j-th decomposition stage 29_x000D_ Figure 4 2. Structures of filter bank of (a) pyramid- structured wavelet decomposition (b) tree-structured wavelet decomposition where A is the approximation and D is the detail section 32_x000D_ Figure 4 3. KNN classification comparison of DWT and WPT 38_x000D_ Figure 4 4. Comparison of linear classification result DWT with WPT 42_x000D_ Figure 4 5. Time (or Space) – Frequency tiling of (a) octave-band tree structured filter bank or wavelet transform and (b) full-tree structured filter bank or wavelet packet transform 43_x000D_ Figure 5 1. Example wavelet packet decomposition tree structure of orthonormal bases (a) and non-orthonormal bases (b) 55_x000D_ Figure 5 2. Comparison of KNN classification of different bases selection 59_x000D_ Figure 5 3. Comparison of linear classification for different bases selection 62_x000D_ Figure 5 4. KNN classification errors of different features 65_x000D_ Figure 5 5. Linear classification errors of different features 66_x000D_ Figure 6 1. Comparison of feature selection approach in KNN classification 76_x000D_ Figure 6 2. Comparison of different feature selection in linear classification 79_x000D_ Figure 6 3. Comparison of KNN classification errors for all methods 81_x000D_ Figure 6 4. Linear classification errors for all methods 82_x000D_ _x000D_  _x000D_ List of Tables_x000D_ _x000D_ Table 4 1. Leave one out KNN classification errors for DWT 36_x000D_ Table 4 2. Leave one out KNN classification errors for WPT 37_x000D_ Table 4 3. Linear classification results for DWT and WPT 41_x000D_ Table 5 1. KNN classification for Best Bases (BB), Local Discriminant Bases(LDB) and Non-orthonormal bases 58_x000D_ Table 5 2. Linear classification results for different bases 61_x000D_ Table 6 1. KNN classification results for feature selection approach 75_x000D_ Table 6 2. Linear classification for feature selection approach 78_x000D_ _x000D_  _x000D_Docto

웨이블렛 패킷 변환을 이용한 철판 품질 모니터링

학위논문(석사) --서울대학교 대학원 :화학생물공학부,2007.Maste

광전자 소자 제작을 위한 InGaAsP의 MOCVD에 의한 성장 및 분석

학위논문(석사)--서울대학교 대학원 :무기재료공학과,1997.Maste

The Study for Residual Strength of Corroded Gas Pipe

Maste

Routing Algorithm and Routability Analysis in Very-large-scale Integration

Master본 학위논문은 초집적회로 구현에 필요한 라우팅 알고리즘과 라우팅 가능성분석 모델에 대하여 다룬다. Heterogeneous 시스템 구현을 위한 2.5D 인터포저 패키징 단계에서의 버스를 효율적으로 라우팅 하는 알고리즘과 데이터 구조를 제시하고, 머신러닝 기반 초기 단계 결과 예측 모델을 구축하기위한 인공 넷리스트 생성기를 제안하여 라우팅 가능성 분석 모델을 구현하였다. 버스 라우팅에서, 버스 구조의 신호 비트가 공통 라우팅 토폴로지를 공유하는 경우, 뒤틀린 패턴과 변동 내성을 피하여 라우팅성이 증가한다. 고급 기술에서 다중 칩 모듈, I/O 핀 또는 온 칩 메모리의 버스 구조가 점점 복잡해짐에 따라 버스 라우팅 문제가 상당히 중요해졌다. 본 논문 챕터 2 에서는 버스 밀도가 높고 선로 활용도가 높은 설계에서도 버스의 라우팅 토폴로지를 콤팩트하게 합성하고 설계 규칙 위반을 최소화할 수 있는 콤팩트 위상 인식 버스 라우팅 방법을 제시하고 평가한다. 제안된 방법은 ICCAD-2018 대회의 런타임 제한에서 버스 라우팅을 완료하고, 그 대회의 우승자와 비교하여 총 비용을 66% 절감했다. 첨단 기술 노드에서 초기 단계의 결과(QoR) 예측은 물리적 설계의 런타임을 줄이는 주요 요인 중 하나가 되었다. 그러나 많은 다른 설계 옵션에서는 정확한 예측이 어렵다. 이러한 과제를 극복하기 위해 기계학습 접근방식은 매우 정확한 조기 예측 모델로 등장하고 있다. 본 논문 챕터 2에서는 초기 단계의 QoR 예측을 위한 기계 학습 프레임워크를 제시하며, 이를 통해 물리적 설계에 ’최상의’ 구현 옵션을 권장할 수 있다. 대상 회로의 다양한 물리적 특성을 교육하기 위해 현실적인 인공 넷리스트를 생성하고 충분한 기계 학습 데이터 세트를 구축하는 방법을 제안한다. 우리의 인공 데이터 세트에 의해 훈련된 깊은 신경 네트워크는 실제 열린 벤치마크로 검증되었다. Top1과 Top2의 훈련 정확도는 각각 65.1%와 85.9%이다. 우리의 최종 훈련 모델은 55.6%의 매칭과 100%의 필터링 확률을 가진 상위1 PDN을 효과적으로 예측한

자궁경부 선암에서 인유두종 바이러스의 감염 양상과 p53 단백의 발현에 관한 연구

학위논문(석사)--서울대학교 대학원 :의학과 산부인과학전공,1998.Maste

신생아 장 신경절세포에서 cathepsin D 발현

학위논문(석사)--서울대학교 대학원 :의학과 외과학전공,1999.Maste

A fast and scalable qubit-mapping method for noisy intermediate-scale quantum computers

This paper presents an efficient qubit-mapping method that redesigns a quantum circuit to overcome the limitations of qubit connectivity. We propose a recursive graph-isomorphism search to generate the scalable initial mapping. In the main mapping, we use an adaptive look-ahead window search to resolve the connectivity constraint within a short runtime. Compared with the state-of-the-art method [15], our proposed method reduced the number of additional gates by 23% on average and the runtime by 68% for the three largest benchmark circuits. Furthermore, our method improved circuit stability by reducing the circuit depth and thus can be a step forward towards fault tolerance.1