Training Methods for Deep Neural Networks using Low Precision Dynamic Fixed-Point

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 전기·정보공학부, 2019. 2. 최기영.심층신경망(Deep Neural NetworkDNN)은 데이터 인식, 수집, 합성 등의 분야에서 높은 정확도를 보이며 널리 사용되고 있다. 일반적으로, 심층신경망 학습에서 사용되는 연산은 수 표현의 정확성과 넓은 표현범위를 필요로 하기때문에 32비트 단일정밀도, 또는 64비트 배정밀도의 부동 소수점 수가 사용된다. 따라서 부동 소수점 수 사용으로 인한 전력 소모와 칩 크기, 메모리 대역폭을 줄이기 위해 심층 신경망 학습 연산에서의 비트 길이를 줄이기 위한 많은 연구가 있었다. 그 중, 동적 고정 소수점(Dynamic Fixed-PointDFP)은 부동 소수점과 고정 소수점의 결합적인 형태로써, 심층신경망 학습에 성공적인 결과를 보였던 수 표현 체계 중 하나이다. 동적 고정소수점을 사용한 신경망 학습에 대해 16비트 연산으로 가능하다는 연구들이 있었지만, 이는 가중치 업데이트를 제외했을 경우로 제한된 것이었다. 가중치 업데이트는 작은 값들을 충분히 축적하여 기존의 가중치에 더해짐으로써 업데이트 된 가중치 값을 신경망 학습에 다시 사용한다. 따라서 일반적인 신경망들의 가중치 업데이트에는 더 높은 정밀도가 필요하기 때문에 32비트 부동 소수점수를 사용했다. 그러나 다른 연산들과 비트 길이를 달리 사용하면 하드웨어 설계가 어려워질 수 있다는 문제점은 여전히 남아있었다. 본 논문은 가중치 업데이트까지 포함하여 전체적인 신경망 학습의 연산을 16비트 동적 고정 소수점을 사용할 수 있는 방법들을 제안한다. 첫 번째 방법은 '가중치 클리핑(Weight Clipping)'으로써, 가중치 값들의 범위를 제한하여 해당 범위를 초과하는 절댓값이 큰 가중치를 제한하고 조금 더 많은 가중치들이 신경망 학습에 유의미한 값을 유지하도록 하도록 하는 방법이다. '점진적 배치 크기 증가법'은 작은 업데이트 값의 세부 정보를 보존하여 16비트 가중치 업데이트의 에러 발산을 해결할 수 있다. 또한, 본 논문에서는 이 두 가지 방법을 결합함으로써 더 나은 성능의 학습 가능성을 확인하였다. 실험에는 LeNet-5와 VGG-16 네트워크 상에서 CIFAR10, CIFAR100 데이터셋을 사용하였으며, 가중치 업데이트 연산을 포함한 전체적인 학습 연산에 16 비트 동적 고정소수점수를 적용하였다. 그 결과, 이미지 분류 정확도 뿐만 아니라 학습 손실률도 부동 소수점에 근접한 결과를 얻음으로써 저전력 칩으로 동작 할 수 있는 심층 신경망의 학습을 성공하였다.Deep Neural Networks (DNNs) are widely used in the areas of RMS (Recognition, Mining, and Synthesis) applications due to their high accuracies. In general, the operations in the DNN training simultaneously need wide dynamic range and high precision, thus the 32-bit single or 64-bit double precision floating-point operations are usually used. However, the hardware using floating-point requires many drawbacks. There have been many attempts to reduce the bit-widths of the DNN training operations, to reduce the power consumption, chip area, and memory bandwidth. One of the most successful attempts is the dynamic fixed-point (DFP), which is the combination of the floating-point and fixed-point formats. It has been reported that DFP can reduce the bit-widths of the training operations to 16 bits, except for parameter update operationsparameter updates for general networks need higher precision and are usually done with 32-bit floating point operations. In this paper, we propose two methods of using 16-bit DFP for all the training operations including parameter updates. One is weight clipping method, which clips big weight values that exceed a certain upper bound to preserve enough precision for DNNs to be trained. Another one is gradual batch size increase method, which addresses the error divergence issue of the 16-bit parameter updates by preserving the details of the small update values. Lastly, we combine the two methods to further explore their potentials. We successfully apply 16-bit DFP operations on the entire training process including parameter updates, and achieve the same accuracies with LeNet-5 and VGG-16 networks using CIFAR-10 and CIFAR-100 datasets.Abstract i Contents iii List of Tables v List of Figures vi 1 INTRODUCTION 1 2 Training DNN with Dynamic Fixed-Point 6 2.1 Numerical Representation Format . . . . . . . . . . . . . . . . . . . 6 2.1.1 Floating Point and Fixed Point . . . . . . . . . . . . . . . . . 6 2.1.2 Dynamic Fixed-Point . . . . . . . . . . . . . . . . . . . . . . 8 2.2 Training Result and Analysis of DNN using DFP . . . . . . . . . . . 10 3 Weight Clipping 15 3.1 Implementation of Weight Clipping . . . . . . . . . . . . . . . . . . 15 3.2 Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.1 Setup . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.2.2 Error and Loss Result . . . . . . . . . . . . . . . . . . . . . . 18 4 Gradual Batchsize Increase 23 4.1 Implementation of Gradual Batchsize Increase . . . . . . . . . . . . . 23 4.2 Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 4.2.1 Error and Loss Result . . . . . . . . . . . . . . . . . . . . . . 25 5 Combined Version of Two Method 29 6 Summary 33 Abstract (In Korean) 39Maste

Anti-neoplastic effect of selective COX-2 inhibitor on gastric cancer cells

Thesis(master`s)--서울대학교 대학원 :의학과 내과학전공,2006.Maste

Effects of organic Ca supplements on Ca bioavailability and physiological functions in growing rats and ovariectomized osteoporotic model rats

학위논문 (석사)-- 서울대학교 대학원 : 식품영양학과, 2011.2. 이연숙.Maste

Development and Evaluation of a Tailored Gestational Diabetes Mellitus Management Smartphone Application

학위논문 (석사)-- 서울대학교 대학원 : 간호학과, 2014. 8. 박현애.본 연구의 목적은 임신성 당뇨병 자기관리를 돕기 위하여 임신성 당뇨병 관리 임상 실무지침에서 임신성 당뇨병 관리에 필요한 지식을 추출하고 사용자 요구도 조사를 한 후 이를 바탕으로 맞춤형 권고안을 개발하고 스마트폰 앱을 개발하는 데 있다. 본 연구에서 개발한 임신성 당뇨병 관리 앱은 시스템 개발 생명주기에 근거하여 분석 - 설계 - 구현 – 평가의 과정에 따라 수행하였다. 분석 단계에서는 임신성 당뇨병 실무 가이드라인과 사용자 요구도 조사를 통해 9개 관리영역의 지식과 15개의 시스템 기능을 추출하였다. 추출한 9개 관리영역에서 14개 일반적 교육내용과 49개 맞춤형 권고안을 추출하였다. 설계 단계에서는 앱의 기능 요구사항을 바탕으로 사용자 인터페이스, 지식 베이스와 데이터베이스를 설계하였다. 그런 다음 데이터와 맞춤형 권고안을 연결하는 알고리즘을 개발하였다. 구현 단계에서 Eclipse 개발환경에서 Android Developer tools를 사용하여 Android 2.2버전에서 4.4버전까지 운영 가능한 앱을 Java로 개발하였다. 평가단계에서는 앱의 오류 평가와 사용성 평가, 수용 의도 평가를 하였다. 앱의 오류 평가에서는 2명의 평가자가 시나리오를 보고 제시하는 권고안과 각 시나리오에 제시된 데이터를 앱에 입력하면 앱이 제시하는 권고안을 비교하였다. 평가 결과 오류가 없는 것으로 나타났다. 앱의 사용성 평가에서는 임신성 당뇨병 임산부 5명을 대상으로 앱을 1주일간 사용한 뒤 System Usability Scale을 측정하였다. 사용성 평가 결과 평균 69.5점으로 보통수준으로 나타났다. 수용 의도 평가단계에서는 사용성 평가에서 제시된 의견을 반영하여 앱을 수정한 후 사용 의도 및 사용 의도에 영향을 미치는 내재적 동기, 지각된 용이성, 지각된 유용성을 평가하였다. 평가 결과 7점 만점에 각각 5.5점, 4.3점, 4.6점, 5.0점으로 나타났다. 본 연구는 처음으로 임신성 당뇨병 임부의 입력값에 따른 맞춤형 권고안을 제공하는 스마트폰 앱을 개발한 연구로서, 본 연구 과정에서 얻은 지식, 맞춤형 권고안은 임신성 당뇨병 관리에 도움이 될 수 있을 것이다.국문초록 Ⅰ. 서론 1. 연구의 필요성 2. 연구 목적 3. 용어 정의 Ⅱ. 문헌 고찰 1. 임신성 당뇨병 관리 2. 모바일 헬스케어 3. 기술수용모형 Ⅲ. 연구 방법 1. 지식 및 기능 요구사항 분석 2. 설계 3. 구현 4. 평가 5. 수정 및 보완 6. 앱의 수용 의도 평가 7. 연구의 윤리적 고려 Ⅳ. 연구 결과 1. 지식 및 기능 요구사항 분석 2. 설계 3. 구현 4. 평가 5. 수정 및 보완 6. 앱의 수용 의도 평가 Ⅴ. 논의 Ⅵ. 결론 및 제언 참고문헌 부 록 부록 1. 연구 윤리 심의 결과 통보서 부록 2. 연구 도구 사용 허가서 부록 3. 요구도 설문지 부록 4. Data Dictionary 부록 5. 알고리즘 부록 6. 맞춤형 권고안 부록 7. 앱 사용 설명서 부록 8. 앱 사용성 평가 설문지 부록 9. 수용 의도 평가 설문지 AbstractMaste

A Study on the Intracellular Distribution of Transaminases in the Liver of Mouse

Intracellular fractionation was carried out by ultracentrifugal analysis in order to obtain the nuclear, mitochondrial, and supernatant fractions in the liver of mouse. Colorimetric analysis was performed to estimate the distribution patterns of GOT and GPT levels among the fractions. Cortisone was administered intraperitoneally to study the response of the transaminase activities among the three intracellular fractions. Along with study on the influence of cortisone, the effects of dietary protein and fasting were investigated to observe their effects of gluconeogenic activity exerted upon the transaminase activity in the liver of mouse, with the following conclusions. 1. The distributions of GOT and GPT are common to all fractions, the activities in mitochondial fractions being the highest and the nuclear the lowest. 2. GOT level is higher than GPT in every intra-cellular fractions. :l. Cortisone administration causes an increase in the activities of both transaminases in all intracellular fractions, and its magnitude exerted upon GPT being more stronger than GOT. 4. Conditions known to display gluconeogenic action, such as high protein intake and fasting, cause increased levels of GOT and GPT in all intracellular fractions, the magnitude of which is far higher in GPT than in GOT level, as observed with cortisone administration. 5. In the conditions mentioned above, as cortisone administration, increased level of mitochondrial GPT is most pronounced among the three intracellular fractions. A brief discussion was made on the results, especially on the significance of nuclear GOT and GPT as well as variations of these enzymes in the intracellular fractions resulting from gluconeoengesis

스타틴에 의한 대장암 세포와 이식 종양의 세포 사멸 유도 효과 및 장염-관련 대장암의 억제 효과

Thesis(doctors) --서울대학교 대학원 :의학과(내과학 전공),2009.2.Docto

Design of a Dual-Band Patch Antenna with Rectangular, Triangular Slots

Maste

Effect of Volume Fraction of Undissolved Cementite on the High Cycle Fatigue Properties of High Carbon Steels

Maste