학위논문(석사) -- 서울대학교대학원 : 공학전문대학원 응용공학과, 2022.2. 이영기.모바일 기기 및 IoT 기기와 같은 임베디드 디바이스에서 사용 가능 한 온 디바이스 AI 서비스에 대한 수요가 증가하고 있다. 온 디바이스 AI 는 딥러닝 모델을 임베디드 디바이스에 내장하기 위한 기술로 클라우드 기반의 인공지능 기술 대비 저지연, 강화된 보안과 같은 장점이 있지만, 실행되는 하드웨어에 성능이 의존적이며 연산을 위해 프로세서, 메모리 와 같은 많은 컴퓨팅 자원을 사용하여 과도한 전력을 소비한다. 이와 같은 이유로 경량 딥러닝 모델을 개발할 때 에너지 효율을 고려해야 한다.
본 연구에서는 모바일 기기의 에너지 효율을 고려한 에너지 효율적인 딥러닝 모델을 구성하는 방법으로 ELP-NAS를 제안한다. 딥러닝 모델이 모바일 기기에서 실행될 때 모델의 종단간 소비 전력과 지연 시간을 예 측하고, 이 예측값들을 모델의 정확도와 함께 강화 학습 기반의 신경망 아키텍처 탐색을 통해 성능 좋은 모델을 탐색하고 학습한다.
CIFAR-10 데이터 세트에서 ELP-NAS의 정확도는 베이스라인 모델 인 ENAS 대비 정확도는 0.35% 감소하여 1%미만으로 아주 작지만, 소비 전력과 지연 시간은 약 40% 개선된 것을 확인하였다.The demand for on-device AI service-based image analysis technology that can be used in embedded devices such as mobile and IoT devices is increasing. On-device AI has advantages such as low latency and enhanced security, but AI performance is dependent on hardware performance and consumes excessive power by requiring a lot of computing resources such as processor and memory for AI operations. For this reason, there is a need to improve energy efficiency for on-device AI models.
In this study, we propose ELP-NAS as a method of constructing a deep learning model considering the energy efficiency of mobile devices. ELP-NAS trains deep learning models using neural network architecture search to design optimal architectures in automatic machine learning. By applying the algorithm to predict the end-to-end energy consumption and latency of the deep learning model, the predicted energy consumption and latency of the discovered neural network architecture are used as a reward for reinforcement learning along with the accuracy of the model.
In the CIFAR-10 data set, the accuracy of the ELP-NAS was 95.26%, which is equivalent to the accuracy of the ENAS selected as the baseline, 95.61%, but it was confirmed that the power consumption and execution time were improved by about 40% compared to the baseline model.I. 서론 1
1.1 연구 배경 및 목적 1
1.2 연구 범위 3
1.3 연구의 구성 4
II. 관련 연구 5
2.1 신경망 아키텍처 탐색 5
2.1.1 탐색 영역 설계 7
2.1.2 탐색 전략 9
2.1.3 성능 평가 전략 10
2.2 선행 연구 12
III. 연구 방법 18
3.1 문제 정의 18
3.2 ELP 알고리즘 21
3.3 ELP-NAS 시스템 22
3.4 성능 평가 방법 27
IV. 실험 및 결과 28
4.1 실험 개요 28
4.2 실험 환경 설정 28
4.3 실험 결과 및 분석 37
4.3.1 목표값 설정 실험 결과 37
4.3.2 강성 제약 조건 실험 결과 39
4.3.3 연성 제약 조건 실험 결과 41
4.3.4 실험 결과 분석 43
4.4 모델 성능 비교 46
V. 결론 50
5.1 고찰 50
5.2 연구 한계점 51
5.3 향후 과제 52
참고 문헌 53
Abstract 57석