Neural Architecture Search considering energy efficiency of mobile device

학위논문(석사) -- 서울대학교대학원 : 공학전문대학원 응용공학과, 2022.2. 이영기.모바일 기기 및 IoT 기기와 같은 임베디드 디바이스에서 사용 가능 한 온 디바이스 AI 서비스에 대한 수요가 증가하고 있다. 온 디바이스 AI 는 딥러닝 모델을 임베디드 디바이스에 내장하기 위한 기술로 클라우드 기반의 인공지능 기술 대비 저지연, 강화된 보안과 같은 장점이 있지만, 실행되는 하드웨어에 성능이 의존적이며 연산을 위해 프로세서, 메모리 와 같은 많은 컴퓨팅 자원을 사용하여 과도한 전력을 소비한다. 이와 같은 이유로 경량 딥러닝 모델을 개발할 때 에너지 효율을 고려해야 한다. 본 연구에서는 모바일 기기의 에너지 효율을 고려한 에너지 효율적인 딥러닝 모델을 구성하는 방법으로 ELP-NAS를 제안한다. 딥러닝 모델이 모바일 기기에서 실행될 때 모델의 종단간 소비 전력과 지연 시간을 예 측하고, 이 예측값들을 모델의 정확도와 함께 강화 학습 기반의 신경망 아키텍처 탐색을 통해 성능 좋은 모델을 탐색하고 학습한다. CIFAR-10 데이터 세트에서 ELP-NAS의 정확도는 베이스라인 모델 인 ENAS 대비 정확도는 0.35% 감소하여 1%미만으로 아주 작지만, 소비 전력과 지연 시간은 약 40% 개선된 것을 확인하였다.The demand for on-device AI service-based image analysis technology that can be used in embedded devices such as mobile and IoT devices is increasing. On-device AI has advantages such as low latency and enhanced security, but AI performance is dependent on hardware performance and consumes excessive power by requiring a lot of computing resources such as processor and memory for AI operations. For this reason, there is a need to improve energy efficiency for on-device AI models. In this study, we propose ELP-NAS as a method of constructing a deep learning model considering the energy efficiency of mobile devices. ELP-NAS trains deep learning models using neural network architecture search to design optimal architectures in automatic machine learning. By applying the algorithm to predict the end-to-end energy consumption and latency of the deep learning model, the predicted energy consumption and latency of the discovered neural network architecture are used as a reward for reinforcement learning along with the accuracy of the model. In the CIFAR-10 data set, the accuracy of the ELP-NAS was 95.26%, which is equivalent to the accuracy of the ENAS selected as the baseline, 95.61%, but it was confirmed that the power consumption and execution time were improved by about 40% compared to the baseline model.I. 서론 1 1.1 연구 배경 및 목적 1 1.2 연구 범위 3 1.3 연구의 구성 4 II. 관련 연구 5 2.1 신경망 아키텍처 탐색 5 2.1.1 탐색 영역 설계 7 2.1.2 탐색 전략 9 2.1.3 성능 평가 전략 10 2.2 선행 연구 12 III. 연구 방법 18 3.1 문제 정의 18 3.2 ELP 알고리즘 21 3.3 ELP-NAS 시스템 22 3.4 성능 평가 방법 27 IV. 실험 및 결과 28 4.1 실험 개요 28 4.2 실험 환경 설정 28 4.3 실험 결과 및 분석 37 4.3.1 목표값 설정 실험 결과 37 4.3.2 강성 제약 조건 실험 결과 39 4.3.3 연성 제약 조건 실험 결과 41 4.3.4 실험 결과 분석 43 4.4 모델 성능 비교 46 V. 결론 50 5.1 고찰 50 5.2 연구 한계점 51 5.3 향후 과제 52 참고 문헌 53 Abstract 57석

A study on the implementation of the tractography program in diffusion tensor imaging

의공학과/석사[한글] 확산텐서 자기공명영상은 대뇌 신경계의 기하학적 구조를 안전하고 비침습적인 방법으로 진단할 수 있는 기술이다. 대뇌에 있는 백질은 그 속이 물로 채워져 있고, 길고 가느다란 신경 구조를 가지고 있어, 확산을 이용한 신경의 경로를 구현할 수 있다. 아주 미세한 단위로 일정한 법칙이 없이 운동하는 물분자의 확산은 서로 다른 6개의 경사자기장으로 측정된 자기공명영상데이터로부터 계산되어진다. 계산되어진 확산을 확산계수라고 부르며, 확산계수로부터 고유값, 고유벡터, FA값을 얻을 수 있는데 이 값들은 각 화소의 크기, 방향, 비등방성을 나타낸다.본 논문에서는 얻어진 각 화소의 고유값과 고유벡터로부터 확산의 방향을 가르키는 방향으로 화소의 크기보다 작은 실수 단위의 값을 벡터와 곱하여 점차 더해나가는 FACT방법으로 각 화소의 벡터들을 연결하는 Tractography를 구현하였다. Tractography의 정밀성을 검증하기위하여 실험한 신경은 뼈대근육의 수의운동을 조절하는 겉질척수로중에서 대뇌를 지나는 경로이며, 해부학적인 겉질척수로의 특징인 중심앞이랑, 속섬유막, 대뇌다리를 경유하여 해부학적인 모양과 일치함을 보여주었다. [영문]Diffusion Tensor Magnetic Resonance Imaging(DT-MRI) is a method which makes it possible to study in the human brain in vivo and non-invasively the architecture of axonal fibers in the central nervous system. In white matter fibers there is a pronounced directional dependence on diffusion. Diffusion is calculated from MR dataset that measured by six gradients independently. Calculated diffusion is called diffusion constant that is based on eigenvalue, eigenvector and FA value. These values are represented each voxels of magnitude, direction and anisotrophy.Tractograpy that connect vectors of each pixels using FACT method from eigenvalue and eigenvector of each pixels in this paper. Nerve that experiment to verify tractography''''s precision passes CST. Implemented tractography agree with anatomical path of CST.ope

소와 백서의 신장 transamidinase의 분리 및 구조에 관한 연구

의학과/박사[영문] [한글] Transamidinase(L-arginine: glycine amidinotransferase, EC 2. 1.4. 1)는 척추동물의 에너지대사에 관여하는 매우 중요한 기질인 creatine의 생합성 과정중 첫번째 반응인 ar ginine과 glycine으로부터 ornithine과 guanidinoacetic acid가 형성되는 과정을 촉매한 다(Borsook과 Dubnoff 1941). 이 효소의 활성은 Borsook과 Dubnoff(1941)에 의해 포유동 물의 신장에서 최초로 보고된 이래로, 쥐의 뇌 (Defalco와 Davies 1961), 쥐 간장(Gerber 등, 1962), 쥐 고환(Koszalka 1968), 그리고 개 췌장(Walker와 Walker 1959)등 여러 동물 의 여러 장기에서 보고되어 있다. 또한 Van Pilsum등(1972)은 이 효소의 활성을 여러 척추동물과 무척추동물의 각 장기에 서 비교하고, 사람을 포함한 대부분의 동물의 신장과 췌장에서 그 활성이 다른 조직에 비 해 높다고 보고하였다. Transamidinase는 최초로 Ratner와 Rochovansky(1956)에 의해 돼 지 신장에서 분리 정제되었고, 그후 쥐 신장(McGuire등, 1980), 소 신장(Im등, 1983) 등 에서 분리 정제되었으며, 그 분자량은 82,600∼100,000으로서 종의 차이없이 비슷하며, 쥐 (McGuire등, 1980)와 소(Im등, 1983)의 경우 두개의 동일한 소단위로 구성되어 있다고 보고되어 있다. 한편 McGuire등(1980)은 DEAE-cellulose에 의해 쥐 신장 transamidinase는 α와 β의 두 isoenzyme으로 분리되며, 이 두 효소는 그 분자량, 등전점, 항원성 등이 유사하지만, 돼지 신장 transamidinase와는 이온 교환 수지에 부착하는 성질등에 차이가 있다고 보고 하였으며, 소 신장에서 순수 분리한 transamidinase가 Ping-Pong Bi Bi반응기전에 의하여 촉매작용을 하는 것이 밝혀진 바 있다(Im등, 1983). 이와 같이 신장 transamidinase는 그 성질이 종에 따라 많은 차이가 있으며, 또한 분리하는 방법에 따라 단일 단백질 혹은 두개의 isoenzyme으로 분리되는 것을 알 수 있다. 이에 저자는 소와 쥐 신장에서 같은 방법을 사용하여 transamidinase를 분리하고, 이 두 단백질의 분자량, 소단위 구성 여부, 등전점, N-terminal아미노산, 아미노산 구성 성 분 등 구조적인 성질을 분석, 비교하여 다음과 같은 결과를 얻었다. 1. 소와 쥐 신장 transamidinase는 황산 암모늄처리, Sephadex G-150 gel filtration c hromatography 및 두번의 DEAE-Sephadex A-50 이온교환 chromatography를 통하여 각각 α 와 β-transamidinase로 분리되었으며, 소 신장에서는 각각 297.3배, 161.8배, 그리고 쥐 신장에서는 각각 219.4배, 99.5배 분리 정제하였다. 이때 specific activity는 소는 각 각3.272, 1.780 μmoles ornithine(orn)/hr/mg protein이었고, 쥐는 각각 2.194, 0.995 μmoles orn/hr/mg protein이었으며, 효소 활성 회수는 소 신장에서는 각각 16%, 4%, 쥐 신장에서는 각각 5%, 2%이었다. 이와 같이 분리된 소와 쥐의 α와 β-transamidinase는 S DS-PAGE(10%)에서 각각 하나의 단백질로 나타난 사실로 미루어 이 효소가 순수 분리 정제 된 것으로 사료된다. 2. SDS-PAGE(10%)에 의해 소와 쥐의 α와 β-transamidinase의 분자량은 소와 쥐의 경 우 동일하게 α는 약 44,000, β는 약 42,000으로 계산되었으며, Sephadex G-200(superfi ne) gel filtration chromatography에 의해서는 그 분자량이 각각 약 88,000과 84,000으 로 계산되었다. 이 결과로 미루어 보아 소와 쥐 신장의 α와 β-transamidinase는 두개의 동일한 소단위로 구성되어 있는 효소로 사료된다. 3. Isoelectric focusing gel전기 영동법에 의해 결정된 이 효소의 native형 등전점은 소와 쥐에서 별 차이없이 α-transamodinane는 약 6.4, β-transamidinase는 약 6.2이었 으며, denature 시킨 후 환원시키면 각각 약 7.0, 6.6으로서, 이 효소는 약산성 단백질로 사료된다. 4. Dansylation방법에 의해 소와 쥐의 α와 β-transamidinase의 N-terminal아미노산이 모두 glutamic acid/glutamine으로 되어 있음을 밟혔다. 또한 소와 쥐의 α와 β-transa midinase의 아미노산 구성 성분을 분석한 결과에 의하면 소의 경우 a와 β-transamidinas e의 아미노산 구성 성분은 serine, glutamic acid/glutamine, glycine, lysine등의 아미 노산은 소단위당 10개 이상의 차이가 있는 등, 상당한 차이가 있는 반면에, 쥐의 경우에 는 α와 β-transamidinase의 아미노산 구성 성분은 serine과 glycine의 경우 약간의 차 이가 있을 뿐 큰 차이가 없었다. 한편 소와 쥐를 비교해 보았을 때에도 그 아미노산 구성 성분에 차이가 있었다. 이와 같은 구조적인 성질을 종합하면, 소와 쥐 신장 transamidin ase는 그 일차 구조인 아미노산 배열순서는 동일하지 않으나, 상당히 많은 정도의 sequen ce homology를 함유하고 있는 단백질로 사료되며, 이런 사실로 미루어 이제까지 알려져 있는 transamidinase의 종에 따른 여러 성질의 차이는 이같은 아미노산 배열 순서의 차이 로 인한 단백질의 2차 및 3차 구조의 차이에 기인하는 것으로 사료된다. Purification and Structure of Transamidinase from Bovine and Rat Kidney Young Yoon Kim Department of Medical Science The Graduate School, Yonsei University (Directed by Professor Yoon Soo KiM, M.D., Ph.D.) Two forms(α and β) of transamidinase(EC 2.1.4.1, L-arginine: glycine amidinotransferase) have been purified from both bovine and rat kidneys by a series of steps including ammonium sulfate precipitation, Sephadex G-150 gel filtration chromatography and DEAE-Sephadex A-50 ion exchange chromatography, and they were homogeneous as judged by a single band obtained from each enzyme when analyzed by SDS-polyacrylamide gel electrophoresis(10%). The molecular weights measured by 9el filtration chromatography on Sephadex G-200 were 88,000 for bovine and rat α-transamidinases and 84,000 for bovine and rat β-transamidinases and SDS-polyacrylamide gel electrophoresis showed the molecular weights of 44,000 and 42,000 respectively, indicating that α and β-transamidinases of both bovine and rat consist of two identical subunits. Isoelectric points of bovine and rat α-transamidinases were 6.4 in native rotate and 7.0 under reducing conditions, and 6.2 and 6.6 respectively for bovine and rat β-transamidinases suggesting that the enzymes are weak acidic proteins. All two forms of bovine and rat transamidinases have glutamic acid/glutamine as their N-terminal amino acid as determined by dansylation method. The results of amino acid composition analysis showed that a and β-transamidinases of bovine kidney have different compositions, the differences being most prominent in serine, glutamic acid/glutamine, glycine and lysine residues, whereas rat kidney α and β-transamidinases have quite similar amino acid compositions except a small difference in serine and glycine residues. The results also showed that there are differences in amino acid compositions between bovine and rat enzymes although they have identical N-termini, similar pI values and molecular weights. From these results, it is concluded that α and β-transamidinases from both bovine and rat contain a large degree of sequence homology even though their amino acid sequences are different, and therefore it is suggested that the known species differences of transamidinases are due to the differences in secondary and tertiary structures of these proteins resulting from their different primary amino acid sequences.restrictio

Study on the synthesis and role of the testicular creatine in rats

의학과/석사[한글] 근육이나 신경조직에서 creatine은 creatine phosphate의 형태로 high energy phosphat e를 저장하여 ATP의 함량을 유지시켜 주는 역할을 하고 있다(stryer, 1981) 어느 조직이 creatine을 energy reservoir로 사용하려면 creatine과 crestine kinase 활성이 요구된다 . 정자는 운동기전이 근육조직과 같고(Summers 및 Gibbons, 1971) 최근 정자내에도 creat ine kinase의 활성이 있는 것으로 알려졌다(Schmechta, 1980). 저자는 고환에서의 creati ne의 기능을 보기 위하여 백서의 고환내 creatine 함량을 Van Pi1sum의 방법으로 측정하 여 다른 조직과 비교하였다. 고환의 creatine 함량은 39.82±3.36 ㎍/g wet tlssue로서 근육조직의 57.92±10.25 ㎍ /g wet tissue와 비숫하며 뇌조직 (15.45±6.47 ㎍/g wet tissue) 이나 심장근육 (20.0± 2.91 ㎍/g wet tissue) 보다 많은 양의 creatine을 함유하고 있는 것으로 나타났다. 신장 은 29.55±2.52 ㎍/g wet tissue의 creatine을 함유하며 간조직은 12.68±1.94 ㎍/g wet tissue를 함유하고 있다. Creatinine의 함량은 고환이 45.84±4.08 ㎍/g wet tissue로 근육조직의 24.14± 7.73 ㎍/g wet tissue, 심장근육의 23.7l± 4.73 ㎍/g wet tissue, 뇌조직의 l7.24± 1.l9 ㎍/ g wet tissue에 비해 높은 것으로 나타났다. 신장조직은 14.92 +3.45 ㎍/gwe t tissue, 간조직은 9.59±1.26 ㎍/g wet tissue으로 나타났다. 이와같은 실험결과로 고환조직에서 creatine은 ATP를 생산하는데 중요한 역할을 할 것 이라 생각된다. [영문] It is clear that creatine plays a reservoir of high energy phosphate bond as creatine phosphate and maintains ATP levels in skeletal muscle and nervous tissues. Creatine and creatine kinase activity are required to utilize creatine phosphate as high energy phosphate. The mechanism of the movement of sperm flagella is very similar with that of skeletal muscle, and creatine kinase activity was detected in human sperm. The contents of creatine in testis of rats were determined by the method of Van Pilsum and compared with other organs for the Study of the physiological role of creatine in testis. Creatine content of testes was 39.82±3.36 ㎍/g wet tissue compared with skeletal muscle, 52.92±10.25 ㎍/g wet tissue. It was relatively high compared with brain, (15.45±6.49 ㎍/g wet tissue), heart(20.0±2.91 u㎍/g wet tissue), kidney(29.55±2.52 ㎍/g wet tissue) and liver(12.68±1.94 ㎍/g wet tissue). Creatinine content of testes (45.84±4.08 ㎍/g wet tissue) was very high, compared with skeletal muscle(24.14±7.73 ㎍/g wet tissue), heart(23.71±4.73 ㎍/g wet tissue), brain(17.24±1.19 ㎍/g wet tissue), kidney(14.92±3.45 ㎍/g wet tissue), and liver(9.59±1.26 ㎍/g wet tissue). I suppose that creatine may he a part of potent system for generation of ATP from ADP hydrolizing creatine phosphate.restrictio

Neural Architecture Search considering energy efficiency of mobile device

모바일 기기 및 IoT 기기와 같은 임베디드 디바이스에서 사용 가능 한 온 디바이스 AI 서비스에 대한 수요가 증가하고 있다. 온 디바이스 AI 는 딥러닝 모델을 임베디드 디바이스에 내장하기 위한 기술로 클라우드 기반의 인공지능 기술 대비 저지연, 강화된 보안과 같은 장점이 있지만, 실행되는 하드웨어에 성능이 의존적이며 연산을 위해 프로세서, 메모리 와 같은 많은 컴퓨팅 자원을 사용하여 과도한 전력을 소비한다. 이와 같은 이유로 경량 딥러닝 모델을 개발할 때 에너지 효율을 고려해야 한다. 본 연구에서는 모바일 기기의 에너지 효율을 고려한 에너지 효율적인 딥러닝 모델을 구성하는 방법으로 ELP-NAS를 제안한다. 딥러닝 모델이 모바일 기기에서 실행될 때 모델의 종단간 소비 전력과 지연 시간을 예 측하고, 이 예측값들을 모델의 정확도와 함께 강화 학습 기반의 신경망 아키텍처 탐색을 통해 성능 좋은 모델을 탐색하고 학습한다. CIFAR-10 데이터 세트에서 ELP-NAS의 정확도는 베이스라인 모델 인 ENAS 대비 정확도는 0.35% 감소하여 1%미만으로 아주 작지만, 소비 전력과 지연 시간은 약 40% 개선된 것을 확인하였다.The demand for on-device AI service-based image analysis technology that can be used in embedded devices such as mobile and IoT devices is increasing. On-device AI has advantages such as low latency and enhanced security, but AI performance is dependent on hardware performance and consumes excessive power by requiring a lot of computing resources such as processor and memory for AI operations. For this reason, there is a need to improve energy efficiency for on-device AI models. In this study, we propose ELP-NAS as a method of constructing a deep learning model considering the energy efficiency of mobile devices. ELP-NAS trains deep learning models using neural network architecture search to design optimal architectures in automatic machine learning. By applying the algorithm to predict the end-to-end energy consumption and latency of the deep learning model, the predicted energy consumption and latency of the discovered neural network architecture are used as a reward for reinforcement learning along with the accuracy of the model. In the CIFAR-10 data set, the accuracy of the ELP-NAS was 95.26%, which is equivalent to the accuracy of the ENAS selected as the baseline, 95.61%, but it was confirmed that the power consumption and execution time were improved by about 40% compared to the baseline model.I. 서론 1 1.1 연구 배경 및 목적 1 1.2 연구 범위 3 1.3 연구의 구성 4 II. 관련 연구 5 2.1 신경망 아키텍처 탐색 5 2.1.1 탐색 영역 설계 7 2.1.2 탐색 전략 9 2.1.3 성능 평가 전략 10 2.2 선행 연구 12 III. 연구 방법 18 3.1 문제 정의 18 3.2 ELP 알고리즘 21 3.3 ELP-NAS 시스템 22 3.4 성능 평가 방법 27 IV. 실험 및 결과 28 4.1 실험 개요 28 4.2 실험 환경 설정 28 4.3 실험 결과 및 분석 37 4.3.1 목표값 설정 실험 결과 37 4.3.2 강성 제약 조건 실험 결과 39 4.3.3 연성 제약 조건 실험 결과 41 4.3.4 실험 결과 분석 43 4.4 모델 성능 비교 46 V. 결론 50 5.1 고찰 50 5.2 연구 한계점 51 5.3 향후 과제 52 참고 문헌 53 Abstract 57석

Economic Cooperation and Humanitarian Assistance between South and North Korea from the Viewpoint of Green－peace

이 글에서는 남북관계의 새로운 시도로 제시되고 있는 녹색평화의 의미를 남북경협 과 대북지원의 차원에서 살펴보고 있다. 구체적으로는 녹색평화창출을 위해 남북경협 및 대북지원을 어떤 방향으로 추진하고 그 내용과 전략을 어떻게 가져가야 할 것인지를 제 시하고 있다. 녹색평화와 관련된 남북경협은 저탄소 녹색성장을 기본방향으로 삼고, 남 한 정부가 주체가 되어 북한 주민의 삶과 밀접한 방향으로 추진하되, 그것이 녹색평화 를 창출하는 일에 한 걸음 더 다가갈 수 있도록 하는 것이 중요하다. 남북경협과 대북 지원의 세부적인 추진 사업에는 재생 에너지 협력사업, 농업생산 기반조성, 산림복구, 비 무장지대 일원의 평화경제사업, 자전거 생산을 포함한 산업분야에서의 협력 등을 들 수 있다. 그러나 이를 실질적으로 추진하기 위해서는 남북한 공히 이를 위한 실질적인 조치 가 단행되어야 하며, 정책 및 제도개혁과 함께 국제사회의 대북 요구사항이 수용되어야 할 것이다. 이보다 더 중요한 것은 남북관계의 획기적 개선이 이루어져야 할 것이라는 점이다