Data reuse optimization for an FPGA implementation of Inception V4 Network

학위논문 (석사) -- 서울대학교 대학원 : 공과대학 전기·정보공학부, 2021. 2. 이혁재.최근 컴퓨터 비전 분야에서 Deep Convolution Neural Network가 높은 성능을 보이고 있고, FPGA를 이용하여 이미지 추론을 가속하는 연구가 활발히 진행되고 있다. Deep CNN은 깊은 네트워크 특성때문에 많은 양의 weight 파라미터와 중간 feature map 데이터를 생성한다. 이로 인해, FPGA 상에서 추론할 때 많은 off-chip 메모리 접근을 하게 되고 이는 가속기 추론 속도 성능과 에너지 효율의 bottleneck으로 작용한다. 위 문제를 해결하기 위해 한 번 off-chip 메모리에 접근하여 가져온 데이터를 on-chip에서 최대한 재사용하는 방법들이 소개되었다. 하지만 기존의 데이터 재사용 방법들은 이미지 분류에서 높은 성능을 보이는 Inception V4 네트워크에 최적의 결과를 내지 못하는 모습을 보인다. 본 논문에서는 Inception V4 네트워크의 branch 구조를 고려하여 데이터를 on-chip에서 최대한 많이 재사용하는 Mixed convolution 방법을 제안한다. Mixed convolution은 Inception 모듈의 입력 feature map 데이터를 재사용하는 Grouped convolution과 branch 내에서 생성되는 중간 feature map 데이터를 재사용하는 Fused convolution을 모두 사용하는 것으로 2가지 방법의 장점을 모두 이용한다. 그 결과, Inception 모듈에서 생성되는 feature map 데이터에 대해서 421KB의 추가 on-chip 버퍼 메모리를 사용하여 off-chip 메모리 데이터 전송량을 37MB에서 12MB로, baseline대비 66.4% 감소시켰다. 또한, on-chip 버퍼 메모리를 최적화하기 위해 Inception-C 모듈에 full weight 재사용 방법을 사용함으로써 218KB의 추가 on-chip 버퍼 메모리를 사용하여 off-chip 메모리 데이터 전송량을 11MB로 더욱 줄여 baseline대비 68.6% 감소시켰다.Deep Convolutional neural networks(DCNN) has been widely used in computer vision and achieved high performance enhancement. In addition, a lot of accelerator designs has been proposed using FPGA for CNN inference. DCNNs generate huge amounts of weight parameters and intermediate feature map data which requires many off-chip memory accesses during inference on FPGA accelerator. This leads to performance degradation and poor energy efficiency. To reduce off-chip memory accesses, various of data reuse methods have been proposed. However, previous data reuse methods show low reusability on Inception V4 network which has high performance on image classification. Considering branch topology of inception module, proposed data reuse method named Mixed convolution reuse feature map data using on-chip memory. Mixed convolution takes advantages of both Grouped convolution and Fused convolution which reuse input feature map data of inception module and intermediate feature map data of a branch respectively. As a result, Mixed convolution minimizes off chip feature map data transfer of inception modules, reducing by 66.4%, from 37MB to 12MB using extra 421KB on-chip buffer memory. In addition, to optimize on-chip buffer memory size required to minimize off-chip data transfer, Full weight reuse dataflow is applied to Inception-C module which results in reduction of off-chip feature map data transfer of inception module, reducing by 68.6%, from 37MB to 11MB using extra 218KB on-chip buffer memory.제 1 장 서 론 1 1.1 연구의 배경 및 내용 1 1.2 논문 구성 4 제 2 장 관련 연구 5 2.1 Inception Network 5 2.2 FPGA 가속기 연구 9 2.2.1 Off chip memory 접근 관련 연구 9 제 3 장 Inception v4 Network의 데이터 재사용 방법 14 3.1 Grouped Conovlution 14 3.1.1 Grouped Conovlution의 동작 방식 16 3.1.2 Grouped Conovlution의 on chip 버퍼 22 3.2 Fused Conovlution 23 3.2.1 Fused Conovlution의 동작 방식 24 3.2.2 Fused Conovlution의 fused 버퍼 크기 26 3.3 Mixed Conovlution 27 3.3.1 Mixed Conovlution의 동작 방식 27 3.3.2 Mixed Conovlution의 on chip 버퍼 크기 30 3.4 Full weight 재사용을 적용한 Mixed Conovlution 31 제 4 장 실험 결과 및 분석 33 4.1 FPGA 하드웨어 가속기 시스템 33 4.2 가속기 모듈 내부 구조 34 4.3 Mixed convolution을 지원하는 Data Controller 구현 37 제 5 장 실험 결과 및 분석 39 5.1 Off-chip 메모리 데이터 전송 크기 비교 39 5.2 On-chip 버퍼 크기 비교 42 5.3 Full weight 재사용과 on-chip 버퍼 크기 분석 45 5.4 FPGA 리소스 사용량 비교 분석 46 제 6 장 결론 48 참고문헌 49 Abstract 51Maste

A Study on the Port Clustering-Ulsan Metropolitan City Case

Abstract A Study on the Port Clustering - Ulsan Metropolitan City Case － Song, Byung Gi Recently, Korea has emphasized on the effort to maximize efficiency on the national and regional economy as to carry out high-profitable logistics activities accompanying with constructing port-hinterland complexes to serve for a port and inviting logistics facilities and related-manufacturer strategically. The study had been done in three main steps. Firstly, previous studies were reviewed theoretically, then a concept of a cluster was defined. Secondly the inter-relation analysis was explained, then it defined a concept of a port-logistics cluster. Finally, the strategy to building a port-logistics cluster in Ulsan was suggested using the year 2003-inter-industry relation tables of the Bank of Korea(404 classifications) and Ulsan(153 classifications). The summarized results from this study are shown below. First of all, The concept of a port-logistics business is defined. The previous studies on a port-logistics cluster emphasized on forwarding capacity of ports and defined the cluster as a cluster of a port and directly-related businesses. However, a port is highly related to the businesses depending on in-out-freight from the port and so the port-logistics cluster is defined as a cluster of ships, freight, and companies, which is the final consumers of freight. Secondly, it is classified organizationally for related and depended industries to the port-logistics business. The classification done by the inter-industry relation table of the Bank of Korea is extended further from the classification of industries related a port, which was already handled in the previous studies. Thirdly, the inter-relation analysis for national and local level is carried out simultaneously. A cluster, in which companies, public institutions, and research centers are placed together, is affected by the economy of the location where a cluster is located. Thus, an analysis based on the local inter-industry relation table is essentially required for a quantitative analysis. In this study, the inter-industry relation tables of the Bank of Korea and Ulsan are compared and analysed and then the results are also compared and analysed. From the result, the port-logistics business has high-ripple effect and needed to invest as a local strategic industry. On the other side, traditional freight business has low-ripple effect. As shown in the result, a strategic investment on the port-logistics business is required. Finally, the strategy to build a port-logistics cluster is suggested by analysing factors about the pre and post effects on the inter-industry relation table and selecting businesses for invitation. For the cluster in Ulsan, building SOC for the port-logistics industry and restructuring local strategic industries are required. This work will be done by establishing a free economy zone, inviting the financial business, the distribution business, building up cooperation system among educational institutes, companies, and research institutes, and a public committee to take in charge. The result of the study will be used as one of base studies for building policies for a port-logistics cluster suitable to individual local areas showing the methodology for port-policy making on the aspect of local governments.1. 서 론 1 1.1 연구의 배경 및 목적 1 1.2 연구 수행방법 3 2. 선행연구 고찰 및 연구방법론 5 2.1 선행연구 고찰 5 2.1.1 항만물류클러스터에 관한 연구 5 2.1.2 산업연관분석에 관한 연구 11 2.2 연구방법론 16 2.2.1 클러스터 연구방법 16 2.2.2 산업연관분석 18 2.2.3 요인분석 41 3. 항만물류산업과 항만물류클러스터 개관 47 3.1 물류와 물류산업 47 3.1.1 물류의 개념 47 3.1.2 관련 법령 검토 48 3.1.3 물류산업의 경제적 분류 50 3.2 항만물류클러스터 51 3.2.1 클러스터의 개념 및 유형 51 3.2.2 항만물류클러스터 54 3.2.3 항만물류클러스터 현황 및 사례 58 4. 울산지역 항만물류산업의 실태 및 파급효과 분석 70 4.1 항만물류산업의 분류 70 4.1.1 한국표준산업분류에 의한 분류 70 4.1.2 산업연관표에 의한 분류 71 4.2 물류산업 현황 74 4.3 항만 물류산업의 여건분석 78 4.3.1 입지분석 78 4.3.2 전·후방 연쇄효과 80 4.3.3. 부가가치 83 4.3.4 노동유발효과 84 4.4 분석결과 85 5. 울산지역 항만물류클러스터 구축전략 88 5.1 항만물류클러스터 구상 88 5.1.1 항만물류클러스터 구성 88 5.1.2 항만물류클러스터 구축절차 90 5.1.3 항만물류클러스터 구성 주체별 역할 91 5.2 항만물류클러스터 조성 93 5.2.1 울산지역 항만의존산업 선정 93 5.2.2 항만의존산업 연관업종의 선정 94 5.2.3 유치대상산업 입지특성 분석 104 5.2.4 산업 배치방안 106 5.3 항만물류클러스터 육성 110 6. 결 론 113 6.1 연구결과 113 6.2 향후 연구과제 115 참고문헌 117 국문초록 121 부 록 12