그라디언트 개선 및 명시적 정규화를 통한 심층 모델 압축에 관한 연구

학위논문(박사) -- 서울대학교대학원 : 융합과학기술대학원 융학과학부, 2022.2. 김장호Deep Neural Network (DNN)은 빠르게 발전하여 컴퓨터 비전, 자연어 처리 및 음성 처리를 포함한 많은 영역에서 놀라운 성능을 보여 왔다. 이러한 DNN의 발전에 따라 edge IoT 장치와 스마트폰에 DNN을 구동하는 온디바이스 DNN에 대한 수요가 증가하고 있다. 그러나 DNN의 성장과 함께 DNN 매개변수의 수가 급격히 증가했다. 이로 인해 DNN 모델을 리소스 제약이 있는 에지 장치에 구동하기가 어렵다. 또 다른 문제는 에지 장치에서 DNN의 전력 소비량이다 왜냐하면 에지 장치의 전력용 배터리가 제한되어 있기 때문이다. 위의 문제를 해결하기 위해서는 모델 압축이 매우 중요하다. 이 논문에서 우리는 지식 증류, 양자화 및 가지치기를 포함한 모델 압축의 세 가지 새로운 방법을 제안한다. 먼저, 지식 증류라고 불리는 방법으로써, 교사 네트워크의 추가 정보를 사용하여 학생 모델을 학습시키는 것을 목표로 한다. 이 프레임워크를 사용하면 주어진 매개변수를 최대한 활용할 수 있으며 이는 장치의 리소스가 제한된 상황에서 중요하다. 기존 지식 증류 프레임워크와 달리 네트워크 구조, 배치 무작위성 및 초기 조건과 같은 교사와 학생 간의 고유한 차이가 적절한 지식을 전달하는 데 방해가 될 수 있으므로 피쳐에서 요소를 추출하여 지식을 간접적으로 증류하는 데 중점을 둔다. 둘째, 양자화를 위한 정규화 방법을 제안한다. 양자화된 모델은 자원이 제한된 에지 장치에 중요한 전력 소모와 메모리에 이점이 있다. 파라미터 분포를 양자화 친화적으로 만들기 위해 훈련 시간에 모델의 기울기를 불균일하게 재조정한다. 우리는 그라디언트의 크기를 재조정하기 위해 position-based scaled gradient (PSG)를 사용한다. Stochastic gradient descent (SGD) 와 비교하여, 우리의 position-based scaled gradient descent (PSGD)는 모델의 양자화 친화적인 가중치 분포를 만들기 때문에 양자화 후 성능 저하를 완화한다. 셋째, 중요하지 않은 과잉 매개 변수화 모델을 제거하기 위해, 가지치기된 가중치의 대략적인 기울기에 Straight-Through-Estimator (STE)를 활용하여 훈련 중에 다양한 희소성 패턴을 찾으려고 하는 동적 가지치기 방법이 등장했다. STE는 동적 희소성 패턴을 찾는 과정에서 제거된 파라미터가 되살아나도록 도울 수 있다. 그러나 이러한 거친 기울기 (coarse gradient)를 사용하면 STE 근사의 신뢰할 수 없는 기울기 방향으로 인해 훈련이 불안정해지고 성능이 저하된다. 이 문제를 해결하기 위해 우리는 이중 전달 경로를 형성하여 제거된 파라미터 (pruned weights)를 업데이트하기 위해 정제된 그라디언트를 제안한다. 가지치기에 거친 기울기를 사용하지 않기 위해 Dynamic Collective Intelligence Learning (DCIL)을 제안한다. 마지막으로 제안된 방법들을 이용하여 통합 모델 압축 훈련 프레임워크로서 결합한다. 이 방법은 극도로 희소하고 양자화 친화적인 모델을 훈련할 수 있다.Deep neural network (DNN) has been developed rapidly and has shown remarkable performance in many domains including computer vision, natural language processing and speech processing. The demand for on-device DNN, i.e., deploying DNN on the edge IoT device and smartphone in line with this development of DNN has increased. However, with the growth of DNN, the number of DNN parameters has risen drastically. This makes DNN models hard to be deployed on resource-constraint edge devices. Another challenge is the power consumption of DNN on the edge device because edge devices have a limited battery for the power. To resolve the above issues model compression is very important. In this dissertation, we propose three novel methods in model compression including knowledge distillation, quantization and pruning. First, we aim to train the student model with additional information of the teacher network, named as knowledge distillation. This framework makes it possible to make the most of a given parameter, which is essential in situations where the device's resources are limited. Unlike previous knowledge distillation frameworks, we focus on distilling the knowledge indirectly by extracting the factor from features because the inherent differences between the teacher and the student, such as the network structure, batch randomness, and initial conditions, can hinder the transfer of appropriate knowledge. Second, we propose the regularization method for quantization. The quantized model has advantages in power consumption and memory which are essential to the resource-constraint edge device. We non-uniformly rescale the gradient of the model in the training time to make a weight distribution quantization-friendly. We use position-based scaled gradient (PSG) for rescaling the gradient. Compared with the stochastic gradient descent (SGD), our position-based scaled gradient descent (PSGD) mitigates the performance degradation after quantization because it makes a quantization-friendly weight distribution of the model. Third, to prune the unimportant overparameterized model dynamic pruning methods have emerged, which try to find diverse sparsity patterns during training by utilizing Straight-Through-Estimator (STE) to approximate gradients of pruned weights. STE can help the pruned weights revive in the process of finding dynamic sparsity patterns. However, using these coarse gradients causes training instability and performance degradation owing to the unreliable gradient signal of the STE approximation. To tackle this issue, we propose refined gradients to update the pruned weights by forming dual forwarding paths. We propose a Dynamic Collective Intelligence Learning (DCIL) to avoid using coarse gradients for pruning. Lastly, we combine proposed methods as a unified model compression training framework. This method can train a drastically sparse and quantization-friendly model.Abstract i Contents iii List of Tables vii List of Figures x 1 Introduction 1 1.1 Motivation 1 1.2 Tasks 4 1.3 Contributions and Outline 7 2 Related work 11 2.1 Knowledge Distillation 11 2.2 Quantization 13 2.2.1 Sparse training 14 2.3 Pruning 15 3 Factor Transfer (FT) for Knowledge Distillation 17 3.1 Introduction 17 3.2 Proposed method 19 3.2.1 Teacher Factor Extraction with Paraphraser 20 3.2.2 Factor Transfer with Translator 21 3.3 Experiments 23 3.3.1 CIFAR-10 24 3.3.2 CIFAR-100 26 3.3.3 Ablation Study 28 3.3.4 ImageNet 29 3.3.5 Object Detection 29 3.3.6 Discussion 31 3.4 Conclusion 31 4 Position based Scaled Gradients (PSG) for Quantization 33 4.1 Introduction 33 4.2 Proposed method 37 4.2.1 Optimization in warped space 38 4.2.2 Position-based scaled gradient 39 4.2.3 Target points 43 4.2.4 PSGD for deep networks 44 4.2.5 Geometry of the Warped Space 45 4.3 Experiments 50 4.3.1 Implementation details 51 4.3.2 Pruning 53 4.3.3 Quantization 56 4.3.4 Knowledge Distillation 58 4.3.5 Various architectures with PSGD 60 4.3.6 Adam optimizer with PSG 60 4.4 Discussion 61 4.4.1 Toy Example 61 4.4.2 Weight Distributions 62 4.4.3 Quantization-aware training vs PSGD 64 4.4.4 Post-training with PSGD-trained model 65 4.5 Conclusion 65 5 Dynamic Collective Intelligence Learning (DCIL) for Pruning 69 5.1 Introduction 69 5.2 Proposed method 73 5.2.1 Backgrounds 73 5.2.2 Dynamic Collective Intelligence Learning 74 5.2.3 Convergence analysis 79 5.3 Experiments 80 5.3.1 Experiment Setting 81 5.3.2 Experiment Results 84 5.3.3 Differences between Dense and pruned model 87 5.3.4 Analysis of the stability 87 5.3.5 Cost of training 90 5.3.6 Fast convergence of DCIL 92 5.3.7 Tendency of warm-up 93 5.3.8 CIFAR10 94 5.3.9 ImageNet 94 5.3.10 Analysis of training and inference overheads 95 5.4 Conclusion 96 6 Deep Model Compression via KD, Quantization and Pruning (KQP) 97 6.1 Method 97 6.2 Experiment 98 6.3 Conclusion 102 7 Conclusion 103 7.1 Summary 103 7.2 Limitations and Future Directions 105 Abstract (In Korean) 118 감사의 글 120박

Humanistic Corporate Paradigm and Comprehensive Learning Society

Ⅰ. 서론 / 95 Ⅱ. 勞動의 轉換: 意味와 示唆點 / 99 1. 포드주의 노동편성원리의 붕괴 / 99 2. 지식기반경제의 대두 / 101 3. 비정형 고용형태의 확대 / 103 Ⅲ. 資本主義 發展과 企業패러다임의 變化 / 104 Ⅳ. 人本主義 企業패러다임과 總體的 學習社會의 具現 / 108 1. 인본주의 기업패러다임 / 108 2. 脫포드주의 작업조직 및 노사관계 / 110 3. 인본주의 노동경제의 비전 / 112 4. 총체적 학습사회의 구현 / 114 Ⅴ. 持續的 雇傭과 學習의 善循環 模型: 유한킴벌리 成功事例 / 115 Ⅵ. 결론 / 119 참고문헌 / 121 Abstract / 122This paper examined the significance and meaning of characteristical transformation of work that has come into the limelight recently and suggested the humanistic corporate paradigm, vision of work system principle and basic policy direction required in the 21st century knowledge-based society. Recently, the change in the technology paradigm of informationalization globalization and the change in social economic conditions are transforming the characteristic of labor, thus requiring the establishment of a new corporate paradigm and work system principle. This paper emphasized that the basic ideological and philosophical condition of the production system that actively conforms to the new social economic condition has to be human oriented, and that the post-Fordism work system principle that backs this is needed not only to overcome labor alienation and to raise equity, but also in order to secure economic efficiency in a long term point of view. This paper also pointed out that such a vision is not only something that is desirable, but is a reality of historical trend, considering the changes expected in the 21st century including the transition in technical condition, corporate environment and labor market conditions. It also stressed that in order to meet the humanistic corporate paradigm and post-Fordism's work system principle, the whole society needs to outgrow from the existing labor-centered society and become a comprehensive learning society in which learning keeps pace with labor in all units of organizations. This paper asserted that in order to speed up the realization of such comprehensive learning society, the nation, market, businesses and labor unions should all be approached with a new principle and way of thinking. The business reengineering success case of Yuhan-Kimberly, Inc., which is growing strong through consistent employment security and lifelong learning, is an important case that proves the potential of humanistic learning corporations. It hints that the employment crisis that we face now could be overcome with a paradigm shift

조직공학적 인조고막의 개발

Thesis(masters)--서울대학교 대학원 :바이오시스템·소재학부(바이오시스템공학),2009.2.Thesis(masters) -

Visions and Strategies for a Human Resources-Centered Society

산업화 시대에 개인의 교육열에 의존했던 인적자원 투자는 지식기반경제에서는 국가적 차원에서 체계적이고 전략적인 투자로 전환되어야 함을 전제로 하여 본서에서는 인적자원 중심의 새로운 국가발전패러다임을 ‘인적자원입국’으로 명명하고, 새로운 발전 패러다임의 배경과 필요성에 대한 진지한 성찰을 통해 그 논리를 구성하며 이를 바탕으로 인적자원입국의 비전과 실천전략을 진지하게 모색한 결과물이다. 본 연구에서는 국가발전패러다임의 전 영역을 망라하기 보다는 학교교육, 기업조직과 지역 차원 의 평생학습, 교육과 노동시장의 연계, 그리고 국가인적자원관리의 네 영역을 인적자원입국의 핵심적인 영역으로 설정하고, 각 영역을 중심으로 현황과 문제점을 살펴본 다음 중요한 정책적 이슈들을 다루는 선택과 집중의 전략적인 접근방식을 취하였다.요 약 제1장 서론 제2장 인적자원입국의 비전과 전략 제1절 왜 인적자원입국인가? 7 1. 격랑속의 한국호: 성장과 통합의 위기 7 2. 성장과 통합의 위기 극복 방향: 인적자원에 있다 25 3. 이대로는 안 된다: 수출입국에서 인적자원입국으로 패러다임 전환필요 26 4. 세계는 지금 인적자원혁명 중 30 제2절 인적자원입국이란 무엇인가? 34 1. 새로운 발전패러다임: 인적자원입국 34 2. 인적자원입국의 비전: ‘학습, 혁신, 통합의 역동적 선진국가’37 3. 인적자원입국의 목표: 총체적 학습사회 구축 38 4. 인적자원입국의 정책적 시사점: 국가발전정책의 핵심은 인적자원정책 41 제3절 무엇이 인적자원입국을 가로막는가? 42 1. 공급자 중심의 획일화된 학교교육 42 2. 실속 없는 평생학습 45 3. 교육과 직업세계의 유리 47 4. 비체계적, 비효율적인 국가인적자원정책 49 제4절 우리는 무엇을 해야 하는가? 50 1. 정책기조의 전환: 사람 중심의 정책 패러다임의 기조 51 2. 인적자원입국을 위한 인적자원정책 영역 54 3. 인적자원정책의 7대 정책 방향 56 제3장 학교교육 제1절 개관 61 제2절 학교의 혁신 63 1. 창의적인 교육과정 개발 69 2. 교원의 전문성 제고와 신분보장 73 3. 고등교육평가의 새로운 방향 78 4. 이공계 위기와 대학교육의 혁신 방안 82 5. 대학에서의 성인교육 활성화 85 6. 대학의 연구개발 기능혁신 89 7. 직업교육 제자리 찾기 93 제3절 교육제도와 정책의 개혁 99 1. 평준화제도 및 대학입시제도 개선 105 2. 정부의 교육관리 체제 혁신 110 3. 교육소외계층의 교육복지 발전방안 115 4. 산업 요구를 반영한 직업전문학위의 신설ㆍ관리체제 구축 120 5. 대학국제화의 현황과 전망, 대책 125 6. 지식기반사회에서의 학제 발전 방안 130 제4장 평생학습 제1절 개관 137 제2절 평생학습의 현황 및 문제점 138 1. 평생학습에 대한 이분법적 접근 138 2. 학령기 과다 투자 / 노동시장 진입 이후 HRD 과소투자 140 3. 성인의 평생학습 참여율 저조 141 4. 기업의 교육훈련 감소 추세 144 5. 평생학습 기회의 불균등 현상 심화 145 제3절 일과 학습의 병행 147 1. 직장내 평생학습체제 구축 149 2. 노사참여에 기초한 협력적 인적자원개발 152 3. 현장학습(OJT) 촉진 155 4. 중소기업 인적자원개발 활성화 159 5. 인적자원개발 인증제 161 6. 개인주도 학습의 활성화 164 제4절 학습 중심의 지역사회 : 학습을 통한 혁신, 통합, 성장 169 1. 지역 HRD 역량의 강화 173 2. 지역의 학습 파트너십 구축 177 3. 공공기관의 학습 거점화 182 4. 인적자원개발과 지역발전의 연결고리로서의 학습동아리 186 5. 학습형 사회적 일자리 창출 190 6. 평생학습 공동체 만들기 194 제5장 통합적 인적자원개발 제1절 개관 199 제2절 교육-노동 연계 204 1. 자격제도의 재정립 206 2. 진로 및 경력개발 체제의 재확립 210 3. 학습결과 인증체제 재구축 214 4. HRD 중심의 산학연계 활성화 217 제3절 정보ㆍ서비스의 전달 221 1. 인적자원 정보인프라 구축 222 2. 학습-고용-복지 연계체계 227 제4절 인적자원의 유출입 232 1. 고급두뇌 활용의 국제화 234 2. 외국인 인력의 관리체계 237 제5절 인적자원정책 역량 242 1. 공무원 임용제도의 혁신 244 2. 인적자원정책 추진체제 혁신 247 제6장 결론: 인적자원입국 제안 2005 제1절 요약 254 제2절 제언: 인적자원입국 제안 2005 257 1. 인적자원입국의 방향 258 2. 교육의 내용과 방법의 혁신 259 3. 핵심인재 양성과 교육 글로벌화 261 4. 교육의 질 보장 체제 구축 262 5. 학습중심ㆍ능력중심의 사회로 재구조화 264 6. 정보 및 학습지원 인프라 구축 266 7. 재정인프라 구축과 거버넌스 효율화 267 참고문헌 26

[특별기고] 동반성장을 위한 평생직업능력개발 체제 혁신

직업능력개발정책의 전개과정 평생직업능력개발 개념과 필요성 평생직업능력개발의 현주소 비전 · 목표 정책과제 보편적 권리로서의 직업능력개발 경쟁력 있는 지식근로자 육성 시장수요를 반영하는 지원체계 구축 파트너십과 민간참여에 의한 추진체제 능력중심 문화 확

A new paradigm for Human Resources Development : a theory of the comprehensive learning society

I. 서론 Ⅱ. 학습사회 개념의 진화 1.‘평생학습’개념의 발전 2.‘학습사회’의 개념과 이론 3.‘학습사회론’의 유형과 발전 4.‘총체적 학습사회’개념과 특징 Ⅲ. 경제사회 패러다임의 변화와 총체적 학습사회 1. 경제사회 패러다임의 전환 2. 한국 경제사회 패러다임의 전환 3. 총체적 학습사회에서의 교육과 학습 Ⅳ. 인적자원개발의 새로운 패러다임 1. 인적자원개발 개념의 확장 2. 총체적 학습사회의 인적자원개발 패러다임 3. 총체적 학습사회의 인적자원개발 전략 Ⅴ. 맺음말 참고문헌 abstractIn today's highly networked society, a new learning environment is created at the individual, organizational and societal levels and this demands us to re-focus on the concept of the learning society. A 'comprehensive learning society' upholds the existing notion of the learning society but also makes a conceptional effort at overcoming its limitations. The new socio-economic paradigm is characterized by de-industrialization, informatization, flexible production system, knowledge-based economy, networked organization, and cooperative labor-management relations. Changes in the socio-economic paradigm demands a new paradigm for human resources development. The new paradigm for human resources development is one that is demand-driven and is characterized by cooperative governance. It should also be epitomized by decentralization, localization, competency-based certification system, workplace learning, continuing education and training and lifelong learning, learner-centered learning method, and fostering of knowledge-labor and innovative capabilities. To realize a comprehensive learning society, multi-dimensional strategies need to be designed not only at the individual level but also at the corporate level as well as various organizational and governmental levels