그라디언트 개선 및 명시적 정규화를 통한 심층 모델 압축에 관한 연구

학위논문(박사) -- 서울대학교대학원 : 융합과학기술대학원 융학과학부, 2022.2. 김장호Deep Neural Network (DNN)은 빠르게 발전하여 컴퓨터 비전, 자연어 처리 및 음성 처리를 포함한 많은 영역에서 놀라운 성능을 보여 왔다. 이러한 DNN의 발전에 따라 edge IoT 장치와 스마트폰에 DNN을 구동하는 온디바이스 DNN에 대한 수요가 증가하고 있다. 그러나 DNN의 성장과 함께 DNN 매개변수의 수가 급격히 증가했다. 이로 인해 DNN 모델을 리소스 제약이 있는 에지 장치에 구동하기가 어렵다. 또 다른 문제는 에지 장치에서 DNN의 전력 소비량이다 왜냐하면 에지 장치의 전력용 배터리가 제한되어 있기 때문이다. 위의 문제를 해결하기 위해서는 모델 압축이 매우 중요하다. 이 논문에서 우리는 지식 증류, 양자화 및 가지치기를 포함한 모델 압축의 세 가지 새로운 방법을 제안한다. 먼저, 지식 증류라고 불리는 방법으로써, 교사 네트워크의 추가 정보를 사용하여 학생 모델을 학습시키는 것을 목표로 한다. 이 프레임워크를 사용하면 주어진 매개변수를 최대한 활용할 수 있으며 이는 장치의 리소스가 제한된 상황에서 중요하다. 기존 지식 증류 프레임워크와 달리 네트워크 구조, 배치 무작위성 및 초기 조건과 같은 교사와 학생 간의 고유한 차이가 적절한 지식을 전달하는 데 방해가 될 수 있으므로 피쳐에서 요소를 추출하여 지식을 간접적으로 증류하는 데 중점을 둔다. 둘째, 양자화를 위한 정규화 방법을 제안한다. 양자화된 모델은 자원이 제한된 에지 장치에 중요한 전력 소모와 메모리에 이점이 있다. 파라미터 분포를 양자화 친화적으로 만들기 위해 훈련 시간에 모델의 기울기를 불균일하게 재조정한다. 우리는 그라디언트의 크기를 재조정하기 위해 position-based scaled gradient (PSG)를 사용한다. Stochastic gradient descent (SGD) 와 비교하여, 우리의 position-based scaled gradient descent (PSGD)는 모델의 양자화 친화적인 가중치 분포를 만들기 때문에 양자화 후 성능 저하를 완화한다. 셋째, 중요하지 않은 과잉 매개 변수화 모델을 제거하기 위해, 가지치기된 가중치의 대략적인 기울기에 Straight-Through-Estimator (STE)를 활용하여 훈련 중에 다양한 희소성 패턴을 찾으려고 하는 동적 가지치기 방법이 등장했다. STE는 동적 희소성 패턴을 찾는 과정에서 제거된 파라미터가 되살아나도록 도울 수 있다. 그러나 이러한 거친 기울기 (coarse gradient)를 사용하면 STE 근사의 신뢰할 수 없는 기울기 방향으로 인해 훈련이 불안정해지고 성능이 저하된다. 이 문제를 해결하기 위해 우리는 이중 전달 경로를 형성하여 제거된 파라미터 (pruned weights)를 업데이트하기 위해 정제된 그라디언트를 제안한다. 가지치기에 거친 기울기를 사용하지 않기 위해 Dynamic Collective Intelligence Learning (DCIL)을 제안한다. 마지막으로 제안된 방법들을 이용하여 통합 모델 압축 훈련 프레임워크로서 결합한다. 이 방법은 극도로 희소하고 양자화 친화적인 모델을 훈련할 수 있다.Deep neural network (DNN) has been developed rapidly and has shown remarkable performance in many domains including computer vision, natural language processing and speech processing. The demand for on-device DNN, i.e., deploying DNN on the edge IoT device and smartphone in line with this development of DNN has increased. However, with the growth of DNN, the number of DNN parameters has risen drastically. This makes DNN models hard to be deployed on resource-constraint edge devices. Another challenge is the power consumption of DNN on the edge device because edge devices have a limited battery for the power. To resolve the above issues model compression is very important. In this dissertation, we propose three novel methods in model compression including knowledge distillation, quantization and pruning. First, we aim to train the student model with additional information of the teacher network, named as knowledge distillation. This framework makes it possible to make the most of a given parameter, which is essential in situations where the device's resources are limited. Unlike previous knowledge distillation frameworks, we focus on distilling the knowledge indirectly by extracting the factor from features because the inherent differences between the teacher and the student, such as the network structure, batch randomness, and initial conditions, can hinder the transfer of appropriate knowledge. Second, we propose the regularization method for quantization. The quantized model has advantages in power consumption and memory which are essential to the resource-constraint edge device. We non-uniformly rescale the gradient of the model in the training time to make a weight distribution quantization-friendly. We use position-based scaled gradient (PSG) for rescaling the gradient. Compared with the stochastic gradient descent (SGD), our position-based scaled gradient descent (PSGD) mitigates the performance degradation after quantization because it makes a quantization-friendly weight distribution of the model. Third, to prune the unimportant overparameterized model dynamic pruning methods have emerged, which try to find diverse sparsity patterns during training by utilizing Straight-Through-Estimator (STE) to approximate gradients of pruned weights. STE can help the pruned weights revive in the process of finding dynamic sparsity patterns. However, using these coarse gradients causes training instability and performance degradation owing to the unreliable gradient signal of the STE approximation. To tackle this issue, we propose refined gradients to update the pruned weights by forming dual forwarding paths. We propose a Dynamic Collective Intelligence Learning (DCIL) to avoid using coarse gradients for pruning. Lastly, we combine proposed methods as a unified model compression training framework. This method can train a drastically sparse and quantization-friendly model.Abstract i Contents iii List of Tables vii List of Figures x 1 Introduction 1 1.1 Motivation 1 1.2 Tasks 4 1.3 Contributions and Outline 7 2 Related work 11 2.1 Knowledge Distillation 11 2.2 Quantization 13 2.2.1 Sparse training 14 2.3 Pruning 15 3 Factor Transfer (FT) for Knowledge Distillation 17 3.1 Introduction 17 3.2 Proposed method 19 3.2.1 Teacher Factor Extraction with Paraphraser 20 3.2.2 Factor Transfer with Translator 21 3.3 Experiments 23 3.3.1 CIFAR-10 24 3.3.2 CIFAR-100 26 3.3.3 Ablation Study 28 3.3.4 ImageNet 29 3.3.5 Object Detection 29 3.3.6 Discussion 31 3.4 Conclusion 31 4 Position based Scaled Gradients (PSG) for Quantization 33 4.1 Introduction 33 4.2 Proposed method 37 4.2.1 Optimization in warped space 38 4.2.2 Position-based scaled gradient 39 4.2.3 Target points 43 4.2.4 PSGD for deep networks 44 4.2.5 Geometry of the Warped Space 45 4.3 Experiments 50 4.3.1 Implementation details 51 4.3.2 Pruning 53 4.3.3 Quantization 56 4.3.4 Knowledge Distillation 58 4.3.5 Various architectures with PSGD 60 4.3.6 Adam optimizer with PSG 60 4.4 Discussion 61 4.4.1 Toy Example 61 4.4.2 Weight Distributions 62 4.4.3 Quantization-aware training vs PSGD 64 4.4.4 Post-training with PSGD-trained model 65 4.5 Conclusion 65 5 Dynamic Collective Intelligence Learning (DCIL) for Pruning 69 5.1 Introduction 69 5.2 Proposed method 73 5.2.1 Backgrounds 73 5.2.2 Dynamic Collective Intelligence Learning 74 5.2.3 Convergence analysis 79 5.3 Experiments 80 5.3.1 Experiment Setting 81 5.3.2 Experiment Results 84 5.3.3 Differences between Dense and pruned model 87 5.3.4 Analysis of the stability 87 5.3.5 Cost of training 90 5.3.6 Fast convergence of DCIL 92 5.3.7 Tendency of warm-up 93 5.3.8 CIFAR10 94 5.3.9 ImageNet 94 5.3.10 Analysis of training and inference overheads 95 5.4 Conclusion 96 6 Deep Model Compression via KD, Quantization and Pruning (KQP) 97 6.1 Method 97 6.2 Experiment 98 6.3 Conclusion 102 7 Conclusion 103 7.1 Summary 103 7.2 Limitations and Future Directions 105 Abstract (In Korean) 118 감사의 글 120박

Humanistic Corporate Paradigm and Comprehensive Learning Society

Ⅰ. 서론 / 95 Ⅱ. 勞動의 轉換: 意味와 示唆點 / 99 1. 포드주의 노동편성원리의 붕괴 / 99 2. 지식기반경제의 대두 / 101 3. 비정형 고용형태의 확대 / 103 Ⅲ. 資本主義 發展과 企業패러다임의 變化 / 104 Ⅳ. 人本主義 企業패러다임과 總體的 學習社會의 具現 / 108 1. 인본주의 기업패러다임 / 108 2. 脫포드주의 작업조직 및 노사관계 / 110 3. 인본주의 노동경제의 비전 / 112 4. 총체적 학습사회의 구현 / 114 Ⅴ. 持續的 雇傭과 學習의 善循環 模型: 유한킴벌리 成功事例 / 115 Ⅵ. 결론 / 119 참고문헌 / 121 Abstract / 122This paper examined the significance and meaning of characteristical transformation of work that has come into the limelight recently and suggested the humanistic corporate paradigm, vision of work system principle and basic policy direction required in the 21st century knowledge-based society. Recently, the change in the technology paradigm of informationalization globalization and the change in social economic conditions are transforming the characteristic of labor, thus requiring the establishment of a new corporate paradigm and work system principle. This paper emphasized that the basic ideological and philosophical condition of the production system that actively conforms to the new social economic condition has to be human oriented, and that the post-Fordism work system principle that backs this is needed not only to overcome labor alienation and to raise equity, but also in order to secure economic efficiency in a long term point of view. This paper also pointed out that such a vision is not only something that is desirable, but is a reality of historical trend, considering the changes expected in the 21st century including the transition in technical condition, corporate environment and labor market conditions. It also stressed that in order to meet the humanistic corporate paradigm and post-Fordism's work system principle, the whole society needs to outgrow from the existing labor-centered society and become a comprehensive learning society in which learning keeps pace with labor in all units of organizations. This paper asserted that in order to speed up the realization of such comprehensive learning society, the nation, market, businesses and labor unions should all be approached with a new principle and way of thinking. The business reengineering success case of Yuhan-Kimberly, Inc., which is growing strong through consistent employment security and lifelong learning, is an important case that proves the potential of humanistic learning corporations. It hints that the employment crisis that we face now could be overcome with a paradigm shift

[권두언] 『사람입국』을 위한 뉴패러다임

21C에 접어들면서 사회경제환경은 과거의 산업화시대와 근본적으로 달라지고 있다. 이에 따라 국가발전의 원리와 핵심자원의 성격도 변해야 한다. 지난 개발연대에 우리가 급속한 산업화를 이룰 수 있었던 이유는 유휴자원을 효과적으로 동원한 양적 투입증대가 뒷받침되었기 때문이다. 그러나 현재 우리 나라의 인구구조나 산업발전단계를 고려할 때 이러한 방식의 발전전략은 곧이어 한계에 봉착될 수밖에 없다. 그러므로 질적·내포적 성숙을 통한 보다 새로운 발전전략이 요구되어지고 있다. 『사람입국』을 위한 뉴패러다임이란 바로 이러한 새로운 발전전략을 집약적으로 명시화 하는 것이다. ..

조직공학적 인조고막의 개발

Thesis(masters)--서울대학교 대학원 :바이오시스템·소재학부(바이오시스템공학),2009.2.Thesis(masters) -

Improving Korean-to-Chinese Phrase-based Statistical Machine Translation Using Enhanced Word Alignment

Master인터넷이 급속도로 발전함에 따라 세계는 점점 더 가까워지고 있다. 특히 여러 나라 사이의 교류가 빈번해지면서 비단 자국의 모국어뿐만 아니라 다른 나라의 언어로 된 정보를 접해야 할 필요성이 더욱 대두되고 있다. 하지만 현재 인간의 번역능력은 매일 넘쳐나는 각종 뉴스를 전부 번역하기에는 역부족이다. 때문에 현재 이러한 수요를 감당하기 위한 자동번역기술은 그 지위가 날로 각광받고 있다. 자동번역기술은 일반적으로 규칙기반과 통계기반 방식으로 나눌 수 있다. 특히 최근에는 인터넷의 발달로 대량의 말뭉치를 자동적으로 구축할 수 있게 되면서 수학적 모델과 대량의 말뭉치를 이용하여 번역을 진행하는 통계기반 번역방식에 대한 연구는 점점 더 활발히 이루어지고 있다. 통계기반 번역시스템은 구 기반과 구문기반 방식으로 나눌 수 있으며 현재 가장 좋은 성능을 보이고 있는 방식은 구 기반 통계기계번역 시스템이다.구 기반 통계기계번역 시스템[1]은 일반적으로 단어정렬, 구 추출 및 디코딩(번역과정) 등 세 가지 부분으로 구성되어 있다. 단어정렬은 두 언어의 단어 사이의 대응관계를 정해주는 것으로 단어정렬의 좋고 나쁨은 다음 단계인 구 추출에 직접 영향을 주는 아주 중요한 요소이다. 따라서 단어정렬의 성능을 제고하는 연구는 통계기계번역의 첫 단계로 아주 큰 비중을 차지하며 연구되어 왔다. 하지만 현재 사용되고 있는 단어정렬 알고리즘[2]은 두 언어에 대한 언어학적 분석이 없이 단순히 수학적 모델을 통하여 계산한 확률에 기반하여 두 단어의 대응관계를 결정한다. 이러한 방식은 언어학적 차이가 큰 두 언어 사이에서 상대언어에 대응되는 단어가 존재하지 않을 때 말뭉치에서 동시에 나타나는 빈도수가 높은 단어에 대응관계를 설정해 주기에 단어정렬에 많은 오류가 생긴다.한국어와 중국어는 언어학적 차이가 큰 대표적인 언어 쌍이다. 한국어는 기본적으로 어절로 이루어졌고 어절은 단어의 뜻을 결정하는 어간과 문법적 기능을 하는 조사, 어미, 파생접사의 조합으로 이루어졌다. 특히 한국어 문장에서 조사, 어미, 파생접사는 특정된 뜻을 가지고 있지 않지만 전체 한국어 문장에서 약 40%를 차지하며 아주 큰 문법적 기능을 수행하고 있다. 하지만 중국어는 한국어에 비하여 이러한 문법적 기능을 하는 단어가 거의 존재하지 않고 그 기능을 단어의 위치나 순서에 의하여 표현한다. 따라서 많은 한국어의 조사나 어미는 중국어에서 대응되는 단어를 가지지 않으며 이러한 차이는 현재 사용되고 있는 단어정렬 알고리즘에서 많은 오류를 유발한다. 특히 단어 사이의 잘못된 대응관계는 구 기반 통계기계번역에 필요한 정확한 구를 추출하지 못하거나 틀리게 추출함으로써 전체 시스템의 성능에 나쁜 영향을 미친다. 따라서 단어정렬의 결과를 개선하는 것은 구 기반 통계기계번역 시스템의 성능을 제고하기 위하여 반드시 선행되어야 하는 단계이다.본 논문에서는 구 기반 통계기계번역 시스템에서 가장 많이 사용하는 GIZA++를 이용하여 한국어-중국어 단어정렬의 진행하고 그 결과에 대하여 오류가 나타나는 원인을 분석하였으며 해결책으로 형태소를 삭제하는 방법과 통계적 수정규칙을 이용하는 방법을 제안하였다. 본 논문의 구성은 다음과 같다. 2장에서는 한국어-중국어 단어정렬에서 나타나는 문제점을 분석하고 3장에서는 단어정렬에 관련된 기존의 연구들을 살펴본다. 4장에서는 단어정렬을 개선하기 위하여 제안한 두 가지 방법에 대해서 자세하게 설명하고 5장에서는 위에서 제안한 두 가지 방법의 실험 결과를 제시하며 6장에서는 결론 및 향후 과제에 대해서 언급한다.In the statistical machine translation, correspondences between the words in the source and the target language are learned from parallel corpora and often no morph-syntactic gap was considered to structure underlying models. In particular, Korean and Chinese which belong to extremely different language families in terms of typology and genealogy cause many errors in these models. In this thesis, we describe two methods to improve word alignment quality as well as Korean to Chinese phrase based machine translation quality. One is to remove Korean morphemes which have no correspondence Chinese word in the Chinese sentence. The other one is automatically extract correction rule to refine word alignment result output from GIZA++. The correction rule was generated from gold standard set of word alignment and automatically applied to the phrase based SMT system. The experiments result show that the first approach improve machine translation quality significantly. Second approach lead to 17.6% relative decrease in alignment error rate compared to baseline system. We also demonstrate that combination with two approaches yields up 1.11 BLEU point improvement over the baseline system

격자 비섭동적 재규격화와 약력의 CP 깨짐에 대한 적용

학위논문(박사)--서울대학교 대학원 :자연과학대학 물리·천문학부,2015. 2. 이원종.CP violation was first discovered in the Kaon system in 1964. K^0 and \bar{K}^0 are flavor eigenstates. They are mixed together by weak interaction in nature. The mass eigenstates K_L can decay to two pion state in two ways. First, the CP odd component in KL decay to the two pion states. It is called direct CP violation and parametrized by ε'. Another way is that the CP even component in K_L decay to the two pion states. it does not breaking CP symmetry but the existence of CP even compoenet in K_L indicates the CP violation. Therefore, it is called indirect CP violation and parametrized by ε_K . ε_K is the indirect CP violation parameter and very well known from experiments. ε_K can be written in terms of B_K which contains all the non-perturbative QCD contributions for ε_K. Current estimate of ε_K with exclusive V_cb and B_K computed in SWME collaboration has 3.7 σ difference between the result of experiment and those of standard model theory. Hence, it is very important to reduce the theoratical error of ε_K . The most dominant error of ε_K comes fromVcbbut the second dominant error comes from B_K. In our calculation, one of the dominant source of B_K error comes from the matching factor. One-loop perturbative matching has 4.4% systematic error for B_K. The non-perturbative renormalization (NPR) method can reduce this error down to 2% level. Using NPR method with Regularization Independent Momentum Subtraction (RI-MOM) scheme, we calculate the wave function renormalization factor Z_q from conserved vector and axial currents and the mass renormalization factor Z_m from scalar and pseudo-scalar staggered bilinear operators. We obtain the results of the matching factor for the staggered four-fermion operators relevant to B_K using NPR method in RI-MOM scheme. We compare the NPR results with those of one-loop perturbation theory and they are consistent within 2σ. furthermore, the error of the NPR results are about half of the those of one- loop perturbation theory. For further research, we plan to apply NPR method in RI-SMOM (symmetric momentumi condition) scheme.CP 깨짐은 1964년에 케이온 시스템에서 처음으로 발견되었다. K^0와 \bar{K}^0는 약력에 의해서 서로 섞이게 되고 질량 고유상태인 K_L과 K_S 으로 존재하게 된다. K_L이 파이온 두개로 붕괴하는 과정에서 CP 깨짐이 발생하게 되는데 직접 깨짐과 간접 깨짐이 있다. 여가서 간접 깨짐을 설명하는 매개변수가 ε_K이다. CP 깨짐 매개변수인 ε_K 는 실험적으로 매우 잘 알려져있다. 그러므로 ε_K 를 격자 게이지 이론을 이용해서 정밀하게 계산하는 것은 표준모형을 검증할 수 있는 아주 중요한 수단이다. ε_K 의 현재 이론적인 계산 결과는 실험값과 3.7 σ의 격자를 보여주고 있다. 이론적인 계산의 주요 오차 원인 중에 하나는 B_K 의 맞춤인자로부터 온다. 격자 섭동 이론을 이용해서 계산된 B_K 의 일차 맞춤인자에서 오는 계통 오차는 4.4%이다. 반면에 비섭동적 재규격화 방법을 이용하면 이 계통 오차를 2% 아래로 줄일 수 있다. 우리는 보존되는 벡터 흐름과 축벡터 흐름 연산자를 이용하여 파동 함수의 재규격화 인자를 계산하였고 스칼라와 유사스칼라 연산자를 이용하여 질량 재규격화 인자를 계산하였다. 또한 4차 페르미온 연산자를 이용하여 B_K 의 맞춤인자도 계산을 하였다. 우리는 이 결과를 일차 섭동 이론으로 계산된 값과 비 교를 하였으며 2σ 이내에서 일치함을 보였다. 이는 비섭동적 방법으로 얻은 결과가 타당함을 일걷는다. 또한 일차 섭동 이론의 결과보다 오차가 절반이상 줄어든 것을 알 수 있다.1 Introduction 1 1.1 Motivation 1 1.2 QCD 2 1.3 Lattice QCD 4 1.4 Staggered Fermions 7 1.5 CP Violation 11 2 RI-MOM Scheme for Quark Propagators in Continuum 17 3 RI-MOM Scheme for Bilinear Operator in Continuum 21 3.1 Wave Function Renormalization Factor Z_q in continuum 29 3.2 Quark Mass Renormalization Factor Z_m in Continuum 31 3.3 Other Bilinear Operators in Continuum 32 4 RI-MOM Scheme for Four Fermion Operator in Continuum 33 5 Non-perturbative Renormalization for Staggered Quark Propagators 39 5.1 NPR for Staggered Quark Propagator 39 5.2 Results of Self-energy Analysis 43 6 Non-perturbative Renormalization for Staggered Bilinear Operators 51 6.1 NPR for Staggered Bilinear Operators 51 6.1.1 Simulation Details 54 6.2 Wave function renormalization 55 6.2.1 Z_q from Conserved Vector Current 55 6.2.1.1 Pole-fit method for Conserved Vector Current . . 62 6.2.2 Z_q from Conserved Axial Current 67 6.2.2.1 Pole-fit method for Conserved Axial Current . . . 72 6.2.3 Systematic Error of Z_q 76 6.3 Mass Renormalization 79 6.3.1 Mass Renormalization Factor from S ⊗ S Operator 80 6.3.2 Mass Renormalization Factor from P ⊗ P Operator 85 6.3.3 Error Budget of Z_m 92 6.4 Renormalization Factor of Other Bilinear Operators 94 6.4.1 Renormalization Factor of Tensor Operator with Scalar taste 94 6.4.2 Renormalization Factor of Tensor Operator with pseudo-scalar taste 100 6.4.3 Systematic Error of the Renormalization Factor of Tensor Operator 104 6.5 Off-diagonal Analysis 106 6.6 Result 112 7 Non-perturbative Renormalization for Staggered Four-fermion Operators 119 7.1 NPR for Staggered Four-fermion Operators 119 7.2 NPR for B_K operator 122 7.3 Results 127 7.3.1 Diagonal Terms 127 7.3.2 Off-diagonal Terms 134 7.3.3 Systematic Error 139 8 Conclusion and Discussion 143 A Ward-Takahashi Identity in Continuum 145 A.1 Conserved Vector Current 145 A.2 Conserved Axial Current 148 B Renormalization Factor for Conserved Currents in Continuum 151 B.1 Conserved Vector Current 151 B.2 Conserved Axial Current 152 C Ward-Takahashi Identity for Staggered Fermions 153 C.1 Conserved Vector Current 153 C.2 Conserved Axial Current 156 D Renormalization Factor for Conserved Currents for Staggered Fermions 159 D.1 Conserved Vector Current. . . . . . . . . . . . . . . . . . . . . . . 159 D.2 Conserved Axial Current .. . . . . . . . . . . . . . . . . . . . . . . 160 E Amputated Greens Function for Staggered Bilinear Operators 163 F The RG Running Formula 167 F.1 β-function 167 F.2 Anomalous Dimension for Quark Mass 167 F.3 Anomalous Dimension for Quark Field 168 F.4 Anomalous Dimension for Bilinear Operators 170 F.5 RG Running for B_K 171 G The Conversion Factors from RI-MOM to MSbar 175 G.1 The Conversion Factor of Wave Function Renormalization Factor Zq 175 G.2 The Conversion Factor of Mass Renormalization Factor Z_m 175 G.3 The Conversion Factor of Tensor Bilinear Operator Renormalization Factor Z_T 176 G.4 RI-MOM → MSbar Scheme using Fixed Point for B_K 176 H Weinberg Theorem 179 I One-loop Perturbation Theory 181 국문초록 189Docto

세포기능 조절 및 조직 재생을 위한 생체모방형 나노구조 플랫폼 개발

학위논문 (박사)-- 서울대학교 대학원 : 바이오시스템·소재학부(바이오시스템공학전공), 2014. 8. 정종훈.살아 있는 세포는 화학 및 물리학적 자극 그리고 주변 세포 혹은 세포외기질간의 상호 관계 등 복잡하고 기능적인 미세 환경에 노출되어 있다. 따라서 이러한 미세 환경과 유사한 혹은 똑같은 조건을 가지고 있는 플랫폼의 개발은 생물학, 치료 및 진단 연구, 줄기세포 및 재생의학, 질병 모델 개발 등 다양한 인간, 동물 및 식물의 생물학적 응용에 있어 매우 중요하다. 세포는 미세 환경 내 콜라겐, 엘라스틴 등의 마이크로 및 나노미터 수준의 고분자 파이버 형태로 구성되어 있는 세포외기질 및 특이적 조직 구조에 둘러 쌓여 있으며 이는 세포의 기능적 조절에 있어 구조적 자극의 중요성을 일러 준다. 하지만 화학 및 물리학적 자극에 따른 세포의 기능적 이해 및 응용에 대한 연구에 비해서 세포 외기질 혹은 조직 내 특이적 구조 자극에 따른 세포의 기능적 이해는 거의 되어 있지 않다. 즉, 다양한 생물학적 연구 및 응용에 있어서 세포가 노출되어 있는 구조적 자극은 거의 무시되거나 최소화 되고 있는데 이는 세포 미세 환경 내 나노미터 수준의 매우 미세하고 복잡한 형태의 특이적 구조를 지니는 플랫폼 개발에 있어 기술적 한계가 있기 때문이다. 본 학위논문에서는 이러한 한계점을 극복하고자 생체재료 가공기술을 이용하여 특이적 조직 및 세포외기질의 구조적 특성을 가지고 있는 생체모방형 나노구조 플랫폼을 개발하였다. 모세관력 리소그래피, 나노물질 등을 활용한 다양한 나노기술에 기반하여 살아 있는 세포에게 생체 내 구조적 자극과 유사한 환경을 제공해 줄 수 있는 플랫폼을 개발하고, 이를 응용하여 세포 기능을 조절하거나 촉진 그리고 조직을 재생 시킬 수 있는 기술을 개발하였다. 이에 따른 본 논문의 구체적인 목적은 다음과 같다. (1) 세포 기능 조절 및 촉진을 위한 형태가 정밀하게 컨트롤된 생체모방형 나노구조 플랫폼 개발, (2) 세포 기능 촉진 및 생물학적 현상에 있어 나노구조의 역할 구명, (3) 복잡한 수술적 치료 없이도 조직을 재생 시킬 수 있는 생체모방형 나노구조 시스템 개발. 이를 위해서 본 논문은 3개의 파트 내 7개의 독립적인 연구로 구성되었으며 본 논문의 주요 결과는 다음과 같다. 첫 번째 파트 연구에서 모세관력 리소그래피 기술 기반으로 다양한 나노미터 사이즈와 함께 일렬로 배열되어 있는 특이적 조직 및 세포외기질 구조를 모방한 세포 배양 플랫폼을 개발하였다. 개발한 나노구조 플랫폼을 응용하여 세포의 구조 및 기능이 나노구조의 밀도에 매우 민감하게 반응함을 규명하였고, 플랫폼 내 구성되어 있는 나노구조 밀도의 최적화에 따라 상처 치유, 줄기세포 분화 등 세포 기능을 촉진 시킬 수 있음을 증명하였다. 두 번째 파트 연구에서는 마이크로 및 나노미터 혹은 다양한 나노미터 사이즈를 동시에 가지고 있는 조직 및 세포외기질의 계층 구조를 모방한 세포 배양 플랫폼을 개발하였다. 모세관력 리소그래피 및 마이크로 표면주름 구조 기술을 응용하여 마이크로 및 나노구조가 계층적으로 정밀하게 컨트롤된 플랫폼을 제작하였고, 이를 통하여 나노구조가 세포-지지체 및 세포-세포간 상호 관계를 조절하고 이에 따라 세포의 기능을 촉진 시킬 수 있음을 구명하였다. 또한 모세관력 리소그래피 기술 기반에 나노물질인 그래핀을 이용하여 수백 나노 및 수십 나노미터 구조를 동시에 가지고 있는 플랫폼을 개발하여 구조적 자극에 따라서 세포의 기능을 더욱더 촉진 시킬 수 있음을 증명하였다. 마지막 세 번째 파트 연구에선 생체모방형 나노구조 플랫폼과 세포 미세 환경 내 다양한 화학적 물질과 세포가 시스템으로 구성되었을 때 세포의 기능 촉진을 극대화 시킬 수 있고, 이 시스템적 관점에 따라 손상된 조직의 치료 및 재생을 시킬 수 있음을 제안하였다. 뼈 조직 내 혈관이 함께 존재함에 영감을 얻어 세포외기질을 모방한 세포 배양 플랫폼에 줄기세포와 혈관세포를 동시에 배양하였고, 이에 따라 줄기세포의 골세포로의 분화가 더욱더 촉진 될 수 있음을 보였다. 본 연구에 기반을 두어 생체적합성 물질로 구성되어 있는 생체모방형 나노구조 플랫폼과 줄기세포가 결합되어 있는 줄기세포 패치를 개발하였고, 이를 이용하여 손상된 뼈를 수술적 치료 없이 재생 시킬 수 있음을 동물모델을 통하여 증명하였다. 또한 박테리아를 이용하여 개발한 셀룰로오스 나노구조 패치를 이용하여 천공된 고막 재생을 촉진 시킬 수 있음을 보였다. 결론적으로, 본 학위논문에선 나노공학 및 생체모방학적 접근법을 통하여 생체모방형 나노구조 플랫폼을 개발하였고 이의 세포 기능 조절 및 촉진 그리고 조직 재생을 위한 공학적 도구로서의 가능성을 제시하였다. 본 연구를 통하여 개발된 나노구조 개발 기술은 다양한 생체재료 및 생물재료의 나노 및 마이크로미터 수준의 미세가공 기술 개발에 응용 할 수 있을 것이며, 인간 혹은 동물의 질병 모델, 진단 및 치료 개발 등 다양한 생물학적 응용에 기여할 수 있을 것으로 기대된다.Living cells are exposed to complex and functional microenvironment including soluble macromolecules, biophysical cues, and interactions between cell-cell and cell-extracellular matrix (ECM), suggesting that the design and manipulation of engineered cellular microenvironments is of great important in a wide variety of biological applications such as fundamental biology, therapeutic and diagnostic research, stem cells and regenerative medicine, and developing in vitro disease models. Compared with the effects of soluble macromolecules and biophysical cues, the extent and importance of architecture of ECMs in defining cellular function is currently poorly understood in spite of the essential fact that living cells display high sensitivity to the ECM composed of complex and well-defined topographies in protein fibers such as fibrillar collagens and elastins with feature sizes ranging from tens to several hundreds of nanometers in vivo. Namely, the architecture effects of ECMs are mainly neglected or minimized as a considering factor for most in vitro and in vivo experimentation. In this dissertation, we developed a series of advanced nanopatterned platforms inspired by the unique architectures of native tissues and ECMs in a detailed and comprehensive fashion using nanofabrication technologies such as capillary force lithography (CFL) to provide cells the in vivo-like topographical cell environment. Using the nanoengineered biomimetic platforms, the roles of nanotopography in regulation of cellular and multicellular structure and function were investigated. We also utilized the biomimetic systems composed of a nanoengineered substrate, specific soluble macromolecules, and cells to achieve desired phenotypic responses toward tissue regeneration. The specific aims of my thesis are as follows are: (1) to design and manipulate nanotopographically defined platforms with precisely controlled topographical architectures as a synthetic ECM for regulating structure and function of cells in single (i.e., single adherent cells) and multi-cellular (i.e., cohesive groups of cells) levels, (2) to investigate the detailed role of nanotopography in cellular behavior for developing a methodology for promoting cell function and modeling biological processing such as stem cell differentiation and would repair, and (3) to develop a strategy for tissue regeneration such as bone and tympanic membrane using nanoengineered biomimetic systems. The working hypothesis underlying my research is that nanoengineered biomimetic platforms can (i) provide cells in vivo-like topographical cues that control cellular and multicellular structure and function, and (ii) allow appropriate environments for repair or regeneration of damaged tissues without surgical treatments. The main results of my dissertation research can be summarized as follows. First, inspired by the architectures of native ECMs in various tissues, nanotopographically defined ridge/groove patterned substrata with precisely controlled sizes were developed using CFL. Using these platforms, it was found that nanotopographical density can control the morphology, focal adhesion formation, migration, ECM molecule production of fibroblast cells, and would healing as well as the adhesion, migration, and differentiation of mesenchymal stem cells (MSCs). Second, nanopatterned hierarchical platforms (i.e., multiscale topography) were developed for better mimicking architectures of ECMs using CFL in combination with micro wrinkling technique and nanomaterials. Using anisotropically multiscale patterned substrata with precisely defined micro- and nanotopography, the potential role of nanotopography in ECMs were investigatedthe nanotopography can regulate the cell-substrate or cell-cell interactions, which may eventually promote the function of cells including NIH3T3 fibroblast cells, MG-63 cells, and MSCs. Furthermore, it was found that graphene-matrix nanotopography hybrid substrata with nano and sub-nanopatterned hierarchical features can promote the functions of cells including differentiation of MSCs, enhanced mineralization of MC-3T3 cells, and capillary tube formation of HUVEC. Finally, nanoengineered biomimetic systems composed of the ECM-like topographical substrate, chemical molecules, and cells were proposed as a strategy for repair or regeneration of damaged tissues. Inspired by the aligned nanostructures and co-existence of vascular cells and stem cells in bone tissues, the systems comprised of nanotopography and co-culture platforms were developed, showing that the osteogenesis of MSCs was further enhanced by the two factors in combination whereas both nanotopography and co-culture independently enhanced the osteogenesis. In addition, a stem cell patch that integrates MSCs into the nanopatterned hierarchical substrate was developed using a Food and Drug Administration (FDA)-approved poly(lacticco-glycolic acid) (PLGA) polymer. It was demonstrated that the nanopatterned stem cell patches can guide the bone regeneration and the nanofibrillar patch synthesized from bacterial cellulose can promote the tympanic membrane regeneration without complex surgical treatments or tissue transplantation.Abstract i Table of Contents iii List of Table vi List of Figures vii Scope and Format of Dissertation x 1 Introduction ……………………………………………………………......................... 1 1.1 General introduction ………………………………………………………………. 2 1.2 Objectives …………………………………………………………………………. 2 Micro- and nanoengineered biomimetic platforms for modeling biological processing and tissue regeneration …………………………………………………... 4 2.1 Summary …...…………………………...………...……………………………… 4 2.2 Histological background …………………………………………………………. 4 2.3 Micro- and nanofabrication technology for biomimetic microenvironment …….. 5 2.4 Microfluidics for physiologically relevant microenvironment…………………… 8 2.5. Discussion ………..………………………………………………………………. 9 2.6 References ………..………………………………………………………………. 10 Part I Designing and manipulating nanopatterned platforms with precisely controlled topographical architectures and sizes ……………………………. 15 3 Nanotopographic pattern arrays with variable local sizes for engineering adhesion and migration of fibroblast cells ….……………………………………….. 17 3.1 Summary …...…………………………...………...……………………………… 17 3.2 Introduction …...……...………………………………………………………….. 18 3.3 Materials and methods ….………………………………………………………... 19 3.4 Results …………….……………………………………………………………... 22 3.5 Discussion ………..………………………………………………………………. 29 3.6 References ………..………………………………………………………………. 30 4 Designing nanotopographical density of extracellular matrix for controlled morphology and function of mesenchymal stem cells ……………………………… 40 4.1 Summary …...…………………………………………………………………..... 40 4.2 Introduction …...……...………………………………………………………….. 41 4.3 Materials and methods ….………………………………………………………... 43 4.4 Results …………….……………………………………………………………... 49 4.5 Discussion ………..………………………………………………………………. 57 4.6 References ………..………………………………………………………………. 63 Part II Designing and manipulating nanopatterned hierarchical platforms with precisely controlled topographical architectures and sizes …..……………... 82 5 Bioinspired configurable hierarchical micro- and nanostructure with precisely controlled sizes for functional alignment and guided orientation of cells ………… 84 5.1 Summary …………………………………………………………………………. 84 5.2 Introduction …...………………………………………………………………..... 85 5.3 Materials and methods ……..…………………………………………………..... 86 5.4 Results …………..……………………………………………………………….. 91 5.5 Discussion ………..………………………………………………………………. 96 5.6 References ………..………………………………………………………………. 98 6 Nano- and sub-nanopatterned hierarchical platforms composed of graphene and matrix nanotopography for promoting cellular function …………………............... 110 7.1 Summary ………………………………………………………………………..... 110 7.2 Introduction …...………………………………………………………………..... 111 7.3 Materials and methods ……..…………………………………………………...... 112 7.4 Results …………..……………………………………………………………….. 116 7.5 Discussion ………..………………………………………………………………. 121 7.6 References ………..………………………………………………………………. 122 Part III Development of nanoengineered biomimetic systems for tissue regeneration ……………………………………………………………………. 135 7 Synergistic effects of nanotopography and co-culture with endothelial cells on osteogenesis of mesenchymal stem cells ……………………………………………... 136 7.1 Summary …………………………………………………………………………. 136 7.2 Introduction …...………………………………………………………………..... 137 7.3 Materials and methods ……..…………………………………………………..... 138 7.4 Results …………..……………………………………………………………….. 144 7.5 Discussion …..……………………………………………………………………. 151 7.6 References …..……………………………………………………………………. 156 8 Multiscale patterned transplantable stem cell patches for bone tissue regeneration …………………………………………………………………………… 170 8.1 Summary …………………………………………………………………………. 170 8.2 Introduction …...…………….…………………………………………………… 170 8.3 Materials and methods ……..…………………………………………………..... 173 8.4 Results …………..……………………………………………………………….. 179 8.5 Discussion …..……………………………………………………………………. 185 8.6 References …..……………………………………………………………………. 189 9 Bacterial cellulose nanofibrillar patch as a wound healing platform of tympanic membrane perforation ………………………………………………………………... 199 9.1 Summary …………………………………………………………………………. 199 9.2 Introduction …...…………….…………………………………………………… 199 9.3 Materials and methods ……..…………………………………………………..... 201 9.4 Results …………..……………………………………………………………….. 205 9.5 Discussion …..……………………………………………………………………. 211 9.6 References …..……………………………………………………………………. 211 10 Concluding remarks …………………………………………………………………... 223 10.1 Introduction …...………………………………………………………………..... 223 10.2 Summary of dissertation work ……………..……………………………...……... 224 10.3 Broad implications of this dissertation work for biological engineering ……..…. 230 Abstract (Korean) ………………………………………………………………………….. 232 Curriculum Vitae …………………………………………………………………………... 235Docto

Visions and Strategies for a Human Resources-Centered Society

산업화 시대에 개인의 교육열에 의존했던 인적자원 투자는 지식기반경제에서는 국가적 차원에서 체계적이고 전략적인 투자로 전환되어야 함을 전제로 하여 본서에서는 인적자원 중심의 새로운 국가발전패러다임을 ‘인적자원입국’으로 명명하고, 새로운 발전 패러다임의 배경과 필요성에 대한 진지한 성찰을 통해 그 논리를 구성하며 이를 바탕으로 인적자원입국의 비전과 실천전략을 진지하게 모색한 결과물이다. 본 연구에서는 국가발전패러다임의 전 영역을 망라하기 보다는 학교교육, 기업조직과 지역 차원 의 평생학습, 교육과 노동시장의 연계, 그리고 국가인적자원관리의 네 영역을 인적자원입국의 핵심적인 영역으로 설정하고, 각 영역을 중심으로 현황과 문제점을 살펴본 다음 중요한 정책적 이슈들을 다루는 선택과 집중의 전략적인 접근방식을 취하였다.요 약 제1장 서론 제2장 인적자원입국의 비전과 전략 제1절 왜 인적자원입국인가? 7 1. 격랑속의 한국호: 성장과 통합의 위기 7 2. 성장과 통합의 위기 극복 방향: 인적자원에 있다 25 3. 이대로는 안 된다: 수출입국에서 인적자원입국으로 패러다임 전환필요 26 4. 세계는 지금 인적자원혁명 중 30 제2절 인적자원입국이란 무엇인가? 34 1. 새로운 발전패러다임: 인적자원입국 34 2. 인적자원입국의 비전: ‘학습, 혁신, 통합의 역동적 선진국가’37 3. 인적자원입국의 목표: 총체적 학습사회 구축 38 4. 인적자원입국의 정책적 시사점: 국가발전정책의 핵심은 인적자원정책 41 제3절 무엇이 인적자원입국을 가로막는가? 42 1. 공급자 중심의 획일화된 학교교육 42 2. 실속 없는 평생학습 45 3. 교육과 직업세계의 유리 47 4. 비체계적, 비효율적인 국가인적자원정책 49 제4절 우리는 무엇을 해야 하는가? 50 1. 정책기조의 전환: 사람 중심의 정책 패러다임의 기조 51 2. 인적자원입국을 위한 인적자원정책 영역 54 3. 인적자원정책의 7대 정책 방향 56 제3장 학교교육 제1절 개관 61 제2절 학교의 혁신 63 1. 창의적인 교육과정 개발 69 2. 교원의 전문성 제고와 신분보장 73 3. 고등교육평가의 새로운 방향 78 4. 이공계 위기와 대학교육의 혁신 방안 82 5. 대학에서의 성인교육 활성화 85 6. 대학의 연구개발 기능혁신 89 7. 직업교육 제자리 찾기 93 제3절 교육제도와 정책의 개혁 99 1. 평준화제도 및 대학입시제도 개선 105 2. 정부의 교육관리 체제 혁신 110 3. 교육소외계층의 교육복지 발전방안 115 4. 산업 요구를 반영한 직업전문학위의 신설ㆍ관리체제 구축 120 5. 대학국제화의 현황과 전망, 대책 125 6. 지식기반사회에서의 학제 발전 방안 130 제4장 평생학습 제1절 개관 137 제2절 평생학습의 현황 및 문제점 138 1. 평생학습에 대한 이분법적 접근 138 2. 학령기 과다 투자 / 노동시장 진입 이후 HRD 과소투자 140 3. 성인의 평생학습 참여율 저조 141 4. 기업의 교육훈련 감소 추세 144 5. 평생학습 기회의 불균등 현상 심화 145 제3절 일과 학습의 병행 147 1. 직장내 평생학습체제 구축 149 2. 노사참여에 기초한 협력적 인적자원개발 152 3. 현장학습(OJT) 촉진 155 4. 중소기업 인적자원개발 활성화 159 5. 인적자원개발 인증제 161 6. 개인주도 학습의 활성화 164 제4절 학습 중심의 지역사회 : 학습을 통한 혁신, 통합, 성장 169 1. 지역 HRD 역량의 강화 173 2. 지역의 학습 파트너십 구축 177 3. 공공기관의 학습 거점화 182 4. 인적자원개발과 지역발전의 연결고리로서의 학습동아리 186 5. 학습형 사회적 일자리 창출 190 6. 평생학습 공동체 만들기 194 제5장 통합적 인적자원개발 제1절 개관 199 제2절 교육-노동 연계 204 1. 자격제도의 재정립 206 2. 진로 및 경력개발 체제의 재확립 210 3. 학습결과 인증체제 재구축 214 4. HRD 중심의 산학연계 활성화 217 제3절 정보ㆍ서비스의 전달 221 1. 인적자원 정보인프라 구축 222 2. 학습-고용-복지 연계체계 227 제4절 인적자원의 유출입 232 1. 고급두뇌 활용의 국제화 234 2. 외국인 인력의 관리체계 237 제5절 인적자원정책 역량 242 1. 공무원 임용제도의 혁신 244 2. 인적자원정책 추진체제 혁신 247 제6장 결론: 인적자원입국 제안 2005 제1절 요약 254 제2절 제언: 인적자원입국 제안 2005 257 1. 인적자원입국의 방향 258 2. 교육의 내용과 방법의 혁신 259 3. 핵심인재 양성과 교육 글로벌화 261 4. 교육의 질 보장 체제 구축 262 5. 학습중심ㆍ능력중심의 사회로 재구조화 264 6. 정보 및 학습지원 인프라 구축 266 7. 재정인프라 구축과 거버넌스 효율화 267 참고문헌 26

[특별기고] 동반성장을 위한 평생직업능력개발 체제 혁신

직업능력개발정책의 전개과정 평생직업능력개발 개념과 필요성 평생직업능력개발의 현주소 비전 · 목표 정책과제 보편적 권리로서의 직업능력개발 경쟁력 있는 지식근로자 육성 시장수요를 반영하는 지원체계 구축 파트너십과 민간참여에 의한 추진체제 능력중심 문화 확