미분 가능한 고정점 반복 레이어 및 기계학습 문제에 대한 적용

학위논문(박사) -- 서울대학교대학원 : 공과대학 전기·정보공학부, 2021.8. 진승우.Recently, several studies proposed methods to utilize some classes of optimization problems in designing deep neural networks to encode constraints that conventional layers cannot capture. However, these methods are still in their infancy and require special treatments, such as analyzing the KKT condition, for deriving the backpropagation formula. In this paper, we propose a new layer formulation called the fixed-point iteration (FPI) layer that facilitates the use of more complicated operations in deep networks. The backward FPI layer is also proposed for backpropagation, which is motivated by the recurrent back-propagation (RBP) algorithm. But in contrast to RBP, the backward FPI layer yields the gradient by a small network module without an explicit calculation of the Jacobian. All components of our method are implemented at a high level of abstraction, which allows efficient higher-order differentiations on the nodes. In addition, we present two practical methods, FPI NN and FPI GD, where the update operations of FPI are a small neural network module and a single gradient descent step based on a learnable cost function, respectively. FPI NN is intuitive and simple, while FPI GD can be used for efficient training of energy networks that have been recently studied. While RBP and its related studies have not been applied to practical examples, our experiments show the FPI layer can be successfully applied to real-world problems such as image denoising, optical flow, multi-label classification and image generation.최근 여러 연구에서 기존 신경망 레이어들이 이용할 수 없던 제약 조건들을 인코딩 하기 위해, 심층 신경망을 설계할 때 최적화 문제를 활용하는 방법을 제안하였다. 그러나 이러한 방법들은 아직 초기 단계이며 역전파 공식을 도출하기 위해 KKT 조건 분석과 같은 특별한 처리가 필요하다. 본 논문에서는 딥 네트워크에서 더 복 잡한 연산을 쉽게 사용할 수 있도록 고정점 반복 레이어라고 하는 새로운 형태의 레이어을 제안한다. 반복적 역전파 방법에 기반하여, 역방향 고정점 반복 레이어도 제안한다. 그러나 반복적 역전파와 달리, 역방향 고정점 반복 레이어는 야코비 행렬 을 직접 계산하지 않고 작은 네트워크 모듈을 이용하여 그래디언트를 얻는다. 또한 본 논문에서는 두 가지 실용적인 방법(FPI NN과 FPI GD)을 제안한다. FPI NN은 작은 신경망 모듈을 반복하여 업데이트하며, 직관적이고 간단하다. FPI GD는 경사 하강법을 반복하여 업데이트하며, 최근들어 연구된 에너지 네트워크들의 효율적인 학습 방법이다. 반복적 역전파 방법 및 관련 연구들이 실제 사례에 적용된 경우가 거의 없었는데, 본 논문의 실험은 고정점 반복 레이어가 이미지 노이즈 제거, 광학 흐름 측정, 다중 라벨 분류 및 이미지 생성과 같은 실제 문제에 성공적으로 적용될 수 있음을 보여준다.Chapter 1 Introduction 1 Chapter 2 RelatedWork 7 2.1 Energy function networks 7 2.2 Differentiable optimization layers 9 2.3 Recurrent back-propagation 9 2.4 Learning objective functions 10 2.5 Autoencoders 12 Chapter 3 Preliminaries 15 3.1 Fixed-point iteration 15 3.2 Contraction mapping 16 3.3 Banach fixed-point theorem 16 3.4 Contraction property 20 Chapter 4 Proposed Method 23 4.1 Structure of the FPI layer 23 4.2 Differentiation of the FPI layer 24 4.3 Backward FPI layer 25 4.4 Convergence of the FPI layer 29 4.5 Two representative cases of the FPI layer 31 4.5.1 Neural net FPI layer (FPI NN) 31 4.5.2 Gradient descent FPI layer (FPI GD) 33 Chapter 5 Applications to optimization and classification tasks 37 5.1 Toy examples: optimization problems 38 5.1.1 Training objective functions by FPI GD 38 5.1.2 Additional experiment on optimization problem 41 5.2 Multi-label classification 42 5.3 Implementation details 44 5.3.1 Multi-label classification 45 Chapter 6 Applications to computer vision tasks 49 6.1 Image denoising 49 6.2 Optical flow 53 6.2.1 Estimation by neural network 53 6.2.2 Estimation by objective function 53 6.3 Image generation 58 6.4 Implementation details 67 6.4.1 Image denoising 68 6.4.2 Optical flow 68 6.4.3 Image generation 69 Chapter 7 Conclusion 77 7.1 Concluding remarks 77 7.2 Broader impact 78 7.3 Limitations and future work 79 Chapter 8 Appendix 81 8.1 Figures of partial differentiation and the backward FPI layer 81 8.2 Additional lemma for the convergence of backward FPI layer 84 초록 97박

The Effects of Goal Ambiguity on Bureaucratic Culture in Public Organizations

본 연구의 목적은 조직목표 모호성이 공공조직의 관료주의문화를 심화시킨다 는 이론적 주장을 경험적으로 검증하는 것이다 32 개 미국연방기관의 25 ，814 명 의 공무원을 표본으로 하여 두 변수간의 관계를 분석한 결과에 따르면 조직목표 모 호성의 차원들 중 지시적 모호성， 평가적 모호성， 그리고 우선순위 모호성이 관 료주의문화의 주요 요소중 하나인 지각된 레드테이프에 대해 정(+)적 영향을 미 쳤으며 지시적 모호성과 우선순위 모호성은 관료주의문화의 또 다른 요소인 지 각된 집권화에 대해 역시 정(+)적 영향을 미치는 것으로 나타났다.이 논문은 2004년도 중앙대학교 학술연구비 지원에 의한 것임

大企業集團 業種專門化政策의 改善方向에 關한 硏究 : 政府와 市場의 役割分擔을 中心으로

학위논문(석사)--서울大學校 行政大學院 :行政學科 行政學專攻,1995.Maste

Uncertainty of Autonomy Effects in Agentification : the Case of Seoul National University

우리나라의 다양한 공공조직을 대상으로 이루어지고 있는 법인화는 자율성효과론, 즉 공공조직에 대한 정부의 사전적 통제를 사후적 통제로 전환시키면 조직의 효율성 및 책무성을 동시에 향상시킬 수 있다는 논리에 근거하고 있다. 그러나, 법인화에 의한 자율성효과의 실현은 매우 불확실하며 의도하지 않은 결과가 나타날 가능성이 크다. 서울대 법인화의 경우 정부로부터의 구조적 분리, 독자적 이사회 설치, 총장의 권한확대는 모두 그자체로서 자율성효과의 발현을 자동적으로 보장하지 않으며, 사전적 통제의 완화는 형식적 규제완화, 재규제, 내부규제, 혹은 규제치환의 출현으로 귀결될 가능성이 크고, 사후적 통제의 강화는 성과목표의 모호성 때문에 성과평가의 정치화, 형식화, 평가기준의 투입규제화, 또는 학문적 자율성의 침해로 이어질 가능성이 상존한다. 이러한 법적으로 주어진 공식적 자율성과 실질적 자율성 사이의 간극을 좁히려면 조직관리자의 전략적이고 적극적인 노득자율성 확보 과정이 요구될 것이다.Recent agentification reforms in South Korea are based on a theoretical rational called the logic of autonomy effects, which posit that organizational performance and accountability will be enhanced if ex ante control over public organizations is replaced by ex post control, including performance evaluation. The main argument of this article is that the transformation of control modes is not a sufficient condition in order to realize such autonomy effects and that successful agentification of public organizations is contingent upon other factors such as the managerial ability of top managers in agentified organizations. Based on a case analysis of Seoul National University in South Korea, this article finds that without proactive and strategic efforts by top university managers, the transformation of control modes brings considerable uncertainty to the agentified organization. The deregulation of SNU is in fact impeded through hidden means of ex ante control by the national government and also through the lack of internal efforts to take advantage of the deregulation. In addition, the other part of agentifcation, that is, the introduction of ex post evaluation of SNUs organizational performance, may result in the politicization of performance evaluation or a disguised form of input resource regulation, mainly because of the inherent performance ambiguity of higher education institutions. This article concludes with the observation that it is imperative that top managers in agentified organizations make continuing and strategic efforts to fill the gap between formal autonomy and de facto autonomy after agentification

Efficiency of Korean diplomatic offices

최근 우리나라 재외공관이 직면한 성과격차에 대응하기 위하여 정부는 재외공관 인력증원을 시행하였다. 그러나 재외공관 인력증원이 성과향상으로 이어지려면 인력이라는 투입요소와 함께 성과라는 산출요소를 동시에 고려한 재외공관 효율성 평가가 필요하다. 본 연구는 115개 우리나라 재외공관의 상대적 효율성을 자료포락분석(DEA)을 통하여 평가하고 그 결과를 바탕으로 비효율적인 공관의 효율성제고를 위한 정책적 시사점을 제시하였다. 자료포락기법을 적용한 효율성분석 결과, 기술적 총효율성 면에서 전체 재외공관 중 5.2%에 해당하는 6개 공관이, 기술적 순효율성 면에서는 17.4%에 해당하는 20개 공관이 상대적으로 효율적인 공관으로 평가되었다. 재외공관 간의 비교사례분석은 이러한 효율성 차이의 원인과 비효율성 개선방안에 대하여 다음과 같은 시사점을 제공하였다. 첫째, 재외공관의 효율성은 여타 공공기관의 경우와 마찬가지로 기관장, 즉 공관장의 리더쉽에 의해 큰 영향을 받는다는 것이다. 둘째, 보다 효과적인 외교통상부 소속 외교관과 타부처 파견 주재관 간의 업무배분체제가 필요하다. 끝으로, 재외공관의 비효율성은 때로는 불가피한 특수상황적 문제에서 유래할 수도 있으므로 획일적 접근은 바람직하지 않다. The Korean govemment has recently increased human resources for diplomatic offices to deal with a performance gap in its diplomatic presence. However, it is unclear whether the increase of human resources leads to better performance without evaluating the technical efficiency of the offices. This article evaluates the technical efficiency of 115 Korean diplomatic offices using Data Envelopment Analysis (DEA)and suggests policy implications for improving the efficiency of the offices based on the results of the analysis. The results shows that 5.2% of the offices are efficient in terms of the CRS model and that 17.4% of them, in terms of the VRS model. A qualitative case analysis of two diplomatic offices implies that the differences in efficiency among Korean diplomatic offices are likely to result from the leadership of the office head, the system of labor division between the officials from the Ministry of Foreign Affairs and Trade (MOFAT) and those from other government agencies, and special factors inherent in some offices

Two Faces of Bureaucratic Autonomy: An Empirical Analysis of Korean Government Agencies

관료적 자율성은 공공조직의 혁신을 가져오는 원동력인가 아니면 관료 부패로 가는 지름길인가? 관료적 자율성이 공공조직의 관리에 미치는 영향에 관한 상이한 주장들이 제기되어 왔으나, 경험적 증거는 빈약하였다. 본 연구는 한국정부의 40개 중앙행정기관을 대상으로 관료적 자율성이 조직혁신과 청렴성에 미치는 효과에 대한 경험적 증거를 탐색하였다. 본 연구의 결과는 흥미롭게도 관료적 자율성이 혁신에 도움을 주기도 하지만 동시에 부패를 조장할 수도 있다는 증거를 제시한다. 신공공관리론자들이 믿어왔듯이 조직혁신에 대해서는 관료적 자율성이 긍정적 영향을 미친다는 주장에 대한 부분적 증거를 찾을 수 있었으며, 전통적 행정학자들이 강조해 온 것처럼 청렴성에 대해서는 부정적 영향을 미친다는 증거도 제시되었다. 본 연구의 결과는 관료적 자율성이 갖는 효과 중 일부에 국한된 제한적 증거이기는 하지만 관료적 자율성의 필요성에 대한 주장과 폐해에 대한 우려가 모두 타당성을 갖고 있음을 보여준다. 이러한 연구결과는 관료적 자율성이 행정가치의 상충성과 긴밀한 관계에 있으며, 우리나라 공공조직의 관료적 자율성을 설계함에 있어서 필수적인 고려 사항은 서로 상충적인 행정가치들 간의 우선순위에 대한 결정임을 시사한다.이 논문은 2010년 정부(교육과학기술부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF -2010-330-B00250

A Meta-Analysis of Public-Private Distinction Research: Sayre's Proposition Revisited

1953년 Sayre는 PAR에 실린 논문에서 공공조직과 민간조직은 모든 중요하지 않은 점에서 기본적으로 유사하다라고 지적하였다. 이에 대해 Boyne(2002) 은 34편의 실증적 연구결과를 메타 분석하여 Sayre의 주장이 경험적 지지를 받지 못한다고 결론지었다. 본 연구의 목적은 Boyne의 메타분석이 지나치게 제한적인 연구범위와 분석대상에 기초한 것이라는 문제인식하에 이러한 제한점을 극복한 새로운 메타분석을 실시하여 Sayre의 명제를 재검증하는 것이다. 51편의 국외연구와 12편의 국내연구를 대상으로 실시한 본 연구의 메타분석결과는 Boyne의 결론과는 달리 Sayre의 명제가 충분한 경험적 증거에 의해 뒷받침되고 있음을 보여주었다. In 1953, Sayre argued that "public and private organizations are fundamentally alike in all unimportant respects." In 2002, based on the results from a meta-analysis of 34 empirical studies, Boyne concluded that Sayre's proposition did not get clear support from the available evidence. The motivation of this study is that Boyne's conclusion was based on a limited research sample, which calls for a meta-analysis with a more comprehensive scope. This study retests Sayre's proposition with an expanded set of empirical studies on the public-private distinction. The results of this meta-analysis show that the evidence provides clear support for the proposition.본 연구는 2006년 정부재원(교육인적자원부 학술연구조성사업비 신진연구지원)으로 한국학술진흥재단의 지원을 받아 연구되었음

Research on policy instruments: origin, development, and future

이 논문은 최근 주목받고 있는 정책수단 연구의 이론적, 실천적, 교육적 의의를 제시하였고, 정책수단 연구의 기원과 발전과정 및 기존 연구의 한계를 이론적으로 분석하였다. 나아가 최근의 정책수단 연구가 극복해야할 과제로서 정책수단선택 이론의 개발과 검증, 수단조합문제의 해결, 그리고 정책수단분석, 거버넌스연구 및 조직분석의 통합을 제시하였다. 1970년대 이후 정책수단연구의 주류 패러다임을 형성한 도구주의적 관점은 1980년대에 이르러 정책수단선택에 대한 기술적 인식의 문제점을 지적하는 다양한 비판에 직면하였다. 그러나, 오늘날 정책수단에 대한 처방적 조언은 여전 히 도구주의적 관점에 의존하고 있으며 도구주의와 반성적 시각들 간의 긴장은 현재진행형이다. 이러한 긴장을 해소하고 정책수단연구가 한 단계 진일보하기 위해서는 정책수단선택에 영향을 미치는 요인에 대한 보다 포괄적인 이론의 개발과 그 이론의 검증을 위한 경험적 연구가 필요하다. 또한 수단조합 문제의 해결을 위해서는 정책수단의 분석단위와 분석수준에 대한 혼란을 제거할 수 있는 새로운 개념적 접근이 필수적이며, 끝으로 보다 간접화하고 있는 현대 정부의 정책수단선택이 정책성과에 미치는 영향을 규명하기 위해서는 정 책수단연구와 거버넌스연구, 그리고 조직분석이 통합되어야 할 필요가 있다. For the last decade, policy instruments have been a topic of increasing interest for the students of public administration and public policy. This article assesses the state of the field by considering such questions as what the main reasons for this recent emergence of policy instrument research are, what the similarities and differences between first-generation studies and the recent second-generation studies are, and what major challenges are out there for current research on policy instruments. This article argues that the growing interest in policy instrument research is based on theoretical, practical, and educational motivations. Current works on policy instruments differ from previous ones primarily in terms of their adoption of non-instrumentalist views, while the instrumentalist view still continues to enjoy a paradigmatic status. To hold more relevance for the theory and practice of public administration and policy implementation, second-generation researchers of policy instruments need more and better work on developing and testing instrument choice theories, solving the "instrument-mix" problem, and integrating instrument research with governance studies and organizational analysis.본 논문은 2007년도 정부의 재원으로 학술진흥재단의 지원을 받아 수행된 연구임(KRF-2007-321-B00185)

Publicness and Bureaucratic Structure: The Case of Quasi-Governmental Organizations in Korea

본 연구의 목적은 다차원적 조직공공성(법적 공공성, 재정적 공공성, 규제 공공성)이 관료제적 조직구조에 미치는 영향력에 대한 분석을 수행하는 것이다. 300여개의 공공기관에 대한 3개년 자료를 활용하여 조직공공성과 관료제적 조직구조 간의 관계를 분석한 결과에 따르면, 공법적 지위를 가지고 있는 조직일수록 계층적 분화 수준 및 레드테이프 수준이 높았으며, 외부에 의한 감사 및 평가를 더 많이 받는 조직일수록 공식화의 정도가 높은 것으로 나타났다. 반면, 외부에 의한 행정절차를 더 엄격하게 적용받는 조직일수록 레드테이프 수준은 오히려 낮은 것으로 나타났다