동시에 실행되는 병렬 처리 어플리케이션들을 위한 병렬성 관리

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·컴퓨터공학부, 2020. 8. Bernhard Egger.Running multiple parallel jobs on the same multicore machine is becoming more important to improve utilization of the given hardware resources. While co-location of parallel jobs is common practice, it still remains a challenge for current parallel runtime systems to efficiently execute multiple parallel applications simultaneously. Conventional parallelization runtimes such as OpenMP generate a fixed number of worker threads, typically as many as there are cores in the system, to utilize all physical core resources. On such runtime systems, applications may not achieve their peak performance when given full use of all physical core resources. Moreover, the OS kernel needs to manage all worker threads generated by all running parallel applications, and it may require huge management costs with an increasing number of co-located applications. In this thesis, we focus on improving runtime performance for co-located parallel applications. To achieve this goal, the first idea of this work is to ensure spatial scheduling to execute multiple co-located parallel applications simultaneously. Spatial scheduling that provides distinct core resources for applications is considered a promising and scalable approach for executing co-located applications. Despite the growing importance of spatial scheduling, there are still two fundamental research issues with this approach. First, spatial scheduling requires a runtime support for parallel applications to run efficiently in spatial core allocation that can change at runtime. Second, the scheduler needs to assign the proper number of core resources to applications depending on the applications performance characteristics for better runtime performance. To this end, in this thesis, we present three novel runtime-level techniques to efficiently execute co-located parallel applications with spatial scheduling. First, we present a cooperative runtime technique that provides malleable parallel execution for OpenMP parallel applications. The malleable execution means that applications can dynamically adapt their degree of parallelism to the varying core resource availability. It allows parallel applications to run efficiently at changing core resource availability compared to conventional runtime systems that do not adjust the degree of parallelism of the application. Second, this thesis introduces an analytical performance model that can estimate resource utilization and the performance of parallel programs in dependence of the provided core resources. We observe that the performance of parallel loops is typically limited by memory performance, and employ queueing theory to model the memory performance. The queueing system-based approach allows us to estimate the performance by using closed-form equations and hardware performance counters. Third, we present a core allocation framework to manage core resources between co-located parallel applications. With analytical modeling, we observe that maximizing both CPU utilization and memory bandwidth usage can generally lead to better performance compared to conventional core allocation policies that maximize only CPU usage. The presented core allocation framework optimizes utilization of multi-dimensional resources of CPU cores and memory bandwidth on multi-socket multicore systems based on the cooperative parallel runtime support and the analytical model.멀티코어 시스템에서 여러 개의 병렬 처리 어플리케이션들을 함께 실행시키는 것 은 주어진 하드웨어 자원을 효율적으로 사용하기 위해서 점점 더 중요해지고 있다. 하지만, 현재 런타임 시스템에서 여러 개의 병렬 처리 어플리케이션들을 동시에 효율적으로 실행시키는 것은 여전히 어려운 문제이다. OpenMP와 같이 통상 사 용되는 병렬화 런타임 시스템들은 모든 하드웨어 코어 자원을 사용하기 위해서 일반적으로 코어 개수 만큼 스레드를 생성하여 어플리케이션을 실행시킨다. 이 때, 어플리케이션은 모든 코어 자원을 활용할 때 오히려 최적의 성능을 얻지 못할 수도 있으며, 운영체제 커널의 부하는 실행되는 어플리케이션의 개수가 늘어날 수록 관리해야 하는 스레드의 개수가 늘어나기 때문에 계속해서 커지게 된다. 본 학위 논문에서, 우리는 함께 실행되는 병렬 처리 어플리케이션들의 런타임 성능을 높이는 것에 집중한다. 이를 위해, 본 연구의 핵심 목표는 함께 실행되는 어플리케이션들에게 공간 분할식 스케줄링 방법을 적용하는 것이다. 각 어플리 케이션에게 독립적인 코어 자원을 할당해주는 공간 분할식 스케줄링은 점점 더 늘어나는 코어 자원의 개수를 효율적으로 관리하기 위한 방법으로 많은 관심을 받고 있다. 하지만, 공간 분할 스케줄링 방법을 통해 어플리케이션을 실행시키는 것은 두 가지 연구 과제를 가지고 있다. 먼저, 각 어플리케이션은 가변적인 코어 자원 상에서 효율적으로 실행되기 위한 런타임 기술을 필요로 하고, 스케줄러는 어플리케이션들의 성능 특성을 고려해서 런타임 성능을 높일 수 있도록 적당한 수의 코어 자원을 제공해야한다. 이 학위 논문에서, 우리는 함께 실행되는 병렬 처리 어플리케이션들을 공간 분 할 스케줄링을 통해서 효율적으로 실행시키기 위한 세가지 런타임 시스템 기술을 소개한다. 먼저 우리는 협동적인 런타임 시스템이라는 기술을 소개하는데, 이는 OpenMP 병렬 처리 어플리케이션들에게 유연하고 효율적인 실행 환경을 제공한다. 이 기술은 공유 메모리 병렬 실행에 내재되어 있는 특성을 활용하여 병렬처리 프로그램들이 변화하는 코어 자원에 맞추어 병렬성의 정도를 동적으로 조절할 수 있도록 해준다. 이러한 유연한 실행 모델은 병렬 어플리케이션들이 사용 가능한 코어 자원이 동적으로 변화하는 환경에서 어플리케이션의 스레드 수준 병렬성을 다루지 못하는 기존 런타임 시스템들에 비해서 더 효율적으로 실행될 수 있도록 해준다. 두번째로, 본 논문은 사용되는 코어 자원에 따른 병렬처리 프로그램의 성능 및 자원 활용도를 예측할 수 있도록 해주는 분석적 성능 모델을 소개한다. 병렬 처리 코드의 성능 확장성이 일반적으로 메모리 성능에 좌우된다는 관찰에 기초하여, 제 안된 해석 모델은 큐잉 이론을 활용하여 메모리 시스템의 성능 정보들을 계산한다. 이 큐잉 시스템에 기반한 방법은 유용한 성능 정보들을 수식을 통해 효율적으로 계산할 수 있도록 하며 상용 시스템에서 제공하는 하드웨어 성능 카운터만을 요구 하기 때문에 활용 가능성 또한 높다. 마지막으로, 본 논문은 동시에 실행되는 병렬 처리 어플리케이션들 사이에서 코어 자원을 할당해주는 프레임워크를 소개한다. 제안된 프레임워크는 동시에 동 작하는 병렬 처리 어플리케이션의 병렬성 및 코어 자원을 관리하여 멀티 소켓 멀티코어 시스템에서 CPU 자원 및 메모리 대역폭 자원 활용도를 동시에 최적 화한다. 해석적인 모델링과 제안된 코어 할당 프레임워크의 성능 평가를 통해서, 우리가 제안하는 정책이 일반적인 경우에 CPU 자원의 활용도만을 최적화하는 방법에 비해서 함께 동작하는 어플리케이션들의 실행시간을 감소시킬 수 있음을 보여준다.1 Introduction 1 1.1 Motivation 1 1.2 Background 5 1.2.1 The OpenMP Runtime System 5 1.2.2 Target Multi-Socket Multicore Systems 7 1.3 Contributions 8 1.3.1 Cooperative Runtime Systems 9 1.3.2 Performance Modeling 9 1.3.3 Parallelism Management 10 1.4 Related Work 11 1.4.1 Cooperative Runtime Systems 11 1.4.2 Performance Modeling 12 1.4.3 Parallelism Management 14 1.5 Organization of this Thesis 15 2 Dynamic Spatial Scheduling with Cooperative Runtime Systems 17 2.1 Overview 17 2.2 Malleable Workloads 19 2.3 Cooperative OpenMP Runtime System 21 2.3.1 Cooperative User-Level Tasking 22 2.3.2 Cooperative Dynamic Loop Scheduling 27 2.4 Experimental Results 30 2.4.1 Standalone Application Performance 30 2.4.2 Performance in Spatial Core Allocation 33 2.5 Discussion 35 2.5.1 Contributions 35 2.5.2 Limitations and Future Work 36 2.5.3 Summary 37 3 Performance Modeling of Parallel Loops using Queueing Systems 38 3.1 Overview 38 3.2 Background 41 3.2.1 Queueing Models 41 3.2.2 Insights on Performance Modeling of Parallel Loops 43 3.2.3 Performance Analysis 46 3.3 Queueing Systems for Multi-Socket Multicores 54 3.3.1 Hierarchical Queueing Systems 54 3.3.2 Computingthe Parameter Values 60 3.4 The Speedup Prediction Model 63 3.4.1 The Speedup Model 63 3.4.2 Implementation 64 3.5 Evaluation 65 3.5.1 64-core AMD Opteron Platform 66 3.5.2 72-core Intel Xeon Platform 68 3.6 Discussion 70 3.6.1 Applicability of the Model 70 3.6.2 Limitations of the Model 72 3.6.3 Summary 73 4 Maximizing System Utilization via Parallelism Management 74 4.1 Overview 74 4.2 Background 76 4.2.1 Modeling Performance Metrics 76 4.2.2 Our Resource Management Policy 79 4.3 NuPoCo: Parallelism Management for Co-Located Parallel Loops 82 4.3.1 Online Performance Model 82 4.3.2 Managing Parallelism 86 4.4 Evaluation of NuPoCo 90 4.4.1 Evaluation Scenario 1 90 4.4.2 Evaluation Scenario 2 98 4.5 MOCA: An Evolutionary Approach to Core Allocation 103 4.5.1 Evolutionary Core Allocation 104 4.5.2 Model-Based Allocation 106 4.6 Evaluation of MOCA 113 4.7 Discussion 118 4.7.1 Contributions and Limitations 118 4.7.2 Summary 119 5 Conclusion and Future Work 120 5.1 Conclusion 120 5.2 Future work 122 5.2.1 Improving Multi-Objective Core Allocation 122 5.2.2 Co-Scheduling of Parallel Jobs for HPC Systems 123 A Additional Experiments for the Performance Model 124 A.1 Memory Access Distribution and Poisson Distribution 124 A.1.1 Memory Access Distribution 124 A.1.2 Kolmogorov Smirnov Test 127 A.2 Additional Performance Modeling Results 134 A.2.1 Results with Intel Hyperthreading 134 A.2.2 Results with Cooperative User-Level Tasking 134 A.2.3 Results with Other Loop Schedulers 138 A.2.4 Results with Different Number of Memory Nodes 138 B Other Research Contributions of the Author 141 B.1 Compiler and Runtime Support for Integrated CPU-GPU Systems 141 B.2 Modeling NUMA Architectures with Stochastic Tool 143 B.3 Runtime Environment for a Manycore Architecture 143 초록 159 Acknowledgements 161Docto

2012 멕시코 학생운동, 내가 132번째

멕시코에서 젊은이들은 선거나 정치에 무관심한 계층으로 분류된다. 이 나라에서 정치나 정치가에 대한 이미지는 부정적이다. 가장 먼저 부정과 부패가 연상되기 때문이다. 이런 현실에서 젊은이들의 정치에 대한 무관심은 어쩌면 당연한 것인지도 모른다. 그러나 2012년 멕시코 대통령 선거는 다른 어느 선거 때보다 젊은 층의 관심이 뜨거웠다. 선거일 50일을 남겨두고 갑자기 부상한 내가 132번째(#Yo Soy 132)는 대선 정국의 주요 변수로 떠올랐다. 매스미디어와 여론조사 기관이 제도혁명당(PRI) 페냐 니에토(Enrique Peña Nieto) 후보의 승리를 점치는 상황에서내가 132번째의 등장은 계속 승승장구하던 제도혁명당에 큰 타격을 주었다. 반면에 다른 정당과 시민사회단체, 변화를 바라는 국민에게는 답답한 대선 정국에 신선한 바람이 되어주었다. 학생의 정치·사회적 참여는 멕시코 사회에 새로운 활력과 동시에 우려도 낳았다. 학생들은 다양한 사회·정치적 이슈에 개입하기 시작했고, 그들의 활동은 대선 기간에 한정된 것이 아니라 대선 이 후에도 계속되었다. 이제 멕시코에서 젊은이들, 특히 대학생들은 1960년대 이후 다시금 중요한 사회 변혁의 주체이자 정치적 행위자로 부상했다. 이 글은 내가 132번째 학생운동의 기원과 등장 배경, 조직화와 발전 및 내가 132번째 학생운동과 매스미디어의 민주화 문제, 그리고 이 학생운동의 특성과 한계에 대해 간단히 살펴보는 데 목적이 있다.이 저서는 2008년 정부(교육부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(NRF-2008-362-B00015

로베르 리카르의 <멕시코 영혼의 정복>

세계지도에 그려지지 않았던 미지의 대륙, 전대미문의 문명과의 만남이라는 충격과 함께 16세기는 시작되었다. 이 시기는 한마디로 인식론적 충격과 새로운 현실에 대한 변혁과 적응이라는 과제가 공존했던 혼란과 희망의 시대였다. 1492년 이후 라틴아메리카 대륙은 폭력을 앞세운 유럽열강에 의해 점령당하고 식민화되었다. 이를 일컬어 역사가들은 정치적 정복, 혹은 군사적 정복이라고 부른다. 그럼 식민지 원주민의 전통 문화가 파괴되고 반강제적으로 그리스도교로 개종된 것을 무엇이라고 부를 수 있을까? 프랑스의 사학자 로베르 리카르(Robert Ricard, 1900∼1984)는 식민지 주민의 정신적, 문화적, 종교적 식민화 과정을 영혼의 정복(Conquista espiritual)이라는 말로 대치했다. 유럽인의 입장에서 보면 복음화요 선교 과정의 일부였지만, 원주민 입장에서는 또 다른 의미의 정복이었기 때문이다

21세기 라틴아메리카 종교 파노라마: 위기에 처한 가톨릭교회

신흥종교의 유입과 무서운 속도로 번성하는 개신교는 라틴아메리카 대륙의 카톨릭의 종교시장 독점을 무너트리고 있다. 이것으 최근 들어 더욱 보편적으로 인정되는 종교 다원주의ㅘ 무관한 것이 아니다. 70~80년대 라틴아메리카를 휩쓴 해방신학과 투쟁하면서 더욱 보수화한 라틴아메리카 주교단들은 최근 개혁을 추구하는 좌파 성향의 정권들과 정면으로 충돌하는 양상을 보이고 있다. 이 글에서는 이런 사항을 중시으로 대표적인 21세기 라틴아메리카 종교 현상을 살펴보고 특히 이 지역이 지니는 가톨릭교회의 위기에 대해 초점을 맞출 것이다

에보 모랄레스, 환경문제 해결의 리더가 되다

2010년 4월 에보 모랄레스는 기후 변화 대응과 대지(大地)의 권리를 주장하는 세계인 회의를 코차밤바에서 개최했다. 그가 볼리비아의 코차밤바를 개최지로 선정한 데는 상징적 이유가 있었다. 이곳은 특히 토지와 자연을 어머니의 품으로 인식하는 원주민들의 사상이 잘 반영된 장소이며, 10년 전 정부를 상대로 민중 이 주도한 물 전쟁에서 승리한 성지이기 때문이다. 당시 수백만이 사용하는 물을 사유화하는 정책에 반대해 일어난 농민, 노동자, 코카재배업자, 원주민의 저항운동은 코차밤바에서 승리를 거머쥐었다.

미디어 개혁과 멕시코의 민주주의

2012년 12월 1일 멕시코의 새 대통령으로 취임한 엔리케 페냐 니에토(Enrique Peña Nieto)는 멕시코에 시급히 필요한 개혁들에 대해 언급하며 그중 하나로 방송통신법 개정을 약속했다. 그러나 이번 방송통신법 개정은 단순히 일부 조항을 바꾸는 데서 그치지는 것이 아니라 헌법의 조항을 바꾸어야 한다는 점에서 볼 때 방송통신 시장뿐 아니라 멕시코 사회에 큰 변화를 초래하는 것이다. 지지부진한 노동, 에너지, 세제개혁에 대한 논의 과정과 달리 단시일 내에 정치권이 합의하고 법이 개정됐다는 점에서 이례적이다. 이것은 2012년 대선 이후 멕시코 국내 정치 상황에서 이 분야 개혁이 얼마나 시급하고 중요한 이슈였는지 단적으로 보여주는 것이다

2012년 베네수엘라 대선 분석: 차베스 VS 카프릴레스

전 국민이 관심을 갖는 대선은 단거리 달리기가 아니라 마라톤에 비유된다. 지난 7월 1일 4선을 노리는 베네수엘라의 현 대통령 우고 차베스와 야당 통합후보 카프릴레스 간의 100일 동안의 기나긴 대선 레이스가 시작되었다. 양 진영의 사활을 건 한판 승부가 시작되면서 2012년 베네수엘라 대선에 국내 언론뿐 아니라 국제 언론매체들의 관심도 증가하고 있다. 차베스는 2007년 선출직 공무원 연임 제한 규제 철폐 문제를 내걸었던 국민투표에서 단 한 번 진 것을 제외하곤 지난 14년간 선거에서 패한 적이 없는 선거의 달인이다. 그러나 상대후보인 39세의 카프릴레스도 이 점에 있어 차베스에게 절대 뒤지지 않는다. 그도 1998년 처음 정치에 입문한 이후 지난 14년간 한 번도 선거에서 패한 적이 없기 때문이다. 카프릴레스도 총선, 두 번의 시장선거, 주지사선거, 야당통합후보 경선 등 수 많은 선거를 승리로 이끌었다. 그는 그 동안 차베스 진영의 여러 후보들을 낙마시켰을 뿐 아니라 파블로 페레스 같은 쟁쟁한 야당의 정치인들까지 누르는 기염을 토했다. 이런 의미에서 카프릴레스는 젊지만 화려한 정 치 경력을 자랑하는 인물이다. 그러나 그가 이번에 마주한 차베스라는 상대는 기존의 경쟁자들과는 차원이 다른 인물이다. 중도 우파 노선인 카프릴레스는 차베스가 꿈꾸는 21세기 사회주의 건설의 꿈을 좌절시킬 수 있을까? 차베스는 새롭게 부상하는 신예 정치인을 누르고 다시금 선거의 달인임을 증명해 보일 수 있을까

구스타보 구티에레스의 『해방신학』

해방신학의 물결이 가장 강렬했던 브라질 상파울루 교구에 새로 부임한 오질루 페두루 셰레르 대주교는 해방신학이 지나간 유행이 되었다고 선언했다. 그 근거로 제시한 것은 80년대 후반 베를린 장벽의 붕괴와 소 련 등 공산권의 몰락, 니카라과 산디니스타 민족해방전선의 선거 패배였 다. 게다가 교황청의 압력으로 진보 노선의 신학대학교와 신학교가 문을 닫고, 진보 주교가 은퇴한 교구에 보수 주교가 임명된 것도 이런 논리를 뒷받침하는 근거로 작용했다. 서방의 주요 언론은 레오나르도 보프와 혼 소브리노 등 주요 해방신학자가 교황청 신앙교리성으로부터 징계를 받고, 해방신학을 억압한 교황 요한 바오로 2세의 뒤를 이어 보수적 성향의 라 칭거 추기경이 교황 베네딕도 16세로 선출된 사실을 언급하면서 이제는 해방신학이 설자리를 잃었다고 논평했다. 한마디로 말하자면 해방신학에 대한 사형선고가 내려졌다는 것이다. 그러나 최근의 라틴아메리카의 현실 은 이러한 평가가 잘못되었음을 보여주고 있다. 미카엘 뢰비는 해방신학을 교회적 측면이나, 신학적 측면에만 바라보는 협소한 시각 때문에 해방신학의 죽음이라는 논리가 확산된다고 보았다. 뢰비에 따르면, 운동적 측면이 있는 해방신학은 단순히 가톨릭교회 영역에 속한 부속물이 아니며, 이미 신학이나 교회의 영역을 훨씬 벗어난 측면이 있다

엔리케 두셀: 철학함 의 기초로서의 역사

주변부와 역사 없는 라틴아메리카 나는 결함을 가진 현 체제에서 배제된 자들, 아니 이 체제가 양산하는 희생자들의 관점에서 철학을 하고자 합니다. 이것이 해방철학이지요. 두셀은 자신의 사상에 대해 묻는 기자들에게 이렇게 답한다. 그는 이러한 전망을 토대 삼아 자신만의 거대한 사유의 성을 쌓아 왔다. 세계 철학계가 그의 업적을 인정했기에2008년 서울세계철학대회 기조 강연자 중 하나가 될 수 있었다. 2010년에는 해방철학에 대한 이론적 기여로 베네수엘라 정부가 수여하는 해방자 상(Premio liberador)을 수상했다. 그는 지난 40년간의 사유의 궤적을 통해 라틴아메리카 철학을 대표하는 사상가로 우뚝 섰다. 두셀은 무엇보다 세계 철학계의 헤게모니를 쥐고 있는 서구철학과 이 철학이 기대고 있는 헬레니즘중심주의, 서구유럽중심주의, 근대성, 서구 기준의 역사구분을 비판한다. 이러한 사유가 제 삼 세계를 세계사의 주변부로 밀어내고 있고, 그곳에 사는 인간과 역사, 문화를 폄하하기 때문이다. 두셀은 자신이 서 있는 변방 에서 배제된 자들과 소외된 역사의 권리 회복을 외치기 위해 주변부 역사를 탐구한다