Optimizing Software Platforms with Cross-Layer Resource Control and Scheduling

학위논문 (박사)-- 서울대학교 융합과학기술대학원 : 융합과학부(디지털정보융합전공), 2015. 2. 홍성수.소프트웨어 플랫폼의 거대화 및 복잡화 문제에 대응하기 위해 플랫폼은 필연적으로 계층적인 소프트웨어 구조를 채택한다. 이러한 계층 구조에서 성능 최적화는 개별 계층에서 타 계층에 독립적으로 수행되며, 인접한 계층들의 제한된 정보만을 이용할 수 있기 때문에 전체론적 성능 최적화의 측면에서 한계가 있다. 이와 같이 계층적 소프트웨어 구조에 기인하는 성능 최적화의 문제를 해결하기 위해 고안된 기법이 교차계층 최적화이다. 이는 전체 성능에 영향을 주는 각 계층의 정보를 필요한 계층에 선택적으로 전달하고, 이를 통해 전체론적인 성능 최적화를 달성하는 것에 그 목적이 있다. 따라서 최근에는 교차계층적인 최적화를 통하여 플랫폼의 전체론적 성능을 향상시키려는 노력이 경주되고 있다. 특히, 스케줄링은 소프트웨어 플랫폼에서 발생하는 다양한 성능 최적화 문제 중에 시스템 전체에 영향을 끼칠 수 있는 중요한 문제이다. 본 학위논문은 계층적 소프트웨어 플랫폼에서 발생할 수 있는 두 가지 성능 최적화 문제를 교차계층 자원관리와 스케줄링을 통해 해결 할 수 있는 기법을 제안한다. 첫째, 본 연구는 내장형 사용자 단말에서 사용자 반응성 최적화를 위한 교차계층 자원관리 기법을 제안한다. 제안하는 기법은 크게 두 가지 구성 요소들로 이루어진다. 첫째, Framework-assisted Task Characterization(FTC)은 상위 프레임워크 계층과 하위 Linux kernel 계층 사이의 교차계층적 자원관리 기법이다. 상위 계층에서는 사용자 상호적 태스크 체인이 런타임에 검출되고, 하위 계층에서는 이 중 사용자 반응성에 영향을 끼치는 태스크들의 우선순위를 동적으로 증진한다. 결과적으로, 이 태스크들은 다른 태스크에 의해 선점 당하지 않고 오랫동안 CPU를 점유 가능해지기 때문에 매우 작은 선점 지연시간을 보장한다. 둘째, Virtual Time-based Completely Fair Scheduler(VT-CFS)는 Linux의 태스크 스케줄러인 CFS를 교차계층적으로 최적화한다. 구체적으로, 이는 weighted fair queueing 방식의 스케줄링을 하여 보다 높은 응답성을 보장한다. 또한, 상위 계층 FTC로부터 판별된 사용자 상호적 태스크들이 바운드 된 실행 지연시간에 스케줄링 될 수 있도록 그들의 virtual runtime을 조정한다. 둘째, 본 연구는 멀티코어 스케줄링을 통해 비례공정성 최적화 달성을 위한 Progress Balancing 기법을 제안한다. 이는 태스크의 상대적 진척 정도를 virtual runtime으로 정의하고, 이를 균등하게 부하분산 하는 진척 기반 부하분산 기법이다. 구체적으로, Progress Balancing은 시스템 내 태스크들을 CPU 코어의 개수만큼의 태스크 그룹으로 분할하고 상대적으로 진척이 빠른 태스크를 느린 코어에 할당하고, 모든 코어들 간 로드 차이를 바운드 시킨다. 결과적으로, 태스크 간 virtual runtime 차이는 작은 상수로 바운드 되어서 비례공정성의 최적화를 달성한다. 본 연구에서 제안한 기법들의 효용성을 하기 위해서, 본 연구는 이들이 달성하고자 하는 성능 지표에 따라 선별된 대상 시스템에 각 기법들을 구현하였다. FTC와 VT-CFS는 Android 스마트폰에 구현되었다. 실험 결과, 기존 시스템 대비 무려 77.35% 더 짧게 양단간 사용자 반응시간을 단축함으로써 사용자 반응성의 최적화를 달성하였다. 이 최적화 결과는 FTC가 선점 지연시간을 80.23%, VT-CFS가 실행 지연시간을 78.42% 감소시켰다는 사실에 기인 한다. 또한, Progress Balancing은 Linux 기반 서버에 구현되었다. 실험 결과, 모든 태스크들의 virtual runtime의 차이가 작은 상수로 바운드 됨을 확인하였다. 이러한 virtual runtime 차이의 바운드는 서버 환경에서 호스팅 되는 사용자들에 모두 공정한 CPU 자원을 보장할 수 있음을 뜻한다. 이러한 결과는 본 논문에서 제안하는 교차계층 자원관리와 스케줄링 기법이 대상 시스템에 효과적으로 적용되어 보다 높은 수준의 성능 최적화가 가능함을 보이며, 또한 계속해서 다각화되고 복잡화되는 소프트웨어 플랫폼의 전체론적 성능 최적화를 위한 실용적인 수단임을 드러낸다.Layering software platform is known to be a promising mean to deal with many problems incurred by its colossal and complex structure. In a layered structure, a performance optimization is performed locally at each individual layer independently from other layers, and restricted to use information provided from its adjacent layers. This leads many difficulties and challenges in achieving holistic system-wide performance optimization. A cross-layer optimization is an optimization paradigm which is proposed to solve such difficulties in layered software structure. It carefully delivers relevant information, which affects overall performance to other appropriate layers. Its objective is to lead a holistic performance optimization by violating the layering principle to a certain degree. Recently, due to its effectiveness, there have been a number of demands and efforts to improve an overall performance using the cross-layer optimization. In particular, task scheduling in a layered software platform is one of the most crucial problems which can affect an overall performance improvement of the platform. This thesis proposes a cross-layer resource control and scheduling to solve two performance optimization problems in layered software platforms. First, we present a cross-layer resource control to optimize a user interactivity for embedded user equipment. The proposed one consists of two components. First, Framework-assisted Task Characterization (FTC) is a cross-layer scheme between Android application framework and its underlying operating systems kernel. At the upper level, it identifies user-interactive tasks using the notion of a user-interactive task chain. It then enables the lower level scheduler to selectively promote the priorities of tasks appearing in the task chain. This effectively reduces the preemption latency of a user-interactive task since it can occupy a CPU longer without being preempted. Second, Virtual Time-based Completely Fair Scheduler (VT-CFS) is a cross-layer refinement of CFS in terms of interactivity. Specifically, it schedules a task in a WFQ fashion and allows a task to be preempted at every smaller period. It also adjusts the virtual runtime of the user-interactive task identified by FTC to ensure that a dispatch latency of a user-interactive task is reduced to a small value. Second, we present Progress Balancing in order to optimize a multicore proportional fairness in a server. It defines tasks relative progress as virtual runtimes and periodically balances them. Specifically, it partitions runnable tasks such that a core with larger virtual runtimes receives a larger load and the load difference among cores is bounded. As a result, the virtual runtime difference converges to the balancing period multiplied by some constant derived from the bounded load difference. To show a viability and evaluate an effectiveness of the proposed schemes, we have applied them to the target software platform product line. We have implemented FTC and VT-CFS into Android smartphone and empirically evaluated them with well-known benchmark programs and real-world applications. Results show that the end-to-end response time was reduced by up to 77.35% compared to the legacy one. This improvement comes from the facts that the modified framework achieved 80.23% shorter preemption latency than the legacy framework and that the VT-CFS yielded 78.42% shorter dispatch latency for user-interactive tasks than CFS. We have also implemented Progress Balancing into a multicore Linux-installed server. Experimental results report that virtual runtime difference between tasks is bounded by a small constant by adopting our scheme. Such bounding virtual runtime differences implies that tenants hosted from our target server are able to guarantee a use of fair amount of CPU resources. As such qualitative and quantitative analyses indicate, our cross-layer resource control and scheduling schemes effectively improve the overall system performance of the existing software platforms.제 1 장 서론 1 제 1 절 연구 동기 3 제 2 절 논문의 기여 6 제 3 절 논문 구성 10 제 2 장 관련 연구 11 제 1 절 교차계층 최적화 11 제 2 절 비례공정 스케줄링 15 2.1 Weighted Round Robin 기반 기법들 15 2.2 Weighted Fair Queueing 기반 기법들 19 제 3 절 멀티코어 비례공정성 향상을 위한 스케줄링 22 3.1 가중치(Weight) 기반 기법들 23 3.2 속도(Speed) 기반 기법들 25 제 3 장 시스템 모델 28 제 1 절 계층적 아키텍처 28 제 2 절 Completely Fair Scheduler 31 제 4 장 교차계층 자원관리를 통한 사용자 반응성 최적화 39 제 1 절 대상 시스템 정의 40 제 2 절 수학적 표기법과 용어 정의 49 제 3 절 문제 정의 52 제 4 절 Framework-assisted Task Characterization 56 제 5 절 Virtual Time-based CFS 61 제 6 절 동작 예시 66 제 5 장 Progress Balancing을 통한 비례공정성 최적화 68 제 1 절 대상 시스템 정의 69 제 2 절 수학적 표기법과 용어 정의 72 제 3 절 문제 정의 75 제 4 절 Progress Balancing 80 4.1 PARTITION 단계 83 4.2 THROTTLE 단계 84 제 5 절 동작 예시 88 제 6 장 실험 및 검증 93 제 1 절 실험 환경 93 제 2 절 성능 지표 94 제 3 절 실험적 검증 결과 97 3.1 사용자 반응성 최적화 98 3.2 비례공정성 최적화 105 제 4 절 분석적 평가 113 제 7 장 결론 121 참고 문헌 124 Abstract 133Docto

Virtual Runtime based Load Balancing Algorithm for Guaranteeing Fairness on Multicore Systems

Authors' final version리눅스의 기본 스케줄러인 CFS는 클라우드 서버와 같은 대규모 시스템에서 널리 사용되고 있지만, 이는 시스템의 규모가 극도로 커짐에 따라 시스템이 요구하는 수준의 공정성을 보장하지 못한다. 이 논문은 CFS에 대한 심도 깊은 분석을 통해 공정성 보장의 실패의 원인을 규명하고, 이를 해결하기 위한 virtual runtime 기반의 로드 밸런싱 알고리즘을 제안한다. 이는 태스크들의 virtual runtime 차이를 바운드시키기 위해 주기적으로 태스크 이주를 수행한다. 이를 위해 알고리즘은 인접한 두 CPU의 load 차이가 최대 가중치 차이 이하가 되도록 바운드 하고, virtual runtime이 큰 태스크들을 load가 큰 CPU에서 수행되게 보장한다. 우리는 제안된 알고리즘을 리눅스 커널 2.6.38.8 상에 구현하고 일련의 실험을 수행하였다. 그 결과 기존 CFS의 경우 virtual runtime 차이는 선형적으로 증가하는데 반해 제안된 기법은 50.53 단위 시간으로 virtual runtime 차이를 바운드시킬 수 있으며 고작 0.14%의 런타임 오버헤드를 야기시킴을 보였다.While the primary task scheduler of Linux, CFS, is widely adopted for the large-scale cloud system, it cannot provide a desired level of fairness when a system scales up to an extreme degree. This paper formally analyzes the behavior of CFS to precisely characterize the reason why it fails to achieve the fairness in multicore systems. Based on the analysis, we present a virtual runtime-based load balancing algorithm which directly bounds the maximum virtual runtime difference among tasks by periodically migrating tasks. In doing so, it bounds the load difference between two adjacent cores by the largest weight in the task set and makes the core with larger virtual runtimes receive a larger load and thus runs more slowly. We have implemented the algorithm into Linux kernel 2.6.38.8. Experimental results show that the maximal virtual runtime difference is 50.53 time units while incurring only 0.14% of run-time overhead comparing to CFS.OAIID:oai:osos.snu.ac.kr:snu2012-01/102/0000004193/2SEQ:2PERF_CD:SNU2012-01EVAL_ITEM_CD:102USER_ID:0000004193ADJUST_YN:YEMP_ID:A005174DEPT_CD:4541CITE_RATE:0FILENAME:(2011추계 우수발표논문) 11-12-12 정보과학회 논문지 CPL-허승주 - 최종본.pdfDEPT_NM:전기·컴퓨터공학부EMAIL:[email protected]_YN:NCONFIRM:

DVFS에 기반한 안드로이드 스마트폰의 CPU 소모 전력 절감 기법의 한계

Authors' final manuscriptOAIID:oai:osos.snu.ac.kr:snu2012-01/102/0000004193/6SEQ:6PERF_CD:SNU2012-01EVAL_ITEM_CD:102USER_ID:0000004193ADJUST_YN:NEMP_ID:A005174DEPT_CD:4541CITE_RATE:0FILENAME:12_정보과학회지_저전력.pdfDEPT_NM:전기·컴퓨터공학부EMAIL:[email protected]_YN:NCONFIRM:

멀티코어 시스템에서 공정성 향상을 위한 Virtual Runtime 기반 로드 밸런싱 메커니즘

OAIID:oai:osos.snu.ac.kr:snu2011-01/102/0000004193/4SEQ:4PERF_CD:SNU2011-01EVAL_ITEM_CD:102USER_ID:0000004193ADJUST_YN:NEMP_ID:A005174DEPT_CD:4541CITE_RATE:0FILENAME:11-09-07 정보과학회 - CFS 로드 밸런싱_출판용.pdfDEPT_NM:전기·컴퓨터공학부EMAIL:[email protected]:

Framework-assisted Priority Boosting and Load Balancing for Improving Interactivity of Android Smartphones

Authors' final version본 논문은 KCC2012에서 안드로이드 기반 스마트폰의 사용자 응답성 향상을 위한 프레임워크 지원 우선순위 부스트 기법의 제목으로 발표된 논문을 확장한 것임최근 안드로이드 플랫폼을 탑재한 스마트폰이 널리 보급되면서 안드로이드 플랫폼에 대한 관심은 더욱 커지고 있다. 하지만 안드로이드 스마트폰은 종종 양질의 사용자 응답성을 제공하지 못하는 것으로 알려져 있다. 이는 안드로이드 상에서 대화형 태스크가 다른 태스크와 구별되지 않고 동일한 우선순위로 스케줄링 되기 때문에 사용자 입력을 처리하는 동안 여러 번의 선점을 당해 긴 응답시간을 초래할 수 있기 때문이다. 이 논문은 안드로이드 스마트폰의 사용자 응답성 향상을 위해 프레임워크 지원 우선순위 부스트 기법과 로드 밸런싱 기법을 제시한다. 프레임워크 지원 우선순위기법은 프레임워크 레벨에서 대화형 태스크를 식별하고 이를 커널에게 전달하며, 커널 레벨에서는 식별된 태스크의 우선순위를 선별적으로 부스트 시킴으로써 사용자 입력을 처리할 만큼 충분한 시간을 보장해 준다. 로드 밸런싱 기법은 부스트 된 태스크를 여전히 방해하는 태스크들을 다른 실행 큐로 이주시킴으로써, 대화형 태스크의 응답시간을 최소화 한다. 실험 결과 대화형 태스크의 응답시간이 우선순위 부스트 기법을 통해서는 기존 시스템보다 최대 22% 단축됨을 보였고 로드 밸런싱 기법을 통해서는 최대 43.31% 단축됨을 보여 제안된 기법의 효용성을 입증하였다.Smartphones on Android platform recently have been come into wide use. However, it is often reported that Android smartphones cannot provide enough interactivity because Android cannot distinguish interactive tasks and non-interactive tasks and they are scheduled with the same priority and preempted. Thus, it occurs poor response time. This paper proposes a framework assisted priority boosting and load balancing for improving interactivity of Android smartphones. The framework assisted priority boosting technique distinguishes the interactive task in the framework level and send the task ID to the kernel. The kernel ensures enough time to process user input by boosting the priority of distinguished task. The load balancing technique minimizes response time of boosted task by migrating tasks disturbing boosted task to other run-queue. The experiment results demonstrate the priority boosting technique reduces response time up to 22% and the load balancing technique along with priority boosting reduces response time up to 43.31% compared to the previous techniques.OAIID:oai:osos.snu.ac.kr:snu2012-01/102/0000004193/8SEQ:8PERF_CD:SNU2012-01EVAL_ITEM_CD:102USER_ID:0000004193ADJUST_YN:YEMP_ID:A005174DEPT_CD:4541CITE_RATE:0FILENAME:(CSTV12-07-09-15).pdfDEPT_NM:전기·컴퓨터공학부EMAIL:[email protected]_YN:NCONFIRM:

안드로이드 기반 스마트폰의 사용자 응답성 향상을 위한 프레임워크 지원 우선순위 부스트 기법

Authors' final versionOAIID:oai:osos.snu.ac.kr:snu2012-01/102/0000004193/9SEQ:9PERF_CD:SNU2012-01EVAL_ITEM_CD:102USER_ID:0000004193ADJUST_YN:NEMP_ID:A005174DEPT_CD:4541CITE_RATE:0FILENAME:12-06-27 정보과학회 - Android_Interactivity.pdfDEPT_NM:전기·컴퓨터공학부EMAIL:[email protected]: