Garbage collection auto-tuning for Java MapReduce on Multi-Cores

MapReduce has been widely accepted as a simple programming pattern that can form the basis for efficient, large-scale, distributed data processing. The success of the MapReduce pattern has led to a variety of implementations for different computational scenarios. In this paper we present MRJ, a MapReduce Java framework for multi-core architectures. We evaluate its scalability on a four-core, hyperthreaded Intel Core i7 processor, using a set of standard MapReduce benchmarks. We investigate the significant impact that Java runtime garbage collection has on the performance and scalability of MRJ. We propose the use of memory management auto-tuning techniques based on machine learning. With our auto-tuning approach, we are able to achieve MRJ performance within 10% of optimal on 75% of our benchmark tests

Performance Characterization of In-Memory Data Analytics on a Modern Cloud Server

In last decade, data analytics have rapidly progressed from traditional disk-based processing to modern in-memory processing. However, little effort has been devoted at enhancing performance at micro-architecture level. This paper characterizes the performance of in-memory data analytics using Apache Spark framework. We use a single node NUMA machine and identify the bottlenecks hampering the scalability of workloads. We also quantify the inefficiencies at micro-architecture level for various data analysis workloads. Through empirical evaluation, we show that spark workloads do not scale linearly beyond twelve threads, due to work time inflation and thread level load imbalance. Further, at the micro-architecture level, we observe memory bound latency to be the major cause of work time inflation.Comment: Accepted to The 5th IEEE International Conference on Big Data and Cloud Computing (BDCloud 2015

SKIL 2012 - Dritte Studentenkonferenz Informatik Leipzig: Dritte Studentenkonferenz Informatik Leipzig 2012Leipzig, Deutschland, 25. September 2012Tagungsband

Die Studentenkonferenz des Instituts für Informatik der Universität Leipzig richtet sich an alle Studierende der Informatik sowie angrenzender Disziplinen mit Schwerpunkt Informatik. Die Konferenz setzt sich zum Ziel, Studierenden eine Plattform zu bieten, ihre Projekte und Forschungsvorhaben vorzustellen. Im Mittelpunkt der Tagung stehen studentische Projekte aus Seminaren, Praktika, Abschlussarbeiten oder extracurricularen Aktivitäten. Die SKIL bietet den Studierenden die Möglichkeit, vor einem akademischen Publikum Ideen, Pläne und Ergebnisse zu präsentieren und zu diskutieren. Die Organisation der Konferenz unterscheidet sich nur wenig von wissenschaftlichen Fachkonferenzen. Die Einreichung der Beiträge erfolgte mit Hilfe eines Conference Systems; anschließend wurden alle Einreichungen durch das Programmkomitee bewertet. Angenommene Beiträge wurden am Konferenztag vorgestellt und in dem hier vorliegendem Tagungsband publiziert. Die dritte Studentenkonferenz Informatik Leipzig 2012 fand im Rahmen der SABRE am 25.09.2012 statt. Die SABRE ist eine internationale integrative Multikonferenz auf dem Gebiet zukunftsweisender Technologien der Softwareentwicklung, Agententechnologien und Servicecomputing für Wirtschaft, Entwicklung und Wissenschaft. Die SKIL 2012 wurde am Institut für Angewandte Informatik (InfAI) e.V. organisiert. Initiiert und maßgeblich realisiert wurde die SKIL 2012 von den Forschungsgruppen Agile Knowledge Engineering and Semantic Web (AKSW) und Service Science and Technology (SeSaT) der Universität Leipzig