66 research outputs found

    High-Performance Modelling and Simulation for Big Data Applications

    Get PDF
    This open access book was prepared as a Final Publication of the COST Action IC1406 “High-Performance Modelling and Simulation for Big Data Applications (cHiPSet)“ project. Long considered important pillars of the scientific method, Modelling and Simulation have evolved from traditional discrete numerical methods to complex data-intensive continuous analytical optimisations. Resolution, scale, and accuracy have become essential to predict and analyse natural and complex systems in science and engineering. When their level of abstraction raises to have a better discernment of the domain at hand, their representation gets increasingly demanding for computational and data resources. On the other hand, High Performance Computing typically entails the effective use of parallel and distributed processing units coupled with efficient storage, communication and visualisation systems to underpin complex data-intensive applications in distinct scientific and technical domains. It is then arguably required to have a seamless interaction of High Performance Computing with Modelling and Simulation in order to store, compute, analyse, and visualise large data sets in science and engineering. Funded by the European Commission, cHiPSet has provided a dynamic trans-European forum for their members and distinguished guests to openly discuss novel perspectives and topics of interests for these two communities. This cHiPSet compendium presents a set of selected case studies related to healthcare, biological data, computational advertising, multimedia, finance, bioinformatics, and telecommunications

    Effective visualisation of callgraphs for optimisation of parallel programs: a design study

    Get PDF
    Parallel programs are increasingly used to perform scientific calculations on supercomputers. Optimising parallel applications to scale well, and ensuring maximum parallelisation, is a challenging task. The performance of parallel programs is affected by a range of factors, such as limited network bandwidth, parallel algorithms, memory latency and the speed of the processors. The term “performance bottlenecks” refers to obstacles that cause slow execution of the parallel programs. Visualisation tools are used to identify performance bottlenecks of parallel applications in an attempt to optimize the execution of the programs and fully utilise the available computational resources. TAU (Tuning and Analysis Utilities) callgraph visualisation is one such tool commonly used to analyse the performance of parallel programs. The callgraph visualisation shows the relationship between different parts (for example, routines, subroutines, modules and functions) of the parallel program executed during the run. TAU’s callgraph tool has limitations: it does not have the ability to effectively display large performance data (metrics) generated during the execution of the parallel program, and the relationship between different parts of the program executed during the run can be hard to see. The aim of this work is to design an effective callgraph visualisation that enables users to efficiently identify performance bottlenecks incurred during the execution of a parallel program. This design study employs a user-centred iterative methodology to develop a new callgraph visualisation, involving expert users in the three developmental stages of the system: these design stages develop prototypes of increasing fidelity, from a paper prototype to high fidelity interactive prototypes in the final design. The paper-based prototype of a new callgraph visualisation was evaluated by a single expert from the University of Oregon’s Performance Research Lab, which developed the original callgraph visualisation tool. This expert is a computer scientist who holds doctoral degree in computer and information science from University of Oregon and is the head of the University of Oregon’s Performance Research Lab. The interactive prototype (first high fidelity design) was evaluated against the original TAU callgraph system by a team of expert users, comprising doctoral graduates and undergraduate computer scientists from the University of Tennessee, United States of America (USA). The final complete prototype (second high fidelity design) of the callgraph visualisation was developed with the D3.js JavaScript library and evaluated by users (doctoral graduates and undergraduate computer science students) from the University of Tennessee, USA. Most of these users have between 3 and 20 years of experience in High Performance Computing (HPC). On the other hand, an expert has more than 20 years of experience in development of visualisation tools used to analyse the performance of parallel programs. The expert and users were chosen to test new callgraphs against original callgraphs because they have experience in analysing, debugging, parallelising, optimising and developing parallel programs. After evaluations, the final visualisation design of the callgraphs was found to be effective, interactive, informative and easy-to-use. It is anticipated that the final design of the callgraph visualisation will help parallel computing users to effectively identify performance bottlenecks within parallel programs, and enable full utilisation of computational resources within a supercomputer

    Why High-Performance Modelling and Simulation for Big Data Applications Matters

    Get PDF
    Modelling and Simulation (M&S) offer adequate abstractions to manage the complexity of analysing big data in scientific and engineering domains. Unfortunately, big data problems are often not easily amenable to efficient and effective use of High Performance Computing (HPC) facilities and technologies. Furthermore, M&S communities typically lack the detailed expertise required to exploit the full potential of HPC solutions while HPC specialists may not be fully aware of specific modelling and simulation requirements and applications. The COST Action IC1406 High-Performance Modelling and Simulation for Big Data Applications has created a strategic framework to foster interaction between M&S experts from various application domains on the one hand and HPC experts on the other hand to develop effective solutions for big data applications. One of the tangible outcomes of the COST Action is a collection of case studies from various computing domains. Each case study brought together both HPC and M&S experts, giving witness of the effective cross-pollination facilitated by the COST Action. In this introductory article we argue why joining forces between M&S and HPC communities is both timely in the big data era and crucial for success in many application domains. Moreover, we provide an overview on the state of the art in the various research areas concerned

    Data-centric Performance Measurement and Mapping for Highly Parallel Programming Models

    Get PDF
    Modern supercomputers have complex features: many hardware threads, deep memory hierarchies, and many co-processors/accelerators. Productively and effectively designing programs to utilize those hardware features is crucial in gaining the best performance. There are several highly parallel programming models in active development that allow programmers to write efficient code on those architectures. Performance profiling is a very important technique in the development to achieve the best performance. In this dissertation, I proposed a new performance measurement and mapping technique that can associate performance data with program variables instead of code blocks. To validate the applicability of my data-centric profiling idea, I designed and implemented a profiler for PGAS and CUDA. For PGAS, I developed ChplBlamer, for both single-node and multi-node Chapel programs. My tool also provides new features such as data-centric inter-node load imbalance identification. For CUDA, I developed CUDABlamer for GPU-accelerated applications. CUDABlamer also attributes performance data to program variables, which is a feature that was not found in any previous CUDA profilers. Directed by the insights from the tools, I optimized several widely-studied benchmarks and significantly improved program performance by a factor of up to 4x for Chapel and 47x for CUDA kernels

    Design and Development of Imaging Platforms for Phenotypic Characterization of Early Zebrafish

    Get PDF
    Der Zebrabärbling hat sich in den letzten Jahrzehnten als ein beliebter und vielversprechender Modellorganismus herausgestellt. Mit seiner Hilfe werden zunehmend die grundlegenden biologischen Funktionsweisen von Wirbeltieren untersucht und anhand der Erkenntnisse neue Therapien und Medikamente für Krankheiten entwickelt. Zusätzlich hat sich die Verhaltensforschung als Gebiet mit hohem Potential für neue Entdeckungen entpuppt, da es hier möglich ist, deutlich feinere Unterscheidungen und Effekte nachzuvollziehen als es bei stark abgegrenzten Endpunkten wie Verformungen oder Toxizität der Fall ist. Im frühen Stadium bis fünf Tage nach Befruchtung zeigen die Embryonen und Larven des Zebrabärblings einige charakteristische Verhaltensweisen, die durch künstliche Stimulation hervorgerufen werden können. Noch in der Eischale bei einem Alter von nur 30 bis 42 Stunden nach der Befruchtung reagieren die Embryonen auf einen Lichtblitz mit erhöhter Bewegung, der sogenannten Photomotor Response. Bei wiederholtem Belichten bleibt diese Reaktion aus, was als ein typisches Verhaltensmuster interpretiert werden kann. Werden die Embryonen jedoch Chemikalien oder Mutationen ausgesetzt, kann sich dieses Muster verändern und es können Rückschlüsse über die Funktionsweise der verursachenden Methoden gewonnen werden. Als zusätzliche Verhaltensweisen lassen sich die beiden Schreckreaktionen auf Vibration und Berührung nutzen. Bereits in der Eischale lassen sich die Embryonen durch Berührung zum Bewegen bringen. Sobald sie in einem Alter von ca. drei Tagen nach Befruchtung geschlüpft sind, wird die Reaktion als C-Krümmung bezeichnet, da die Larve eine charakteristische Biegung entlang ihrer Körperachse einnimmt bevor sie davonschwimmt. Dasselbe gilt für die Vibrationsreaktion ab einem Alter von ca. fünf Tagen nach Befruchtung. Um diese Verhalten sinnvoll nutzen zu können sind automatisierte Lösungen notwendig, die die Vorbereitung, die Abläufe und die Analyse soweit vereinfachen, dass kaum noch menschliches Eingreifen notwendig ist. Nur so kann der notwendige Durchsatz und die Reproduzierbarkeit gewährleistet werden um statistisch aussagekräftige Effekte nachzuweisen. Aus diesem Grund wurden drei unabhängige mechatronische Systeme entwickelt, die je eines der drei genannten Verhaltensmuster automatisiert auslösen, aufzeichnen und analysieren können. Dazu waren neben der Hard- und Softwareentwicklung auch biologische Vorgehensweisen notwendig um die Systeme zu validieren und sie bereits in ersten biologischen Untersuchungen einzusetzen. Für das PMR System wurde ein hochautomatisierter Versuchsablauf entwickelt, der anhand eines Roboters die Embryonen zur Vorbereitung sortiert und anschließend in einem automatisierten Mikroskop mit vollständig eigenentwickelter Steuerungssoftware die Aufzeichnung der Reaktion gewährleistet. Anschließend können die Rohdaten in Form von Videos automatisiert analysiert werden um numerische Daten aus den Bildreihen zu extrahieren. Das Vibrationssystem umfasst einen neuentwickelten Vibrationserreger in Form eines modifizierten Lautsprechers, der es erlaubt, mehrere Proben parallel zu untersuchen. Dazu wurde der Erreger ausgiebig charakterisiert um zu gewährleisten, dass die erzielten Beschleunigungswerte sowie die Impulsdauer und Frequenz den angestrebten Werten von 14 g, 1 ms und 500 Hz entsprechen. Durch den Einsatz von Beschleunigungssensoren wurden die Erreger kalibriert und die Steuerungssoftware an die Ergebnisse so angepasst, dass ein einheitlicher Effekt zwischen den Erregern gewährleistet ist. Die Implementierung einer Hochgeschwindigkeitskamera erlaubt die Aufzeichnung der Reaktion bei bis zu 1000 Bildern pro Sekunde, was aufgrund der äußerst schnellen Reaktionszeit der Larven im Millisekundenbereich notwendig ist um den vollen Umfang der Reaktion abzubilden. Um Hochdurchsatzversuche zur Berührung der Larven zu ermöglichen, wurde das erste automatisierte System entwickelt, welches durch den Einsatz einer motorisiert positionierbaren Nadel einen computergesteuerten Berührungsvorgang ermöglicht. Ein berührungsempfindliches Mehrachsensystem wurde so konstruiert, dass der Nutzer über eine grafische Oberfläche das System fernsteuern kann und so die subjektiven und unnötig langwierigen Aspekte von manuellen Versuchsaufbauten umgangen werden können. Das System wurde mit einer digitalen Objekterkennung so erweitert, dass auch autonome Versuche möglich wurden. Die Systeme wurden im Rahmen von mehreren biologischen Untersuchungen am ITG ausgiebig getestet. Mit Hilfe des PMR Systems wurde eine mehrere hundert Proben umfassende Sammlung von Cannabinoid-ähnlichen Substanzen auf ihre neuroaktive Wirkung untersucht. So konnten charakteristische Reaktionsmuster identifiziert werden, die nun dabei helfen können, das Verständnis über die Struktur- und Wirkungszusammenhänge zu erhöhen. An den beiden Schreckreaktionen konnte die unterschiedliche Wirkung von Anästhetika auf Phänokopien von genetisch veränderten Zebrabärblingen nachgewiesen werden, was die Einsatzfähigkeit für chemische sowie genetische Versuche substantiiert

    NOTIFICATION!!!

    Get PDF
    The full content of this special edition is retrieved from the conference proceedings published by the European Scientific Institute, ESI. http://eujournal.org/index.php/esj/pages/view/books The European Scientific Journal, ESJ, after approval from the publisher re publishes the papers in a Special edition

    NOTIFICATION !!!

    Get PDF
    All the content of this special edition is retrieved from the conference proceedings published by the European Scientific Institute, ESI. http://eujournal.org/index.php/esj/pages/view/books The European Scientific Journal, ESJ, after approval from the publisher re publishes the papers in a Special edition
    corecore