Efficient Task-Local I/O Operations of Massively Parallel Applications

Applications on current large-scale HPC systems use enormous numbers of processing elements for their computation and have access to large amounts of main memory for their data. Nevertheless, they still need file-system access to maintain program and application data persistently. Characteristic I/O patterns that produce a high load on the file system often occurduring access to checkpoint and restart files, which have to be frequently stored to allow the application to be restarted after program termination or system failure. On large-scale HPC systems with distributed memory, each application task will often perform such I/O individually by creating task-local file objects on the file system. At large scale, these I/O patterns impose substantial stress on the metadata management components of the I/O subsystem. For example, the simultaneous creation of thousands of task-local files in the same directory can cause delays of several minutes. Also at the startup of dynamically linked applications, such metadata contention occurs while searching for library files and induces a comparably high metadata load on the file system. Even mid-scale applications cause in such load scenarios startup delays of ten minutes or more. Therefore, dynamic linking and loading is nowadays not applied on large HPC systems, although dynamic linking has many advantages for managing large code bases. The reason for these limitations is that POSIX I/O and the dynamic loader are implemented as serial components of the operating system and do not take advantage of the parallel nature of the I/O operations. To avoid the above bottlenecks, this work describes two novel approaches for the integration of locality awareness (e.g., through aggregation or caching) into the serial I/O operations of parallel applications. The underlying methods are implemented in two tools, $\textit{SIONlib}$ and $\textit{Spindle}$, which exploit the knowledge of application parallelism to coordinate access to file-system objects. In addition, the applied methods also use knowledge of the underlying I/O subsystem structure, the parallel file system configuration, and the network betweenHPC-system and I/O system to optimize application I/O. Both tools add layers between the parallel application and the POSIX-based standard interfaces of the operating system for I/O and dynamic loading, eliminating the need for modifying the underlying system software. SIONlib is already applied in several applications, including PEPC, muphi, and MP2C, to implement efficient checkpointing. In addition, SIONlib is integrated in the performance-analysis tools Scalasca and Score-P to efficiently store and read trace data. Latest benchmarks on the Blue Gene/Q in Jülich demonstrate that SIONlib solves the metadata problem at large scale by running efficiently up to 1.8 million tasks while maintaining high I/O bandwidths of 60-80% of file-system peak with a negligible file-creation time. The scalability of Spindle could be demonstrated by running the Pynamic benchmark, a proxy benchmark for a real application, on a cluster of Lawrence Livermore National Laboratory at large scale. The results show that the startup of dynamically linked applications is now feasible on more than 15000 tasks, whereas the overhead of Spindle is nearly constantly low. With SIONlib and Spindle, this work demonstrates how scalability of operating system components can be improved without modifying them and without changing the I/O patterns of applications. In this way, SIONlib and Spindle represent prototype implementations of functionality needed by next-generation runtime systems

Wayfinding and Perception Abilities for Pedestrian Simulations

Computer simulations of pedestrian dynamics are common and reliable tools in order to evaluate safety risks of facilities. However, still many soft- ware frameworks for evacuation simulations imply the assumption that all simulated pedestrians are familiar with their environment and therefore take the shortest path to the outside. In fact, the spatial knowledge of people generally varies. Thus, the assumption that all persons of a build- ing possess comprehensive spatial knowledge is a rough approximation of the reality. Especially for simulations in complex buildings the reliability of this approximation is questionable. In order to make simulations of pedestrian dynamics more reliable in this regard, this thesis introduces a new software framework. This framework provides the possibility to predict route choices of a group of people with varying spatial knowledge degrees. Therefor, the framework also considers selected wayfinding strategies that are applied beside the use of spatial memories. These are using signage, using generalized knowledge about the structure of buildings, and search strategies. In addition, three studies have been conducted in order to investigate wayfinding abilities and strategies of people in office buildings and subway stations. The results of the studies are discussed and are used to calibrate and test the models of the new software framework. Finally, the framework is applied to conduct a case study of an evacuation scenario in a subway station. The case study turns out that the egress time in the station is strongly dependent on the wayfinding strategies and abilities of the occupants. This outcome suggests that the proper consideration and prediction of route choices is relevant and necessary for reliable evacuation simulations.Computersimulationen von Fußgängerströmen sind heutzutage ein gängiges Hilfsmittel, wenn es darum geht, Sicherheitsrisiken eines geplanten Neubaus oder Bestandsobjektes im Vorfeld zu erkennen und zu analysieren. Die Mehrheit der Modelle für die Routenwahl von Fußgängern legt die Annahme zugrunde, dass Menschen sich für einen Weg entscheiden, deren zurückzulegende Strecke möglichst kurz ist oder deren Reisezeit möglichst klein ist. Dies impliziert, dass sämtliche Räume, Ausgänge, Korridore, etc. jedem Fußgänger bekannt sind. Diese Annahme kann im Besonderem bei der Betrachtung von komplexen Gebäuden nur als starke Vereinfachung der menschlichen Orientierung bzw. Wegfindung angesehen werden. Um Evakuierungssimulation diesbezüglich zu verbessern bzw. belastbarer zu machen, stellt die vorliegende Thesis ein neues Software-Framework vor. Dieses bietet die Möglichkeit, auch Fußgänger bzw. deren Routenwahl abzubilden, die nur Teile des Gebäudes kennen oder denen das Gebäude unbekannt ist. Die Modelle des Frameworks berücksichtigen hierbei die Anwendung von räumlichem Wissen (kognitive Karte), die Nutzung der Fluchtwegsbeschilderung und die Verwendung von generalisiertem Wissen über Gebäudestrukturen. Des Weiteren wurden drei Studien zur Untersuchung der Wegewahl von Personen in Bürogebäuden und U-Bahnhöfen durchgeführt. Die Ergebnisse der Studien werden in dieser Thesis diskutiert und zur Kalibrierung und Prüfung der Modelle herangezogen. Schließlich wird das Framework im Rahmen einer Simulationsstudie in einer U-Bahnstation angewendet. Diese Studie zeigt, dass die Räumungszeit der Station in Abhängigkeit der Wegfindungsstrategien und -fähigkeiten der Personen stark variieren kann und daher die Berücksichtigung menschlicher Wegfindung in Evakuierungssimulationen relevant ist

Real-Time Simulation and Prognosis of Smoke Propagation in Compartments Using a GPU

The evaluation of life safety in buildings in case of fire is often based on smoke spread calculations. However, recent simulation models – in general, based on computational fluid dynamics – often require long execution times or high-performance computers to achieve simulation results in or faster than real-time. Therefore, the objective of this study is the development of a concept for the real-time and prognosis simulation of smoke propagation in compartments using a graphics processing unit (GPU). The developed concept is summarized in an expandable open source software basis, called JuROr (Jülich's Real-time simulation within ORPHEUS). JuROr simulates buoyancy-driven, turbulent smoke spread based on a reduced modeling approach using finite differences and a Large Eddy Simulation turbulence model to solve the incompressible Navier-Stokes and energy equations. This reduced model is fully adapted to match the target hardware of highly parallel computer architectures. Thereby, the code is written in the object-oriented programming language C++ and the pragma-based programming model OpenACC. This model ensures to maintain a single source code, which can be executed in serial and parallel on various architectures. Further, the study provides a proof of JuROr's concept to balance sufficient accuracy and practicality. First, the code was successfully verified using unit and (semi-) analytical tests. Then, the underlying model was validated by comparing the numerical results to the experimental results of scenarios relevant for fire protection. Thereby, verification and validation showed acceptable accuracy for JuROr's application. Lastly, the performance criteria of JuROr – being real-time and prognosis capable with comparable performance across various architectures – was successfully evaluated. Here, JuROr also showed high speedup results on a GPU and faster time-to-solution compared to the established Fire Dynamics Simulator. These results show JuROr's practicality.Die Bewertung der Personensicherheit bei Feuer in Gebäuden basiert häufig auf Berechnungen zur Rauchausbreitung. Bisherige Simulationsmodelle – im Allgemeinen basierend auf numerischer Strömungsdynamik – erfordern jedoch lange Ausführungszeiten oder Hochleistungsrechner, um Simulationsergebnisse in und schneller als Echtzeit liefern zu können. Daher ist das Ziel dieser Arbeit die Entwicklung eines Konzeptes für die Echtzeit- und Prognosesimulation der Rauchausbreitung in Gebäuden mit Hilfe eines Grafikprozessors (GPU). Zusammengefasst ist das entwickelte Konzept in einer erweiterbaren Open-Source-Software, genannt JuROr (Jülich's Real-time Simulation in ORPHEUS). JuROr simuliert die Ausbreitung von auftriebsgetriebenem, turbulentem Rauch basierend auf einem reduzierten Modellierungsansatz mit finiten Differenzen und einem Large Eddy Simulation Turbulenzmodell, um inkompressible Navier- Stokes und Energiegleichungen zu lösen. Das reduzierte Modell ist voll- ständig angepasst an hochparallele Computerarchitekturen. Dabei ist der Code implementiert mit C++ und OpenACC. Dies hat den Vorteil mit nur einem Quellcode verschiedenste serielle und parallele Ausführungen des Programms für unterschiedliche Architekturen erstellen zu können. Die Studie liefert weiterhin einen Konzeptnachweis dafür, ausreichende Genauigkeit und Praktikabilität im Gleichgewicht zu halten. Zunächst wurde der Code erfolgreich mit Modul- und (semi-) analytischen Tests verifiziert. Dann wurde das zugrundeliegende Modell durch einen Vergleich der numerischen mit den experimentellen Ergebnissen für den Brandschutz relevanter Szenarien validiert. Die Verifizierung und Validierung zeigten dabei ausreichende Genauigkeit für JuROr. Zuletzt, wurden die Kriterien von JuROr – echtzeit- und prognosefähig zu sein mit vergleichbarer Leistung auf unterschiedlichsten Architekturen – erfolgreich geprüft. Zudem zeigte JuROr hohe Beschleunigungseffekte auf einer GPU und schnellere Lösungszeiten im Vergleich zum etablierten Fire Dynamics Simulator. Diese Ergebnisse zeigen JuROr's Praktikabilität