Simulating Galaxy Formation

A review on numerical simulations of galaxy formation is given. Different numerical methods to solve collisionless and gas dynamical systems are outlined and one particular simulation technique, Smoothed Particle Hydrodynamics, is discussed in some detail. After a short discussion of the most relevant physical processes which affect the dynamics of the gas, the success and shortcomings of state of the art simulations are discussed via the example of the formation of disk galaxies.Comment: 24 pages, uuencoded postscript file, 5 figures, 2 figures included Proc. ``International School of Physics Enrico Fermi'', Course CXXXII: Dark Matter in the Universe, Varenna 1995, eds.: S. Bonometto, J. Primack, A. Provenzale, IOP, to appear; complete version available at http://www.mpa-garching.mpg.de/Galaxien/prep.htm

Distributed N-body Simulation on the Grid Using Dedicated Hardware

We present performance measurements of direct gravitational N -body simulation on the grid, with and without specialized (GRAPE-6) hardware. Our inter-continental virtual organization consists of three sites, one in Tokyo, one in Philadelphia and one in Amsterdam. We run simulations with up to 196608 particles for a variety of topologies. In many cases, high performance simulations over the entire planet are dominated by network bandwidth rather than latency. With this global grid of GRAPEs our calculation time remains dominated by communication over the entire range of N, which was limited due to the use of three sites. Increasing the number of particles will result in a more efficient execution. Based on these timings we construct and calibrate a model to predict the performance of our simulation on any grid infrastructure with or without GRAPE. We apply this model to predict the simulation performance on the Netherlands DAS-3 wide area computer. Equipping the DAS-3 with GRAPE-6Af hardware would achieve break-even between calculation and communication at a few million particles, resulting in a compute time of just over ten hours for 1 N -body time unit. Key words: high-performance computing, grid, N-body simulation, performance modellingComment: (in press) New Astronomy, 24 pages, 5 figure

A GPU-accelerated package for simulation of flow in nanoporous source rocks with many-body dissipative particle dynamics

Mesoscopic simulations of hydrocarbon flow in source shales are challenging, in part due to the heterogeneous shale pores with sizes ranging from a few nanometers to a few micrometers. Additionally, the sub-continuum fluid-fluid and fluid-solid interactions in nano- to micro-scale shale pores, which are physically and chemically sophisticated, must be captured. To address those challenges, we present a GPU-accelerated package for simulation of flow in nano- to micro-pore networks with a many-body dissipative particle dynamics (mDPD) mesoscale model. Based on a fully distributed parallel paradigm, the code offloads all intensive workloads on GPUs. Other advancements, such as smart particle packing and no-slip boundary condition in complex pore geometries, are also implemented for the construction and the simulation of the realistic shale pores from 3D nanometer-resolution stack images. Our code is validated for accuracy and compared against the CPU counterpart for speedup. In our benchmark tests, the code delivers nearly perfect strong scaling and weak scaling (with up to 512 million particles) on up to 512 K20X GPUs on Oak Ridge National Laboratory's (ORNL) Titan supercomputer. Moreover, a single-GPU benchmark on ORNL's SummitDev and IBM's AC922 suggests that the host-to-device NVLink can boost performance over PCIe by a remarkable 40\%. Lastly, we demonstrate, through a flow simulation in realistic shale pores, that the CPU counterpart requires 840 Power9 cores to rival the performance delivered by our package with four V100 GPUs on ORNL's Summit architecture. This simulation package enables quick-turnaround and high-throughput mesoscopic numerical simulations for investigating complex flow phenomena in nano- to micro-porous rocks with realistic pore geometries

GIZMO: A New Class of Accurate, Mesh-Free Hydrodynamic Simulation Methods

We present two new Lagrangian methods for hydrodynamics, in a systematic comparison with moving-mesh, SPH, and stationary (non-moving) grid methods. The new methods are designed to simultaneously capture advantages of both smoothed-particle hydrodynamics (SPH) and grid-based/adaptive mesh refinement (AMR) schemes. They are based on a kernel discretization of the volume coupled to a high-order matrix gradient estimator and a Riemann solver acting over the volume 'overlap.' We implement and test a parallel, second-order version of the method with self-gravity & cosmological integration, in the code GIZMO: this maintains exact mass, energy and momentum conservation; exhibits superior angular momentum conservation compared to all other methods we study; does not require 'artificial diffusion' terms; and allows the fluid elements to move with the flow so resolution is automatically adaptive. We consider a large suite of test problems, and find that on all problems the new methods appear competitive with moving-mesh schemes, with some advantages (particularly in angular momentum conservation), at the cost of enhanced noise. The new methods have many advantages vs. SPH: proper convergence, good capturing of fluid-mixing instabilities, dramatically reduced 'particle noise' & numerical viscosity, more accurate sub-sonic flow evolution, & sharp shock-capturing. Advantages vs. non-moving meshes include: automatic adaptivity, dramatically reduced advection errors & numerical overmixing, velocity-independent errors, accurate coupling to gravity, good angular momentum conservation and elimination of 'grid alignment' effects. We can, for example, follow hundreds of orbits of gaseous disks, while AMR and SPH methods break down in a few orbits. However, fixed meshes minimize 'grid noise.' These differences are important for a range of astrophysical problems.Comment: 57 pages, 33 figures. MNRAS. A public version of the GIZMO code, user's guide, test problem setups, and movies are available at http://www.tapir.caltech.edu/~phopkins/Site/GIZMO.htm

GADGET: A code for collisionless and gasdynamical cosmological simulations

We describe the newly written code GADGET which is suitable both for cosmological simulations of structure formation and for the simulation of interacting galaxies. GADGET evolves self-gravitating collisionless fluids with the traditional N-body approach, and a collisional gas by smoothed particle hydrodynamics. Along with the serial version of the code, we discuss a parallel version that has been designed to run on massively parallel supercomputers with distributed memory. While both versions use a tree algorithm to compute gravitational forces, the serial version of GADGET can optionally employ the special-purpose hardware GRAPE instead of the tree. Periodic boundary conditions are supported by means of an Ewald summation technique. The code uses individual and adaptive timesteps for all particles, and it combines this with a scheme for dynamic tree updates. Due to its Lagrangian nature, GADGET thus allows a very large dynamic range to be bridged, both in space and time. So far, GADGET has been successfully used to run simulations with up to 7.5e7 particles, including cosmological studies of large-scale structure formation, high-resolution simulations of the formation of clusters of galaxies, as well as workstation-sized problems of interacting galaxies. In this study, we detail the numerical algorithms employed, and show various tests of the code. We publically release both the serial and the massively parallel version of the code.Comment: 32 pages, 14 figures, replaced to match published version in New Astronomy. For download of the code, see http://www.mpa-garching.mpg.de/gadget (new version 1.1 available

Flow and transport in saturated and unsaturated fractured porous media: Development of particle-based modeling approaches

Das Ziel der vorliegenden Arbeit ist die Entwicklung von partikelbasierenden Strömungs- und Transportmodellen zur Charakterisierung von kleinskaligen Strömungsprozessen in gesättigten und ungesättigten Poren- und Kluftsystemen. Aufgrund der unzureichenden Prozessbeschreibung von ungesättigter Strömung in Doppelkontinuummodellen mittels der Richardsgleichung und van Genuchten Parametern werden innovative Methoden präsentiert um die zugrunde liegenden hochdynamischen Strömungs- und Transportprozesse zu erfassen. Die Simulation von Strömung und Transport in ungesättigten geklüfteten Aquiferen bildet immer noch ein höchst anspruchsvolles Aufgabenfeld aufgrund von skalenübergreifenden Diskontinuitäten, welche oftmals die Definition eines globalen repräsentativen Einheitsvolumens nicht zulassen. Des Weiteren können die hydraulischen Eigenschaften und potentiellen Parameterräume von geklüfteten Aquiferen oftmals nur durch integrale Ansätze, wie z.B. Pump- und Slugtests, Zeitreihenanalysen von Quellschüttungen und Tracertests ermittelt werden. Doppelkontinuummodelle bieten hierfür einen ausgewogenen Ansatz hinsichtlich der erforderlichen Felddaten und der resultierenden prädiktiven Modellqualität. Der erste Teil dieser Arbeit evaluiert den Doppelkontinuumansatz, welcher die Simulation von Strömung mittels der Richardsgleichung und van Genuchten Parametern in zwei, durch einen linearen Austauschterm gekoppelten, Kontinua ermöglicht. Ganglinien von Karstquellen weisen eine charakteristischen steilen Abfall nach Niederschlagsereignissen auf, der durch das Modell erfolgreich reproduziert werden kann. Das Röhrensystem bildet die hydraulische Brücke zur Karstquelle und nimmt potentialabhängige Wassermengen des geklüfteten Matrixsystems auf. Um die Simulation von schneller Grundwasserinfiltration durch das Röhrenkontinuum innerhalb der ungesättigten Zone zu vermeiden wurde die entsprechende Randbedingung an die untere Grenze des Kontinuums gesetzt. Ein genereller Nachteil des Doppelkontinuumsansatz ist die potentielle Mehrdeutigkeit von Modellergebnissen. Der duale Parameterraum in Kombination mit schwierig zu ermittelnden Parametern, führt zur Existenz von mehr als einem kalibrierten Modell, wie durch mehrdimensionale Sensitivitätsanalysen aufgezeigt wird.  Insbesondere in Karstaquiferen bilden Diskontinuitäten, wie z.B. Lösungsdolinen, Klüfte und Störungssysteme, bevorzugte hydraulische Elemente für schnelle vertikale Grundwasserneubildungsprozesse, die oftmals nicht durch volumeneffektive Modellansätze erfasst werden können. Der Hauptteil dieser Arbeit befasst sich daher mit der Entwicklung von zwei Smoothed Particle Hydrodynamics (SPH) Modellen um ein adäquates numerisches Werkzeug zur partikelbasierenden Simulation von kleinskaligen Strömungen mit freien Oberflächen und Transportprozessen bereitzustellen. SPH Modelle ermöglichen eine Eulersche Beschreibung eines Strömungsfelds auf Basis der Navier-Stokes Gleichung und Partikelbewegung mittels klassischer Newtonscher Mechanik. Der gitterlose Modellansatz ermöglicht flexible Simulationen von hochdynamischen Phasengrenzen in ungesättigten Klüften und Porenräumen. Das erste SPH Modell wird eingesetzt um durch Oberflächenspannung dominierte Tropfen- und Filmströmungen auf glatten und rauhen Kluftoberflächen zu simulieren. Charakteristische dimensionslose Kennzahlen werden über einen weiten Bereich von Benetzungswinkeln und Reynoldszahlen bestimmt. Modellergebnisse weisen einen hervorragende Übereinstimmung mit dimensionslosen Skalierungsfunktionen auf und kritische Kontaktwinkel folgen der zu erwartenden Entnetzungsdynamik. Die Entstehung von adsorbierten Filmen auf trockenen Oberflächen wird für einen breiten Parameterraum bestimmt. Des Weiteren wird der Einfluss von befeuchteten Oberflächen auf die Geschwindigkeitszunahme von Tropfenströmung aufgezeigt und so die Bedeutung der Koexistenz verschiedener Strömungsmodi gezeigt. Der Effekt von Oberflächenrauhigkeit auf Tropfenströmung wird für verschiedene Rauhigkeiten ermittelt und eine deutliche Geschwindigkeitsabnahme demonstriert. Um die makroskopische Kontinuumsbeschreibung der Navier-Stokes Gleichung und atomistische Effekte eines klassischen Partikelsystems der statistischen Mechanik zu kombinieren wurde ein zweites mesoskopisches SPH Modell entwickelt. Diese neue Diskretisation der vollständig gekoppelten Landau-Lifshitz-Navier-Stokes und Advektions- Diffusionsgleichung ermöglicht die Simulation von Strömung und Transport bei gleichzeitiger Berücksichtigung von Fluktuationsdynamiken, welche sich korrekt der Systemskala anpassen. Die Verbindung von klassischer Fickscher Diffusion und thermodynamischen Fluktuationen wird hierbei durch einen effektiven Diffusionskoeffizienten beschrieben. Numerische Experimente zeigen die Präzision des Modells. Grenzflächen zwischen zwei Fluiden unterschiedlicher Konzentration weisen eine korrekte Wellenzahldivergenz entsprechend aktuellen Laborergebnissen auf