Towards a hybrid parallelization of lattice Boltzmann methods

AbstractOngoing research towards the development of a hybrid parallelization concept for lattice Boltzmann methods is presented. It allows coping with platforms sharing both the properties of shared and distributed architectures. The proposed approach relies on spatial domain decomposition where each domain represents a basic block entity which is solved on a symmetric multi-processing (SMP) system. Emphasis is placed on the software design and the reworking needed to achieve good performance using OpenMP in that context. Those ideas are implemented in the C++ project OpenLB, which is also sketched in this article. The efficiency of the proposed approaches is tested on a 3D benchmark problem and compared with a purely MPI based approach

Fluid-Structure Interaction Simulation of a Coriolis Mass Flowmeter using a Lattice Boltzmann Method

In this paper we use a fluid-structure interaction (FSI) approach to simulate a Coriolis mass flowmeter (CMF). The fluid dynamics are calculated by the open source framework OpenLB, based on the lattice Boltzmann method (LBM). For the structural dynamics we employ the open source software Elmer, an implementation of the finite element method (FEM). A staggered coupling approach between the two software packages is presented. The finite element mesh is created by the mesh generator Gmsh to ensure a complete open source workflow. The Eigenmodes of the CMF, which are calculated by modal analysis are compared with measurement data. Using the estimated excitation frequency, a fully coupled, partitioned, FSI simulation is applied to simulate the phase shift of the investigated CMF design. The calculated phaseshift values are in good agreement to the measurement data and verify the suitability of the model to numerically describe the working principle of a CMF

Analyzing and Modeling the Performance of the HemeLB Lattice-Boltzmann Simulation Environment

We investigate the performance of the HemeLB lattice-Boltzmann simulator for cerebrovascular blood flow, aimed at providing timely and clinically relevant assistance to neurosurgeons. HemeLB is optimised for sparse geometries, supports interactive use, and scales well to 32,768 cores for problems with ~81 million lattice sites. We obtain a maximum performance of 29.5 billion site updates per second, with only an 11% slowdown for highly sparse problems (5% fluid fraction). We present steering and visualisation performance measurements and provide a model which allows users to predict the performance, thereby determining how to run simulations with maximum accuracy within time constraints.Comment: Accepted by the Journal of Computational Science. 33 pages, 16 figures, 7 table

Regularized characteristic boundary condition for the Lattice Boltzmann methods at high Reynolds number flows

This paper reports the investigations done to adapt the Characteristic Boundary Conditions (CBC) to the Lattice-Boltzmann formalism for high Reynolds number applications. Three CBC formalisms are implemented and tested in an open source LBM code: the baseline one-dimension inviscid (BL-LODI) approach, its extension including the effects of the transverse terms (CBC-2D) and a local streamline approach in which the problem is reformulated in the incident wave framework (LS-LODI). Then all implementations of the CBC methods are tested for a variety of test cases, ranging from canonical problems (such as 2D plane and spherical waves and 2D vortices) to a 2D NACA profile at high Reynolds number (Re = 100,000), representative of aeronautic applications. The LS-LODI approach provides the best results for pure acoustics waves (plane and spherical waves). However, it is not well suited to the outflow of a convected vortex for which the CBC-2D associated with a relaxation on density and transverse waves provides the best results. As regards numerical stability, a regularized adaptation is necessary to increase the Reynolds number. The so-called regularized FD adaptation, a modified regularized approach where the off-equilibrium part of the stress tensor is computed thanks to a finite difference scheme, is the only tested adaptation that can handle the high Reynolds computation

Fluid–structure interaction simulation of a coriolis mass flowmeter using a lattice boltzmann method

In this paper, we use a fluid–structure interaction (FSI) approach to simulate a Coriolis mass flowmeter (CMF). The fluid dynamics is calculated by the open-source framework OpenLB, based on the lattice Boltzmann method (LBM). For the structural dynamics we employ the open-source software Elmer, an implementation of the finite element method (FEM). A staggered coupling approach between the two software packages is presented. The finite element mesh is created by the mesh generator Gmsh to ensure a complete open source workflow. The Eigenmodes of the CMF, which are calculated by modal analysis, are compared with measurement data. Using the estimated excitation frequency, a fully coupled, partitioned, FSI simulation is applied to simulate the phase shift of the investigated CMF design. The calculated phase shift values are in good agreement to the measurement data and verify the suitability of the model to numerically describe the working principle of a CMF

Evaluation of a near-wall-modeled large eddy lattice boltzmann method for the analysis of complex flows relevant to IC engines

In this paper, we compare the capabilities of two open source near-wall-modeled large eddy simulation (NWM-LES) approaches regarding prediction accuracy, computational costs and ease of use to predict complex turbulent flows relevant to internal combustion (IC) engines. The applied open source tools are the commonly used OpenFOAM, based on the finite volume method (FVM), and OpenLB, an implementation of the lattice Boltzmann method (LBM). The near-wall region is modeled by the Musker equation coupled to a van Driest damped Smagorinsky-Lilly sub-grid scale model to decrease the required mesh resolution. The results of both frameworks are compared to a stationary engine flow bench experiment by means of particle image velocimetry (PIV). The validation covers a detailed error analysis using time-averaged and root mean square (RMS) velocity fields. Grid studies are performed to examine the performance of the two solvers. In addition, the differences in the processes of grid generation are highlighted. The performance results show that the OpenLB approach is on average 32 times faster than the OpenFOAM implementation for the tested configurations. This indicates the potential of LBM for the simulation of IC engine-relevant complex turbulent flows using NWM-LES with computationally economic costs

Lattice Boltzmann Methods for Turbulent Flows – Application to Coriolis Mass Flowmeter

Komplexe Strömungsphänomene machen es schwierig Ingenieursanwendungen so detailliert und genau zu simulieren, dass eine Charakterisierung und Verbesserung ihres Funktionsprinzips möglich ist. Diese Arbeit zeigt, dass die Lattice-Boltzmann-Methode (LBM) sehr gut für diesen Zweck geeignet ist. Im Vordergrund stehen hierbei die Simulation und Modellierung von turbulenten Strömungen. Diese lassen sich auf Grund der hervorragenden Parallelisierbarkeit der LBM mit Large-eddy Simulationen an Stelle von Reynolds-gemittelten Navier--Stokes Modellen, die im industriellen Umfeld üblich sind, berechnen. Somit können komplexe transiente turbulente Strömungen simulativ untersucht werden. Die daraus gewonnenen Erkenntnisse dienen insbesondere der Auslegung und Optimierung von Bauteilen und Prozessen. Alle beschriebenen LBM Simulationen werden mit der Open Source Software OpenLB durchgeführt. Dazu wird OpenLB erweitert, um eine Validierung von implementierten Turbulenzmodellen mittels kanonischer Strömungsformen zu ermöglichen. Des Weiteren wird ein Framework für die Simulation von Fluid-Struktur Interaktion (FSI) geschaffen. Anfangs werden die Kollisionsoperatoren Bhatnagar--Gross--Krook (BGK), Entropic Lattice Boltzmann (ELB), Two-Relaxation-Time (TRT), Regularized Lattice Boltzmann (RLB) und Multiple-Relaxation-Time (MRT) in der Taylor-Green Vortex Strömung, einem klassischen Beispiel für abklingende homogene isotrope Turbulenz (DHIT), untersucht. Hierbei liegt der Fokus auf Stabilität, Konsistenz und Genauigkeit der verwendeten Schemata. Die Studie beinhaltet den Vergleich der turbulenten kinetischen Energie, der Dissipationsrate der Energie und dem Energiespektrum zu einer Referenzlösung. Drei unterschiedliche Reynoldszahlen, $\mathrm{Re}=800$, $\mathrm{Re}=1600$ und $\mathrm{Re}=3000$, werden sowohl unter Verwendung einer akustischen als auch einer diffusiven Skalierung betrachtet, um den Einfluss der Lattice Machzahl zu charakterisieren. In stark unteraufgelösten Gitterkonfigurationen zeigt das BGK Schema ein instabiles Verhalten. Divergierende Simulationen unter der Verwendung des MRT Schemas sind auf eine starke Abhängigkeit von der Lattice Machzahl zurückzuführen. Obwohl ELB die Viskosität verändert, kann kein Verhalten, das einem Wirbelviskositätsmodell entspricht, gefunden werden. Bei geringen Lattice Machzahlen zeigt das RLB Schema sehr geringe Energielevel bei hohen Wellenzahlen. Der ,,magic parameter" des TRT Schemas wird bestimmt im Hinblick auf den Energieeintrag. Trotzdem wird keine erhöhte Stabilität im Vergleich zum BGK Schema festgestellt. Insgesamt sollte die Lattice Machzahl bezüglich des verwendeten Kollisonsschemas gewählt werden, um die Stabilität zu gewährleisten und die Genauigkeit zu verbessern. Für die Realisierung eines wandmodellierten Large-Eddy Simulation (NWM-LES) Ansatzes wird der BGK Kollisionsoperator ausgewählt. Das Smagorinsky Wirbelviskositätsmodell kommt hierbei zum Einsatz und wird in der turbulenten Grenzschicht mit der van Driest\u27schen Dämpfungsfunktion verwendet. Der Einfluss verschiedener Implementierungen von Geschwindigkeitsrandbedingungen und Wandfunktionen wird in einer biperiodischen, voll ausgebildeten turbulenten Kanalströmung für Schubspannungs-Reynoldszahlen von $\mathrm{Re}_\tau=1000$, $\mathrm{Re}_\tau=2000$ und $\mathrm{Re}_\tau=5200$ untersucht. Die Validierung erfolgt mittels Daten einer direkten numerischen Simulation (DNS) für Turbulenzstatistiken erster und zweiter Ordnung. Die Anwendung dieses Ansatzes auf einen Coriolis Massendurchflussmesser (CMF) zeigt, dass der Druckverlust bis zu einer Reynoldszahl $\mathrm{Re}=127800$ beschrieben werden kann. Des Weiteren wird der entwickelte NWM-LES LBM Ansatz mit OpenFOAM, einer Open Source Implementierung der finititen Volumen Methode (FVM) für komplexe turbulente Strömungen, die relevant für Verbrennungsmotoren sind, verglichen. Der zuvor entwickelte und validierte LBM Ansatz wird mit einer Geschwindigkeitsrandbedingung für gekrümmte Ränder erweitert. Die Ergebnisse beider Strömungslöser werden mit Daten eines Particle Image Velocimetry (PIV) Experiments verglichen. Die Validierung umfasst sowohl die zeitgemittelten als auch die quadratisch gemittelten (RMS) Geschwindigkeitsfelder. Zusätzlich wird sowohl die Laufzeit der Simulation als auch die Dauer der unterschiedlichen Gittergenerierungsprozesse bestimmt. Die Performanceanalyse der getesteten Konfiguration zeigt, dass OpenLB 32-mal schneller ist als OpenFOAM. Folglich ist der entwickelte NWM-LES LBM Ansatz dazu in der Lage, komplexe turbulente Strömungen in einer Ingenieursanwendung akkurat und mit einem verringerten Rechenaufwand zu beschreiben. Wirbel induzierte Vibrationen (VIV) sind ein weiterer wichtiger Anwendungsfall für Ingenieursapplikationen. Für die Untersuchung dieser werden verschiedene Fluid-Struktur Ansätze für LBM implementiert, verglichen und evaluiert. Die zwei untersuchten Klassen sind die Moving Boundary Methods (MBM) und die Partially Saturated Methods (PSM). Als erstes wird die Galiläische Invarianz von aerodynamischen Koeffizienten für die einzelnen Schemata untersucht. Dazu wird das BGK Schema verwendet, um einen exzentrisch positionierten Zylinder in einer Couette Strömung zu simulieren. Überdies werden verschiedene Volumenapproximationsmethoden für PSM und Auffüllmechanismen für MBM verglichen. Sowohl die Gitterkonvergenz als auch die Konvergenz der Galiläischen Invarianz werden betrachtet. Die Studie der VIV-Phänomene umfasst einen transvers oszillierenden Zylinder in einem Freistrom bei einer Reynoldszahl von $\mathrm{Re}=100$. Dabei werden freie und erzwungene Oszillation betrachtet, um bekannte Phänomene, wie Lock-in und Lock-out Zonen, zu untersuchen. Die Ergebnisse zeigen, dass sowohl MBM als auch PSM eine gute Übereinstimmung zu Literaturdaten aufweisen, womit die Eignung für VIV-Simulationen bestätigt werden kann. Schließlich wird ein Fluid-Struktur Interaktionsansatz unter der Verwendung eines MBM Ansatzes für die Simulation eines CMFs realisiert. Hierbei wird OpenLB mit Elmer, einer Open Source Implementierung der Finite-Elemente-Methode, gekoppelt, um auch die Strukturdynamik zu beschreiben. Ein gestaffelter Kopplungsansatz zwischen den beiden Softwarepaketen wird präsentiert. Das Finite-Elemente-Gitter wird durch das Gittergenerierungstool Gmsh erstellt, um einen kompletten Open Source Workflow zu garantieren. Zunächst werden die Eigenmoden des CMFs berechnet und mit Messdaten verglichen. Die daraus bestimmte Anregungsfrequenz wird zur Bestimmung des Phasenshifts in einer partitionierten voll gekoppelten FSI Simulation verwendet. Der berechnete Phasenshift zeigt eine gute Übereinstimmung mit den Messdaten und bestätigt, dass dieses Modell in der Lage ist, das Funktionsprinzip eines CMFs zu beschreiben. Die durchgeführten Studien zeigen das große Potential der LBM für die Simulation von Ingenieursapplikationen, insbesondere wenn turbulente Strömungen betrachtet werden