Enabling Detailed, Biophysics-Based Skeletal Muscle Models on HPC Systems

Realistic simulations of detailed, biophysics-based, multi-scale models often require very high resolution and, thus, large-scale compute facilities. Existing simulation environments, especially for biomedical applications, are typically designed to allow for high flexibility and generality in model development. Flexibility and model development, however, are often a limiting factor for large-scale simulations. Therefore, new models are typically tested and run on small-scale compute facilities. By using a detailed biophysics-based, chemo-electromechanical skeletal muscle model and the international open-source software library OpenCMISS as an example, we present an approach to upgrade an existing muscle simulation framework from a moderately parallel version toward a massively parallel one that scales both in terms of problem size and in terms of the number of parallel processes. For this purpose, we investigate different modeling, algorithmic and implementational aspects. We present improvements addressing both numerical and parallel scalability. In addition, our approach includes a novel visualization environment which is based on the MegaMol framework and is capable of handling large amounts of simulated data. We present the results of a number of scaling studies at the Tier-1 supercomputer HazelHen at the High Performance Computing Center Stuttgart (HLRS). We improve the overall runtime by a factor of up to 2.6 and achieve good scalability on up to 768 cores

Model Order Reduction for Modeling the Brain

Tässä väitöskirjassa tutkimme Model Order Reduction (MOR) -menetelmien käyttöä aivosimulaatioiden vaatimien laskentaresurssien pienentämiseksi ja laskenta-ajan nopeuttamiseksi. Matemaattinen mallintaminen ja numeeriset menetelmät, kuten simulaatiot, ovat tärkeimpiä työkaluja laskennallisessa neurotieteessä, jossa pyritään ymmärtämään aivojen toimintaa dataa ja teoriaa yhdistämällä. Aivosolujen ja niiden muodostamien soluverkostojen monimutkaisuudesta johtuen tietokonesimulaatiot eivät voi sisältää kaikkia biologisesti realistisia yksityiskohtia. MOR-menetelmiä käyttäen johdamme redusoituja malleja ja näytämme, että niillä on mahdollista approksimoida hermosoluverkostomalleja. Redusoidut mallit saattavat mahdollistaa entistä tarkempien tai suuren mittakaavan hermosoluverkostojen simulaatiot. Valitsimme tähän tutkimukseen redusoinnin kohteiksi useita neurotieteessä rele- vantteja matemaattisia malleja, alkaen synaptisesta viestinnästä aivojen populaatiotason malleihin. Simuloimme malleja numeerisesti ja määritimme matemaattiset vaatimukset MOR-menetelmien soveltamiseksi jokaiseen malliin. Seuraavaksi tunnistimme kullekin mallille sopivat MOR-algoritmit ja toteutimme valitsemamme menetelmät laskennallisesti tehokkaalla tavalla. Lopuksi arvioimme redusoitujen mallien tarkkuutta ja nopeutta. Tutkimuksemme soveltavat MOR-menetelmiä mallityyppeihin, joita ei ole aiemmin tutkittu kyseisillä menetelmillä, laajentaen mahdollisuuksia MORin käyttöön laskennallisessa neurotieteessä sekä myös koneoppimisessa. Tutkimuksemme osoittavat, että MOR voi olla tehokas nopeutusstrategia hermosoluverkostomalleille ja keinotekoisille neuroverkoille, mikä tekee siitä arvokkaan työkalun aivojen laskennallisessa tutkimuksessa. MOR-menetelmät ovat hyödyllisiä, sillä redusoidun mallin perusteella on mahdollista rekonstruoida alkuperäinen malli. Redusointi ei poista mallista muuttujia tai heikennä sen morfologista resoluutiota. Tunnistimme Proper Orthogonal Decom- position (POD) -menetelmän yhdistettynä Discrete Empirical Interpolation Method (DEIM) -algoritmiin sopivaksi menetelmäksi valitsemiemme mallien redusointiin. Lisäksi otimme käyttöön useita viimeaikaisia edistyneitä muunnelmia näistä menetel-mistä. Ensisijainen este MOR-menetelmien soveltamiselle neurotieteessä on hermosolumallien epälineaarisuus. POD-DEIM -menetelmää voidaan käyttää myös epälineaaristen mallien redusointiin. Balanced Truncation ja Iterative Rational Krylovin Approximation -menetelmien muunnelmat epälineaaristen mallien approksimoin- tiin ovat myös lupaavia, mutta niiden käyttö vaatii redusoitavalta mallilta enemmän matemaattisia ominaisuuksia verrattuna POD-DEIM -menetelmiin. Saavutimme erinomaisen approksimaatiotarkkuuden ja nopeutuksen redusoimalla moniulotteista hermosolupopulaatiomallia ja synapsin kemiallisia reaktioita kuvaavaa mallia käyttämällä POD-DEIM -menetelmää. Biofysikaalisesti tarkan verkosto- mallin, joka kuvaa aktiopotentiaalin muodostumista ionivirtojen kautta, redusoinnin huomattiin hyötyvän simulaation aikana redusoitua mallia päivittävien MOR- menetelmien käytöstä. Osoitimme lisäksi, että MOR voidaan integroida syväoppimisverkkoihin ja että MOR on tehokas redusointistrategia konvoluutioverkkoihin, joita käytetään esimerkiksi näköhermoston tutkimuksessa. Tuloksemme osoittavat, että MOR on tehokas työkalu epälineaaristen hermo- soluverkostojen simulaatioiden nopeuttamiseen. Tämän väitöskirjan osajulkaisujen perusteella voimme todeta, että useita neurotieteellisesti relevantteja malleja ja mallityyppejä, joita ei ole aiemmin redusoitu, voidaan nopeuttaa käyttämällä MOR- menetelmiä. Tulevaisuudessa MOR-menetelmien integrointi aivosimulaatiotyökaluihin mahdollistaa mallien nopeamman kehittämisen ja uuden tiedon luomisen numeeristen simulaatioiden tehokkuutta, resoluutiota ja mittakaavaa parantamalla.In this thesis, we study the use of Model Order Reduction (MOR) methods for accelerating and reducing the computational burden of brain simulations. Mathematical modeling and numerical simulations are the primary tools of computational neuroscience, a field that strives to understand the brain by combining data and theories. Due to the complexity of brain cells and the neuronal networks they form, computer simulations cannot consider neuronal networks in biologically realistic detail. We apply MOR methods to derive lightweight reduced order models and show that they can approximate models of neuronal networks. Reduced order models may thus enable more detailed and large-scale simulations of neuronal systems. We selected several mathematical models that are used in neuronal network simulations, ranging from synaptic signaling to neuronal population models, to use as reduction targets in this thesis. We implemented the models and determined the mathematical requirements for applying MOR to each model. We then identified suitable MOR algorithms for each model and established efficient implementations of our selected methods. Finally, we evaluated the accuracy and speed of our reduced order models. Our studies apply MOR to model types that were not previously reduced using these methods, widening the possibilities for use of MOR in computational neuroscience and deep learning. In summary, the results of this thesis show that MOR can be an effective acceleration strategy for neuronal network models, making it a valuable tool for building large-scale simulations of the brain. MOR methods have the advantage that the reduced model can be used to reconstruct the original detailed model, hence the reduction process does not discard variables or decrease morphological resolution. We identified the Proper Orthogonal Decomposition (POD) combined with Discrete Empirical Interpolation Method (DEIM) as the most suitable tool for reducing our selected models. Additionally, we implemented several recent advanced variants of these methods. The primary obstacle of applying MOR in neuroscience is the nonlinearity of neuronal models, and POD-DEIM can account for that complexity. Extensions of the Balanced Truncation and Iterative Rational Krylov Approximation methods for nonlinear systems also show promise, but have stricter requirements than POD-DEIM with regards to the structure of the original model. Excellent accuracy and acceleration were found when reducing a high-dimensional mean-field model of a neuronal network and chemical reactions in the synapse, using the POD-DEIM method. We also found that a biophysical network, which models action potentials through ionic currents, benefits from the use of adaptive MOR methods that update the reduced model during the model simulation phase. We further show that MOR can be integrated to deep learning networks and that MOR is an effective reduction strategy for convolutional networks, used for example in vision research. Our results validate MOR as a powerful tool for accelerating simulations of nonlinear neuronal networks. Based on the original publications of this thesis, we can conclude that several models and model types of neuronal phenomena that were not previously reduced can be successfully accelerated using MOR methods. In the future, integrating MOR into brain simulation tools will enable faster development of models and extracting new knowledge from numerical studies through improved model efficiency, resolution and scale

Redusoitujen dynaamisten sähkömagneettisten mallien kytkeminen piirisimulaattoriin.

The progress made in power electronics has raised new challenges concerning devices which contain magnetic components. It is crucial to be able to model the electromagnetic phenomena inside a device and also the behaviour of the device when it works as a part of a circuit. The first case is usually dealt with using finite element analysis and the second case by using circuit simulators. One goal of this thesis is to allow the results of the detailed analysis to be utilized also in the behavioural study conducted using circuit simulators. In this thesis we firstly introduce some background of electromagnetic modelling. Next two promising methods, proper orthogonal decomposition (POD) and discrete empirical interpolation method (DEIM), are studied with detail and they are applied as an example to a single-phase transformer. The main emphasis is to show how these methods are applied to a dynamic nonlinear electromagnetic model. First a finite element model of the transformer is constructed and reduced. The reduced order model is attached to a circuit simulator Simscape and a simple example circuit is solved to obtain numerical results. The results show that POD and DEIM methods decrease the computational work of the original model and the results remain feasibly accurate. The dimension of the equation system reduces 99% from the original. We also see a 75% decrease in stepwise computational time and a 44% decrease in the computational time of the circuit simulator run. However in this case the performance of the circuit simulator is limited and there is a lot of overhead involved. The reduction is expected to be better if these techniques are applied to larger 3-D problems and if the performance of the circuit simulator coupling is improved. In conclusion these methods can be applied to a general class of dynamic nonlinear electromagnetic problems. They could be used to link finite element models to circuit simulators. It could be possible to develop a software module which creates a circuit model automatically based on some finite element model. The techniques can also be used to form homogenized material models of materials which have a fine microstructure.Tehoelektroniikan kehitys ja yleistyminen asettavat magneettipiirejä sisältäville sähkölaitteille uusia vaatimuksia. On tärkeää pystyä mallintamaan sähkömagneettisia ilmiöitä laitteiden sisällä sekä laitteen käyttäytymistä ulkoisen piirin osana. Tässä työssä tutkitaan mallin redusointimenetelmiä sekä redusoitujen mallien liittämistä piirisimulaattoreihin. Aluksi työssä esitellään sähkömagneettisen mallintamisen perusteoriaa. Tämän jälkeen esitellään lyhyesti elementtimenetelmä sekä työssä käytettyjä muita numeerisia ratkaisumenetelmiä. Työn päätarkoitus on esitellä mallien redusointitekniikoita. Kaksi lupaavinta redusointitekniikkaa, proper orthogonal decomposition (POD) ja discrete empirical interpolation method (DEIM), käsitellään työssä tarkemmin. Näitä kahta menetelmää sovelletaan esimerkinomaisesti yksivaiheisen muuntajan mallintamiseen verkon osana. Näin tullaan esitellyksi menetelmä, jolla kyseisiä mallin redusointimenetelmiä voidaan käyttää yleisesti dynaamisten epälineaaristen sähkömagneettisten mallien redusoimiseen. Muodostettu redusoitu malli liitetään Simscape-piirisimulaattorilla mallinnettuun yksinkertaiseen piiriin tulosten laskemista varten. Saatujen tulosten perusteella voidaan sanoa, että POD- ja DEIM-menetelmät sopivat tähän käyttötarkoitukseen ja niiden tuottamat tulokset ovat riittävän tarkkoja. Lisäksi ne vähentävät tuntuvasti mallien laskentatyötä nopeuttaen piirisimulaattoriin liitettyjen mallien laskenta-aikoja. Elementtimenetelmän avulla saadun yhtälöryhmän koko pienenee 99%$, yhden aika-askeleen kohdalla laskenta-aika vähenee 75% ja piirisimulaattorin suoritusaika vähenee 44% alkuperäiseen malliin verrattuna. Piirisimulaattorikytkentä on tässä työssä suorituskyvyltään huono sekä redusoitava tehtävä alkujaan kevyt. Siksi onkin odotettavissa, että mikäli näitä tekniikoita käytetään työläämpiin 3D-tehtäviin, ja mikäli piirisimulaattorikytkentää tehostetaan päästään parempiin tuloksiin. Jatkossa voisi olla mahdollista kehittää liitännäinen elementtimenetelmäsovellukseen, joka voisi generoida piiriin liitettävän mallin automaattisesti yksityiskohtaisen mallin perusteella. Tekniikoita voidaan käyttää myös hienorakenteisten materiaalien mallien homogenisointiin