Immer mehr kommerzielle Programme mit rechenzeitintensiven Anwendungen machen sich zur Verkürzung der Durchlaufzeit eines Jobs die neue Technologie zunutze, daß mehrere asynchron laufende und mit lokalem Memory ausgestattete Mikroprozessoren simultan an der Lösung einer gestellten Aufgabe arbeiten können. Die Parallelversion von LS-DYNA3D (Firma CAD-FEM GmbH), einem expliziten FEM-Programm für nichtlineare und hochdynamische Anwendungen, wurde auf dem Distributed Memory Supercomputer IntelParagon XP/S installiert, der seit 1993 im RUS läuft und überwiegend für Softwareentwicklung eingesetzt wird. Anhand eines Datensatzes für eine Crash-Analyse, der freundlicherweise von der AUDI AG auf der VDI-Konferenz 1994 in Würzburg für Benchmark-Zwecke freigegeben wurde, konnten erste Erfahrungen mit dem LS-DYNA3D-Programm auf der Paragon gesammelt werden

Ibold, Norbert

OPUS Online Publikationen der Universität Stuttgart

Skalierbares LS-DYNA3D auf der ParagonNorbert IboldImmer mehr kommerzielle Programme mit rechenzeitintensiven Anwendungen machensich zur Verkürzung der Durchlaufzeit eines Jobs die neue Technologie zunutze, daßmehrere asynchron laufende und mit lokalem Memory ausgestattete Mikroprozessorensimultan an der Lösung einer gestellten Aufgabe arbeiten können. Die Parallelversion vonLS-DYNA3D (Firma CAD-FEM GmbH), einem expliziten FEM-Programm für nichtlineareund hochdynamische Anwendungen, wurde auf dem Distributed Memory SupercomputerIntel Paragon XP/S installiert, der seit 1993 im RUS läuft und überwiegend fürSoftwareentwicklung eingesetzt wird. Anhand eines Datensatzes für eine Crash-Analyse,der freundlicherweise von der AUDI AG auf der VDI-Konferenz 1994 in Würzburg fürBenchmark-Zwecke freigegeben wurde, konnten erste Erfahrungen mit demLS-DYNA3D-Programm auf der Paragon gesammelt werden. Die drei charakteristischen Zeitpunkte (Submit, Start, End) eines Batch-Jobs bestimmen diebeiden zu addierenden Wartezeiten, die bis zum Anlaufen bzw. von da an bis zur Beendigungeines Jobs für den ungeduldigen Anwender vergehen. Die Supercomputer CRAY C94 und IntelParagon XP/S des RUS, die jeweils mehrere CPUs verfügbar haben, werden zur Verringerungdieser Wartezeitanteile unterschiedlich eingesetzt. Da sich auf der CRAY C94 immer viele Jobs, aber nur vier Prozessoren befinden, wird für diesenRechner eine durchsatzoptimierte Fahrweise bevorzugt, bei der im Normalfall jeder Prozessor aneinem anderen Job arbeitet und bei der sich lediglich der Zeitraum bis zum Start des Jobsverringert. Zur Verkürzung der Rechenzeit dagegen können auf der Paragon bis zu 66 Knoten fest einem Jobzugeteilt werden, während man auf ihre Verfügbarkeit eventuell länger warten muß. Das Produktaus reservierter Prozessorzahl und paralleler Programmlaufzeit, das für die Kosten eines Jobsmaßgeblich ist, kann dort von manchen Anwendungen besser und von anderen schlechterausgenutzt werden. Interessierte Kunden haben die Möglichkeit, Handhabung und Effizienz eines eigenenLS-DYNA3D-Beispiels (Version 920) auf dem Parallelrechner Paragon zu günstigen Konditionenselbst zu testen. Durchführung des Crash-Benchmarks auf der Paragon XP/SAuf dem Titelbild ist die Vergleichsspannung zu sehen, die beim Frontal-Crash eines Autosentsteht, das mit 30 km/h gegen eine starre Wand fährt. Innerhalb der Simulationszeit von 50 ms,in der das Fahrzeug ohne Crash 41.5 cm gefahren wäre, werden nach 91 873 variablenZeitschritten der mittleren Länge von 0.54 Mikrosekunden die hinteren Fahrzeugbereiche von derSpannung erfaßt und deformiert. Das Modell enthält die räumliche Diskretisierung desrealistischen Autos mit etwa 28 000 Schalenelementen, 200 Balkenelementen, 27 000 Knoten,222 Materialgruppen und 5 200 Kontaktbereichen. Immer wenn bei dynamischen Simulationen die Ausbreitung der mechanischen Welle ein Aspektist, müssen alle von der Last in der Struktur angeregten Frequenzen bei der Zeitintegration genauerfaßt werden. Dies erfordert sehr kurze Simulationszeitschritte, deren Länge mit der Zeitkorreliert ist, in der die Welle das kleinste FEM-Element der Struktur mit derSchallgeschwindigkeit des entsprechenden Materials durchquert. Im Gegensatz zu implizitenCodes kann bei expliziten Codes auch im nichtlinearen Fall an den vielen Zeitschritten dieRechenarbeit einer Gleichgewichtsiteration eingespart werden, da der gesuchte Systemzustanddurch algebraisches (explizites) Auflösen der Bewegungsgleichung gefunden wird. Deshalbarbeiten Codes wie LS-DYNA3D im Kurzzeitbereich, z.B. bei Crash-Analysen, besonderseffektiv. Zur Simulation mit der Paragon sind vor dem Start von LS-DYNA3D folgende vorbereitendeSchritte durchzuführen: ·Zerschneiden (Domain Decomposition) des Gesamtmodells in eine der gewünschtenProzessorzahl entsprechende Zahl von Teilmodellen (s. Bild 1) ·Belegung der Prozessoren in der Compute Partition. Die vollautomatische Zerlegung des Autos wird mit einem seriellen Hilfsprogramm am besten vordem Start von LS-DYNA3D vorgenommen. Das Zerlegungsprogramm kann auch nach dem Startals Unterprogramm aufgerufen werden, mit dem Nachteil, daß dann alle bis auf einen derreservierten Prozessoren auf das Ergebnis der Domain Decomposition unnötig warten müssen.Die Modelldaten der Teilmodelle, die aus einem Inputfile für jeden Prozessor bestehen, und daskomplette LS-DYNA3D-Programm werden dann in das lokale Memory eines jeden Prozessorskopiert. Die Verformung der in Bild 1 für acht Prozessoren zu sehenden Teile wird asynchron vonden zugeordneten Prozessoren im Single Programm Multiple Data Modus der Paragon berechnet.Da jede CPU direkt nur auf ihr lokales Memory zugreifen kann und das Berechnungsergebnis fürdas Gesamtmodell richtig sein soll, müssen die Daten der jeweils an den Grenzen der Teilmodellewirkenden Knotenkräfte an jedem Zeitschritt unter den CPUs benachbarter Domänenausgetauscht werden. Zur Durchführung des Message Passing ist jeder Prozessor viaCoprozessoren mit vier seiner Nachbarn vernetzt und die LS-DYNA3D Software mit denSubroutinen des Message Passing Standards MPI gelinkt. Die Zeit, in der die CoprozessorenDaten zu einem wartenden Prozessor befördern, geht bei der Berechnung verloren. Deshalbverschlechtert sich bei ungünstigem Verlauf der Domaingrenze, wenn diese zu viele FEM-Knotenund damit Kommunikationsarbeit enthält, das Verhältnis von Kommunikations- zu Rechenzeitund der zu erzielende Speed-up. Um bei gleicher Prozessorzahl alternative Teilmodellgrenzenerhalten zu können, werden von LS-DYNA3D mehrere Algorithmen zur Verfügung gestellt. Zur Gewährleistung eines hohen Speed-ups sollten die den Prozessoren statisch zugeordnetenDomänen gleich viel Rechenarbeit enthalten. Um ein gutes Load Balancing zu erreichen, werdenden FEM-Elementen vor der Zerlegung Wichtungsfaktoren zugeordnet, die vom Element- undMaterialtyp und von der Kontaktwahrscheinlicheit des Elementes abhängen. Mit dem vomBenutzer veränderbaren Parameter COSTINC wird so auch der Aufwand für die Berechnung derKontaktkräfte zwischen den Komponenten vor der Crash-Analyse erfaßt und durch entsprechendeAnpassung der Elementezahl in einer Domäne das statische Load Balancing positiv beeinflußt. Die in Bild 1 zu sehende Zerlegung des Autos für acht Prozessoren erreicht man mit demGREEDY-Algorithmus und dem Default-Wert des Parameters COSTINC. Sie lieferte für alleProzessoren etwa gleich viele FEM-Elemente:  Bild 1: Domain Decomposition für acht ProzessorenBeim Experimentieren mit dem alternativen RCB-Algorithmus und mit einem veränderten Wert desCOSTINC-Parameters ergaben sich Unterschiede in der Gesamtrechenzeit von bis zu (+/-)15 % fürdas zugrundegelegte Automodell. Es ist wahrscheinlich, daß sich mit einer problemangepaßtenZerlegung von homogeneren und unkomplizierteren Modellen, wie sie beispielsweise in derUmformtechnik auftreten, noch signifikantere Unterschiede erzielen lassen. Prozessorzahl 1 2 4 8 16 32 64 GREEDY [h] 25.8 13.6 7.1 4.0 3.0 1.3 1.0 COSTINC=default COSTINC=default RCB [h] 25.8 13.8 7.0 4.4 2.7 1.5 1.3 COSTINC=default COSTINC=90 Tabelle 1: Rechenzeit für den 10 ms dauernden Crash bei verschiedenen ZerlegungenDiskussion der Benchmark-ErgebnisseIn Bild 2 ist die Rechenzeit, gemessen vom Programmstart bis zur Freigabe aller Prozessoren, inklusiveder Zeit für die Domain Decomposition, als Funktion der Prozessorzahl für einen 10 ms dauerndenCrash zu sehen:  Da innerhalb der Rechenzeit nicht immer alle Prozessoren aktiv sind, wird die Idealkurve einer100%-igen Auslastung nicht erreicht. Bei mehrmaliger Messung der Rechenzeit eines identischen Jobswurden zum Teil erhebliche Schwankungen von bis zu 30 Prozent beobachtet. Es ist zu vermuten, daßdiese Streuungen von der Nutzung derjenigen Prozessorpartitionen auf der Paragon kommen (z.B. beider Datenein-/ausgabe), die während der Analyse nicht nur dem eigenen Job, sondern auch denanderen Jobs im Time Sharing-Betrieb verfügbar sind. Die von LS-DYNA3D ausgewiesene Kurve des mittleren Memory-Bedarfs pro Knoten, die sich mitdem GREEDY-Zerlegungsalgorithmus und der Default-Einstellung der Wichtungsfunktion ergab, ist inBild 3 zu sehen:  Die Kurve zeigt, daß mit dieser Einstellung der Parameter die zunächst gewünschte gleichmäßigeMemory-Auslastung erreicht wird. Da zu den Kurvenwerten der MemoryBedarf für den Code und dasBetriebssystem addiert werden muß, ist darauf zu achten, daß die Gesamtspeichergröße eines Knotensvon 32 Mb nicht überschritten wird. Um ein Paging des Knotens zur vermeiden, wurde der serielleReferenzlauf auf einem Systemprozessor der Paragon ausgeführt, der mit 40 MB Memory ausgestattetwar. Eine zu kleine Prozessorzahl führt bei vorgegebener Memory-Größe zu einer drastischen undunsinnigen Verlängerung der Rechenzeit und sollte daher vermieden werden. Die mit verschiedenen Prozessorzahlen auf der Paragon gemessenen Speed-ups sind in Bild 4 zu sehen: Aus der Gegenüberstellung mit den Werten, die sich durch die Anwendung des Amdahl'schen Gesetzesfür Parallelrechner ergeben, kann man abschätzen, daß LS-DYNA3D in diesem Benchmark-Beispieleinem Programm mit ca. 95 % Parallelisierung äquivalent ist. Die Skalierung von LS-DYNA3D ist nur so effektiv, wie sie die Hardware der angefordertenProzessoren zu nutzen in der Lage ist. Zur Veranschaulichung wurde in Bild 5 der Speed-up proProzessor aufgetragen:  Die Effizienz sinkt mit steigender Prozessorzahl auf 40 Prozent des maximal möglichen Wertes, dadann die Kommunikation eines Prozessors zunimmt, die Granularität des simulierten Problems steigtund das Load Balancing schlechter wird. AusblickUm die Belegung von höheren Prozessorzahlen auf der Paragon zu erleichtern und zur Verkürzung derAnlaufzeit von Jobs, wenn mehrere Benutzer auf ihr aktiv sind, sollten sehr viel mehr Prozessorenverfügbar sein. Ab Juli diesen Jahres werden RUS-Kunden auf eine NEC SX-4 mit 32 CPUs (SharedMemory) und auf eine CRAY T3E mit 512 CPUs zugreifen können. Man darf auf die Leistung derHard- und Software gespannt sein. Norbert Ibold, NA-5803 

Skalierbares LS-DYNA3D auf der Paragon

http://elib.uni-stuttgart.de/bitstream/11682/5742/1/165.pdf

Skalierbares LS-DYNA3D auf der Paragon

Abstract

Similar works

Full text

Available Versions

OPUS Online Publikationen der Universität Stuttgart