Mit dem neuen Supercomputer Hitachi SR2201 stellt das Rechenzentrum seinen Nutzern einen weiteren interessanten Parallelrechner mit Zukunftsperspektive zur Verfügung

Haas, Peter

Pöhlmann, Heinz W.

OPUS Online Publikationen der Universität Stuttgart

PARALLELES RECHNENNeuer massiv- paralleler Rechner·Technischer Ü berblick ·Architektur ·Knotencharakteristik · I/O ·Betriebssystem ·Programmiermodelle und Compiler ·Zugang ·Verwendete Abkürzungen ·Literatur Neuer massiv- paralleler RechnerHeinz W. Pöhlmann/Peter Haas Mit dem neuen Supercomputer Hitachi SR2201 stellt das Rechenzentrum seinen Nutzern einenweiteren interessanten Parallelrechner mit Zukunftsperspektive zur Verfügung. Im Rahmen einer Kooperationsvereinbarung stellt die Firma COMPAREX InformationssystemeGmbH, Mannheim, dem Rechenzentrum der Universität Stuttgart für zunächst neun Monate einenmassiv-parallel arbeitenden Supercomputer modernster Technologie zur Verfügung. DerParallelrechner vom Typ Hitachi SR2201/H32 mit 32 Hochleistungsrechenknoten, acht weiterenIO-Knoten, 10 GByte verteiltem Hauptspeicher und einer Peak-Performance von insgesamt 9,6GFlop/s wurde vor wenigen Tagen am Rechenzentrum in Betrieb genommen und zeichnet sichinsbesondere durch schnelle RISC-Prozessoren, jeweils großen lokalen Hauptspeicher und eine hoheKommunikationsbandbreite im Verbindungsnetzwerk der einzelnen Knoten aus. Außerhalb Japans istes weltweit die zweite Installation dieses Rechnertyps. Zusammen mit der Universität wirdCOMPAREX den Rechner evaluieren und die Markteinführung in Europa imtechnisch-wissenschaftlichen oder ggf. auch im kommerziellen Bereich vorbereiten. Mit der Baureihe SR2201 stellt die Firma Hitachi, Tokyo, einen interessanten massiv-parallelenRechnertyp vor, der die Vorzüge der RISC-Technologie mit den Eigenschaften der klassischenVektorrechner verbindet. Dabei kommen ausgeklügelte Speicherhierarchien aufMehrlagen-Keramikmodultechnik, dreidimensionale, parallele Crossbars und Magnetplattensysteme inMatrixanordnung zum Einsatz. Die akademische Nutzung des Rechnersystems ist während der Dauer der Kooperationsvereinbarungkostenlos. Entsprechende Benutzeranträge finden Sie auf dem ftp-Server des RUS unter:/pub/rus/betrieb/formulare In diesem Artikel wird das System mit seinen Möglichkeiten und Stärken nur kurz beschrieben.Nachfolgende Ausgaben der BI. werden sich gezielt mit den neuartigen Eigenschaften diesesRechnertyps beschäftigen. Die SR2201/H32 wird vom Personal des HöchstleistungsrechenzentrumsStuttgart (HLRS) betrieben. Weitere Informationen über das System finden Sie in Kürze im WWW unter: http://www.rus.uni-stuttgart.de Technischer Ü berblickDie SR2201 wird von Hitachi/COMPAREX als massiv-paralleler Supercomputer propagiert. Eshandelt sich um ein System mit hardwaremäßig verteiltem, aber logisch globalem Hauptspeicher, dasfür die Lösung großer Probleme im Wissenschafts- und Ingenieursbereich in Frage kommt. Die SR2201 verwendet Hitachis neuen Hochleistungs-RISC-Chip und skaliert über einen sehr weitenKnotenbereich von 8 bis 2048 Prozessoren. Das Verbindungsnetzwerk ist als dreidimensionaler,paralleler Crossbar mit einer Bandbreite von 300 Mbyte/s je Prozessor ausgelegt. EinePseudo-Vektorfunktion erlaubt den programmierten By-pass der beiden Prozessor-Caches mittels nichtblockierender Load/Store-Befehle im Rahmen der vollen, lokalen Speicherbandbreite von 1,2 Gbyte/s.Als Betriebssystem wird ein Microkernel UNIX, basierend auf dem Industriestandard Mach 3.0,verwendet. ArchitekturWie bei allen Systemen mit physikalisch verteiltem Speicher kommt dem Verbindungsnetzwerkzwischen den einzelnen Knoten eine besondere Bedeutung zu. Die größeren Modelle der SR2201(>128 Prozessoren) verwenden einen dreidimensionalen Cross-bar Switch, um individuelleVerbindungen zwischen einzelnen Prozessoren durchzuschalten. Drei Leitungsbündel je Prozessorgenügen für den Anschluß an das dreidimensionale Verbindungsnetzwerk. Die innere Bandbreite desbidirektionalen 3D-Cross-bars beträgt n x 300 Mbyte/s, wenn n die Anzahl der angeschlossenenProzessoren bezeichnet [1].  Abb. 1: Grundkonfiguration einer SR2201 bis maximal 128 ProzessorenAbbildung 1 zeigt die Grundkonfiguration einer mittleren SR2201, bei der ein 2D- Crossbar genügt,um die vorhandenen Prozessoren miteinander zu verknüpfen. Diese Darstellung entspricht demderzeitigen Ausbaugrad der Anlage am RUS. Broadcast und Barrier-Synchronisation innerhalb einer Prozessorgruppe sowie direkter Zugriff auf denSpeicher eines entfernten Knotens erledigt das Crossbar-Netz in Hardware. Die Latenzzeit des RemoteDMA beträgt typisch 4 µs und stellt damit die Grundlage für eine effiziente Implementierung derMessage Passing-Mechanismen her. Die Knotenzahl einer Partition kann beliebig sein. Weiterhin müssen die Knoten einer Partition nichtnotwendigerweise in einem zusammenhängenden Gebiet liegen. KnotencharakteristikAls Knotenprozessor kommt durchweg der sogenannte HARP-1E (Hitachi Advanced RISC Processor1 Enhance) zum Einsatz [2]. Dabei handelt es sich um einen 32-bit Superscalar RISC, der bis zu vierOperationen je Maschinentakt durchführen kann; davon sind jeweils zwei Festkomma- und zweiFließkomma-Operationen. Bei einer Taktfrequenz von 150 MHz beträgt die Rechenleistung maximal300 MFlop/s.  Abb. 2: Speicherorganisation des HARP-1E-KnotensObige Abbildung 2 enthält eine schematische Darstellung der Speicherorganisation auf einem Knoten.Bemerkenswert sind hier der extrem große Fließkommaregistersatz (128 x 64 bit), das Second LevelCache (2 x 512 Kbyte) und die lokale Speicherbandbreite von 1,2 Gbyte/s. Die Größe desHauptspeichers beträgt 256 Mbyte (1 Gbyte max.). Große numerische Berechnungen, deren Daten nicht in der Cache-Hierarchie Platz finden, sind einwunder Punkt jeglicher RISC-Architektur. Abbildung 3 zeigt den dramatischen Abfall derRechenleistung nach dem ersten bzw. zweiten Cache-Ü berlauf. In diesem Fall ist es oft besser, dieDaten vorausschauend aus dem Hauptspeicher direkt in die internen Fließkommaregister zu kopieren.  Abb. 3: Pseudo-Vektorverarbeitung beim SkalarproduktDie HARP-Architektur enthält als neues Merkmal die sogenannte Pseudo-Vektorfunktion. Darunterversteht man den programmierten I/O von Vektor- und Matrixelementen durch Preload- undPoststore-Befehle, die vom übrigen Programmfluß zeitlich entkoppelt (nicht blockierend) sind. Beieiner typischen Hauptspeicherlatenzzeit von 50 Maschinentakten sind allerdings in der Größenordnungvon 128 Fließkommaregistern erforderlich. Von diesen 128 Fließkommaregistern sind jeweils 32 aktiv;sie werden analog zur SPARC-Architektur in zyklisch umlaufenden Registerfenstern adressiert. Natürlich geht lediglich die Preload-Instruktion mit einem echten Cache Bypass einher. BeimRückschreiben von Registerinhalten in den Hauptspeicher wird aus Konsistenzgründen immer einCache Update durchgeführt. I/ODie Hitachi SR2201 stellt ein außerordentlich homogenes System dar, insbesondere was dieImplementierung der Ein-/Ausgabe anbelangt. Die Supervisory I/O Unit (SIOU) und die gewöhnlichenI/O Units (IOUs) sind, abgesehen von einer Peripheriebus-Erweiterung, identisch zu denRechenknoten. Jeder IOU-Knoten treibt vier Magnetplatten an einem gemeinsamen 16-bit SCSI-2Bussystem. Die Grenzrate dieses Bussystems von 20 Mbyte/s wird im praktischen Betrieb annähernderreicht. Abbildung 4 zeigt die aktuelle I/O-Konfiguration am RUS. Ein Großteil der dargestelltenMagnetplatten ist zu einem parallelen Filesystem zusammengezogen worden. Parallele Filesysteme mitfrei konfigurierbarem File- und Blockstriping sind möglich. Je nach verwendetem Pfadnamen können inein- und demselben Filesystem Dateien einmal auf File- und das andere mal auf Blockebene verschränktwerden [3]. Die Gesamtkapazität der lokalen Magnetplatten beträgt 67 Gbyte. Die Netzanbindung der SR2201 erfolgt über insgesamt drei Ethernet- und eine HIPPI-Schnittstelle. Die10-Mbit/s Ethernetschnittstellen ermöglichen den Benutzerzugang. Das High Performance ParallelInterface (HIPPI, 800 Mbit/s) ist im wesentlichen für den File Service reserviert.  Abb. 4: I/O-Konfiguration der SR2201 am RUSBetriebssystemDas UNIX-Betriebssystem der SR2201, Hi-UX/MPP, basiert auf dem Mach 3.0 Microkernel derCarnegie-Mellon University. Eine Kopie davon läuft auf jedem Rechenknoten. Für denBetriebssystem-Code und die zugehörigen Datenstrukturen werden etwa 13 Mbyte Hauptspeicherbenötigt. Hi-UX ist mit vielen Industrie- und de facto-Standards kompatibel, wie z.B. mit: ·OSF und BSD 4.3-Systemschnittstellen ·POSIX ISO/IEC DIS 9945-1 · IEEE 1003.2 Shell Utilities ·X/Windows und Motif Graphical Interface Standards ·ANSI/IEEE Std 754-1985, Fließkommadarstellung Im Gegensatz zu den Rechenknoten wird auf den (Supervisory) I/O Units ein OSF/1-Betriebssystemverwendet. Der UNIX-Server steht nur auf den I/O-Knoten zur Verfügung. Programmiermodelle und CompilerZur Verfügung stehen Compiler für FORTRAN 90, C und C++. Parallel FORTRAN, einHitachi-eigener Ü bersetzer, unterstützt HPF (High-Performance FORTRAN) Version 1.HPF-Programme werden dabei in FORTRAN 90-Quellcode übersetzt. Die SR2201 unterstützt die folgenden parallelen Programmiermodelle: ·PVM 3.3.10 (Originalversion mit Remote DMA) ·MPI (MPICH Version 1.0.11, alle APIs, Originalversion mit Remote DMA) ·PARMACS ·Express (und PVM) als Teil von ParallelWare Leistungsfähige Debug- und Analyse-Werkzeuge erleichtern die Programmentwicklung. Eine Reihenumerischer Bibliotheken wurde für die parallele Ausführung auf der SR2201 optimiert, darunter u.a.MSL2, Matrix/MPP, Matrix/MPP/SSS. Das RUS bemüht sich um Standardpakete unabhängiger Softwarehersteller. Weitere Informationen dazu erhalten Sie in aktueller Form auf unseren WWW-Seiten:http://www.rus.uni-stuttgart.de ZugangDie Hitachi SR2201/H32 ist im Netz der Universität Stuttgart unter ihrem Primärnamenhitachi.rus.uni-stuttgart.de erreichbar. Sie wird für Nutzer aus dem akademischen Bereich -während der Dauer der o.g. Kooperationsvereinbarung - auf Antrag kostenfrei bereitgestellt. Der Zugriff erfolgt über die Internet-Dienste Telnet, FTP und gegebenenfalls NFS. Der Batch-Zugang wird im Laufe der nächsten Wochen etabliert werden. Verwendete AbkürzungenANSI American National Standards Institute API Application Programming Interface BSD Berkeley System Distribution CPU Central Processing Unit DMA Direct Memory Access DRAM Dynamic Random Access Memory FDDI Fibre Distributed Data Interface FTP File Transfer Protocol HARP Hitachi Advanced RISC Processor HIPPI High Performance Parallel Interface HLRS Höchstleistungsrechenzentrum Stuttgart HPF High-Performance FORTRAN IEEE Institute of Electrical and Electronics Engineers IP Internet Protocol IOU Input/Output (Processing) Unit LAN Local Area Network MPI Message Passing Interface MPP Massively Parallel Processor MTU Maximum Transmission Unit NFS Network File System NIA Network Interface Adapter OSF Open Software Foundation PVM Parallel Virtual Machine PVP Pseudo Vector Processing PU Processing Unit RFC Internet Request for Comment RISC Reduced Instruction Set Computer RT Router RUS Rechenzentrum Universität Stuttgart SCSI Small Computer Systems Interface SCU Storage Control Unit SIOU Supervisory IOU SPARC Scalable Processor Architecture TCP Transmission Control Protocol WWW World Wide Web Literatur[1] Hitachi Europe, Ltd.: SR2201 Introduction, October 1996 [2] Hitachi Ltd.: Performance Optimization on the Hitachi SR2201, Hitachi, Ltd., Gerneral Purpose Computer Division, 1996 [3] Haas, P., Beisel, Th.: Hitachi SR2201: Disk and Network I/O, RUS Technical Report, March 17, 1997 Dr. Heinz W. Pöhlmann, NA-5992 E-Mail: poehlmann@rus.uni-stuttgart.de Peter Haas E-Mail: haas@rus.uni-stuttgart.de 

Neuer massiv-paralleler Rechner

http://elib.uni-stuttgart.de/bitstream/11682/5748/1/198.pdf

Neuer massiv-paralleler Rechner

Abstract

Similar works

Full text

Available Versions

OPUS Online Publikationen der Universität Stuttgart