8 research outputs found

    Profilage et débogage par prise de traces efficaces d'applications hybrides multi-threadées HPC

    Get PDF
    Supercomputers’ evolution is at the source of both hardware and software challenges. In the quest for the highest computing power, the interdependence in-between simulation components is becoming more and more impacting, requiring new approaches. This thesis is focused on the software development aspect and particularly on the observation of parallel software when being run on several thousand cores. This observation aims at providing developers with the necessary feedback when running a program on an execution substrate which has not been modeled yet because of its complexity. In this purpose, we firstly introduce the development process from a global point of view, before describing developer tools and related work. In a second time, we present our contribution which consists in a trace based profiling and debugging tool and its evolution towards an on-line coupling method which as we will show is more scalable as it overcomes IOs limitations. Our contribution also covers our time-stamp synchronisation algorithm for tracing purposes which relies on a probabilistic approach with quantified error. We also present a tool allowing machine characterisation from the MPI aspect and demonstrate the presence of machine noise for both point to point and collectives, justifying the use of an empirical approach. In summary, this work proposes and motivates an alternative approach to trace based event collection while preserving event granularity and a reduced overheadL’évolution des supercalculateurs est Ă  la source de dĂ©fis logiciels et architecturaux. Dans la quĂȘte de puissance de calcul, l’interdĂ©pendance des Ă©lĂ©ments du processus de simulation devient de plus en plus impactante et requiert de nouvelles approches. Cette thĂšse se concentre sur le dĂ©veloppement logiciel et particuliĂšrement sur l’observation des programmes parallĂšles s’exĂ©cutant sur des milliers de cƓurs. Dans ce but, nous dĂ©crivons d’abord le processus de dĂ©veloppement de maniĂšre globale avant de prĂ©senter les outils existants et les travaux associĂ©s. Dans un second temps, nous dĂ©taillons notre contribution qui consiste d’une part en des outils de dĂ©bogage et profilage par prise de traces, et d’autre part en leur Ă©volution vers un couplage en ligne qui palie les limitations d’entrĂ©es–sorties. Notre contribution couvre Ă©galement la synchronisation des horloges pour la prise de traces avec la prĂ©sentation d’un algorithme de synchronisation probabiliste dont nous avons quantifiĂ© l’erreur. En outre, nous dĂ©crivons un outil de caractĂ©risation machine qui couvre l’aspect MPI. Un tel outil met en Ă©vidence la prĂ©sence de bruit aussi bien sur les communications de type point-Ă -point que de type collective. Enfin, nous proposons et motivons une alternative Ă  la collecte d’évĂ©nements par prise de traces tout en prĂ©servant la granularitĂ© des Ă©vĂ©nements et un impact rĂ©duit sur les performances, tant sur le volet utilisation CPU que sur les entrĂ©es–sortie

    Runtime MPI Correctness Checking with a Scalable Tools Infrastructure

    Get PDF
    Increasing computational demand of simulations motivates the use of parallel computing systems. At the same time, this parallelism poses challenges to application developers. The Message Passing Interface (MPI) is a de-facto standard for distributed memory programming in high performance computing. However, its use also enables complex parallel programing errors such as races, communication errors, and deadlocks. Automatic tools can assist application developers in the detection and removal of such errors. This thesis considers tools that detect such errors during an application run and advances them towards a combination of both precise checks (neither false positives nor false negatives) and scalability. This includes novel hierarchical checks that provide scalability, as well as a formal basis for a distributed deadlock detection approach. At the same time, the development of parallel runtime tools is challenging and time consuming, especially if scalability and portability are key design goals. Current tool development projects often create similar tool components, while component reuse remains low. To provide a perspective towards more efficient tool development, which simplifies scalable implementations, component reuse, and tool integration, this thesis proposes an abstraction for a parallel tools infrastructure along with a prototype implementation. This abstraction overcomes the use of multiple interfaces for different types of tool functionality, which limit flexible component reuse. Thus, this thesis advances runtime error detection tools and uses their redesign and their increased scalability requirements to apply and evaluate a novel tool infrastructure abstraction. The new abstraction ultimately allows developers to focus on their tool functionality, rather than on developing or integrating common tool components. The use of such an abstraction in wide ranges of parallel runtime tool development projects could greatly increase component reuse. Thus, decreasing tool development time and cost. An application study with up to 16,384 application processes demonstrates the applicability of both the proposed runtime correctness concepts and of the proposed tools infrastructure

    High Performance with Prescriptive Optimization and Debugging

    Get PDF

    Jahresbericht 2009 zur kooperativen DV-Versorgung

    Get PDF
    :VORWORT 9 ÜBERSICHT DER INSERENTEN 10 TEIL I ZUR ARBEIT DER DV KOMMISSION 15 MITGLIEDER DER DV KOMMISSION 15 ZUR ARBEIT DES IT LENKUNGSAUSSCHUSSES 17 ZUR ARBEIT DES WISSENSCHAFTLICHEN BEIRATES DES ZIH 17 TEIL II 1 DAS ZENTRUM FÜR INFORMATIONSDIENSTE UND HOCHLEISTUNGSRECHNEN (ZIH) 21 1.1 AUFGABEN 21 1.2 ZAHLEN UND FAKTEN (REPRÄSENTATIVE AUSWAHL) 21 1.3 HAUSHALT 22 1.4 STRUKTUR / PERSONAL 23 1.5 STANDORT 24 1.6 GREMIENARBEIT 25 2 KOMMUNIKATIONSINFRASTRUKTUR 27 2.1 NUTZUNGSÜBERSICHT NETZDIENSTE 27 2.1.1 WiN IP Verkehr 27 2.2 NETZWERKINFRASTRUKTUR 27 2.2.1 Allgemeine Versorgungsstruktur 27 2.2.2 Netzebenen 27 2.2.3 Backbone und lokale Vernetzung 28 2.2.4 Druck Kopierer Netz 32 2.2.5 WLAN 32 2.2.6 Datennetz zwischen den UniversitĂ€tsstandorten und Außenanbindung 33 2.2.7 Vertrag „Kommunikationsverbindung der SĂ€chsischen Hochschulen“ 37 2.2.8 Datennetz zu den Wohnheimstandorten 39 2.2.9 Datennetz der FakultĂ€t Informatik 39 2.3 KOMMUNIKATIONS UND INFORMATIONSDIENSTE 40 2.3.1 Electronic Mail 40 2.3.1.1 Einheitliche E-Mail-Adressen an der TU Dresden 41 2.3.1.2 Struktur- bzw. funktionsbezogene E-Mail-Adressen an der TU Dresden 41 2.3.1.3 ZIH verwaltete Nutzer-Mailboxen 42 2.3.1.4 Web-Mail 42 2.3.1.5 Neuer Mailinglisten-Server 43 2.3.2 Authentifizierungs und Autorisierungs Infrastruktur (AAI) 43 2.3.2.1 Shibboleth 43 2.3.2.2 DFN PKI 43 2.3.3 WĂ€hlzugĂ€nge 44 2.3.4 Time Service 44 2.3.5 Voice over Internet Protocol (VoIP) 44 3 ZENTRALE DIENSTANGEBOTE UND SERVER 47 3.1 BENUTZERBERATUNG (BB) 47 3.2 TROUBLE TICKET SYSTEM (OTRS) 48 3.3 NUTZERMANAGEMENT 49 3.4 LOGIN SERVICE 50 3.5 BEREITSTELLUNG VON VIRTUELLEN SERVERN 51 3.6 STORAGE MANAGEMENT 51 3.6.1 Backup Service 52 3.6.2 File Service und Speichersysteme 55 3.7 LIZENZ SERVICE 56 3.8 PERIPHERIE SERVICE 57 3.9 PC POOLS 57 3.10 SECURITY 58 3.10.1 Informationssicherheit 58 3.10.2 FrĂŒhwarnsystem (FWS) im Datennetz der TU Dresden 58 3.10.3 VPN 59 3.10.4 Konzept der zentral bereitgestellten virtuellen Firewalls 59 4 SERVICELEISTUNGEN FÜR DEZENTRALE DV SYSTEME 61 4.1 ALLGEMEINES 61 4.2 PC SUPPORT 61 4.2.1 Investberatung 61 4.2.2 Implementierung 61 4.2.3 Instandhaltung 62 4.3 MICROSOFT WINDOWS SUPPORT 62 4.4 ZENTRALE SOFTWARE BESCHAFFUNG FÜR DIE TU DRESDEN 67 4.4.1 Arbeitsgruppe Software im ZKI 67 4.4.2 Strategie des Software Einsatzes an der TU Dresden 67 4.4.3 Software Beschaffung 68 5 HOCHLEISTUNGSRECHNEN 69 5.1 HOCHLEISTUNGSRECHNER/SPEICHERKOMPLEX (HRSK) 69 5.1.1 HRSK Core Router 70 5.1.2 HRSK SGI Altix 4700 70 5.1.3 HRSK PetaByte Bandarchiv 72 5.1.4 HRSK Linux Networx PC Farm 73 5.1.5 HRSK Linux Networx PC Cluster (HRSK Stufe 1a) 75 5.2 NUTZUNGSÜBERSICHT DER HPC SERVER 76 5.3 SPEZIALRESSOURCEN 77 5.3.1 SGI Origin 3800 77 5.3.2 NEC SX 6 77 5.3.3 Mikrosoft HPC System 78 5.3.4 Anwendercluster 78 5.4 GRID RESSOURCEN 79 5.5 ANWENDUNGSSOFTWARE 81 5.6 VISUALISIERUNG 82 5.7 PARALLELE PROGRAMMIERWERKZEUGE 83 6 WISSENSCHAFTLICHE PROJEKTE, KOOPERATIONEN 85 6.1 „KOMPETENZZENTRUM FÜR VIDEOKONFERENZDIENSTE“ (VCCIV) 85 6.1.1 Überblick 85 6.1.2 VideokonferenzrĂ€ume 85 6.1.3 Aufgaben und Entwicklungsarbeiten 85 6.1.4 Weitere AktivitĂ€ten 88 6.1.5 Der Dienst „DFNVideoConference“ Mehrpunktkonferenzen im G WiN 88 6.1.6 Ausblick 89 6.2 D GRID 89 6.2.1 Hochenergiephysik Community Grid (HEP CG) − Entwicklung von Anwendungen und Komponenten zur Datenauswertung in der Hochenergiephysik in einer nationalen e Science Umgebung 89 6.2.2 D Grid Integrationsprojekt 2 90 6.2.3 Chemomentum 90 6.2.4 D Grid Scheduler InteroperalitĂ€t (DGSI) 91 6.2.5 MoSGrid − Molecular Simulation Grid 91 6.2.6 WisNetGrid −Wissensnetzwerke im Grid 92 6.3 BIOLOGIE 92 6.3.1 Entwicklung eines SME freundlichen Zuchtprogramms fĂŒr Korallen 92 6.3.2 Entwicklung und Analyse von stochastischen interagierenden Vielteilchen Modellen fĂŒr biologische Zellinteraktion 93 6.3.3 EndoSys − Modellierung der Rolle von Rab DomĂ€nen bei Endozytose und Signalverarbeitung in Hepatocyten 93 6.3.4 SpaceSys − RĂ€umlich zeitliche Dynamik in der Systembiologie 94 6.3.5 Biologistik − Von bio inspirierter Logistik zum logistik inspirierten Bio Nano Engineering 94 6.3.6 ZebraSim − Modellierung und Simulation der Muskelgewebsbildung bei Zebrafischen 95 6.4 PERFORMANCE EVALUIERUNG 95 6.4.1 SFB 609 − Elektromagnetische Strömungsbeeinflussung in Metallurgie, KristallzĂŒchtung und Elektrochemie −Teilprojekt A1: Numerische Modellierung turbulenter MFD Strömungen 95 6.4.2 BenchIT − Performance Measurement for Scientific Applications 96 6.4.3 PARMA − Parallel Programming for Multi core Architectures -ParMA 97 6.4.4 VI HPS − Virtuelles Institut -HPS 97 6.4.5 Paralleles Kopplungs Framework und moderne Zeitintegrationsverfahren fĂŒr detaillierte Wolkenprozesse in atmosphĂ€rischen Modellen 98 6.4.6 VEKTRA − Virtuelle Entwicklung von Keramik und Kompositwerkstoffen mit maßgeschneiderten Transporteigenschaften 98 6.4.7 Cool Computing −Technologien fĂŒr Energieeffiziente Computing Plattformen (BMBF Spitzencluster Cool Silicon) 99 6.4.8 eeClust Energieeffizientes Cluster Computing 99 6.4.9 HI/CFD − Hocheffiziente Implementierung von CFD Codes fĂŒr HPC Many Core Architekturen 99 6.4.10 SILC − Scalierbare Infrastruktur zur automatischen Leistungsanalyse paralleler Codes 100 6.4.11 TIMaCS − Tools for Intelligent System Mangement of Very Large Computing Systems 100 6.5 KOOPERATIONEN 101 7 DOIT INTEGRIERTES INFORMATIONSMANAGEMENT 111 7.1 VISION DER TU DRESDEN 111 7.2 ZIELE DES PROJEKTES DOIT 111 7.2.1 Analyse der bestehenden IT UnterstĂŒtzung der Organisation und ihrer Prozesse 111 7.2.2 Erarbeitung von VerbesserungsvorschlĂ€gen 111 7.2.3 HerbeifĂŒhrung strategischer Entscheidungen 112 7.2.4 Planung und DurchfĂŒhrung von Teilprojekten 112 7.2.5 Markt und Anbieteranalyse 112 7.2.6 Austausch mit anderen Hochschulen 112 7.3 ORGANISATION DES DOIT PROJEKTES 112 7.4 IDENTITÄTSMANAGEMENT 113 7.5 ELEKTRONISCHER KOSTENSTELLENZUGANG (ELKO) 114 8 AUSBILDUNGSBETRIEB UND PRAKTIKA 117 8.1 AUSBILDUNG ZUM FACHINFORMATIKER / FACHRICHTUNG ANWENDUNGSENTWICKLUNG 117 8.2 PRAKTIKA 118 9 AUS UND WEITERBILDUNGSVERANSTALTUNGEN 119 10 VERANSTALTUNGEN 121 11 PUBLIKATIONEN 123 TEIL III BERICHTE DER FAKULTÄTEN FAKULTÄT MATHEMATIK UND NATURWISSENSCHAFTEN Fachrichtung Mathematik 129 Fachrichtung Physik 133 Fachrichtung Chemie und Lebensmittelchemie 137 Fachrichtung Psychologie 143 Fachrichtung Biologie 147 PHILOSOHISCHE FAKULTÄT 153 FAKULTÄT SPRACH , LITERATUR UND KULTURWISSENSCHAFTEN 157 FAKULTÄT ERZIEHUNGSWISSENSCHAFTEN 159 JURISTISCHE FAKULTÄT 163 FAKULTÄT WIRTSCHAFTSWISSENSCHAFTEN 167 FAKULTÄT INFORMATIK 175 FAKULTÄT ELEKTRO UND INFORMATIONSTECHNIK 183 FAKULTÄT MASCHINENWESEN 193 FAKULTÄT BAUINGENIEURWESEN 203 FAKULTÄT ARCHITEKTUR 211 FAKULTÄT VERKEHRSWISSENSCHAFTEN „FRIEDRICH LIST“ 215 FAKULTÄT FORST , GEO UND HYDROWISSENSCHAFTEN Fachrichtung Forstwissenschaften 231 Fachrichtung Geowissenschaften 235 Fachrichtung Wasserwesen 241 MEDIZINISCHE FAKULTÄT CARL GUSTAV CARUS 24

    Jahresbericht 2014 zur kooperativen DV-Versorgung

    Get PDF
    :VORWORT 9 ÜBERSICHT DER INSERENTEN 10 TEIL I ZUR ARBEIT DES IT-LENKUNGSAUSSCHUSSES 15 ZUR ARBEIT DES ERWEITERTEN IT-LENKUNGSAUSSCHUSSES 15 ZUR ARBEIT DES WISSENSCHAFTLICHEN BEIRATES DES ZIH 17 TEIL II 1 DAS ZENTRUM FÜR INFORMATIONSDIENSTE UND HOCHLEISTUNGSRECHNEN (ZIH) 21 1.2 ZAHLEN UND FAKTEN (REPRÄSENTATIVE AUSWAHL) 21 1.3 HAUSHALT 22 1.4 STRUKTUR / PERSONAL 23 1.5 STANDORT 24 1.6 GREMIENARBEIT 25 2 KOMMUNIKATIONSINFRASTRUKTUR 27 2.1 NUTZUNGSÜBERSICHT NETZDIENSTE 27 2.2 NETZWERKINFRASTRUKTUR 27 2.3 KOMMUNIKATIONS- UND INFORMATIONSDIENSTE 37 3 ZENTRALES DIENSTEANGEBOT 47 3.1 SERVICE DESK 47 3.2 TROUBLE TICKET SYSTEM (OTRS) 48 3.3 IDENTITÄTSMANAGEMENT 49 3.4 LOGIN-SERVICE 51 3.5 BEREITSTELLUNG VON VIRTUELLEN SERVERN 51 3.6 STORAGE-MANAGEMENT 52 3.7 PC-POOLS 58 3.8 SECURITY 59 3.9 LIZENZ-SERVICE 61 3.10 PERIPHERIE-SERVICE 61 3.11 DRESDEN SCIENCE CALENDAR 61 4 SERVICELEISTUNGEN FÜR DEZENTRALE DV-SYSTEME 63 4.1 ALLGEMEINES 63 4.2 INVESTBERATUNG 63 4.3 PC-SUPPORT 63 4.4 MICROSOFT WINDOWS-SUPPORT 64 4.5 ZENTRALE SOFTWARE-BESCHAFFUNG FÜR DIE TU DRESDEN 68 5 HOCHLEISTUNGSRECHNEN 71 5.1 HOCHLEISTUNGSRECHNER/SPEICHERKOMPLEX 71 5.2 NUTZUNGSÜBERSICHT DER HPC-SERVER 78 5.3 SPEZIALRESSOURCEN 79 5.4 GRID-RESSOURCEN 80 5.5 ANWENDUNGSSOFTWARE 81 5.6 VISUALISIERUNG 81 5.7 PARALLELE PROGRAMMIERWERKZEUGE 83 6 WISSENSCHAFTLICHE PROJEKTE UND KOOPERATIONEN 85 6.1 KOMPETENZZENTRUM FÜR VIDEOKONFERENZDIENSTE 85 6.2 SKALIERBARE SOFTWARE-WERKZEUGE ZUR UNTERSTÜTZUNG DER ANWENDUNGSOPTIMIERUNG AUF HPC-SYSTEMEN 89 6.3 LEISTUNGS- UND ENERGIEEFFIZIENZ-ANALYSE FÜR INNOVATIVE RECHNERARCHITEKTUREN 91 6.4 DATENINTENSIVES RECHNEN, VERTEILTES RECHNEN UND CLOUD COMPUTING 95 6.5 DATENANALYSE, METHODEN UND MODELLIERUNG IN DEN LIFE SCIENCES 97 6.6 PARALLELE PROGRAMMIERUNG, ALGORITHMEN UND METHODEN 99 6.7 INITIATIVBUDGET ZUR UNTERSTÜTZUNG VON KOOPERATIONSAUFGABEN DER SÄCHSISCHEN HOCHSCHULEN 103 6.8 KOOPERATIONEN 105 7 AUSBILDUNGSBETRIEB UND PRAKTIKA 107 7.1 AUSBILDUNG ZUM FACHINFORMATIKER / FACHRICHTUNG ANWENDUNGSENTWICKLUNG 107 7.2 PRAKTIKA 108 8 VERANSTALTUNGEN 109 8.1 AUS- UND WEITERBILDUNGSVERANSTALTUNGEN 109 8.2 NUTZERSCHULUNGEN 110 8.3 ZIH-KOLLOQUIEN 110 8.4 ZIH-SEMINARE 110 8.5 KONFERENZEN 110 8.6 WORKSHOPS 110 8.7 STANDPRÄSENTATIONEN/’VORTRÄGE/FÜHRUNGEN 110 9 PUBLIKATIONEN 113 TEIL III BERICHTE BIOTECHNOLOGISCHES ZENTRUM (BIOTEC) ZENTRUM FÜR REGENERATIVE THERAPIEN (CRTD) ZENTRUM FÜR INNOVATIONSKOMPETENZ (B CUBE) 121 BOTANISCHER GARTEN 127 INTERNATIONALES HOCHSCHULINSTITUT ZITTAU (IHI) 132 LEHRZENTRUM SPRACHEN UND KULTURRÄUME (LSK) 133 MEDIENZENTRUM (MZ) 139 UNIVERSITÄTSSPORTZENTRUM (USZ) 155 ZENTRUM FÜR INTERNATIONALE STUDIEN (ZIS) 157 ZENTRALE UNIVERSITÄTSVERWALTUNG (ZUV) 15

    Coupling DDT and Marmot for Debugging of MPI Applications

    Get PDF

    Coupling DDT and Marmot for Debugging of MPI Applications

    No full text
    Parallel programming is a complex, and, since the multi-core era has dawned, also a more common task that can be alleviated considerably by tools supporting the application development and porting process. Existing tools, namely the MPI correctness checker Marmot and the parallel debugger DDT, have so far been used on a wide range of platforms as stand-alone tools to cover different aspects of correctness debugging. In this paper we will describe first steps towards coupling these two tools to provide application developers with a powerful and user-friendly environment.
    corecore