Dynamic algorithms for the scheduling of nested loops in heterogeneous systems

This research was focused in the establishment of efficient algorithms for the parallelization of nested loops containing dependencies in distributed systems (networks of computers). Distributed systems offer an attractive environment for the execution of parallel applications because of the cost benefit that they offer when compared to the traditional parallel machines. However, distributed systems are characterized by various levels of heterogeneity, heterogeneity in the machine types (CPU, memory, architecture), in the type and variation of the workload, heterogeneity of the interconnection links (network heterogeneity). These characteristics necessitate the development of new scheduling algorithms. This thesis focuses on dynamic algorithms because of their inherent ability to adapt to changing execution environments, addressing in that way the heterogeneity of the resources and the workload variation. With the completion of this thesis, a series of new dynamic scheduling algorithms was presented, for applications containing nested dependent loops in distributed systems. The proposed algorithms were implemented, verified and evaluated experimentally.Ο στόχος της έρευνας ήταν η ανεύρεση αποδοτικών αλγορίθμων για την παραλληλοποίηση φωλιασμένων βρόχων που περιέχουν εξαρτήσεις σε κατανεμημένα συστήματα (δίκτυα υπολογιστών). Τα κατανεμημένα συστήματα είναι ένα ελκυστικό περιβάλλον εκτέλεσης παράλληλων εφαρμογών λόγω του χαμηλού κόστους συγκρότησης, σε σχέση με τα παραδοσιακά παράλληλα μηχανήματα. Ωστόσο, πολλές φορές χαρακτηρίζονται από ανομοιογένεια (heterogeneity) σε διάφορα επίπεδα, όπως ανομοιογένεια στους τύπους των υπολογιστών και στο δίκτυο που τα συνδέει και ανομοιογένεια και μεταβλητότητα στο φόρτο εργασίας (workload variation). Τα ιδιαίτερα αυτά χαρακτηριστικά κάνουν επιτακτική την ανάγκη ανάπτυξης νέων αλγορίθμων δρομολόγησης. Η έρευνα επικεντρώνεται στους δυναμικούς αλγόριθμους γιατί έχουν την δυνατότητα να προσαρμόζονται στις συνθήκες που επικρατούν στο περιβάλλον που εκτελούνται, δίνοντας έτσι την δυνατότητα να αντιμετωπίσουμε την ανομοιογένεια των πόρων και την διακύμανση του φόρτου εργασίας. Με την ολοκλήρωση της διατριβής παρουσιάστηκε μια σειρά νέων αλγορίθμων για την δυναμική δρομολόγηση εφαρμογών που περιέχουν φωλιασμένους βρόχους σε αρχιτεκτονικές κατανεμημένης μνήμης. Οι προτεινόμενοι αλγόριθμοι υλοποιήθηκαν, επαληθεύτηκαν και αξιολογήθηκαν με εξαντλητικά πειράματα