Management of Scientific Analysis and Simulation workflows over High Performance Computing systems

Την τελευταία δεκαετία, οι ερευνητικές κοινότητες αναζητούν τρόπους αντιμετώπισης πολύπλοκων επιστημονικών προβλημάτων αξιοποιώντας τη δύναμη των Υπολογιστικών υποδομών Υψηλής Απόδοσης (ΥΥΑ). Πολλές από αυτές τις κοινότητες ανήκουν στον τομέα των Επιστημών Ζωής, από τη βιοπληροφορική και την ιατρική, μέχρι τη νευροεπιστήμη και την έρευνα του εγκεφάλου. Τα περισσότερα σύγχρονα επιστημονικά προβλήματα απαιτούν ισχυρές υπολογιστικές υποδομές που μπορούν να χειριστούν το φορτίο, την πολυπλοκότητα, τη χρονοβόρα εκτέλεση υπολογιστικών εργασιών και τα μεγάλα δεδομένα που παράγονται. Αυτές οι ισχυρές υποδομές αποτελούνται από συστήματα ΥΥΑ με κλιμακωτούς υπολογιστικούς, δικτυακούς πόρους και αποθήκευση που επιτρέπουν την ανάλυση, προσομοίωση και εκτέλεση πολύπλοκων εργασιών. Οι ΥΥΑ προσφέρονται από Ευρωπαϊκές Ερευνητικές Υποδομές σε Ευρωπαίους επιστήμονες και ερευνητές ώστε να συνδράμουν στην Ανοιχτή έρευνα, επιστήμη και καινοτομία. Όλο και περισσότερες ερευνητικές κοινότητες δημιουργούν, διαχειρίζονται και μοιράζονται πολύπλοκες επιστημονικές ροές εργασίας με αυτοματοποιημένο, φιλικό προς το χρήστη τρόπο, ενώ χρησιμοποιούν συστήματα ΥΥΑ για την εκτέλεσή τους. Προχωρώντας προς την Ανοικτή Επιστήμη, η αυτοματοποίηση των επιστημονικών ροών εργασίας δεν είναι αρκετή. Προκειμένου να υπάρχουν αναπαράξιμες επιστημονικές ροές, οι επιστήμονες πρέπει να περιγράφουν ροές εργασίας με μια κοινή και τυπική μορφή. Αυτό προσφέρει χαρακτηριστικά όπως φορητότητα, επεκτασιμότητα και προσβασιμότητα. Επιπλέον, επιτρέπεται η άμεση χρήση μεθόδων και δεδομένων ως έχουν ή ως είσοδος σε άλλες επιστημονικές ροές εργασίας. Στην παρούσα διπλωματική εργασία, εστιάζουμε στην ψηφιακή Ευρωπαϊκή Ερευνητική Υποδομή EBRAINS, που ειδικεύεται στη νευροεπιστήμη του εγκεφάλου, ένα από τα πιο φιλόδοξα και σημαντικά πεδία έρευνας που αποτελεί προτεραιότητα για την Ευρώπη πάνω από μια δεκαετία, προσφέροντας εργαλεία, υπηρεσίες και δεδομένα στους χρήστες της. Η υποκείμενη υπολογιστική υποδομή, το FENIX ICEI, παρέχει μια πληθώρα υπηρεσιών ΥΥΑ, που κυμαίνονται από κλιμακώσιμη και διαδραστική υπολογιστική, έως εικονικές μηχανές και υπηρεσίες αποθήκευσης δεδομένων υψηλής απόδοσης. Μέσα από μια εκτενή έρευνα, καταγράψαμε τεχνολογίες αιχμής συστημάτων ΥΥΑ, επικεντρώνοντας την προσοχή μας στην παρούσα αρχιτεκτονική τους. Επίσης, συγκεντρώσαμε διαφορετικούς τρόπους αναπαράστασης επιστημονικών ροών εργασίας που είναι άρρηκτα συνδεδεμένοι με τα λογισμικά στα οποία εκτελούνται. Τέλος, παρουσιάσαμε τρόπους προτυποποιημένης μοντελοποίησης και εκτέλεσης συγγραφής επιστημονικών ροών εργασιών επικεντρώνοντας το ενδιαφέρον μας σε ερευνητικές κοινότητες γύρω από τις Επιστήμη Ζωής. Στη συνέχεια, αναλύσαμε και αξιολογήσαμε τις ειδικές ανάγκες των χρηστών της υποδομής EBRAINS. Συγκεντρώσαμε τι μπορούν να κάνουν οι χρήστες στην παρούσα χρονική στιγμή, ποιες είναι οι απαιτήσεις τους και πως αυτές μπορούν να ικανοποιηθούν. Η παρούσα διπλωματική εργασία έχει στόχο την δημιουργία ενός πιλοτικού συστήματος διαχείρισης ροής εργασιών για την υποδομή EBRAINS. Η προσέγγισή μας στην διπλωματική εργασία αυτή βασίστηκε σε τέσσερις πυλώνες: • Αρχικά, επιλέξαμε την Common Workflow Language (CWL), ένα ανοικτό πρότυπο για τον ορισμό τόσο των ροών εργασίας, όσο και των EBRAINS εργαλείων. Η CWL προσφέρει φορητότητα και αποσυνδέει την περιγραφή ροών εργασίας από τα περιβάλλοντα εκτέλεσης. Οι χρήστες της EBRAINS υποδομής θα χρησιμοποιούν την CWL για την συγγραφή των επιστημονικών ροών εργασιών και των EBRAINS εργαλείων.• Στη συνέχεια, πακετάραμε (containarised) EBRAINS εργαλεία με τις απαιτούμενες βιβλιοθήκες, εξαρτήσεις και δυαδικά αρχεία. Με τον τρόπο αυτό τα EBRAINS εργαλεία μπορούν να χρησιμοποιηθούν ως βήματα σε ροές εργασιών, ενισχύοντας σημαντικά τη διαλειτουργικότητα και τη φορητότητα. Οι χρήστες της EBRAINS υποδομής θα πακετάρουν με τον ίδιο τρόπο τα δικά τους εργαλεία, ώστε αυτά να μπορούν να χρησιμοποιηθούν από άλλους στη συγγραφή δικών τους επιστημονικών ροών. • Επιπλέον, εγκαταστήσαμε ένα πλήθος διαφορετικών μηχανών για υποβολή και παρακολούθηση ροών δεδομένων στις ΥΥΑ του EBRAINS και επιλέξαμε αυτές που ικανοποιούν με το βέλτιστο τρόπο τις επιστημονικές και τεχνικές απαιτήσεις του EBRAINS. Οι χρήστες της EBRAINS υποδομής θα χρησιμοποιούν τη Διεπαφή Γραμμής Εντολών (ΔΓΕ) για την υποβολή και παρακολούθηση των επιστημονικών ροών εργασίας τους. • Επίσης, προτείναμε να υπάρξει ένα αποθετήριο στην EBRAINS υποδομή ώστε οι επιστήμονες της υποδομής να βρίσκουν και αποθηκεύουν εύκολα τις επιστημονικές ροές δεδομένων. Στα πλαίσια της παρούσας διπλωματικής εργασία σχεδιάσαμε τον τρόπο απεικόνισης ενός τέτοιου αποθετηρίου έχοντας ως βάση την ήδη υπάρχουσα EBRAINS υπηρεσία (Knowledge Graph). Επόμενο βήμα και εκτός της παρούσας διπλωματικής εργασίας θα είναι η ενσωμάτωση του αποθετηρίου με το EBRAINS Knowledge Graph σύμφωνα με τις τεχνικές απαιτήσεις που θα υπάρχουν για ένα ολοκληρωμένο σύστημα διαχείρισης ροών εργασίας. • Τέλος, προτείναμε να δημιουργηθεί ένα γραφικό περιβάλλον διεπαφής χρήστη (ΠΔΧ) στο οποίο οι χρήστες της υποδομής να μπορούν να υποβάλλουν, παρακολουθούν και παραμετροποιούν τις επιστημονικές ροές δεδομένων. Σε αυτή τη διπλωματική σχεδιάσαμε πως θα απεικονίζεται η διεπαφή με τεχνικές υψηλής πιστότητας. Στο μέλλον και εκτός του πλαισίου της παρούσας διπλωματικής, θα πραγματοποιηθεί η υλοποίηση μιας τέτοιας διεπαφής. Οι χρήστες της EBRAINS υποδομής θα χρησιμοποιούν την διεπαφή αυτή αντί της ΔΓΕ για ένα πιο εύχρηστο και φιλικό προς εκείνους περιβάλλον. Η πραγματική εκτέλεση των επιστημονικών ροών γίνεται στην υποκείμενη ΥΥΑ υποδομή FENIX ICEI με εναν διάφανο για τους EBRAINS χρήστες όπως ακριβώς και με τη χρήση της ΔΓΕ.During the last decade, research communities had been seeking ways for addressing complex scientific problems by harnessing the power of high-performant and scalable computing infrastructures. Many of these communities belong in the area of Life Sciences, from bioinformatics and medicine, up to neuroscience and brain research. Most modern scientific problems require powerful underlying computing infrastructures that can handle the load, the complexity, the execution of time consuming tasks and the big data that are produced. These powerful infrastructures consist of High Performance Computing systems with scalable computing, storage and network resources for analysis, simulation and execution of high-intense and complex computing tasks. European Research Infrastructures offer such High Performance Computing systems to European scientists and researchers in order to adhere to Open Science, research and innovation. More and more scientific communities create, manage and share complex scientific workflows in an automated and user friendly way while using High Performance Computing systems in order to execute them. Moving towards an Open Science, automation of scientific workflows is not enough. In order to have reproducible scientific workflows, it is mandatory for scientists to describe workflows in a standard and common format. This offers characteristics such as portability, scalability and accessibility. In addition, it allows the immediate use of methods and data as-is or as inputs to other scientific workflows, creating important scientific value chains. In the current thesis, we focus on EBRAINS, a digital European Research Infrastructure, which specializes in brain neuroscience, one of the most ambitious, promising, and important fields of research that has been a priority for Europe for over a decade, offering tools, services and data to its users. FENIX ICEI, which is the EBRAINS underlying infrastructure, provides a plethora of High Performance Computing services, ranging from scalable and interactive computing, up to virtual machines and containerization services, as well as highly performant data storage services. After an extensive research, we recorded the state of the art High Performance Computing systems while focusing on their architecture. Also, we collected different ways of describing scientific workflows which are coupled with the different software in which they are executed. Last but not least, we collected different ways in which research communities describe scientific workflows focusing on Life Science. We also analysed and assessed the EBRAINS users’ needs while understanding what is the current state, what are EBRAINS users’ requirements and how to full fill those. The current thesis’ goal is the establishment of a pilot workflow management system for EBRAINS. Our approach based in four pillars: • First, we chose Common Workflow Language (CWL), an open, common and emerging standard format, as a way for describing both workflows and EBRAINS tools. CWL offers portability and decouples the description of scientific workflows from the execution of them. EBRAINS users will use CWL for authoring workflows and EBRAINS tools. • Second, we packaged EBRAINS tools with their required libraries, dependencies and binaries via containerisation method. In that way these bundled EBRAINS tools can be used as workflow steps, significantly enhancing their interoperability and portability. EBRAINS users will also package their tools in the same way, in order to be used as workflow steps by others. • Third, we deployed a variety of workflow engines for workflow submission and monitoring on top of the EBRAINS underlying infrastructure and chose those thatbest fit the scientific and interoperability requirements of EBRAINS. EBRAINS users will use Command Line Interfaces (CLI) for workflow submission and monitoring. • We proposed an EBRAINS Hub for scientists to easily find, access and store their scientific workflows. In the current thesis, we designed how this Hub will look like taking into consideration the already available EBRAINS Knowledge Graph (KG) service. As a future step, integrating such a feature with EBRAINS KG will take place. • Finally, we proposed an EBRAINS central place, a graphical user interface (GUI) in which scientists can submit, monitor and parametrize workflows. The proposed GUI has been fully designed but not implemented in the scope of the current thesis. The design process is based on high fidelity mock-ups. EBRAINS users will use this GUI instead of a CLI for a more user friendly experience. The real execution takes place in the FENIX ICEI underlying infrastructure in an opaque way, in the same way as using the CLI

Cobrawap: A pipeline for the analysis of wave activity at different brain states

Plenary talk at "WP2 Meeting: Networks underlying consciousness and cognition" held in Barcelona, Spain, from 19 to 21 June, 2023.Progetto EBRAINS-Italy IR00011, CUP B51E2200015006,Missione 4 - Istruzione e Ricerca, Componente 2, Azione 3.1.1 Funded by EU

Δημιουργία διαδικτυακής και κινητής εφαρμογής "RoadApp" για αιτήσεις οχημάτων οδικής βοήθειας και διαχείρισή τους

Στο πλαίσιο της παρούσας πτυχιακής εργασίας αναπτύχθηκε μια εφαρμογή για το διαδίκτυο και για κινητές συσκευές Android και iOS. Στόχος της εφαρμογής είναι οι οδηγοί/ χρήστες να κάνουν αίτηση για όχημα οδικής βοήθειας, και να ανατίθεται άμεσα σε αυτούς το κοντινότερο διαθέσιμο όχημα για την εξυπηρέτησή τους. Έτσι, ο χρήστης που έχει ανάγκη από ένα όχημα οδικής βοήθειας μπορεί να κάνει αίτηση μέσω της κινητής του συσκευής. Για την υλοποίηση αυτής της εφαρμογής ακολουθήσαμε τα βήματα τα οποία παρουσιάζουμε στην παρούσα εργασία. Αρχικά επικεντρωθήκαμε στο να αποσαφηνίσουμε τους στόχους της εφαρμογής και στη συνέχεια κάναμε μια έρευνα στο διαδίκτυο να δούμε αν υπάρχει κάποια παρεμφερή με τη δική μας εφαρμογή, ώστε να μη δημιουργήσουμε κάτι που υπάρχει ήδη στην ελληνική αγορά. Έπειτα, ξεκινήσαμε την υλοποίηση της εφαρμογής χρησιμοποιώντας τα κατάλληλα εργαλεία, γλώσσες προγραμματισμού και βιβλιοθήκες. Τέλος, καταγράψαμε τις μελλοντικές επεκτάσεις που θα μπορούσαμε να ενσωματώσουμε αργότερα στην εφαρμογή.In this thesis we developed an application for Web and mobile devices, Android and iOS. The aim of the application is that users can apply for a tow vehicle, and the nearest available vehicle will be assigned directly to them for their assistance. In that way, the user who needs a tow vehicle can request one through its mobile. To implement this application we followed the steps which we present in this paper. Initially we focused to clarify the application goals and then we did an internet research to see if there is something similar to our application, so as not to create something that already exists in the market. After that, we started the application’s implementation using the appropriate tools, programming languages and libraries. Finally, we wrote the future extensions of this application, in order to make them in the near future

Towards an EBRAINS service for brain wave analysis: Cobrawap. Poster presented at CNS2023 - Leipzig

The current variety of data from neuronal recordings, collected with heterogeneous experimental techniques and setups, poses the challenge to consistently compare data across experiments, species, and spatio-temporal scales, and to provide standardized measures/observables for model validation and calibration. We developed Cobrawap (Collaborative Brain Wave Analysis Pipeline) to achieve these goals in the context of brain wave analysis. Aiming at facilitating the usage of this tool for an extended community of users, we are pointing at providing Cobrawap as a service accessible through the EBRAINS web portal, leveraging computational resources from High-Performance Computing (HPC) platforms belonging to the FENIX-ICEI federation

Towards an EBRAINS service for brain wave analysis: Cobrawap

The current variety of data from neuronal recordings, collected with heterogeneous experimental techniques and setups, poses the challenge to consistently compare data across experiments, species, and spatio-temporal scales, and to provide standardized metrics for model validation and calibration. In the context of brain wave analysis, Cobrawap (Collaborative Brain Wave Analysis Pipeline) is a successful tool, built to achieve these goals. Aiming at a wider diffusion and at facilitating the usage of this tool for an extended community of users, we are pointing at providing Cobrawap as a service accessible through the EBRAINS web portal, leveraging computational resources from High-Performance Computing (HPC) platforms belonging to the FENIX-ICEI federation