Scalable FPGA accelerator of the NRM algorithm for efficient stochastic simulation of large-scale biochemical reaction networks

Stochastic simulation of large-scale biochemical reaction networks, with thousands of reactions, is important for systems biology and medicine since it will enable the insilico experimentation with genome-scale reconstructed networks. FPGA based stochastic simulation accelerators can exploit parallelism, but have been limited on the size of biomodels they can handle. We present a high performance scalable System on Chip architecture for implementing Gibson and Bruck's Next Reaction Method efficiently in reconfigurable hardware. Our MPSoC uses aggressive pipelining at the core level and also combines many cores into a Network on Chip to also execute in parallel stochastic repetitions of complex biomodels, each one with up to 4K reactions. The performance of our NRM core depends only on the average outdegree of the biomodel's Dependencies Graph (DG) and not on the number of DG nodes (reactions). By adding cores to the NoC, the system's performance scales linearly and reaches GCycles/sec levels. We show that a medium size FPGA running at ~200 MHz deliver high speedup gains relative to a popular and efficient software simulator running on a very powerful workstation PC

StochSoCs: High performance biocomputing simulations for large scale Systems Biology

The stochastic simulation of large-scale biochemical reaction networks is of great importance for systems biology since it enables the study of inherently stochastic biological mechanisms at the whole cell scale. Stochastic Simulation Algorithms (SSA) allow us to simulate the dynamic behavior of complex kinetic models, but their high computational cost makes them very slow for many realistic size problems. We present a pilot service, named WebStoch, developed in the context of our StochSoCs research project, allowing life scientists with no high-performance computing expertise to perform over the internet stochastic simulations of large-scale biological network models described in the SBML standard format. Biomodels submitted to the service are parsed automatically and then placed for parallel execution on distributed worker nodes. The workers are implemented using multi-core and many-core processors, or FPGA accelerators that can handle the simulation of thousands of stochastic repetitions of complex biomodels, with possibly thousands of reactions and interacting species. Using benchmark LCSE biomodels, whose workload can be scaled on demand, we demonstrate linear speedup and more than two orders of magnitude higher throughput than existing serial simulators.Comment: The 2017 International Conference on High Performance Computing & Simulation (HPCS 2017), 8 page

Scalable Biomodels Stochastic Simulation on a GPU

Ο κύριος σκοπός της πτυχιακής εργασίας ήταν η ανάπτυξη εφαρμογής που θα επιταχύνει στοχαστικές προσομοιώσεις βιολογικών συστημάτων χρησιμοποιώντας κάρτες γραφικών (GPU). Η εφαρμογή θα ενσωματωθεί στην πλατφόρμα StochSocs η οποία αναπτύχθηκε στο Εθνικό και Καποδιστριακό Πανεπιστήμιο Αθηνών. Στην προτεινόμενη εφαρμογή έχουμε ενσωματώσει δύο τρόπους παραλληλοποίησης της μεθόδου First Reaction Method του Gillespie (FRM) για κάρτες γραφικών, οι οποίες έχουν σχεδιαστεί για να έχουν την καλύτερη κλιμάκωση σε σχέση με το μέγεθος του βιομοντέλου (αριθμό αντιδράσεων και μοριακών ειδών που αλληλεπιδρούν δυναμικά) και τον αριθμό παράλληλων προσομοιώσεων. Ο πρώτος τρόπος, που αποκαλείται Single Block, σχεδιάστηκε ώστε να μπορεί να τρέξει αποδοτικά μεγάλο αριθμό παράλληλων προσομοιώσεων ανεξαρτήτως του μεγέθους του κινητικού μοντέλου. Ο δεύτερος τρόπος, που λέγεται Multiple Block, βελτιστοποιήθηκε για λίγες παράλληλες προσομοιώσεις πολύ μεγάλων μοντέλων. Τα αποτελέσματα δείχνουν ότι για όλες σχεδόν τις περιπτώσεις υπερτερεί σε επιδόσεις η Single Block παραλληλοποίηση, εκτός αν το μοντέλο είναι πολύ μεγάλο (πάνω από 2Κ αντιδράσεις) και ο αριθμός στοχαστικών προσομοιώσεων μικρός (< 16). H Single Block μέθοδος επιτυγχάνει στην ΤΙΤΑΝ Χ GPU εντυπωσιακές επιδόσεις που ξεπερνούν τα 12 δισεκατομμύρια αντιδράσεις το δευτερόλεπτο (GigaReactions/sec) για μεγάλα κινητικά μοντέλα με περισσότερες από 512 αντιδράσεις.The main goal of this undergraduate thesis was to develop a CUDA application that accelerates the stochastic simulations of large biological reaction networks using Graphics Processing Units (GPU). The application will be incorporated in the StochSoCs platform developed at the National and Kapodistrian University of Athens. The application supports two modes of parallelization of Gillespie's First Reaction Method (FRM) designed to perform best depending on the size of the user's biological network model (number of reactions and species that interact dynamically) and the number of the stochastic simulation repetitions. The first, called Single Block Mode, was designed to handle efficiently multiple simulations in parallel regardless of the model's size. The second one, called Multiple Block Mode, was optimized to perform in parallel a small number of repetitions of very large kinetic models with thousands of reactions. Our results show that for almost all cases, Single Block Mode exhibits superior performance unless if the model is very large (over 2K reactions) and the number of stochastic repetitions very small (<16). The Single Block Mode on the TITAN X GPU achieves an impressive performance that surpasses 12 billion reactions per second (GigaReactions/sec) for large kinetic models with over 512 reactions

Σχεδίαση και FPGA υλοποίηση συστήματος σε ψηφίδα για στοχαστική προσομοίωση πολύπλοκων βιομοριακών δικτύων με χρήση του NRM-SSA

Η στοχαστική προσομοίωση μεγάλης κλίμακας δικτύων βιομοριακών αλληλεπιδράσεων, με χιλιάδες αντιδράσεις και μοριακά είδη, αποτελεί σημαντικό εργαλείο για τη Συστημική Βιολογία και τη Συστημική Ιατρική, που θα επιτρέψει τον πειραματισμό in-silico με βιομοριακά δίκτυα κλίμακας κυττάρου ή/και κυτταρικών πληθυσμών. Παρουσιάζουμε τη σχεδίαση και υλοποίηση διαμορφώσιμου παραμετρικού συστήματος σε ψηφίδα (System-on-Chip, SoC) υψηλής απόδοσης, για την επιτάχυνση του αλγορίθμου Next Reaction Method των Gibson και Bruck, σε υλικό επαναπρογραμματιζόμενης λογικής (FPGA). Το σύστημά μας χρησιμοποιεί επιθετική διοχέτευση (pipelining) στο επίπεδο του πυρήνα (core) και συνδυάζει πολλούς πυρήνες σε δίκτυο αστέρα, ικανούς να εκτελούν παράλληλα και αποδοτικά επαναλήψεις στοχαστικής προσομοίωσης βιομοντέλων με έως και 4Κ αντιδράσεις 3ης τάξης. Με τη σχεδίαση που επιλέξαμε, η απόδοση του πυρήνα NRM εξαρτάται μόνο από το μέσο όρο των επηρεαζόμενων αντιδράσεων και όχι από το πλήθος των αντιδράσεων του μοντέλου. Καθώς αυξάνεται το πλήθος των πυρήνων, η απόδοσή του SoC κλιμακώνεται γραμμικά και φτάνει σε επίπεδο GCycles/sec. Συνεπώς με ένα μεσαίου μεγέθους FPGA και συχνότητα λειτουργίας ~200 MHz το σύστημά μας αποφέρει πολύ υψηλές επιδόσεις σε σχέση με δημοφιλείς προσομοιωτές λογισμικού που τρέχουν σε ένα ισχυρό υπολογιστικό σύστημα. Αποτελεί δε το γρηγορότερο σύστημα στη διεθνή βιβλιογραφία για στοχαστικές προσομοιώσεις βιολογικών δικτύων με τον δημοφιλή NRM-SSA.Stochastic simulation of large-scale biochemical reaction networks, with thousands of reactions, is an important tool for systems biology and systems medicine, since it enables the in-silico experimentation with genome-scale reconstructed networks. FPGA-based accelerators can exploit parallelism, but have been limited on the size of biomodels they can handle effectively. In this graduate thesis, we present the design and implementation of a high performance scalable System-on-Chip architecture for implementing Gibson and Bruck's Next Reaction Method in reconfigurable hardware. Our MPSoC uses aggressive pipelining at the core level and combines many cores into a star configuration Network-on-Chip to execute in parallel stochastic repetitions of complex biomodels, each one with up to 4K reactions. The performance of our NRM core depends only on the average number of dependent reactions (outdegree of the biomodel's Dependencies Graph - DG) and not on the number of reactions (DG nodes). By adding cores to the NoC, the system's performance scales linearly and reaches GCycles/sec levels. We show that a medium size FPGA running at ~200 MHz delivers high speedup relative to popular and efficient software simulators running on a very powerful workstation. This is currently the fastest hardware accelerator available in the literature for the NRM-SSA

Σχεδίαση και FPGA Υλοποίηση IP πυρήνων και SoCs για Παράλληλη Στοχαστική Προσομοίωση Βιολογικών Δικτύων

Η προσομοίωση ολόκληρου του κυττάρου αποτελεί μια από τις μεγαλύτερες προκλήσεις του 21ου αιώνα. Σε κυτταρικό επίπεδο ένα βιοχημικό σύστημα μπορεί να περιγράφεται από χιλιάδες αντιδράσεις όπου συμμετέχουν αλληλοεπιδρώντα μοριακά είδη. Ωστόσο τα σημερινά υπολογιστικά συστήματα αδυνατούν να διαχειριστούν αποδοτικά βιομοντέλα τέτοιας πολυπλοκότητας. Το αντικείμενο της παρούσας διπλωματικής εργασίας είναι η σχεδίαση και ανάπτυξη ενός ενσωματωμένου υπολογιστικού συστήματος το οποίο θα μπορεί να χρησιμοποιηθεί για τη στοχαστική προσομοίωση βιομοντέλων χιλιάδων αντιδράσεων. Μέσω VHDL περιγραφών υλοποιήσαμε με FPGAs μια ευέλικτη πολυπύρηνη αρχιτεκτονική που στόχο έχει την παράλληλη εκτέλεση στοχαστικών προσομοιώσεων χρησιμοποιώντας τον αλγόριθμο του Gillespie, First Reaction Method. Η αρχιτεκτονική που αναπτύχθηκε έχει την μορφή "μαλακού πυρήνα" (soft IP core) και είναι πλήρως παραμετρική ως προς τα χαρακτηριστικά του βιομοντέλου αλλά και ως προς τη δέσμευση πόρων υλικού. Χρησιμοποιεί έναν υπολογιστή γενικού σκοπού για την επικοινωνία του χρήστη και υποστηρίζει προσομοιώσεις βιομοντέλων με έως 4Κ αντιδράσεις σε ένα μετρίου μεγέθους FPGA. Τέλος αποδεικνύεται ότι το σύστημα που αναπτύχθηκε λειτουργώντας στη συχνότητα των 220 MHz μπορεί να επιταχύνει την διαδικασία της προσομοίωσης έως και 17.6 φορές σε σύγκριση με τη σειριακή εκτέλεση του αλγορίθμου από δημοφιλή προγράμματα προσομοίωσης βιοχημικών δικτύων όπως το COPASI.Whole cell simulation is one of the greatest challenges of the 21st century. A biochemical system at the cellular level may involve thousands of reaction channels and molecular species. However at present, computational tools are unable to handle efficiently the simulation of biomodels of such a high complexity. In this thesis we designed and developed a System-on-Chip to simulate efficiently and stochastically biomodels with practically any number of reaction channels given an appropriate size FPGA. Using parametric VHDL descriptions we realized a flexible multicore architecture to perform in parallel stochastic simulations based on Gillespie’s First Reaction Method. Our MPSoC architecture is captured as a soft IP core that is fully parametric in terms of biomodel’s characteristics and hardware resources and serves as an accelerator to a general purpose PC, the front-end for user interaction. It supports the stochastic simulation of biochemical reaction networks with up to 4K reaction channels and molecular species using a medium-size FPGA. It is shown that the system when operating at 220 MHz can accelerate simulation by a factor of 17.6 compared to well-known serial software simulator COPASI running on a very fast compute server

Υλοποίηση συστημάτων σε ψηφίδα(SoC) για τη στοαχαστική προσμοίωση μεγάλων δικτύων βιοχημικών αντιδράσεων

 Η παρούσα Διπλωματική Εργασία, αφορά την υλοποίηση ενός ψηφιακού συστήματος (SoC) ειδικού σκοπού με στόχο την στοχαστική προσομοίωση μεγάλων δικτύων βιοχημικών αντιδράσεων με FPGAs της Xilinx και της Altera. Προτείνονται σχεδιάσεις μικροϋπολογιστών συστημάτων για τη παράλληλη επεξεργασία των αλγορίθμων προσομοίωσης αλλά και την παράλληλη εκτέλεση ανεξάρτητων προσομοιώσεων στο ίδιο σύστημα. Για τον λόγο αυτό κατασκευάσαμε SoCs με μέχρι 8 παράλληλα επεξεργαστικά στοιχεία τα οποία έχουν τη δυνατότητα να εκτελούν παράλληλα δύο από τους πιο γνωστούς αλγορίθμους στοχαστικής προσομοίωσης, τον Gillespie SSA First Reaction Method και τον SSA Next Reaction Method. Τα SoCs που σχεδιάστηκαν μπορούν να προσομοιώσουν δίκτυα με μέχρι 16Κ χημικές αντιδράσεις που η κάθε μια μπορεί να είναι μέχρι και 3ης τάξης. Η συχνότητα λειτουργίας στα FPGA ανέρχεται στα 266-320 MHz με εσωτερικές τις καθυστερήσεις να κυμαίνονται από 55-85 κύκλους ανά χημική αντίδραση. Επιπροσθέτως έγινε μελέτη για την διεπαφή του ψηφιακού συστήματος με τον μικροεπεξεργαστή LEON και χρήση του προγράμματος SysPy για τη δημιουργία ενός εργαλείου επικοινωνίας με το χρήστη, με στόχο την αυτοματοποίηση των λειτουργιών της σύνθεσης του ψηφιακού συστήματος, αναλόγως των απαιτήσεων του βιοχημικού μοντέλου που προσομοιώνεται, αλλά και τη μεταφορά των αποτελεσμάτων της προσομοίωσης στον Η/Υ. This thesis presents the design of scalable reconfigurable parametric Systems on Chip (SoC) that implement Gillespie’s Stochastic Simulation Algorithms (SSA), namely the First Reaction Method and Gibson and Bruck’s Next Reaction Method. We have proved that our architectures of scalable SoCs can deliver performance (Mega reactions/sec) which is increasing linearly with the number of parallel processors, when simulating bimolecular networks with up to 16Κ reactions in a single FPGA. This is important because it contributes to systems biology by enabling realistic simulation of increasingly larger reaction networks (e.g. large metabolic networks or whole species reaction networks). In order to do so, we have designed and verified various scalable parametric FRM/NRM SoC architectures with N=1,2,4 Processing Elements (PEs) for Xilinx Virtex 5 and Virtex 7 FPGAs, reaching clock frequencies as high as 320 MHz and delivering throughput as high as 3.1 Mega Reaction cycles/sec. A new approach is also presented which can simulate biochemical reaction networks of different reaction orders with multiple products. Using it we are able to perform either one parallel simulation of a reaction network in parallel, or N different independent simulations of reaction networks within the same SoC with N PEs, for both SSA algorithms (FRM, NRM)

Επικύρωση των αρχιτεκτονικών SoCs με FPGAs

Για την επικύρωση των αρχιτεκτονικών FRM-SoC και NRM-SoC σχεδιάσαμε μια σειρά πειραμάτων που στόχο είχαν την επαλήθευση της ορθής λειτουργίας αλλά και την διερεύνηση των επιδόσεων που επιτυγχάνονται από αυτές. Για την επικύρωση της λειτουργίας των αρχιτεκτονικών χρησιμοποιήσαμε πραγματικά βιομοντέλα που έχουν γνωστή συμπεριφορά ενώ για την διασταύρωση των αποτελεσμάτων χρησιμοποιήσαμε δημοφιλή προγράμματα προσομοίωσης μοριακών δικτύων. Για την επικύρωση των επιδόσεων και την κλιμάκωση τους δημιουργήσαμε δύο συνθετικά βιομοντέλα (benchmark biomodels) των οποίων ο αριθμός των μοριακών ειδών, ο αριθμός των αντιδράσεων τους αλλά και εξαρτήσεις μεταξύ αυτών καθορίζεται με ελεγχόμενο τρόπο. Το υπόλοιπο του παραδοτέου οργανώνεται ως εξής: Στην Ενότητα 2 παρουσιάζονται αναλυτικά τα δύο συνθετικά βιομοντέλα που δημιουργήσαμε για την επικύρωση των επιδόσεων. Στην Ενότητα 3 παρουσιάζεται η θεωρητική ανάλυση επιδόσεων των δύο αρχιτεκτονικών SoCs. Στις Ενότητες 4 και 5 παρουσιάζονται τα αποτελέσματα της επικύρωσης της λειτουργίας και των επιδόσεων της κάθε αρχιτεκτονικής SoC. Στην Ενότητα 6 ακολουθεί η σύγκριση των δύο αρχιτεκτονικών SoCs τόσο σε επίπεδο επιδόσεων όσο και σε επίπεδο κατανάλωσης πόρων υλικού. Στην 7η και τελευταία ενότητα συνοψίζουμε τα αποτελέσματα και παραθέτουμε τα τελικά συμπεράσματα μα

Accelerating Exact Stochastic Simulation of Biochemical Systems

The ability to accurately and efficiently simulate computer models of biochemical systems is of growing importance to the molecular biology and pharmaceutical research communities. Exact stochastic simulation is a popular approach for simulating such systems because it properly represents genetic noise and it accurately represents systems with small populations of chemical species. Unfortunately, the computational demands of exact stochastic simulation often limit its applicability. To enable next-generation whole-cell and multi-cell stochastic modeling, advanced tools and techniques must be developed to increase simulation efficiency. This work assesses the applicability of a variety of hardware and software acceleration approaches for exact stochastic simulation including serial algorithm improvements, parallel computing, reconfigurable computing, and cluster computing. Through this analysis, improved simulation techniques for biological systems are explored and evaluated

Σχεδίαση Aρχιτεκτονικής SoC για τον FRM-SSA

Στην Ενότητα 2 παρουσιάζονται οι στοχαστικές μέθοδοι προσομοίωσης και αλγόριθμοι SSA και FRM-SSA του Gillespie. Στην Ενότητα 3 παρουσιάζονται αναλυτικά οι προδιαγραφές του συστήματος που υλοποιήθηκε, ο βαθμός παραμετροποίησης του καθώς και οι τρόποι λειτουργίας του. Στην Ενότητα 4 αναλύεται η αρχιτεκτονική FRM SoC σε επίπεδο συστήματος καθώς επίσης γίνεται και σύντομη αναφορά στο σύστημα επικοινωνίας υπολογιστή και συστήματος. Στην Ενότητα 5 παρουσιάζεται η αρχιτεκτονική της επεξεργαστικής μονάδας (FRM Processing Unit - FPU) ενός SSA Core. Δίνεται έμφαση στη δίοδο δεδομένων της FPU ενώ περιγράφονται αναλυτικά και οι υπόλοιπες μονάδες που πλαισιώνουν τη δίοδο δεδομένων της FPU. Επιπλέον παρουσιάζεται και η θεωρητική μελέτη των επιδόσεων που έγινε κατά το σχεδιασμό. Στην Ενότητα 6 παρουσιάζονται τα στατιστικά αποτελέσματα που προέκυψαν από τη σύνθεση του συστήματος για διάφορους τρόπους λειτουργίας. Στην 7 και τελευταία ενότητα παρουσιάζονται πραγματικά αποτέλεσμα από δοκιμές του συστήματος με σκοπό την επικύρωση της σχεδίασης. Για αυτό το λόγο γίνεται σύγκριση των αποτελεσμάτων με τα αποτελέσματα γνωστών πλατφόρμων προσομοίωσης

Scalable FPGA accelerator of the NRM algorithm for efficient stochastic simulation of large-scale biochemical reaction networks

Stochastic simulation of large-scale biochemical reaction networks, with thousands of reactions, is important for systems biology and medicine since it will enable the insilico experimentation with genome-scale reconstructed networks. FPGA-based stochastic simulation accelerators can exploit parallelism, but have been limited on the size of biomodels they can handle. We present a high performance scalable System on Chip architecture for implementing Gibson and Bruck’s Next Reaction Method efficiently in reconfigurable hardware. Our MPSoC uses aggressive pipelining at the core level and also combines many cores into a Network on Chip to also execute in parallel stochastic repetitions of complex biomodels, each one with up to 4K reactions. The performance of our NRM core depends only on the average outdegree of the biomodel’s Dependencies Graph (DG) and not on the number of DG nodes (reactions). By adding cores to the NoC, the system’s performance scales linearly and reaches GCycles/sec levels. We show that a medium size FPGA running at similar to 200 MHz deliver high speedup gains relative to a popular and efficient software simulator running on a very powerful workstation PC