2 research outputs found

    Κατανεμημένη εκπαίδευση αναδρομικών νευρωνικών δικτύων με την χρήση γεωμετρικής μεθόδου

    No full text
    Summarization: Artificial Neural Networks are appealing because they learn by example and are strongly supported by statistical and optimization theories. The usage of recurrent neural networks as identifiers and predictors in nonlinear dynamic systems has increased significantly. They can present a wide range of dynamics, due to feedback and are also flexible nonlinear maps. Based on this, there is a need for distributed training on these networks, because of the enormous datasets. One of the most known protocols for distributed training is the Geometric Monitoring protocol. Our conviction is that this is a very expensive protocol regarding the communication of nodes. Recently, the Functional Geometric Protocol has tested training on Convolutional Neural Networks and has had encouraging results. The goal of this work is to test and compare these two protocols on Recurrent Neural Networks.Περίληψη: Τα Νευρωνικά Δίκτυα είναι ελκυστικά επειδή μαθαίνουν από τα δεδομένα και υποστηρίζονται έντονα από τις θεωρίες στατιστικής και βελτιστοποίησης. Η χρήση των Αναδρομικών Νευρωνικών Δικτύων για την πρόγνωση σε μη γραμμικά δυναμικά συστήματα έχει αυξηθεί σημαντικά. Αυτά έχουν την δυνατότητα να παρουσιάσουν ένα ευρύ φάσμα δυναμικής, λόγω της ανατροφοδότησης στην αρχιτεκτονικής τους. Βασιζόμενοι σε αυτό, προκύπτει η ανάγκη για κατανεμημένη εκπαίδευση σε αυτά τα δίκτυα, λόγω των τεράστιων δεδομένων. Ένα από τα πιο γνωστά πρωτόκολλα για κατανεμημένη εκπαίδευση είναι το πρωτόκολλο Γεωμετρικής Παρακολούθησης. Η πεποίθησή μας είναι ότι αυτό είναι ένα πολύ ακριβό πρωτόκολλο όσον αφορά την επικοινωνία των κόμβων, όταν το δίκτυο γίνεται όλο και μεγαλύτερο. Πρόσφατα, το Functional Geometric Monitoring πρωτόκολλο έχει δοκιμαστεί στην εκπαίδευση των Συνελικτικών Νευρωνικών Δικτύων και είχε ενθαρρυντικά αποτελέσματα. Ο στόχος αυτής της εργασίας είναι να δοκιμάσει και να συγκρίνει αυτά τα δύο πρωτόκολλα στα Αναδρομικά Νευρωνικά Δίκτυα
    corecore