Deep Self-Organizing Map of Convolutional Layers for Clustering and Visualizing Image Data

The self-organizing convolutional map (SOCOM) hybridizes convolutional neural networks, self-organizing maps, and gradient backpropagation optimization into a novel integrated unsupervised deep learning model. SOCOM structurally combines, architecturally stacks, and algorithmically fuses its deep/unsupervised learning components. The higher-level representations produced by its underlying convolutional deep architecture are embedded in its topologically ordered neural map output. The ensuing unsupervised clustering and visualization operations reflect the model’s degree of synergy between its building blocks and synopsize its range of applications. Clustering results are reported on the STL-10 benchmark dataset coupled with the devised neural map visualizations. The series of conducted experiments utilize a deep VGG-based SOCOM model

Hybrid probabilistic unsupervised learning network for generic and biological sequence analysis

Hybrid machine learning networks can be formed by merging unsupervisedlearning/self-organizing techniques and probabilistic approaches, in an effort tocombine their advantages and overcome certain of their limitations. The present PhDthesis introduces such a hybrid approach that combines the Self-Organizing Map(SOM) and the Hidden Markov Model (HMM). The Self-Organizing Hidden MarkovModel Map (SOHMMM) establishes a cross-section between the theoretic foundationsand algorithmic realizations of its two constituents. Both components’ correspondingarchitectures are fused. The SOHMMM’s functional core consists of a novel unifiedSOM-HMM algorithm. The fusion and synergy of the SOM unsupervised training andthe HMM dynamic programming methodologies bring forth a class of stochasticunsupervised learning algorithms, which are fully integrated into the SOHMMM. Theprincipal advantages of the proposed system are its capability to exploit latentinformation hidden in the spatiotemporal correlations of data elements, and the fact thatit necessitates little, or even no, additional prior information and domain knowledge onthe modeling problem at hand.On a more pragmatic basis, the respective architectures and learning methodologies are merged in an attempt to meet the increasing requirements imposed by the propertiesof DeoxyriboNucleic Acid (DNA), RiboNucleic Acid (RNA), and protein chainmolecules. Addressing many biological sequence analysis problems is achievedthrough the resulting automatic raw sequence data learning mechanism. Since theSOHMMM carries out probabilistic sequence analysis with little or no priorknowledge, it can have a variety of applications in clustering, dimensionality reductionand visualization of large-scale sequence spaces, and also, in sequence discrimination,search and classification. Three series of experiments based on artificial sequence data,the globin protein family and splice junction gene sequences demonstrate theSOHMMM’s characteristics and capabilities.Υβριδικά δίκτυα μηχανικής μάθησης μπορούν να σχηματιστούν από τη συνένωσητεχνικών μη επιβλεπόμενης μάθησης και πιθανοτικών προσεγγίσεων, σε μίαπροσπάθεια να συνδυαστούν τα πλεονεκτήματα τους και να ξεπεραστούν ορισμένοιαπό τους περιορισμούς τους. Η παρούσα διδακτορική διατριβή εισαγάγει μία τέτοιαυβριδική προσέγγιση η οποία συνδυάζει τους αυτο-οργανούμενους χάρτες - Self-Organizing Maps (SOMs) με τα κρυφά μοντέλα Markov - Hidden Markov Models(HMMs). O αυτο-οργανούμενος χάρτης κρυφών μοντέλων Markov - Self-OrganizingHidden Markov Model Map (SOHMMM) είναι μία τομή ανάμεσα στις θεωρητικέςβάσεις και στις αλγοριθμικές πραγματώσεις των δύο συστατικών στοιχείων του.Αμφότερες οι αρχιτεκτονικές των δύο συνιστωσών του συγχωνεύονται. Ο λειτουργικόςπυρήνας του SOHMMM αποτελείται από ένα νέο ενοποιημένο SOM-HMMαλγόριθμο. Η ένωση και η συνέργια των μεθοδολογιών της μη επιβλεπόμενηςεκπαίδευσης του SOM και του δυναμικού προγραμματισμού του HMM παράγουν μίακλάση στοχαστικών αλγορίθμων μη επιβλεπόμενης μάθησης, οι οποίοιενσωματώνονται πλήρως με το SOHMMM. Τα κύρια πλεονεκτήματα του προτεινόμενου συστήματος είναι η ικανότητα του να εκμεταλλεύεται την ενυπάρχουσααλλά αφανή πληροφορία που κρύβεται στις χωροχρονικές συσχετίσεις των στοιχείωντων δεδομένων, καθώς και το γεγονός ότι απαιτεί ελάχιστη, ή ακόμη και καθόλου, εκτων προτέρων γνώση που να σχετίζεται με το εκάστοτε υπό εξέταση πρόβλημαμοντελοποίησης.Σε μία πιο πραγματιστική βάση, μπορεί να υποστηριχθεί ότι οι αντίστοιχεςαρχιτεκτονικές και οι επιμέρους μεθοδολογίες μάθησης συνενώνονται σε μίαπροσπάθεια να ικανοποιηθούν οι αυξανόμενες απαιτήσεις που πηγάζουν από τα DNA,RNA και πρωτεϊνικά μόρια. Η αντιμετώπιση πολλών προβλημάτων ανάλυσηςβιολογικών αλληλουχιών επιτυγχάνεται μέσω του προκύπτοντος αυτόματουμηχανισμού μάθησης από ανεπεξέργαστα δεδομένα. Εξαιτίας του γεγονότος ότι τοSOHMMM μπορεί να φέρει εις πέρας αναλύσεις ακολουθιών και αλληλουχιών,απαιτώντας ελάχιστη ή μηδενική εκ των προτέρων γνώση, μπορεί να έχει μία σειράεφαρμογών στην ομαδοποίηση, στην μείωση διαστατικότητας και στην οπτικοποίησησυστάδων ακολουθιών μεγάλης κλίμακας, και επιπλέον, υπό συγκεκριμένες προϋποθέσεις, στην αναζήτηση και στην κατηγοριοποίηση τους. Τρεις εκτενείς σειρέςπειραμάτων, βασιζόμενες σε τεχνητά σύνολα ακολουθιών, στην πρωτεϊνική οικογένεια των σφαιρινών και στα splice junctions αλληλουχιών γονιδίων, επιδεικνύουν ταχαρακτηριστικά και τις δυνατότητες του SOHMMM

Hybrid Probabilistic Unsupervised Learning Network for Generic and Biological Sequence Analysis

141 σ.Υβριδικά δίκτυα μηχανικής μάθησης μπορούν να σχηματιστούν από τη συνένωση τεχνικών μη επιβλεπόμενης μάθησης και πιθανοτικών προσεγγίσεων, σε μία προσπάθεια να συνδυαστούν τα πλεονεκτήματα τους και να ξεπεραστούν ορισμένοι από τους περιορισμούς τους. Η παρούσα διδακτορική διατριβή εισαγάγει μία τέτοια υβριδική προσέγγιση η οποία συνδυάζει τους αυτο-οργανούμενους χάρτες - Self-Organizing Maps (SOMs) με τα κρυφά μοντέλα Markov - Hidden Markov Models (HMMs). O αυτο-οργανούμενος χάρτης κρυφών μοντέλων Markov - Self-Organizing Hidden Markov Model Map (SOHMMM) είναι μία τομή ανάμεσα στις θεωρητικές βάσεις και στις αλγοριθμικές πραγματώσεις των δύο συστατικών στοιχείων του. Αμφότερες οι αρχιτεκτονικές των δύο συνιστωσών του συγχωνεύονται. Ο λειτουργικός πυρήνας του SOHMMM αποτελείται από ένα νέο ενοποιημένο SOM-HMM αλγόριθμο. Η ένωση και η συνέργια των μεθοδολογιών της μη επιβλεπόμενης εκπαίδευσης του SOM και του δυναμικού προγραμματισμού του HMM παράγουν μία κλάση στοχαστικών αλγορίθμων μη επιβλεπόμενης μάθησης, οι οποίοι ενσωματώνονται πλήρως με το SOHMMM. Τα κύρια πλεονεκτήματα του προτεινόμενου συστήματος είναι η ικανότητα του να εκμεταλλεύεται την ενυπάρχουσα αλλά αφανή πληροφορία που κρύβεται στις χωροχρονικές συσχετίσεις των στοιχείων των δεδομένων, καθώς και το γεγονός ότι απαιτεί ελάχιστη, ή ακόμη και καθόλου, εκ των προτέρων γνώση που να σχετίζεται με το εκάστοτε υπό εξέταση πρόβλημα μοντελοποίησης. Σε μία πιο πραγματιστική βάση, μπορεί να υποστηριχθεί ότι οι αντίστοιχες αρχιτεκτονικές και οι επιμέρους μεθοδολογίες μάθησης συνενώνονται σε μία προσπάθεια να ικανοποιηθούν οι αυξανόμενες απαιτήσεις που πηγάζουν από τα DNA, RNA και πρωτεϊνικά μόρια. Η αντιμετώπιση πολλών προβλημάτων ανάλυσης βιολογικών αλληλουχιών επιτυγχάνεται μέσω του προκύπτοντος αυτόματου μηχανισμού μάθησης από ανεπεξέργαστα δεδομένα. Εξαιτίας του γεγονότος ότι το SOHMMM μπορεί να φέρει εις πέρας αναλύσεις ακολουθιών και αλληλουχιών, απαιτώντας ελάχιστη ή μηδενική εκ των προτέρων γνώση, μπορεί να έχει μία σειρά εφαρμογών στην ομαδοποίηση, στην μείωση διαστατικότητας και στην οπτικοποίηση συστάδων ακολουθιών μεγάλης κλίμακας, και επιπλέον, υπό συγκεκριμένες προϋποθέσεις, στην αναζήτηση και στην κατηγοριοποίηση τους. Τρεις εκτενείς σειρές πειραμάτων, βασιζόμενες σε τεχνητά σύνολα ακολουθιών, στην πρωτεϊνική οικογένεια των σφαιρινών και στα splice junctions αλληλουχιών γονιδίων, επιδεικνύουν τα χαρακτηριστικά και τις δυνατότητες του SOHMMM.Hybrid machine learning networks can be formed by merging unsupervised learning/self-organizing techniques and probabilistic approaches, in an effort to combine their advantages and overcome certain of their limitations. The present PhD thesis introduces such a hybrid approach that combines the Self-Organizing Map (SOM) and the Hidden Markov Model (HMM). The Self-Organizing Hidden Markov Model Map (SOHMMM) establishes a cross-section between the theoretic foundations and algorithmic realizations of its two constituents. Both components’ corresponding architectures are fused. The SOHMMM’s functional core consists of a novel unified SOM-HMM algorithm. The fusion and synergy of the SOM unsupervised training and the HMM dynamic programming methodologies bring forth a class of stochastic unsupervised learning algorithms, which are fully integrated into the SOHMMM. The principal advantages of the proposed system are its capability to exploit latent information hidden in the spatiotemporal correlations of data elements, and the fact that it necessitates little, or even no, additional prior information and domain knowledge on the modeling problem at hand. On a more pragmatic basis, the respective architectures and learning methodologies are merged in an attempt to meet the increasing requirements imposed by the properties of DeoxyriboNucleic Acid (DNA), RiboNucleic Acid (RNA), and protein chain molecules. Addressing many biological sequence analysis problems is achieved through the resulting automatic raw sequence data learning mechanism. Since the SOHMMM carries out probabilistic sequence analysis with little or no prior knowledge, it can have a variety of applications in clustering, dimensionality reduction and visualization of large-scale sequence spaces, and also, in sequence discrimination, search and classification. Three series of experiments based on artificial sequence data, the globin protein family and splice junction gene sequences demonstrate the SOHMMM’s characteristics and capabilities.Χρήστος Ι. Φερλέ

Deep Self-Organizing Map of Convolutional Layers for Clustering and Visualizing Image Data

The self-organizing convolutional map (SOCOM) hybridizes convolutional neural networks, self-organizing maps, and gradient backpropagation optimization into a novel integrated unsupervised deep learning model. SOCOM structurally combines, architecturally stacks, and algorithmically fuses its deep/unsupervised learning components. The higher-level representations produced by its underlying convolutional deep architecture are embedded in its topologically ordered neural map output. The ensuing unsupervised clustering and visualization operations reflect the model’s degree of synergy between its building blocks and synopsize its range of applications. Clustering results are reported on the STL-10 benchmark dataset coupled with the devised neural map visualizations. The series of conducted experiments utilize a deep VGG-based SOCOM model