A SOM-Based Classifier with Enhanced Structure Learning *

Abstract- This paper introduces an innovative synergistic model that aims to improve the efficiency of a neuro-fuzzy classifier, providing the means of on-line adaptation and fast learning. It combines the advantages of a self-organized map (SOM) network, as well as the benefits of a structure allocation fuzzy neural network. The system initializes its parameters using the clustering result on the SOM structure, while a novel approach of evaluating the input features leads to a more efficient way of handling the on-line learning rate of the training process. Experimental results on benchmark classification problems showed that this robust combination can also tackle tasks of great dimensionality in a successful manner. Keywords: Self-organized map, feature evaluation, neuro-fuzzy, classification, structure-learning.

Independent Nearest Features Memory-Based Classifier

The classification task is one of the most important problems in the area of data mining. In this paper we propose a new algorithm for addressing this problem. The main idea derives from the well-known algorithm of k-nearest-neighbors. In the proposed approach, given an unclassified pattern, a set of neighboring patterns is found, but not necessarily using all input feature dimensions. Also, following the concept of the naïve Bayesian classifier, independence of input feature dimensions in the outcome of the classification task is assumed. The two concepts are merged in an attempt to take advantage of their good performance features. Experimental results have shown superior performance of the proposed method in comparison with the aforementioned algorithms and their variations. 1

Hybrid intelligent analysis methods for knowledge extraction from high dimensional data

The research on hybrid systems of artificial intelligence and machine learning models presents an increasing interest during recent years. The contribution of the current thesis is focused on this field by developing novel models and learning methods and designing original hybrid systems. More specific, initially, two different clustering methods have been implemented, based on the common idea of using first a simple clustering algorithm for the discovery of an initial group of clusters. In the first method, the FCM algorithm is used while in the second the self-organizing maps model. Following, in both cases, an agglomerative clustering algorithm is applied in order to achieve a more efficient clustering, each time with the necessary modifications so as to take advantage of meta-data deriving from the initial clustering procedure. With the use of the second clustering procedure, a feature evaluation method has been developed. This method is the first part of a hybrid classification system and the results of the method are fed to a neuro-fuzzy classifier, which is the next part of the system. Another hybrid system has also been developed. The main module of this system is a novel memory-based classifier which interacts with a feature evaluation module that is based on the self-organizing maps model. The self-organizing maps model has been also employed for implementing transformations of extracted knowledge to symbolic form. The first approach of this kind has been the development of a hand gesture recognition system that uses self-organizing maps for generating symbolic states so as to create probabilistic classification models. The second approach is a group of rule extraction methods from a trained self-organizing map. The performance of all the above methods and systems has been tested on benchmark datasets, which are widely used by researchers in the corresponding-fields.Η ανάπτυξη υβριδικών συστημάτων στον χώρο της τεχνητής νοημοσύνης και της μηχανικής μάθησης βρίσκεται τα τελευταία χρόνια ανάμεσα στα πιο δημοφιλή πεδία έρευνας. Η συνεισφορά της παρούσας διατριβής εντάσσεται αφενός στην περιοχή των υβριδικών συστημάτων με την ανάπτυξη νέων μοντέλων και αλγορίθμων μάθησης και αφετέρου στην περιοχή της εξόρυξης γνώσης από δεδομένα. Πιο συγκεκριμένα, αρχικά αναπτύχθηκαν δυο μεθοδολογίες ομαδοποίησης με κοινό στοιχείο και στις δύο να αποτελεί η χρήση αρχικά ενός αλγόριθμου ομαδοποίησης για την δημιουργία μίας αρχικής ομαδοποίησης των δεδομένων. Στην πρώτη μέθοδο χρησιμοποιήθηκε ο αλγόριθμος FCM, ενώ στην δεύτερη χρησιμοποιήθηκε το μοντέλο των αυτο-οργανούμενων χαρτών. Στην συνέχεια, και στις δύο περιπτώσεις εφαρμόζονται τεχνικές ιεραρχικής συγχώνευσης, οι οποίες εκμεταλλευόμενες μετα-δεδομένα που προκύπτουν στην κάθε περίπτωση, έχουν ως στόχο την προσέγγιση του βέλτιστου αριθμού των ομάδων. Με χρήση της δεύτερης μεθοδολογίας αναπτύχθηκε μία μέθοδος αξιολόγησης των χαρακτηριστικών των δεδομένων εισόδου ως προς την συνεισφορά τους στον σχηματισμό των ομάδων. Η μέθοδος αυτή αποτέλεσε και τμήμα ενός πρωτότυπου υβριδικού συστήματος κατηγοριοποίησης που χρησιμοποίησε την μέθοδο αυτή ως στάδιο προεπεξεργασίας και εξαγωγής μετα-δεδομένων, τα οποία αξιοποιήθηκαν από ένα νευρο-ασαφές δίκτυο που αποτελεί το δεύτερο τμήμα του συστήματος. Στην συνέχεια, αναπτύχθηκε ένα ακόμα υβριδικό σύστημα κατηγοριοποίησης του οποίου το κυρίως μέρος αποτελεί ένας πρωτότυπος αλγόριθμος κατηγοριοποίησης που ανήκει στην κατηγορία των αλγόριθμων κατηγοριοποίησης με χρήση ένα σύνολο δεδομένων ως βάση γνώσης. Το δεύτερο τμήμα του συστήματος είναι μία μέθοδος αξιολόγησης των συνδυασμών των χαρακτηριστικών εισόδου με την χρήση αυτο-οργανούμενων χαρτών. Το μοντέλο των αυτο-οργανούμενων χαρτών χρησιμοποιήθηκε επίσης για την υλοποίηση δύο προσεγγίσεων του μετασχηματισμού της εξαγόμενης από τα δεδομένα γνώσης σε συμβολική μορφή. Η πρώτη προσέγγιση είναι η υλοποίηση ενός πρωτότυπου υβριδικού συστήματος αναγνώρισης χειρονομιών, στο οποίο οι αυτο-οργανούμενοι χάρτες χρησιμοποιήθηκαν ως παραγωγοί συμβολικών καταστάσεων από τα δεδομένα εισόδου, οι οποίες αποτέλεσαν τα δεδομένα για την δημιουργία πιθανοτικών μοντέλων κατηγοριοποίησης. Στην δεύτερη προσέγγιση παρουσιάστηκαν μεθοδολογίες εξαγωγής συμβολικών κανόνων που αποτελούν και μία μορφή απεικόνισης γνώσης, η οποία είναι κατανοητή και χρηστική από τον άνθρωπο. Η αποδοτικότητα των μεθόδων που αναπτύχθηκαν αξιολογήθηκε πειραματικά με χρήση συνόλων δεδομένων, τα οποία χρησιμοποιούνται ευρέως από την επιστημονική κοινότητα για την αξιολόγηση μεθόδων και αλγόριθμων των συναφών ερευνητικών πεδίων

A Multi-Clustering Fusion Scheme For Data Partitioning

A multi-clustering fusion method is presented based on combining several runs of a clustering algorithm resulting in a common partition. More specificall

Probabilistic Video-Based Gesture Recognition Using Self-Organizing Feature Maps

Abstract. Present work introduces a probabilistic recognition scheme for hand gestures. Self organizing feature maps are used to model spatiotemporal information extracted through image processing. Two models are built for each gesture category and, along with appropriate distance metrics, produce a validated classification mechanism that performs consistently during experiments on acted gestures video sequences

HAND TRAJECTORY BASED GESTURE RECOGNITION USING SELF-ORGANIZING FEATURE MAPS AND MARKOV MODELS

This work presents the design and experimental verification of an original system architecture aiming at recognizing gestures based solely on the hand trajectory. Self organizing feature maps are used to model spatial information while Markov models encode the temporal aspect of hand position within a trajectory. A validated classification mechanism is produced through a set of models and a committee machine setup ensures robustness as indicated by the experimental results performed. Index Terms—gesture recognition, self organizing feature map, Markov processes 1