Random Fourier Features

Η εργασία εστιάζει στο πρόβλημα της εκμάθησης σε πραγματικό χρόνο, σε χώρους Χιλμπερτ και παρουσιάζονται οι αλγόριθμοι KRLS, KLMS. Στο προηγούμενο πρόβλημα, καθώς αυξάνει ο αριθμός των μεταβλητών εισόδου, ανάλογα αυξάνει και η πολυπλοκότητα του αλγορίθμου, τόσο από άποψη χώρου, όσο και χρόνου. Συνεπώς, χρειάζεται να υιοθετήσουμε ένα λεξικό, έτσι ώστε να κρατήσουμε την πολυπλοκότητα σε χαμηλά επίπεδα. Επίσης, αναέρουμε το πρόβλημα το οποίο προκύπτει όταν δουλεύουμε σε περιβάλλοντα που εξαρτώνται από τον χρόνο, όταν ο αλγόριθμος δεν μπορεί να αερεί αχρείαστα στοιχεία από το λεξικό και έτσι συγκρίνουμε αλγορίθμους με διαορετικές επιλογές λεξικών μέσω διαόρων πειραμάτων. Η τεχνική των Random Fourier Features ορίζει μία γνωστή συνάρτηση η οποία μετατρέπει τα δεδομένα του χώρου εισόδου σε σημεία ενώς νέου Ευκλείδιου χώρου πεπερασμένων διαστάσεων, στον οποίο, το αρχικό μή γραμμικό πρόβλημα είναι γραμμικό, ενώ το εσωτερικό γινόμενο των νέων αυτών σιμείων προσεγγίζει τη συνάρτηση πυρήνα. ΄Οταν το γραμμικό αυτό πρόβλημα λυθεί, ένα διάνυσμα σταθερού μεγέθους επιστρέετε από τον αλγόριθμο, το οποίο αποτελεί τη λύση του προβλήματος. Επομένως, ο προκύπτων αλγόριθμος είναι υπολογιστικά πιό αποδοτικός, και όπως θα δείξουμε, συγκλίνει σε παρόμοιους χρόνους επιτυγχάνοντας παρόμοια σάλματα με τους κλασσικούς αλγορίθμους πυρήνα.Τhe project focuses to the problem of online learning in RKHS, and the Kernel Least Mean Squares as well as the Kernel Recursive Least Squares algorithms are presented. Ιn terms of space and time. Hence, we adopt a dictionary so as to keep the complexity under reasonable limits. Also, we mention the problem that occurs when we are working in time-varying environments, while the algorithm is not capable of discarding the obsolete elements held in the dictionary, and thus we compare algorithms with dierent choices of dictionary through various experiments. Τhe Random Fourier Features technique denes a known mapping which takes the data held in the input space and transfers them to a new nite dimensional Euclidean space, where the problem is linearly separable and the inner product of the mapped data approximates the kernel function. Once the "linear" task is solved, a vector of xed size is obtained, which denes a hyperplane in the new space, separating the data. Thus, the algorithm provided is computationally more ecient and as will be shown in Chapter 3, converges at similar speeds and to similar error floors

Generalized Minimum Error Entropy for Adaptive Filtering

Error entropy is a important nonlinear similarity measure, and it has received increasing attention in many practical applications. The default kernel function of error entropy criterion is Gaussian kernel function, however, which is not always the best choice. In our study, a novel concept, called generalized error entropy, utilizing the generalized Gaussian density (GGD) function as the kernel function is proposed. We further derivate the generalized minimum error entropy (GMEE) criterion, and a novel adaptive filtering called GMEE algorithm is derived by utilizing GMEE criterion. The stability, steady-state performance, and computational complexity of the proposed algorithm are investigated. Some simulation indicate that the GMEE algorithm performs well in Gaussian, sub-Gaussian, and super-Gaussian noises environment, respectively. Finally, the GMEE algorithm is applied to acoustic echo cancelation and performs well.Comment: 9 pages, 8 figure

Journal of Telecommunications and Information Technology, 2022, nr 3

kwartalni