Robust recursive eigendecomposition and subspace-based algorithms with application to fault detection in wireless sensor networks

The principal component analysis (PCA) is a valuable tool in multivariate statistics, and it is an effective method for fault detection in wireless sensor networks (WSNs) and other related applications. However, its online implementation requires the computation of eigendecomposition (ED) or singular value decomposition. To reduce the arithmetic complexity, we propose an efficient fault detection approach using the subspace tracking concept. In particular, two new robust subspace tracking algorithms are developed, namely, the robust orthonormal projection approximation subspace tracking (OPAST) with rank-1 modification and the robust OPAST with deflation. Both methods rely on robust M-estimate-based recursive covariance estimate to improve the robustness against the effect of faulty samples, and they offer different tradeoff between fault detection accuracy and arithmetic complexity. Since only the ED in the major subspace is computed, their arithmetic complexities are much lower than those of other conventional PCA-based algorithms. Furthermore, we propose new robust T 2 score and SPE detection criteria with recursive update formulas to improve the robustness over their conventional counterparts and to facilitate online implementation for the proposed robust subspace ED and tracking algorithms. Computer simulation and experimental results on WSN data show that the proposed fault detection approach, which combines the aforementioned robust subspace tracking algorithms with the robust detection criteria, is able to achieve better performance than other conventional approaches. Hence, it serves as an attractive alternative to other conventional approaches to fault detection in WSNs and other related applications because of its low complexity, efficient recursive implementation, and good performance. © 2012 IEEE.published_or_final_versio

Design and analysis of adaptive noise subspace estimation algorithms

Ph.DDOCTOR OF PHILOSOPH

Direction-Of-Arrival Estimation Using Multiple Sensors

Ph.DDOCTOR OF PHILOSOPH

Nonconvex Optimization Algorithms for Structured Matrix Estimation in Large-Scale Data Applications

Το πρόβλημα της εκτίμησης δομημένου πίνακα ανήκει στην κατηγορία των προβλημάτων εύρεσης αναπαραστάσεων χαμηλής διάστασης (low-dimensional embeddings) σε δεδομένα υψηλής διάστασης. Στις μέρες μας συναντάται σε μια πληθώρα εφαρμογών που σχετίζονται με τις ερευνητικές περιοχές της επεξεργασίας σήματος και της μηχανικής μάθησης. Στην παρούσα διατριβή προτείνονται νέοι μαθηματικοί φορμαλισμοί σε τρία διαφορετικά προβλήματα εκτίμησης δομημένων πινάκων από δεδομένα μεγάλης κλίμακας. Πιο συγκεκριμένα, μελετώνται τα ερευνητικά προβλήματα α) της εκτίμησης πίνακα που είναι ταυτόχρονα αραιός, χαμηλού βαθμού και μη-αρνητικός, β) της παραγοντοποίησης πίνακα χαμηλού βαθμού, και γ) της ακολουθιακής (online) εκτίμησης πίνακα υποχώρου (subspace matrix) χαμηλού βαθμού από ελλιπή δεδομένα. Για όλα τα προβλήματα αυτά προτείνονται καινoτόμοι και αποδοτικοί αλγόριθμοι βελτιστοποίησης (optimization algorithms). Βασική υπόθεση που υιοθετείται σε κάθε περίπτωση είναι πως τα δεδομένα έχουν παραχθεί με βάση ένα γραμμικό μοντέλο. Το σύνολο των προσεγγίσεων που ακολουθούνται χαρακτηρίζονται από μη-κυρτότητα. Όπως γίνεται φανερό στην παρούσα διατριβή, η ιδιότητα αυτή, παρά τις δυσκολίες που εισάγει στην θεωρητική τεκμηρίωση των προτεινόμενων μεθόδων (σε αντίθεση με τις κυρτές προσεγγίσεις στις οποίες η θεωρητική ανάλυση είναι σχετικά ευκολότερη), οδηγεί σε σημαντικά οφέλη όσον αφορά την απόδοσή τους σε πλήθος πραγματικών εφαρμογών. Για την εκτίμηση πίνακα που είναι ταυτόχρονα αραιός, χαμηλού βαθμού και μη-αρνητικός, προτείνονται στην παρούσα διατριβή τρεις νέοι αλγόριθμοι, από τους οποίους οι δύο πρώτοι ελαχιστοποιούν μια κοινή συνάρτηση κόστους και ο τρίτος μια ελαφρώς διαφορετική συνάρτηση κόστους. Κοινό χαρακτηριστικό και των δύο αυτών συναρτήσεων είναι ότι κατά βάση αποτελούνται από έναν όρο προσαρμογής στα δεδομένα και δύο όρους κανονικοποίησης, οι οποίοι χρησιμοποιούνται για την επιβολή αραιότητας και χαμηλού βαθμού, αντίστοιχα. Στην πρώτη περίπτωση αυτό επιτυγχάνεται με την αξιοποίηση του αθροίσματος της επανασταθμισμένης l1 νόρμας (reweighted l1 norm) και της επανασταθμισμένης πυρηνικής νόρμας (reweighted nuclear norm), οι οποίες ευθύνονται για το μη- κυρτό χαρακτήρα της προκύπτουσας συνάρτησης κόστους. Από τους δύο προτεινόμενους αλγορίθμους που ελαχιστοποιούν τη συνάρτηση αυτή, ο ένας ακολουθεί τη μέθοδο καθόδου σταδιακής εγγύτητας και ο άλλος βασίζεται στην πιο απαιτητική υπολογιστικά μέθοδο ADMM. Η δεύτερη συνάρτηση κόστους διαφοροποιείται σε σχέση με την πρώτη καθώς χρησιμοποιεί μια προσέγγιση παραγοντοποίησης για τη μοντελοποίηση του χαμηλού βαθμού του δομημένου πίνακα. Επιπλέον, λόγω της μη εκ των προτέρων γνώσης του πραγματικού βαθμού, ενσωματώνει έναν όρο επιβολής χαμηλού βαθμού, μέσω της μη- κυρτής έκφρασης που έχει προταθεί ως ένα άνω αυστηρό φράγμα της (κυρτής) πυρηνικής νόρμας (σ.σ. στο εξής θα αναφέρεται ως εναλλακτική μορφή της πυρηνικής νόρμας). Και στην περίπτωση αυτή, το πρόβλημα που προκύπτει είναι μη-κυρτό λόγω του φορμαλισμού του μέσω της παραγοντοποίησης πίνακα, ενώ η βελτιστοποίηση πραγματοποιείται εφαρμόζοντας μια υπολογιστικά αποδοτική μέθοδο καθόδου συνιστωσών ανά μπλοκ (block coordinate descent). Tο σύνολο των προτεινόμενων σχημάτων χρησιμοποιείται για τη μοντελοποίηση, με καινοτόμο τρόπο, του προβλήματος φασματικού διαχωρισμού υπερφασματικών εικόνων (ΥΦΕ). Όπως εξηγείται αναλυτικά, τόσο η αραιότητα όσο και ο χαμηλός βαθμός παρέχουν πολύτιμες ερμηνείες ορισμένων φυσικών χαρακτηριστικών των ΥΦΕ, όπως π.χ. η χωρική συσχέτιση. Πιο συγκεκριμένα, η αραιότητα και ο χαμηλός βαθμός μπορούν να υιοθετηθούν ως δομές στον πίνακα αφθονίας (abundance matrix - ο πίνακας που περιέχει τα ποσοστά παρουσίας των υλικών στην περιοχή που απεικονίζει κάθε εικονοστοιχείο). Τα σημαντικά πλεονεκτήματα που προσφέρουν οι προτεινόμενες τεχνικές, σε σχέση με ανταγωνιστικούς αλγορίθμους, αναδεικνύονται σε ένα πλήθος διαφορετικών πειραμάτων που πραγματοποιούνται τόσο σε συνθετικά όσο και σε αληθινά υπερφασματικά δεδομένα. Στο πλαίσιο της παραγοντοποίησης πίνακα χαμηλού βαθμού (low-rank matrix factorization) περιγράφονται στη διατριβή τέσσερις νέοι αλγόριθμοι, ο καθένας εκ των οποίων έχει σχεδιαστεί για μια διαφορετική έκφανση του συγκεκριμένου προβλήματος. Όλα τα προτεινόμενα σχήματα έχουν ένα κοινό χαρακτηριστικό: επιβάλλουν χαμηλό βαθμό στους πίνακες-παράγοντες καθώς και στο γινόμενό τους με την εισαγωγή ενός νέου όρου κανονικοποίησης. Ο όρος αυτός προκύπτει ως μια γενίκευση της εναλλακτικής έκφρασης της πυρηνικής νόρμας με τη μετατροπή της σε σταθμισμένη μορφή. Αξίζει να επισημανθεί πως με κατάλληλη επιλογή των πινάκων στάθμισης καταλήγουμε σε μια ειδική έκφραση της συγκεκριμένης νόρμας η οποία ανάγει την διαδικασία επιβολής χαμηλού βαθμού σε αυτή της από κοινού επιβολής αραιότητας στις στήλες των δύο πινάκων. Όπως αναδεικνύεται αναλυτικά, η ιδιότητα αυτή είναι πολύ χρήσιμη ιδιαιτέρως σε εφαρμογές διαχείρισης δεδομένων μεγάλης κλίμακας. Στα πλαίσια αυτά μελετώνται τρία πολύ σημαντικά προβλήματα στο πεδίο της μηχανικής μάθησης και συγκεκριμένα αυτά της αποθορυβοποίησης σήματος (denoising), πλήρωσης πίνακα (matrix completion) και παραγοντοποίησης μη-αρνητικού πίνακα (nonnegative matrix factorization). Χρησιμοποιώντας τη μέθοδο ελαχιστοποίησης άνω φραγμάτων συναρτήσεων διαδοχικών μπλοκ (block successive upper bound minimization) αναπτύσσονται τρεις νέοι επαναληπτικά σταθμισμένοι αλγόριθμοι τύπου Newton, οι οποίοι σχεδιάζονται κατάλληλα, λαμβάνοντας υπόψη τα ιδιαίτερα χαρακτηριστικά του εκάστοτε προβλήματος. Τέλος, παρουσιάζεται αλγόριθμος παραγοντοποίησης πίνακα ο οποίος έχει σχεδιαστεί πάνω στην προαναφερθείσα ιδέα επιβολής χαμηλού βαθμού, υποθέτοντας παράλληλα αραιότητα στον ένα πίνακα-παράγοντα. Η επαλήθευση της αποδοτικότητας όλων των αλγορίθμων που εισάγονται γίνεται με την εφαρμογή τους σε εκτεταμένα συνθετικά πειράματα, όπως επίσης και σε εφαρμογές πραγματικών δεδομένων μεγάλης κλίμακας π.χ. αποθορυβοποίηση ΥΦΕ, πλήρωση πινάκων από συστήματα συστάσεων (recommender systems) ταινιών, διαχωρισμός μουσικού σήματος και τέλος μη-επιβλεπόμενος φασματικός διαχωρισμός. Το τελευταίο πρόβλημα το οποίο διαπραγματεύεται η παρούσα διατριβή είναι αυτό της ακολουθιακής εκμάθησης υποχώρου χαμηλού βαθμού και της πλήρωσης πίνακα. Το πρόβλημα αυτό εδράζεται σε ένα διαφορετικό πλαίσιο μάθησης, την επονομαζόμενη ακολουθιακή μάθηση, η οποία αποτελεί μια πολύτιμη προσέγγιση σε εφαρμογές δεδομένων μεγάλης κλίμακας, αλλά και σε εφαρμογές που λαμβάνουν χώρα σε χρονικά μεταβαλλόμενα περιβάλλοντα. Στην παρούσα διατριβή προτείνονται δύο διαφορετικοί αλγόριθμοι, ένας μπεϋζιανός και ένας ντετερμινιστικός. Ο πρώτος αλγόριθμος προκύπτει από την εφαρμογή μιας καινοτόμου ακολουθιακής μεθόδου συμπερασμού βασισμένου σε μεταβολές. Αυτή η μέθοδος χρησιμοποιείται για την πραγματοποίηση προσεγγιστικού συμπερασμού στο προτεινόμενο ιεραρχικό μπεϋζιανό μοντέλο. Αξίζει να σημειωθεί πως το μοντέλο αυτό έχει σχεδιαστεί με κατάλληλο τρόπο έτσι ώστε να ενσωματώνει, σε πιθανοτικό πλαίσιο, την ίδια ιδέα επιβολής χαμηλού βαθμού που προτείνεται για το πρόβλημα παραγοντοποίησης πίνακα χαμηλού βαθμού, δηλαδή επιβάλλοντας από-κοινού αραιότητα στους πίνακες-παράγοντες. Ωστόσο, ακολουθώντας την πιθανοτική προσέγγιση, αυτό πραγματοποιείται επιβάλλοντας πολύ-επίπεδες a priori κατανομές Laplace στις στήλες τους. Ο αλγόριθμος που προκύπτει είναι πλήρως αυτοματοποιημένος, μιας και δεν απαιτεί τη ρύθμιση κάποιας παραμέτρου κανονικοποίησης. Ο δεύτερος αλγόριθμος προκύπτει από την ελαχιστοποίηση μιας κατάλληλα διαμορφωμένης συνάρτησης κόστους. Και στην περίπτωση αυτή, χρησιμοποιείται η προαναφερθείσα ιδέα επιβολής χαμηλού βαθμού (κατάλληλα τροποποιημένη έτσι ώστε να μπορεί να εφαρμοστεί στο ακολουθιακό πλαίσιο μάθησης). Ενδιαφέρον παρουσιάζει το γεγονός πως ο τελευταίος αλγόριθμος μπορεί να θεωρηθεί ως μια ντετερμινιστική εκδοχή του προαναφερθέντος πιθανοτικού αλγορίθμου. Τέλος, σημαντικό χαρακτηριστικό και των δύο αλγορίθμων είναι ότι δεν είναι απαραίτητη η εκ των προτέρων γνώση του βαθμού του πίνακα υποχώρου. Τα πλεονεκτήματα των προτεινόμενων προσεγγίσεων παρουσιάζονται σε ένα μεγάλο εύρος πειραμάτων που πραγματοποιήθηκαν σε συνθετικά δεδομένα, στο πρόβλημα της ακολουθιακής πλήρωσης ΥΦΕ και στην εκμάθηση ιδιο-προσώπων κάνοντας χρήση πραγματικών δεδομένων.Structured matrix estimation belongs to the family of learning tasks whose main goal is to reveal low-dimensional embeddings of high-dimensional data. Nowadays, this task appears in various forms in a plethora of signal processing and machine learning applications. In the present thesis, novel mathematical formulations for three different instances of structured matrix estimation are proposed. Concretely, the problems of a) simultaneously sparse, low-rank and nonnegative matrix estimation, b) low-rank matrix factorization and c) online low-rank subspace learning and matrix completion, are addressed and analyzed. In all cases, it is assumed that data are generated by a linear process, i.e., we deal with linear measurements. A suite of novel and efficient {\it optimization algorithms} amenable to handling {\it large-scale data} are presented. A key common feature of all the introduced schemes is {\it nonconvexity}. It should be noted that albeit nonconvexity complicates the derivation of theoretical guarantees (contrary to convex relevant approaches, which - in most cases - can be theoretically analyzed relatively easily), significant gains in terms of the estimation performance of the emerging algorithms have been recently witnessed in several real practical situations. Let us first focus on simultaneously sparse, low-rank and nonnegative matrix estimation from linear measurements. In the thesis this problem is resolved by three different optimization algorithms, which address two different and novel formulations of the relevant task. All the proposed schemes are suitably devised for minimizing a cost function consisting of a least-squares data fitting term and two regularization terms. The latter are utilized for promoting sparsity and low-rankness. The novelty of the first formulation lies in the use, for the first time in the literature, of the sum of the reweighted $\ell_1$ and the reweighted nuclear norms. The merits of reweighted $\ell_1$ and nuclear norms have been exposed in numerous sparse and low-rank matrix recovery problems. As is known, albeit these two norms induce nonconvexity in the resulting optimization problems, they provide a better approximation of the $\ell_0$ norm and the rank function, respectively, as compared to relevant convex regularizers. Herein, we aspire to benefit from the use of the combination of these two norms. The first algorithm is an incremental proximal minimization scheme, while the second one is an ADMM solver. The third algorithm's main goal is to further reduce the computational complexity. Towards this end, it deviates from the other two in the use of a matrix factorization based approach for modelling low-rankness. Since the rank of the sought matrix is generally unknown, a low-rank imposing term, i.e., the variational form of the nuclear norm, which is a function of the matrix factors, is utilized. In this case, the optimization process takes place via a block coordinate descent type scheme. The proposed formulations are utilized for modelling in a pioneering way a very important problem in hyperspectral image processing, that of hyperspectral image unmixing. It is shown that both sparsity and low-rank offer meaningful interpretations of inherent natural characteristics of hyperspectral images. More specifically, both sparsity and low-rankness are reasonable hypotheses that can be made for the so-called {\it abundance} matrix, i.e., the nonnegative matrix containing the fractions of presence of the different materials, called {\it endmembers}, at the region depicted by each pixel. The merits of the proposed algorithms over other state-of-the-art hyperspectral unmixing algorithms are corroborated in a wealth of simulated and real hyperspectral imaging data experiments. In the framework of low-rank matrix factorization (LRMF) four novel optimization algorithms are presented, each modelling a different instance of it. All the proposed schemes share a common thread: they impose low-rank on both matrix factors and the sought matrix by a newly introduced regularization term. This term can be considered as a generalized weighted version of the variational form of the nuclear norm. Notably, by appropriately selecting the weight matrix, low-rank enforcement amounts to imposing joint column sparsity on both matrix factors. This property is actually proven to be quite important in applications dealing with large-scale data, since it leads to a significant decrease of the induced computational complexity. Along these lines, three well-known machine learning tasks, namely, denoising, matrix completion and low-rank nonnegative matrix factorization (NMF), are redefined according to the new low-rank regularization approach. Then, following the block successive upper bound minimization framework, alternating iteratively reweighted least-squares, Newton-type algorithms are devised accounting for the particular characteristics of the problem that each time is addressed. Lastly, an additional low-rank and sparse NMF algorithm is proposed, which hinges upon the same low-rank promoting idea mentioned above, while also accounting for sparsity on one of the matrix factors. All the derived algorithms are tested on extensive simulated data experiments and real large-scale data applications such as hyperspectral image denoising, matrix completion for recommender systems, music signal decomposition and unsupervised hyperspectral image unmixing with unknown number of endmembers. The last problem that this thesis touches upon is online low-rank subspace learning and matrix completion. This task follows a different learning model, i.e., online learning, which offers a valuable processing framework when one deals with large-scale streaming data possibly under time-varying conditions. In the thesis, two different online algorithms are put forth. The first one stems from a newly developed online variational Bayes scheme. This is applied for performing approximate inference based on a carefully designed novel multi-hierarchical Bayesian model. Notably, the adopted model encompasses similar low-rank promoting ideas to those mentioned for LRMF. That is, low-rank is imposed via promoting jointly column sparsity on the columns of the matrix factors. However, following the Bayesian rationale, this now takes place by assigning Laplace-type marginal priors on the matrix factors. Going one step further, additional sparsity is independently modelled on the subspace matrix thus imposing multiple structures on the same matrix. The resulting algorithm is fully automated, i.e., it does not demand fine-tuning of any parameters. The second algorithm follows a cost function minimization based strategy. Again, the same low-rank promoting idea introduced for LRMF is incorporated in this problem via the use of a - modified to the online processing scenario - low-rank regularization term. Interestingly, the resulting optimization scheme can be considered as the deterministic analogue of the Bayesian one. Both the proposed algorithms present a favorable feature, i.e., they are competent to learn subspaces without requiring the a priori knowledge of their true rank. Their effectiveness is showcased in extensive simulated data experiments and in online hyperspectral image completion and eigenface learning using real data

Méthodes de codage et d'estimation adaptative appliquées aux communications sans fil

Les recherches et les contributions présentées portent sur des techniques de traitement du signal appliquées aux communications sans fil. Elles s’articulent autour des points suivants : (1) l’estimation adaptative de canaux de communication dans différents contextes applicatifs, (2) la correction de bruit impulsionnel et la réduction du niveau de PAPR (Peak to Average Power Ratio) dans un système multi-porteuse, (3) l’optimisation de schémas de transmission pour la diffusion sur des canaux gaussiens avec/sans contrainte de sécurité, (4) l’analyse, l’interprétation et l’amélioration des algorithmes de décodage itératif par le biais de l’optimisation, de la théorie des jeux et des outils statistiques. L’accent est plus particulièrement mis sur le dernier thème

Advanced multi-dimensional signal processing for wireless systems

Die florierende Entwicklung der drahtlosen Kommunikation erfordert innovative und fortschrittliche Signalverarbeitungsalgorithmen, die auf eine verbesserte Performance hinsichtlich der Zuverlässigkeit, des Durchsatzes, der Effizienz und weiterer Faktoren abzielen. Die vorliegende Arbeit befasst sich mit der Lösung dieser Herausforderungen und präsentiert neue und faszinierende Fortschritte, um diesen Herausforderungen zu erfüllen. Hauptsächlich konzentrieren wir uns auf zwei innovative Aspekte der mehrdimensionalen Signalverarbeitung für drahtlose Systeme, denen in den letzten Jahren große Aufmerksamkeit in der Forschung geschenkt wurde. Das sind Mehrträgerverfahren für Multiple-Input Multiple-Output (MIMO) Systeme und die mehrdimensionale harmonische Schätzung (Harmonic Retrieval). Da es sich bei MIMO-Systemen und Mehrträgerverfahren um Schlüsseltechnologien der drahtlosen Kommunikation handelt, sind ihre zahlreichen Vorteile seit langem bekannt und haben ein großes Forschungsinteresse geweckt. Zu diesen Vorteilen zählen zum Beispiel die Steigerung der Datenrate und die Verbesserung der Verbindungszuverlässigkeit. Insbesondere OFDM-basierte MIMO Downlink Systeme für mehrere Teilnehmer (Multi-User MIMO Downlink Systems), die durch SDMA (Space-Division Multiple Access) getrennt werden, kombinieren die Vorteile von MIMO-Systemen mit denen von Mehrträger-Modulationsverfahren. Sie sind wesentliche Elemente des IEEE 802.11ac Standards und werden ebenfalls für 5G (die fünfte Mobilfunkgeneration) ausschlaggebend sein. Obwohl die bisherigen Arbeiten über das Precoding (Vorcodierung) für solche Multi-User MIMO Downlink Systeme schon fruchtbare Ergebnisse zeigten, werden neue Fortschritte benötigt, die den Mehrträger-Charakter des Systems in einer effizienteren Weise ausnutzen oder auf eine höhere spektrale Effizienz des Gesamtsystems abzielen. Andererseits gilt die Filterbank-basierte Mehrträger Modulation (Filter Bank-based Multi-Carrier modulation, FBMC) mit einem gut konzentrierten Spektrum und einer somit niedrigen Out-of-band Leackage als eine vielversprechende Alternative zu OFDM. FBMC ermöglicht eine effiziente Nutzung von Fragmenten im Frequenzspektrums, z. B. in 5G oder Breitband Professional Mobile Radio (PMR) Netzwerken. Jedoch leiden die vorhandenen Verfahren zur Sende- und-Empfangs-Verarbeitung für FBMC-basierte MIMO Systeme unter Einschränkungen in Bezug auf mehrere Aspekte, wie z. B. der erlaubten Dimensionalität des Systems und der zulässigen Frequenzselektivität des Kanals. Die Formen der MIMO Einstellungen, die in der Literatur untersucht wurden, sind noch begrenzt auf MIMO-Systeme für einzelne Teilnehmer und vereinfachte Multi-User MIMO Systeme. Fortschrittlichere Techniken sind daher erforderlich, die diese Einschränkungen der existierenden Verfahren aufheben. MIMO-Szenarien, die weniger Einschränkungen unterliegen, müssen außerdem untersucht werden, um die Vorteile von FBMC zu weiter herauszuarbeiten. Im Rahmen der mehrdimensionalen harmonischen Schätzung (Harmonic Retrieval) hat sich gezeigt, dass eine höhere Genauigkeit bei der Schätzung durch Tensoren erreicht werden kann. Das liegt daran, dass die Darstellung mehrdimensionaler Signale mit Tensoren eine natürlichere Beschreibung und eine gute Ausnutzung ihrer mehrdimensionalen Struktur erlaubt, z. B. für die Modellordnungsschätzung und die Unterraumschätzung. Wichtige offene Themen umfassen die statistische Robustheit und wie man die Schätzung in zeitlich variierenden Szenarien adaptiv gestalten kann. In Teil I dieser Arbeit präsentieren wir zunächst eine effiziente und flexible Übertragungsstrategie für OFDM-basierten Multi-User MIMO Downlink Systeme. Sie besteht aus einer räumlichen Scheduling-Methode, der effizienten Mehrträger ProSched (Efficient Multi-Carrier ProSched, EMC-ProSched) Erweiterung mit einer effektiven Scheduling-Metrik, die auf Mehrträger-Systeme zugeschnitten wird. Weiterhin werden zwei neuartige Precoding Algorithmen vorgestellt, die lineare Precoding-basierte geometrische Mittelwert-Zerlegung (Linear Precoding-based Geometric Mean Decomposition, LP-GMD) und ein Coordinated Beamforming Algorithmus geringer Komplexität (Low Complexity Coordinated Beamforming, LoCCoBF). Diese beiden neuen Precoding-Verfahren können flexibel entsprechend den Abmessungen des Systems gewählt werden. Wir entwickeln auch einen System Level-Simulator, in dem die Parameter für das Link-to-System Level Interface kalibriert werden können. Diese Kalibrierung ist Standard-spezifisch, z. B. kann der Standard IEEE 802.11ac gewählt werden. Numerische Ergebnisse zeigen, dass diese Übertragungsstrategie Scheduling Fairness garantiert, einen weitaus höheren Durchsatz als die existierenden Verfahren erzielt, eine geringere Komplexität besitzt und nur einen geringen Signalisierungsoverhead erfordert. Der Schwerpunkt des Rests von Teil I bilden MIMO Systeme basierend auf Filter Bank-basierten Mehrträger-Verfahren mit Offset Quadrature Amplitude Modulation (FBMC/OQAM). Es wird ein umfassender Überblick über FBMC gegeben. Nachfolgend werden für verschiedene FBMC/OQAM-basierte MIMO Varianten neue Verfahren zur Sende- und Empfangs-Verarbeitung entwickelt, die unterschiedliche Grade von Frequenz-Selektivität des Kanals voraussetzen. Zunächst wird die Verwendung von weitgehend linearer Verarbeitung (widely linear processing) untersucht. Ein Zwei-Schritt-Empfänger wird für FBMC/OQAM-basierte MIMO Systeme mit einzelnen Teilnehmern entwickelt. Hierbei ist die Frequenz-Selektivität des Kanals niedrig. Verglichen mit linearen MMSE-Empfänger ist die Leistung des Zwei-Schritt-Empfängers viel besser. Das Grundprinzip dieser Zwei-Schritt-Empfänger ist zuerst die Verringerung der intrinsischen Interferenz, um die Ausnutzung von nicht-zirkulären Signalen zu ermöglichen. Es motiviert weitere Studien über weitgehend lineare Verfahren für FBMC/OQAM-basierte Systeme. Darüber hinaus werden zwei Coordinated Beamforming-Algorithmen für FBMC/OQAM-basierte MIMO Systeme mit einzelnen Teilnehmern entwickelt. Sie verzichten auf die Einschränkung der Dimensionalität der bestehenden Methode, bei der die Anzahl der Sendeantennen größer als die Anzahl der Empfangsantennen sein muss. Der Kanal auf jedem Träger wird als flacher Schwund (Flat Fading) modelliert, was einer Klassifizierung als „intermediate frequency selective channel“ entspricht. Unter der Kenntnis der Kanalzustandsinformation am Sender (Channel-State-Information at the Transmitter, CSIT) basiert die Vorcodierung entweder auf einem Zero Forcing (ZF) Kriterium oder auf der Maximierung der Signal-to-Leackage-plus-Noise-Ratio (SLNR). Die Vorcodierungsvektoren und die Empfangsvektoren werden gemeinsam und iterativ berechnet. Daher führen die zwei Coordinated Beamforming-Algorithmen zu einer wirksamen Verringerung der intrinsischen Interferenz in FBMC/OQAM-basierten Systemen. Die Vorteile der Coordinated Beamforming-Konzepte werden in FBMC/OQAM-basierten Multi-User MIMO Downlink Systeme und koordinierte Mehrpunktverbindung (Coordinated Multi-Point, CoMP-Konzepte) eingebracht. Dafür werden drei intrinsische Interferenz mildernde koordinierte Beamforming-Verfahren (Intrinsic Interference Mitigating Coordinated Beamforming, IIM-CBF) vorgeschlagen. Die ersten beiden IIM-CBF Algorithmen werden für die FBMC/OQAM-basierten Multi-User MIMO Downlink Varianten mit unterschiedlichen Dimensionen entwickelt. Es wird gezeigt, dass diese Verfahren zu einer Abschwächung der Multi-User-Interferenz (MUI) sowie einer Verringerung der intrinsischen Interferenz führen. Bei der dritten IIM-CBF Methode wird ein neuartiges FBMC/OQAM-basiertes-CoMP Konzept vorgestellt. Dieses wird durch die gemeinsame Übertragung von benachbarten Zellen zu Teilnehmern, die sich am Zellenrand befinden, ermöglicht, um den Daten-Durchsatz am Zellenrand zu erhöhen. Die Leistungsfähigkeit der vorgeschlagenen Algorithmen wird durch umfangreiche numerische Simulationen evaluiert. Das Konvergenzverhalten wird untersucht sowie das Thema der Komplexität angesprochen. Außerdem wird die geringere Anfälligkeit von FBMC verglichen mit OFDM gegenüber Frequenzsynchronisationsfehlern demonstriert. Darüber hinaus wird auf die FBMC/OQAM-basierten Multi-User MIMO Downlink Systeme mit stark frequenzselektiven Kanälen eingegangen. Dafür werden Lösungen erarbeitet, die für die Unterdrückung der MUI, der Inter-Symbol Interferenz (ISI) sowie der Inter-Carrier Interferenz (ICI) anwendbar ist. Mehrere Kriterien der multi-tap Vorcodierung werden entwickelt, beispielsweise die Mean Squared Error (MSE) Minimierung sowie die Signal-to-Leakage-Ratio (SLR) und die SLNR Maximierung. An Endgeräten, die eine schwächere Rechenleistung besitzen als sie an der Basisstation vorhanden ist, wird dadurch nur ein single-tap Empfangsfilter benötigt. Teil II der Arbeit konzentriert sich auf die mehrdimensionale harmonische Schätzung (Harmonic Retrieval). Der Einbau von statistischer Robustheit in mehrdimensionale Modellordnungsschätzverfahren wird demonstriert.The thriving development of wireless communications calls for innovative and advanced signal processing techniques targeting at an enhanced performance in terms of reliability, throughput, robustness, efficiency, flexibility, etc.. This thesis addresses such a compelling demand and presents new and intriguing progress towards fulfilling it. We mainly concentrate on two advanced multi-dimensional signal processing challenges for wireless systems that have attracted tremendous research attention in recent years, multi-carrier Multiple-Input Multiple-Output (MIMO) systems and multi-dimensional harmonic retrieval. As the key technologies of wireless communications, the numerous benefits of MIMO and multi-carrier modulation, e.g., boosting the data rate and improving the link reliability, have long been identified and have ignited great research interest. In particular, the Orthogonal Frequency Division Multiplexing (OFDM)-based multi-user MIMO downlink with Space-Division Multiple Access (SDMA) combines the twofold advantages of MIMO and multi-carrier modulation. It is the essential element of IEEE 802.11ac and will also be crucial for the fifth generation of wireless communication systems (5G). Although past investigations on scheduling and precoding design for multi-user MIMO downlink systems have been fruitful, new advances are desired that exploit the multi-carrier nature of the system in a more efficient manner or aim at a higher spectral efficiency. On the other hand, a Filter Bank-based Multi-Carrier modulation (FBMC) featuring a well-concentrated spectrum and thus a low out-of-band radiation is regarded as a promising alternative multi-carrier scheme to OFDM for an effective utilization of spectrum fragments, e.g., in 5G or broadband Professional Mobile Radio (PMR) networks. Unfortunately, the existing transmit-receive processing schemes for FBMC-based MIMO systems suffer from limitations in several aspects, e.g., with respect to the number of supported receive antennas (dimensionality constraint) and channel frequency selectivity. The forms of MIMO settings that have been investigated are still limited to single-user MIMO and simplified multi-user MIMO systems. More advanced techniques are therefore demanded to alleviate the constraints imposed on the state-of-the-art. More sophisticated MIMO scenarios are yet to be explored to further corroborate the benefits of FBMC. In the context of multi-dimensional harmonic retrieval, it has been demonstrated that a higher estimation accuracy can be achieved by using tensors to preserve and exploit the multidimensional nature of the data, e.g., for model order estimation and subspace estimation. Crucial pending topics include how to further incorporate statistical robustness and how to handle time-varying scenarios in an adaptive manner. In Part I of this thesis, we first present an efficient and flexible transmission strategy for OFDM-based multi-user MIMO downlink systems. It consists of a spatial scheduling scheme, efficient multi-carrier ProSched (EMC-ProSched), with an effective scheduling metric tailored for multi-carrier systems and two new precoding algorithms, linear precoding-based geometric mean decomposition (LP-GMD) and low complexity coordinated beamforming (LoCCoBF). These two new precoding schemes can be flexibly chosen according to the dimensions of the system. We also develop a system-level simulator where the parameters for the link-to-system level interface can be calibrated according to a certain standardization framework, e.g., IEEE 802.11ac. Numerical results show that the proposed transmission strategy, apart from guaranteeing the scheduling fairness and a small signaling overhead, achieves a much higher throughput than the state-of-the-art and requires a lower complexity. The remainder of Part I is dedicated to Filter Bank-based Multi-Carrier with Offset Quadrature Amplitude Modulation (FBMC/OQAM)-based MIMO systems. We begin with a thorough overview of FBMC. Then we present new transmit-receive processing techniques for FBMC/OQAM-based MIMO settings ranging from the single-user MIMO case to the Coordinated Multi-Point (CoMP) downlink considering various degrees of channel frequency selectivity. The use of widely linear processing is first investigated. A two-step receiver is designed for FBMC/OQAM-based point-to-point MIMO systems with low frequency selective channels. It exhibits a significant performance superiority over the linear MMSE receiver. The rationale in this two-step receiver is that the intrinsic interference is first mitigated to facilitate the exploitation of the non-circularity residing in the signals. It sheds light upon further studies on widely linear processing for FBMC/OQAM-based systems. Moreover, two coordinated beamforming algorithms are devised for FBMC/OQAM-based point-to-point MIMO systems to relieve the dimensionality constraint of existing schemes that the number of transmit antennas must be larger than the number of receive antennas. The channel on each subcarrier is assumed to be flat fading, which is categorized as the class of intermediate frequency selective channels. With the Channel State Information at the Transmitter (CSIT) known, the precoder designed based on a Zero Forcing (ZF) criterion or the maximization of the Signal-to-Leakage-plus-Noise-Ratio (SLNR) is jointly and iteratively computed with the receiver, leading to an effective mitigation of the intrinsic interference inherent in FBMC/OQAM-based systems. The benefits of the coordinated beamforming concept are successfully translated into the FBMC/OQAM-based multi-user MIMO downlink and the CoMP downlink. Three intrinsic interference mitigating coordinated beamforming (IIM-CBF) schemes are developed. The first two IIM-CBF schemes are proposed for FBMC/OQAM-based multi-user MIMO downlink settings with different dimensions and are able to effectively suppress the Multi-User Interference (MUI) as well as the intrinsic interference. A novel FBMC/OQAM-based CoMP concept is established via the third IIM-CBF scheme which enables the joint transmission of adjacent cells to the cell edge users to combat the strong interference as well as the heavy path loss and to boost the cell edge throughput. The performance of the proposed algorithms is evaluated via extensive numerical simulations. Their convergence behavior is studied, and the complexity issue is also addressed. In addition, the stronger resilience of FBMC over OFDM against frequency misalignments is demonstrated. Furthermore, we cover the case of highly frequency selective channels and provide solutions to the very challenging task of suppressing the MUI, the Inter-Symbol Interference (ISI), as well as the Inter-Carrier Interference (ICI) and supporting per-user multi-stream transmissions. Several design criteria of the multi-tap precoders are devised including the Mean Squared Error (MSE) minimization as well as the Signal-to-Leakage-Ratio (SLR) and SLNR maximization. By rendering a larger computational load at the base station, only single-tap spatial receive filters are required at the user terminals with a weaker computational capability, which enhances the applicability of the proposed schemes in real-world multi-user MIMO downlink systems. Part II focuses on the context of multi-dimensional harmonic retrieval. We demonstrate the incorporation of statistical robustness into multi-dimensional model order estimation schemes by substituting the sample covariance matrices of the unfoldings of the measurement tensor with robust covariance estimates. It is observed that in the presence of a very severe contamination of the measurements due to brief sensor failures, the robustified tensor-based model order estimation schemes lead to a satisfactory estimation accuracy. This philosophy of introducing statistical robustness also inspires robust versions of parameter estimation algorithms. Last but not the least, we present a generic framework for Tensor-based subspace tracking via Kronecker-structured projections (TeTraKron) for time-varying multi-dimensional harmonic retrieval problems. It allows to extend arbitrary matrix-based subspace tracking schemes to track the tensor-based subspace estimate in an elegant and efficient manner. By including forward-backward-averaging, we show that TeTraKron can also be employed to devise real-valued tensor-based subspace tracking algorithms. Taking a few matrix-based subspace tracking approaches as an example, a remarkable improvement of the tracking accuracy is observed in case of the TeTraKron-based tensor extensions. The performance of ESPRIT-type parameter estimation schemes is also assessed where the subspace estimates obtained by the proposed TeTraKron-based subspace tracking algorithms are used. We observe that Tensor-ESPRIT combined with a tensor-based subspace tracking scheme significantly outperforms the combination of standard ESPRIT and the corresponding matrix-based subspace tracking method. These results open the way for robust multi-dimensional big data signal processing applications in time-varying environments