Anomaly detection in spatiotemporal data via regularized non-negative tensor analysis

Anomaly detection in multidimensional data is a challenging task. Detecting anomalous mobility patterns in a city needs to take spatial, temporal, and traffic information into consideration. Although existing techniques are able to extract spatiotemporal features for anomaly analysis, few systematic analysis about how different factors contribute to or affect the anomalous patterns has been proposed. In this paper, we propose a novel technique to localize spatiotemporal anomalous events based on tensor decomposition. The proposed method employs a spatial-feature-temporal tensor model and analyzes latent mobility patterns through unsupervised learning. We first train the model based on historical data and then use the model to capture the anomalies, i.e., the mobility patterns that are significantly different from the normal patterns. The proposed technique is evaluated based on the yellow-cab dataset collected from New York City. The results show several interesting latent mobility patterns and traffic anomalies that can be deemed as anomalous events in the city, suggesting the effectiveness of the proposed anomaly detection method

Advanced multi-dimensional signal processing for wireless systems

Die florierende Entwicklung der drahtlosen Kommunikation erfordert innovative und fortschrittliche Signalverarbeitungsalgorithmen, die auf eine verbesserte Performance hinsichtlich der Zuverlässigkeit, des Durchsatzes, der Effizienz und weiterer Faktoren abzielen. Die vorliegende Arbeit befasst sich mit der Lösung dieser Herausforderungen und präsentiert neue und faszinierende Fortschritte, um diesen Herausforderungen zu erfüllen. Hauptsächlich konzentrieren wir uns auf zwei innovative Aspekte der mehrdimensionalen Signalverarbeitung für drahtlose Systeme, denen in den letzten Jahren große Aufmerksamkeit in der Forschung geschenkt wurde. Das sind Mehrträgerverfahren für Multiple-Input Multiple-Output (MIMO) Systeme und die mehrdimensionale harmonische Schätzung (Harmonic Retrieval). Da es sich bei MIMO-Systemen und Mehrträgerverfahren um Schlüsseltechnologien der drahtlosen Kommunikation handelt, sind ihre zahlreichen Vorteile seit langem bekannt und haben ein großes Forschungsinteresse geweckt. Zu diesen Vorteilen zählen zum Beispiel die Steigerung der Datenrate und die Verbesserung der Verbindungszuverlässigkeit. Insbesondere OFDM-basierte MIMO Downlink Systeme für mehrere Teilnehmer (Multi-User MIMO Downlink Systems), die durch SDMA (Space-Division Multiple Access) getrennt werden, kombinieren die Vorteile von MIMO-Systemen mit denen von Mehrträger-Modulationsverfahren. Sie sind wesentliche Elemente des IEEE 802.11ac Standards und werden ebenfalls für 5G (die fünfte Mobilfunkgeneration) ausschlaggebend sein. Obwohl die bisherigen Arbeiten über das Precoding (Vorcodierung) für solche Multi-User MIMO Downlink Systeme schon fruchtbare Ergebnisse zeigten, werden neue Fortschritte benötigt, die den Mehrträger-Charakter des Systems in einer effizienteren Weise ausnutzen oder auf eine höhere spektrale Effizienz des Gesamtsystems abzielen. Andererseits gilt die Filterbank-basierte Mehrträger Modulation (Filter Bank-based Multi-Carrier modulation, FBMC) mit einem gut konzentrierten Spektrum und einer somit niedrigen Out-of-band Leackage als eine vielversprechende Alternative zu OFDM. FBMC ermöglicht eine effiziente Nutzung von Fragmenten im Frequenzspektrums, z. B. in 5G oder Breitband Professional Mobile Radio (PMR) Netzwerken. Jedoch leiden die vorhandenen Verfahren zur Sende- und-Empfangs-Verarbeitung für FBMC-basierte MIMO Systeme unter Einschränkungen in Bezug auf mehrere Aspekte, wie z. B. der erlaubten Dimensionalität des Systems und der zulässigen Frequenzselektivität des Kanals. Die Formen der MIMO Einstellungen, die in der Literatur untersucht wurden, sind noch begrenzt auf MIMO-Systeme für einzelne Teilnehmer und vereinfachte Multi-User MIMO Systeme. Fortschrittlichere Techniken sind daher erforderlich, die diese Einschränkungen der existierenden Verfahren aufheben. MIMO-Szenarien, die weniger Einschränkungen unterliegen, müssen außerdem untersucht werden, um die Vorteile von FBMC zu weiter herauszuarbeiten. Im Rahmen der mehrdimensionalen harmonischen Schätzung (Harmonic Retrieval) hat sich gezeigt, dass eine höhere Genauigkeit bei der Schätzung durch Tensoren erreicht werden kann. Das liegt daran, dass die Darstellung mehrdimensionaler Signale mit Tensoren eine natürlichere Beschreibung und eine gute Ausnutzung ihrer mehrdimensionalen Struktur erlaubt, z. B. für die Modellordnungsschätzung und die Unterraumschätzung. Wichtige offene Themen umfassen die statistische Robustheit und wie man die Schätzung in zeitlich variierenden Szenarien adaptiv gestalten kann. In Teil I dieser Arbeit präsentieren wir zunächst eine effiziente und flexible Übertragungsstrategie für OFDM-basierten Multi-User MIMO Downlink Systeme. Sie besteht aus einer räumlichen Scheduling-Methode, der effizienten Mehrträger ProSched (Efficient Multi-Carrier ProSched, EMC-ProSched) Erweiterung mit einer effektiven Scheduling-Metrik, die auf Mehrträger-Systeme zugeschnitten wird. Weiterhin werden zwei neuartige Precoding Algorithmen vorgestellt, die lineare Precoding-basierte geometrische Mittelwert-Zerlegung (Linear Precoding-based Geometric Mean Decomposition, LP-GMD) und ein Coordinated Beamforming Algorithmus geringer Komplexität (Low Complexity Coordinated Beamforming, LoCCoBF). Diese beiden neuen Precoding-Verfahren können flexibel entsprechend den Abmessungen des Systems gewählt werden. Wir entwickeln auch einen System Level-Simulator, in dem die Parameter für das Link-to-System Level Interface kalibriert werden können. Diese Kalibrierung ist Standard-spezifisch, z. B. kann der Standard IEEE 802.11ac gewählt werden. Numerische Ergebnisse zeigen, dass diese Übertragungsstrategie Scheduling Fairness garantiert, einen weitaus höheren Durchsatz als die existierenden Verfahren erzielt, eine geringere Komplexität besitzt und nur einen geringen Signalisierungsoverhead erfordert. Der Schwerpunkt des Rests von Teil I bilden MIMO Systeme basierend auf Filter Bank-basierten Mehrträger-Verfahren mit Offset Quadrature Amplitude Modulation (FBMC/OQAM). Es wird ein umfassender Überblick über FBMC gegeben. Nachfolgend werden für verschiedene FBMC/OQAM-basierte MIMO Varianten neue Verfahren zur Sende- und Empfangs-Verarbeitung entwickelt, die unterschiedliche Grade von Frequenz-Selektivität des Kanals voraussetzen. Zunächst wird die Verwendung von weitgehend linearer Verarbeitung (widely linear processing) untersucht. Ein Zwei-Schritt-Empfänger wird für FBMC/OQAM-basierte MIMO Systeme mit einzelnen Teilnehmern entwickelt. Hierbei ist die Frequenz-Selektivität des Kanals niedrig. Verglichen mit linearen MMSE-Empfänger ist die Leistung des Zwei-Schritt-Empfängers viel besser. Das Grundprinzip dieser Zwei-Schritt-Empfänger ist zuerst die Verringerung der intrinsischen Interferenz, um die Ausnutzung von nicht-zirkulären Signalen zu ermöglichen. Es motiviert weitere Studien über weitgehend lineare Verfahren für FBMC/OQAM-basierte Systeme. Darüber hinaus werden zwei Coordinated Beamforming-Algorithmen für FBMC/OQAM-basierte MIMO Systeme mit einzelnen Teilnehmern entwickelt. Sie verzichten auf die Einschränkung der Dimensionalität der bestehenden Methode, bei der die Anzahl der Sendeantennen größer als die Anzahl der Empfangsantennen sein muss. Der Kanal auf jedem Träger wird als flacher Schwund (Flat Fading) modelliert, was einer Klassifizierung als „intermediate frequency selective channel“ entspricht. Unter der Kenntnis der Kanalzustandsinformation am Sender (Channel-State-Information at the Transmitter, CSIT) basiert die Vorcodierung entweder auf einem Zero Forcing (ZF) Kriterium oder auf der Maximierung der Signal-to-Leackage-plus-Noise-Ratio (SLNR). Die Vorcodierungsvektoren und die Empfangsvektoren werden gemeinsam und iterativ berechnet. Daher führen die zwei Coordinated Beamforming-Algorithmen zu einer wirksamen Verringerung der intrinsischen Interferenz in FBMC/OQAM-basierten Systemen. Die Vorteile der Coordinated Beamforming-Konzepte werden in FBMC/OQAM-basierten Multi-User MIMO Downlink Systeme und koordinierte Mehrpunktverbindung (Coordinated Multi-Point, CoMP-Konzepte) eingebracht. Dafür werden drei intrinsische Interferenz mildernde koordinierte Beamforming-Verfahren (Intrinsic Interference Mitigating Coordinated Beamforming, IIM-CBF) vorgeschlagen. Die ersten beiden IIM-CBF Algorithmen werden für die FBMC/OQAM-basierten Multi-User MIMO Downlink Varianten mit unterschiedlichen Dimensionen entwickelt. Es wird gezeigt, dass diese Verfahren zu einer Abschwächung der Multi-User-Interferenz (MUI) sowie einer Verringerung der intrinsischen Interferenz führen. Bei der dritten IIM-CBF Methode wird ein neuartiges FBMC/OQAM-basiertes-CoMP Konzept vorgestellt. Dieses wird durch die gemeinsame Übertragung von benachbarten Zellen zu Teilnehmern, die sich am Zellenrand befinden, ermöglicht, um den Daten-Durchsatz am Zellenrand zu erhöhen. Die Leistungsfähigkeit der vorgeschlagenen Algorithmen wird durch umfangreiche numerische Simulationen evaluiert. Das Konvergenzverhalten wird untersucht sowie das Thema der Komplexität angesprochen. Außerdem wird die geringere Anfälligkeit von FBMC verglichen mit OFDM gegenüber Frequenzsynchronisationsfehlern demonstriert. Darüber hinaus wird auf die FBMC/OQAM-basierten Multi-User MIMO Downlink Systeme mit stark frequenzselektiven Kanälen eingegangen. Dafür werden Lösungen erarbeitet, die für die Unterdrückung der MUI, der Inter-Symbol Interferenz (ISI) sowie der Inter-Carrier Interferenz (ICI) anwendbar ist. Mehrere Kriterien der multi-tap Vorcodierung werden entwickelt, beispielsweise die Mean Squared Error (MSE) Minimierung sowie die Signal-to-Leakage-Ratio (SLR) und die SLNR Maximierung. An Endgeräten, die eine schwächere Rechenleistung besitzen als sie an der Basisstation vorhanden ist, wird dadurch nur ein single-tap Empfangsfilter benötigt. Teil II der Arbeit konzentriert sich auf die mehrdimensionale harmonische Schätzung (Harmonic Retrieval). Der Einbau von statistischer Robustheit in mehrdimensionale Modellordnungsschätzverfahren wird demonstriert.The thriving development of wireless communications calls for innovative and advanced signal processing techniques targeting at an enhanced performance in terms of reliability, throughput, robustness, efficiency, flexibility, etc.. This thesis addresses such a compelling demand and presents new and intriguing progress towards fulfilling it. We mainly concentrate on two advanced multi-dimensional signal processing challenges for wireless systems that have attracted tremendous research attention in recent years, multi-carrier Multiple-Input Multiple-Output (MIMO) systems and multi-dimensional harmonic retrieval. As the key technologies of wireless communications, the numerous benefits of MIMO and multi-carrier modulation, e.g., boosting the data rate and improving the link reliability, have long been identified and have ignited great research interest. In particular, the Orthogonal Frequency Division Multiplexing (OFDM)-based multi-user MIMO downlink with Space-Division Multiple Access (SDMA) combines the twofold advantages of MIMO and multi-carrier modulation. It is the essential element of IEEE 802.11ac and will also be crucial for the fifth generation of wireless communication systems (5G). Although past investigations on scheduling and precoding design for multi-user MIMO downlink systems have been fruitful, new advances are desired that exploit the multi-carrier nature of the system in a more efficient manner or aim at a higher spectral efficiency. On the other hand, a Filter Bank-based Multi-Carrier modulation (FBMC) featuring a well-concentrated spectrum and thus a low out-of-band radiation is regarded as a promising alternative multi-carrier scheme to OFDM for an effective utilization of spectrum fragments, e.g., in 5G or broadband Professional Mobile Radio (PMR) networks. Unfortunately, the existing transmit-receive processing schemes for FBMC-based MIMO systems suffer from limitations in several aspects, e.g., with respect to the number of supported receive antennas (dimensionality constraint) and channel frequency selectivity. The forms of MIMO settings that have been investigated are still limited to single-user MIMO and simplified multi-user MIMO systems. More advanced techniques are therefore demanded to alleviate the constraints imposed on the state-of-the-art. More sophisticated MIMO scenarios are yet to be explored to further corroborate the benefits of FBMC. In the context of multi-dimensional harmonic retrieval, it has been demonstrated that a higher estimation accuracy can be achieved by using tensors to preserve and exploit the multidimensional nature of the data, e.g., for model order estimation and subspace estimation. Crucial pending topics include how to further incorporate statistical robustness and how to handle time-varying scenarios in an adaptive manner. In Part I of this thesis, we first present an efficient and flexible transmission strategy for OFDM-based multi-user MIMO downlink systems. It consists of a spatial scheduling scheme, efficient multi-carrier ProSched (EMC-ProSched), with an effective scheduling metric tailored for multi-carrier systems and two new precoding algorithms, linear precoding-based geometric mean decomposition (LP-GMD) and low complexity coordinated beamforming (LoCCoBF). These two new precoding schemes can be flexibly chosen according to the dimensions of the system. We also develop a system-level simulator where the parameters for the link-to-system level interface can be calibrated according to a certain standardization framework, e.g., IEEE 802.11ac. Numerical results show that the proposed transmission strategy, apart from guaranteeing the scheduling fairness and a small signaling overhead, achieves a much higher throughput than the state-of-the-art and requires a lower complexity. The remainder of Part I is dedicated to Filter Bank-based Multi-Carrier with Offset Quadrature Amplitude Modulation (FBMC/OQAM)-based MIMO systems. We begin with a thorough overview of FBMC. Then we present new transmit-receive processing techniques for FBMC/OQAM-based MIMO settings ranging from the single-user MIMO case to the Coordinated Multi-Point (CoMP) downlink considering various degrees of channel frequency selectivity. The use of widely linear processing is first investigated. A two-step receiver is designed for FBMC/OQAM-based point-to-point MIMO systems with low frequency selective channels. It exhibits a significant performance superiority over the linear MMSE receiver. The rationale in this two-step receiver is that the intrinsic interference is first mitigated to facilitate the exploitation of the non-circularity residing in the signals. It sheds light upon further studies on widely linear processing for FBMC/OQAM-based systems. Moreover, two coordinated beamforming algorithms are devised for FBMC/OQAM-based point-to-point MIMO systems to relieve the dimensionality constraint of existing schemes that the number of transmit antennas must be larger than the number of receive antennas. The channel on each subcarrier is assumed to be flat fading, which is categorized as the class of intermediate frequency selective channels. With the Channel State Information at the Transmitter (CSIT) known, the precoder designed based on a Zero Forcing (ZF) criterion or the maximization of the Signal-to-Leakage-plus-Noise-Ratio (SLNR) is jointly and iteratively computed with the receiver, leading to an effective mitigation of the intrinsic interference inherent in FBMC/OQAM-based systems. The benefits of the coordinated beamforming concept are successfully translated into the FBMC/OQAM-based multi-user MIMO downlink and the CoMP downlink. Three intrinsic interference mitigating coordinated beamforming (IIM-CBF) schemes are developed. The first two IIM-CBF schemes are proposed for FBMC/OQAM-based multi-user MIMO downlink settings with different dimensions and are able to effectively suppress the Multi-User Interference (MUI) as well as the intrinsic interference. A novel FBMC/OQAM-based CoMP concept is established via the third IIM-CBF scheme which enables the joint transmission of adjacent cells to the cell edge users to combat the strong interference as well as the heavy path loss and to boost the cell edge throughput. The performance of the proposed algorithms is evaluated via extensive numerical simulations. Their convergence behavior is studied, and the complexity issue is also addressed. In addition, the stronger resilience of FBMC over OFDM against frequency misalignments is demonstrated. Furthermore, we cover the case of highly frequency selective channels and provide solutions to the very challenging task of suppressing the MUI, the Inter-Symbol Interference (ISI), as well as the Inter-Carrier Interference (ICI) and supporting per-user multi-stream transmissions. Several design criteria of the multi-tap precoders are devised including the Mean Squared Error (MSE) minimization as well as the Signal-to-Leakage-Ratio (SLR) and SLNR maximization. By rendering a larger computational load at the base station, only single-tap spatial receive filters are required at the user terminals with a weaker computational capability, which enhances the applicability of the proposed schemes in real-world multi-user MIMO downlink systems. Part II focuses on the context of multi-dimensional harmonic retrieval. We demonstrate the incorporation of statistical robustness into multi-dimensional model order estimation schemes by substituting the sample covariance matrices of the unfoldings of the measurement tensor with robust covariance estimates. It is observed that in the presence of a very severe contamination of the measurements due to brief sensor failures, the robustified tensor-based model order estimation schemes lead to a satisfactory estimation accuracy. This philosophy of introducing statistical robustness also inspires robust versions of parameter estimation algorithms. Last but not the least, we present a generic framework for Tensor-based subspace tracking via Kronecker-structured projections (TeTraKron) for time-varying multi-dimensional harmonic retrieval problems. It allows to extend arbitrary matrix-based subspace tracking schemes to track the tensor-based subspace estimate in an elegant and efficient manner. By including forward-backward-averaging, we show that TeTraKron can also be employed to devise real-valued tensor-based subspace tracking algorithms. Taking a few matrix-based subspace tracking approaches as an example, a remarkable improvement of the tracking accuracy is observed in case of the TeTraKron-based tensor extensions. The performance of ESPRIT-type parameter estimation schemes is also assessed where the subspace estimates obtained by the proposed TeTraKron-based subspace tracking algorithms are used. We observe that Tensor-ESPRIT combined with a tensor-based subspace tracking scheme significantly outperforms the combination of standard ESPRIT and the corresponding matrix-based subspace tracking method. These results open the way for robust multi-dimensional big data signal processing applications in time-varying environments