Advanced Algebraic Concepts for Efficient Multi-Channel Signal Processing

Unsere moderne Gesellschaft ist Zeuge eines fundamentalen Wandels in der Art und Weise wie wir mit Technologie interagieren. Geräte werden zunehmend intelligenter - sie verfügen über mehr und mehr Rechenleistung und häufiger über eigene Kommunikationsschnittstellen. Das beginnt bei einfachen Haushaltsgeräten und reicht über Transportmittel bis zu großen überregionalen Systemen wie etwa dem Stromnetz. Die Erfassung, die Verarbeitung und der Austausch digitaler Informationen gewinnt daher immer mehr an Bedeutung. Die Tatsache, dass ein wachsender Anteil der Geräte heutzutage mobil und deshalb batteriebetrieben ist, begründet den Anspruch, digitale Signalverarbeitungsalgorithmen besonders effizient zu gestalten. Dies kommt auch dem Wunsch nach einer Echtzeitverarbeitung der großen anfallenden Datenmengen zugute. Die vorliegende Arbeit demonstriert Methoden zum Finden effizienter algebraischer Lösungen für eine Vielzahl von Anwendungen mehrkanaliger digitaler Signalverarbeitung. Solche Ansätze liefern nicht immer unbedingt die bestmögliche Lösung, kommen dieser jedoch häufig recht nahe und sind gleichzeitig bedeutend einfacher zu beschreiben und umzusetzen. Die einfache Beschreibungsform ermöglicht eine tiefgehende Analyse ihrer Leistungsfähigkeit, was für den Entwurf eines robusten und zuverlässigen Systems unabdingbar ist. Die Tatsache, dass sie nur gebräuchliche algebraische Hilfsmittel benötigen, erlaubt ihre direkte und zügige Umsetzung und den Test unter realen Bedingungen. Diese Grundidee wird anhand von drei verschiedenen Anwendungsgebieten demonstriert. Zunächst wird ein semi-algebraisches Framework zur Berechnung der kanonisch polyadischen (CP) Zerlegung mehrdimensionaler Signale vorgestellt. Dabei handelt es sich um ein sehr grundlegendes Werkzeug der multilinearen Algebra mit einem breiten Anwendungsspektrum von Mobilkommunikation über Chemie bis zur Bildverarbeitung. Verglichen mit existierenden iterativen Lösungsverfahren bietet das neue Framework die Möglichkeit, den Rechenaufwand und damit die Güte der erzielten Lösung zu steuern. Es ist außerdem weniger anfällig gegen eine schlechte Konditionierung der Ausgangsdaten. Das zweite Gebiet, das in der Arbeit besprochen wird, ist die unterraumbasierte hochauflösende Parameterschätzung für mehrdimensionale Signale, mit Anwendungsgebieten im RADAR, der Modellierung von Wellenausbreitung, oder bildgebenden Verfahren in der Medizin. Es wird gezeigt, dass sich derartige mehrdimensionale Signale mit Tensoren darstellen lassen. Dies erlaubt eine natürlichere Beschreibung und eine bessere Ausnutzung ihrer Struktur als das mit Matrizen möglich ist. Basierend auf dieser Idee entwickeln wir eine tensor-basierte Schätzung des Signalraums, welche genutzt werden kann um beliebige existierende Matrix-basierte Verfahren zu verbessern. Dies wird im Anschluss exemplarisch am Beispiel der ESPRIT-artigen Verfahren gezeigt, für die verbesserte Versionen vorgeschlagen werden, die die mehrdimensionale Struktur der Daten (Tensor-ESPRIT), nichzirkuläre Quellsymbole (NC ESPRIT), sowie beides gleichzeitig (NC Tensor-ESPRIT) ausnutzen. Um die endgültige Schätzgenauigkeit objektiv einschätzen zu können wird dann ein Framework für die analytische Beschreibung der Leistungsfähigkeit beliebiger ESPRIT-artiger Algorithmen diskutiert. Verglichen mit existierenden analytischen Ausdrücken ist unser Ansatz allgemeiner, da keine Annahmen über die statistische Verteilung von Nutzsignal und Rauschen benötigt werden und die Anzahl der zur Verfügung stehenden Schnappschüsse beliebig klein sein kann. Dies führt auf vereinfachte Ausdrücke für den mittleren quadratischen Schätzfehler, die Schlussfolgerungen über die Effizienz der Verfahren unter verschiedenen Bedingungen zulassen. Das dritte Anwendungsgebiet ist der bidirektionale Datenaustausch mit Hilfe von Relay-Stationen. Insbesondere liegt hier der Fokus auf Zwei-Wege-Relaying mit Hilfe von Amplify-and-Forward-Relays mit mehreren Antennen, da dieser Ansatz ein besonders gutes Kosten-Nutzen-Verhältnis verspricht. Es wird gezeigt, dass sich die nötige Kanalkenntnis mit einem einfachen algebraischen Tensor-basierten Schätzverfahren gewinnen lässt. Außerdem werden Verfahren zum Finden einer günstigen Relay-Verstärkungs-Strategie diskutiert. Bestehende Ansätze basieren entweder auf komplexen numerischen Optimierungsverfahren oder auf Ad-Hoc-Ansätzen die keine zufriedenstellende Bitfehlerrate oder Summenrate liefern. Deshalb schlagen wir algebraische Ansätze zum Finden der Relayverstärkungsmatrix vor, die von relevanten Systemmetriken inspiriert sind und doch einfach zu berechnen sind. Wir zeigen das algebraische ANOMAX-Verfahren zum Erreichen einer niedrigen Bitfehlerrate und seine Modifikation RR-ANOMAX zum Erreichen einer hohen Summenrate. Für den Spezialfall, in dem die Endgeräte nur eine Antenne verwenden, leiten wir eine semi-algebraische Lösung zum Finden der Summenraten-optimalen Strategie (RAGES) her. Anhand von numerischen Simulationen wird die Leistungsfähigkeit dieser Verfahren bezüglich Bitfehlerrate und erreichbarer Datenrate bewertet und ihre Effektivität gezeigt.Modern society is undergoing a fundamental change in the way we interact with technology. More and more devices are becoming "smart" by gaining advanced computation capabilities and communication interfaces, from household appliances over transportation systems to large-scale networks like the power grid. Recording, processing, and exchanging digital information is thus becoming increasingly important. As a growing share of devices is nowadays mobile and hence battery-powered, a particular interest in efficient digital signal processing techniques emerges. This thesis contributes to this goal by demonstrating methods for finding efficient algebraic solutions to various applications of multi-channel digital signal processing. These may not always result in the best possible system performance. However, they often come close while being significantly simpler to describe and to implement. The simpler description facilitates a thorough analysis of their performance which is crucial to design robust and reliable systems. The fact that they rely on standard algebraic methods only allows their rapid implementation and test under real-world conditions. We demonstrate this concept in three different application areas. First, we present a semi-algebraic framework to compute the Canonical Polyadic (CP) decompositions of multidimensional signals, a very fundamental tool in multilinear algebra with applications ranging from chemistry over communications to image compression. Compared to state-of-the art iterative solutions, our framework offers a flexible control of the complexity-accuracy trade-off and is less sensitive to badly conditioned data. The second application area is multidimensional subspace-based high-resolution parameter estimation with applications in RADAR, wave propagation modeling, or biomedical imaging. We demonstrate that multidimensional signals can be represented by tensors, providing a convenient description and allowing to exploit the multidimensional structure in a better way than using matrices only. Based on this idea, we introduce the tensor-based subspace estimate which can be applied to enhance existing matrix-based parameter estimation schemes significantly. We demonstrate the enhancements by choosing the family of ESPRIT-type algorithms as an example and introducing enhanced versions that exploit the multidimensional structure (Tensor-ESPRIT), non-circular source amplitudes (NC ESPRIT), and both jointly (NC Tensor-ESPRIT). To objectively judge the resulting estimation accuracy, we derive a framework for the analytical performance assessment of arbitrary ESPRIT-type algorithms by virtue of an asymptotical first order perturbation expansion. Our results are more general than existing analytical results since we do not need any assumptions about the distribution of the desired signal and the noise and we do not require the number of samples to be large. At the end, we obtain simplified expressions for the mean square estimation error that provide insights into efficiency of the methods under various conditions. The third application area is bidirectional relay-assisted communications. Due to its particularly low complexity and its efficient use of the radio resources we choose two-way relaying with a MIMO amplify and forward relay. We demonstrate that the required channel knowledge can be obtained by a simple algebraic tensor-based channel estimation scheme. We also discuss the design of the relay amplification matrix in such a setting. Existing approaches are either based on complicated numerical optimization procedures or on ad-hoc solutions that to not perform well in terms of the bit error rate or the sum-rate. Therefore, we propose algebraic solutions that are inspired by these performance metrics and therefore perform well while being easy to compute. For the MIMO case, we introduce the algebraic norm maximizing (ANOMAX) scheme, which achieves a very low bit error rate, and its extension Rank-Restored ANOMAX (RR-ANOMAX) that achieves a sum-rate close to an upper bound. Moreover, for the special case of single antenna terminals we derive the semi-algebraic RAGES scheme which finds the sum-rate optimal relay amplification matrix based on generalized eigenvectors. Numerical simulations evaluate the resulting system performance in terms of bit error rate and system sum rate which demonstrates the effectiveness of the proposed algebraic solutions

Advanced signal processing concepts for multi-dimensional communication systems

Die weit verbreitete Nutzung von mobilem Internet und intelligenten Anwendungen hat zu einem explosionsartigen Anstieg des mobilen Datenverkehrs geführt. Mit dem Aufstieg von intelligenten Häusern, intelligenten Gebäuden und intelligenten Städten wächst diese Nachfrage ständig, da zukünftige Kommunikationssysteme die Integration mehrerer Netzwerke erfordern, die verschiedene Sektoren, Domänen und Anwendungen bedienen, wie Multimedia, virtuelle oder erweiterte Realität, Machine-to-Machine (M2M) -Kommunikation / Internet of Things (IoT), Automobilanwendungen und vieles mehr. Daher werden die Kommunikationssysteme zukünftig nicht nur eine drahtlose Verbindung über Gbps bereitstellen müssen, sondern auch andere Anforderungen erfüllen müssen, wie z. B. eine niedrige Latenzzeit und eine massive Maschinentyp-Konnektivität, während die Dienstqualität sichergestellt wird. Ohne bedeutende technologische Fortschritte zur Erhöhung der Systemkapazität wird die bestehende Telekommunikationsinfrastruktur diese mehrdimensionalen Anforderungen nicht unterstützen können. Dies stellt eine wichtige Forderung nach geeigneten Wellenformen und Signalverarbeitungslösungen mit verbesserten spektralen Eigenschaften und erhöhter Flexibilität dar. Aus der Spektrumsperspektive werden zukünftige drahtlose Netzwerke erforderlich sein, um mehrere Funkbänder auszunutzen, wie zum Beispiel niedrigere Frequenzbänder (typischerweise mit Frequenzen unter 10 GHz), mm-Wellenbänder (einige hundert GHz höchstens) und THz-Bänder. Viele alternative Technologien wie Optical Wireless Communication (OWC), dynamische Funksysteme und zellulares Radar sollten ebenfalls untersucht werden, um ihr wahres Potenzial abzuschätzen. Insbesondere bietet OWC ein großes, aber noch nicht genutztes optisches Band im sichtbaren Spektrum, das Licht als Mittel zur Informationsübertragung nutzt. Daher können zukünftige Kommunikationssysteme als zusammengesetzte Hybridnetzwerke angesehen werden, die aus einer Anzahl von verschiedenen drahtlosen Netzwerken bestehen, die auf Funk und optischem Zugang basieren. Auf der anderen Seite ist es eine große Herausforderung, fortschrittliche Signalverarbeitungslösungen für mehrere Bereiche von Kommunikationssystemen zu entwickeln. Diese Arbeit trägt zu diesem Ziel bei, indem sie Methoden für die Suche nach effizienten algebraischen Lösungen für verschiedene Anwendungen der digitalen Mehrkanal-Signalverarbeitung demonstriert. Insbesondere tragen wir zu drei verschiedenen Anwendungsgebieten bei, d.h. Wellenformen, optischen drahtlosen Systemen und mehrdimensionaler Signalverarbeitung. Gegenwärtig ist das Cyclic Prefix Orthogonal Frequency Division Multiplexing (CP-OFDM) die weit verbreitete Multitragetechnik für die meisten Kommunikationssysteme. Um jedoch die CP-OFDM-Nachteile in Bezug auf eine schlechte spektrale Eingrenzung, Robustheit in hoch asynchronen Umgebungen und Unflexibilität der Parameterwahl zu überwinden, wurden viele alternative Wellenformen vorgeschlagen. Solche Mehrfachträgerwellenformen umfassen einen Filter bank Multicarrier (FBMC), ein Generalized Frequency Division Multiplexing (GFDM), einen Universal Filter Multicarrier (UFMC) und ein Unique Word Orthogonal Orthogonal Frequency Division Multiplexing (UW-OFDM). Diese neuen Luftschnittstellenschemata verwenden verschiedene Ansätze, um einige der inhärenten Mängel bei CP-OFDM zu überwinden. Einige dieser Wellenformen wurden gut untersucht, während andere sich noch in den Kinderschuhen befinden. Insbesondere die Integration von Multiple-Input-Multiple-Output (MIMO) -Konzepten mit UW-OFDM und UFMC befindet sich noch in einem frühen Forschungsstadium. Daher schlagen wir im ersten Teil dieser Arbeit neuartige lineare und sukzessive Interferenzunterdrückungstechniken für MIMO UW-OFDM-Systeme vor. Das Design dieser Techniken zielt darauf ab, Empfänger mit einer geringen Rechenkomplexität zu erhalten. Ein weiterer Schwerpunkt ist die Anwendbarkeit von Space-Time Block Codes (STBCs) auf UW-OFDM und UFMC-Wellenformen. Zu diesem Zweck stellen wir neue Techniken zusammen mit Detektionsverfahren vor. Wir vergleichen auch die Leistung dieser Wellenformen mit unseren vorgeschlagenen Techniken mit den anderen Wellenformen des Standes der Technik, die in der Literatur vorgeschlagen wurden. Wir zeigen, dass raumzeitblockierte UW-OFDM-Systeme mit den vorgeschlagenen Methoden nicht nur andere Wellenformen signifikant übertreffen, sondern auch zu Empfängern mit geringer Rechnerkomplexität führen. Der zweite Anwendungsbereich umfasst optische Systeme im sichtbaren Band (390-700 nm), die in Plastic Optical Fibers (POFs), Multimode-Fasern oder OWC-Systemen wie der Kommunikation über Visible Light Communication (VLC) verwendet werden können. VLC kann Lösungen für eine Reihe von Anwendungen anbieten, einschließlich drahtloser lokaler, persönlicher und Körperbereichsnetzwerke (WLAN, WPAN und WBANs), Innenlokalisierung und -navigation, Fahrzeugnetze, U-Bahn- und Unterwassernetze und bietet eine Reihe von Datenraten von wenigen Mbps zu 10 Gbps. VLC nutzt voll sichtbare Light Emitting Diodes (LEDs) für den doppelten Zweck der Beleuchtung und Datenkommunikation bei sehr hohen Geschwindigkeiten. Daher verwenden solche Systeme Intensitätsmodulation und Direct Detection (IM / DD), wodurch gefordert wird, dass das Sendesignal reellwertig und positiv sein sollte. Dies impliziert auch, dass die herkömmlichen Wellenformen, die für die Radio Frequency (RF) Kommunikation ausgelegt sind, nicht direkt verwendet werden können. Zum Beispiel muss eine hermetische Symmetrie auf das CP-OFDM angewendet werden, um ein reellwertiges Signal zu erhalten (oft als Discrete Multitone Transmission (DMT) bezeichnet), das im Gegenzug die Bandbreiteneffizienz verringert. Darüber hinaus begrenzt die LED / LED-Treiberkombination die elektrische Bandbreite. Alle diese Faktoren erfordern die Verwendung spektral effizienter Übertragungsverfahren zusammen mit robusten Entzerrungsschemata, um hohe Datenraten zu erzielen. Deshalb schlagen wir im zweiten Teil der Arbeit Übertragungsverfahren vor, die für solche optischen Systeme am besten geeignet sind. Insbesondere demonstrieren wir die Leistung der PAM-Blockübertragung mit Frequenzbereichsausgleich. Wir zeigen, dass dieses Schema nicht nur leistungsstärker ist, sondern auch alle modernen Verfahren wie CP-DMT-Schemata übertrifft. Wir schlagen auch neue UW-DMT-Schemata vor, die vom UW-OFDM-Konzept abgeleitet sind. Diese Schemata zeigen auch ein sehr überlegenes Bitfehlerverhältnis (BER) -Performance gegenüber den herkömmlichen CP-DMT-Schemata. Der dritte Anwendungsbereich konzentriert sich auf mehrdimensionale Signalverarbeitungstechniken. Bei der Verwendung von MIMO, STBCs, Mehrbenutzerverarbeitung und Mehrträgerwellenformen bei der drahtlosen Kommunikation ist das empfangene Signal mehrdimensional und kann eine multilineare Struktur aufweisen. In diesem Zusammenhang können Signalverarbeitungstechniken, die auf einem Tensor-Modell basieren, gleichzeitig von mehreren Formen von Diversität profitieren, um Mehrbenutzer-Signaltrennung / -entzerrung und Kanalschätzung durchzuführen. Dieser Vorteil ist eine direkte Konsequenz der Eigenschaft der wesentlichen Eindeutigkeit, die für matrixbasierte Ansätze nicht verfügbar ist. Tensor-Zerlegung wie die Higher Order Singular Value Decomposition (HOSVD) und die Canonical Polyadic Decomposition (CPD) werden weithin zur Durchführung dieser Aufgaben empfohlen. Die Leistung dieser Techniken wird oft mit zeitraubenden Monte-Carlo-Versuchen bewertet. Im letzten Teil der Arbeit führen wir eine Störungsanalyse erster Ordnung dieser Tensor-Zerlegungsmethoden durch. Insbesondere führen wir eine analytische Performanceanalyse des Semi-algebraischen Frameworks für approximative Canonical polyadic decompositions Simultaneous matrix diagonalizations (SECSI) durch. Das SECSI-Framework ist ein effizientes Werkzeug zur Berechnung der CPD eines rauscharmen Tensor mit niedrigem Rang. Darüber hinaus werden die erhaltenen analytischen Ausdrücke in Bezug auf die Momente zweiter Ordnung des Rauschens formuliert, so dass abgesehen von einem Mittelwert von Null keine Annahmen über die Rauschstatistik erforderlich sind. Wir zeigen, dass die abgeleiteten analytischen Ergebnisse eine ausgezeichnete Übereinstimmung mit den Monte-Carlo-Simulationen zeigen.The widespread use of mobile internet and smart applications has led to an explosive growth in mobile data traffic. With the rise of smart homes, smart buildings, and smart cities, this demand is ever growing since future communication systems will require the integration of multiple networks serving diverse sectors, domains and applications, such as multimedia, virtual or augmented reality, machine-to-machine (M2M) communication / the Internet of things (IoT), automotive applications, and many more. Therefore, in the future, the communication systems will not only be required to provide Gbps wireless connectivity but also fulfil other requirements such as low latency and massive machine type connectivity while ensuring the quality of service. Without significant technological advances to increase the system capacity, the existing telecommunications infrastructure will be unable to support these multi-dimensional requirements. This poses an important demand for suitable waveforms with improved spectral characteristics and signal processing solutions with an increased flexibility. Moreover, future wireless networks will be required to exploit several frequency bands, such as lower frequency bands (typically with frequencies below 10 GHz), mm-wave bands (few hundred GHz at the most), and THz bands. Many alternative technologies such as optical wireless communication (OWC), dynamic radio systems, and cellular radar should also be investigated to assess their true potential. Especially, OWC offers large but yet unexploited optical band in the visible spectrum that uses light as a means to carry information. Therefore, future communication systems can be seen as composite hybrid networks that consist of a number of different wireless networks based on radio and optical access. On the other hand, it poses a significant challenge to come up with advanced signal processing solutions in multiple areas of communication systems. This thesis contributes to this goal by demonstrating methods for finding efficient algebraic solutions to various applications of multi-channel digital signal processing. In particular, we contribute to three different scientific fields, i.e., waveforms, optical wireless systems, and multi-dimensional signal processing. Currently, cyclic prefix orthogonal frequency division multiplexing (CP-OFDM) is the widely adopted multicarrier technique for most of the communication systems. However, to overcome the CP-OFDM demerits in terms of poor spectral containment, poor robustness in highly asynchronous environments, and inflexibility of parameter choice, and many alternative waveforms have been proposed. Such multicarrier waveforms include filter bank multicarrier (FBMC), generalized frequency division multiplexing (GFDM), universal filter multicarrier (UFMC), and unique word orthogonal frequency division multiplexing (UW-OFDM). These new air interface schemes take different approaches to overcome some of the inherent deficiencies in CP-OFDM. Some of these waveforms have been well investigated while others are still in its infancy. Specifically, the integration of multiple-input multiple-output (MIMO) concepts with UW-OFDM and UFMC is still at an early stage of research. Therefore, in the first part of this thesis, we propose novel linear and successive interference cancellation techniques for MIMO UW-OFDM systems. The design of these techniques is aimed to result in receivers with a low computational complexity. Another focus area is the applicability of space-time block codes (STBCs) to UW-OFDM and UFMC waveforms. For this purpose, we present novel techniques along with detection procedures. We also compare the performance of these waveforms with our proposed techniques to the other state-of-the-art waveforms that has been proposed in the literature. We demonstrate that space-time block coded UW-OFDM systems with the proposed methods not only outperform other waveforms significantly but also results in receivers with a low computational complexity. The second application area comprises of optical systems in the visible band (390-700 nm) that can be utilized in plastic optical fibers (POFs), multimode fibers or OWC systems such as visible light communication (VLC). VLC can provide solutions for a number of applications including wireless local, personal, and body area networks (WLAN, WPAN, and WBANs), indoor localization and navigation, vehicular networks, underground and underwater networks, offering a range of data rates from a few Mbps to 10 Gbps. VLC takes full advantage of visible light emitting diodes (LEDs) for the dual purpose of illumination and data communications at very high speeds. Because of the incoherent nature of the LED sources, such systems employ intensity modulation and direct detection (IM/DD), thus demanding that the transmit signal should be real-valued and positive. This also implies that the conventional waveforms designed for the radio frequency (RF) communication cannot be directly used. For example, a Hermitian symmetry has to be applied to the CP-OFDM spectrum to obtain a real-valued signal (often referred to as discrete multitone transmission (DMT)) that in return reduces the bandwidth efficiency. Moreover, the LED/LED driver combination limits the electrical bandwidth. All these factors require the use of spectrally efficient transmission schemes along with robust equalization schemes to achieve high data rates. Therefore, in the second part of the thesis, we propose transmission schemes that are best suited for such optical systems. Specifically, we demonstrate the performance of PAM block transmission with frequency domain equalization. We show that this scheme is not only more power efficient but also outperforms all of the state-of-the-art schemes such as CP-DMT schemes. We also propose novel UW-DMT schemes that are derived from the UW-OFDM concept. These schemes also show a much superior bit error ratio (BER) performance over the conventional CP-DMT schemes. The third application area focuses on multi-dimensional signal processing techniques. With the use of MIMO, STBCs, multi-user processing, and multicarrier waveforms in wireless communications, the received signal is multidimensional in nature and may exhibit a multilinear structure. In this context, signal processing techniques based on a tensor model can simultaneously benefit from multiple forms of diversity to perform multi-user signal separation/equalization and channel estimation. This advantage is a direct consequence of the essential uniqueness property that is not available for matrix based approaches. Tensor decompositions such as the higher order singular value decomposition (HOSVD) and the canonical polyadic decomposition (CPD) are widely recommended for performing these tasks. The performance of these techniques is often evaluated using time consuming Monte-Carlo trials. In the last part of the thesis, we perform a first-order perturbation analysis of the truncated HOSVD and the Semi-algebraic framework for approximate Canonical polyadic decompositions via Simultaneous matrix diagonalizations (SECSI). The SECSI framework is an efficient tool for the computation of the approximate CPD of a low-rank noise corrupted tensor. Especially, the SECSI framework shows a much improved performance and comparatively low-complexity as compared to the conventional algorithms such as alternative least squares (ALS). Moreover, it also facilitates the implementation on a parallel hardware architecture. The obtained analytical expressions for both algorithms are formulated in terms of the second-order moments of the noise, such that apart from a zero-mean, no assumptions on the noise statistics are required. We demonstrate that the derived analytical results exhibit an excellent match to the Monte-Carlo simulations

Randomness as a computational strategy : on matrix and tensor decompositions

Matrix and tensor decompositions are fundamental tools for finding structure and data processing. In particular, the efficient computation of low-rank matrix approximations is an ubiquitous problem in the area of machine learning and elsewhere. However, massive data arrays pose a computational challenge for these techniques, placing significant constraints on both memory and processing power. Recently, the fascinating and powerful concept of randomness has been introduced as a strategy to ease the computational load of deterministic matrix and data algorithms. The basic idea of these algorithms is to employ a degree of randomness as part of the logic in order to derive from a high-dimensional input matrix a smaller matrix, which captures the essential information of the original data matrix. Subsequently, the smaller matrix is then used to efficiently compute a near-optimal low-rank approximation. Randomized algorithms have been shown to be robust, highly reliable, and computationally efficient, yet simple to implement. In particular, the development of the randomized singular value decomposition can be seen as a milestone in the era of ‘big data’. Building up on the great success of this probabilistic strategy to compute low-rank matrix decompositions, this thesis introduces a set of new randomized algorithms. Specifically, we present a randomized algorithm to compute the dynamic mode decomposition, which is a modern dimension reduction technique designed to extract dynamic information from dynamical systems. Then, we advocate the randomized dynamic mode decomposition for background modeling of surveillance video feeds. Further, we show that randomized algorithms are embarrassingly parallel by design and that graphics processing units (GPUs) can be utilized to substantially accelerate the computations. Finally, the concept of randomized algorithms is generalized for tensors in order to compute the canonical CANDECOMP/PARAFAC (CP) decomposition