Distributed-Memory Breadth-First Search on Massive Graphs

This chapter studies the problem of traversing large graphs using the breadth-first search order on distributed-memory supercomputers. We consider both the traditional level-synchronous top-down algorithm as well as the recently discovered direction optimizing algorithm. We analyze the performance and scalability trade-offs in using different local data structures such as CSR and DCSC, enabling in-node multithreading, and graph decompositions such as 1D and 2D decomposition.Comment: arXiv admin note: text overlap with arXiv:1104.451

A Framework for Developing Real-Time OLAP algorithm using Multi-core processing and GPU: Heterogeneous Computing

The overwhelmingly increasing amount of stored data has spurred researchers seeking different methods in order to optimally take advantage of it which mostly have faced a response time problem as a result of this enormous size of data. Most of solutions have suggested materialization as a favourite solution. However, such a solution cannot attain Real- Time answers anyhow. In this paper we propose a framework illustrating the barriers and suggested solutions in the way of achieving Real-Time OLAP answers that are significantly used in decision support systems and data warehouses

An Efficient Multiway Mergesort for GPU Architectures

Sorting is a primitive operation that is a building block for countless algorithms. As such, it is important to design sorting algorithms that approach peak performance on a range of hardware architectures. Graphics Processing Units (GPUs) are particularly attractive architectures as they provides massive parallelism and computing power. However, the intricacies of their compute and memory hierarchies make designing GPU-efficient algorithms challenging. In this work we present GPU Multiway Mergesort (MMS), a new GPU-efficient multiway mergesort algorithm. MMS employs a new partitioning technique that exposes the parallelism needed by modern GPU architectures. To the best of our knowledge, MMS is the first sorting algorithm for the GPU that is asymptotically optimal in terms of global memory accesses and that is completely free of shared memory bank conflicts. We realize an initial implementation of MMS, evaluate its performance on three modern GPU architectures, and compare it to competitive implementations available in state-of-the-art GPU libraries. Despite these implementations being highly optimized, MMS compares favorably, achieving performance improvements for most random inputs. Furthermore, unlike MMS, state-of-the-art algorithms are susceptible to bank conflicts. We find that for certain inputs that cause these algorithms to incur large numbers of bank conflicts, MMS can achieve up to a 37.6% speedup over its fastest competitor. Overall, even though its current implementation is not fully optimized, due to its efficient use of the memory hierarchy, MMS outperforms the fastest comparison-based sorting implementations available to date

A survey of outlier detection methodologies

Outlier detection has been used for centuries to detect and, where appropriate, remove anomalous observations from data. Outliers arise due to mechanical faults, changes in system behaviour, fraudulent behaviour, human error, instrument error or simply through natural deviations in populations. Their detection can identify system faults and fraud before they escalate with potentially catastrophic consequences. It can identify errors and remove their contaminating effect on the data set and as such to purify the data for processing. The original outlier detection methods were arbitrary but now, principled and systematic techniques are used, drawn from the full gamut of Computer Science and Statistics. In this paper, we introduce a survey of contemporary techniques for outlier detection. We identify their respective motivations and distinguish their advantages and disadvantages in a comparative review

Multicast routing from a set of data centers in elastic optical networks

This paper introduces the Multi-Server Multicast (MSM) approach for Content Delivery Networks (CDNs) delivering services offered by a set of Data Centers (DCs). All DCs offer the same services. The network is an Elastic Optical Network (EON) and for a good performance, routing is performed directly at the optical layer. Optical switches have heterogeneous capacities, that is, light splitting is not available in all switches. Moreover, frequency slot conversion is not possible in any of them. We account for the degradation that optical signals suffer both in the splitting nodes, as well as across fiber links to compute their transmission reach. The optimal solution of the MSM is a set of light-hierarchies. This multicast route contains a light trail from one of the DCs to each of the destinations with respect to the optical constraints while optimizing an objective (e.g., minimizing a function). Finding such a structure is often an NP-hard problem. The light-hierarchies initiated from different DCs permit delivering the multicast session to all end-users with a better utilization of the optical resources, while also reducing multicast session latencies, as contents can be delivered from such DCs closer to end-users. We propose an Integer Linear Programming (ILP) formulation to optimally decide on which light-hierarchies should be setup. Simulation results illustrate the benefits of MSM in two reference backbone networks.Peer ReviewedPostprint (author's final draft

Enhancing OpenStreetMap for the Assessment of Critical Road Infrastructure in a Disaster Context

Die Häufigkeit von Naturkatastrophen nimmt weltweit zu, was zu immensen Schäden an kritischer Straßeninfrastruktur und deren Funktionalität führen kann. Daher ist es von entscheidender Bedeutung, die Funktionalität kritischer Straßeninfrastruktur vor, während und nach einer Katastrophe zu beurteilen. Dazu werden globale Straßendaten benötigt, die für die Routenplanung nutzbar sind. OpenStreetMap (OSM) stellt globale Straßennetzdaten zur Verfügung, die kostenlos und frei zugänglich sind. Allerdings ist die Verwendung der OSM Straßendaten für Routenplanungsanwendungen oft eine Herausforderung. Das übergeordnete Ziel dieser Arbeit ist die Entwicklung eines generischen, mehrskaligen Konzepts zur Analyse kritischer Straßeninfrastrukturen im Kontext von Naturgefahren unter Verwendung von OSM Daten. Dafür werden zwei aufeinander folgende Forschungsziele aufgestellt: (i) die Verbesserung der Routingfähigkeit von OSM Daten und (ii) die Bewertung kritischer Straßeninfrastruktur im Kontext von Naturgefahren. Daraus resultiert die Gliederung dieser Arbeit in zwei Hauptteile, die jeweils den Forschungszielen entsprechen. Im ersten Teil dieser Arbeit wird die Nutzbarkeit von OSM Daten für Routing Anwendungen verbessert. Zunächst wird dafür die Qualität des OSM Straßennetzwerks im Detail analysiert. Dabei werden zwei große Herausforderungen im Bereich der Anwendbarkeit von OSM Daten für die Routenplanung identifiziert: fehlende Geschwindigkeitsangaben und Fehler in der Straßenklassifizierung. Um die erste Herausforderung zu bewältigen, wird ein FuzzyFramework zur Geschwindigkeitsschätzung (Fuzzy-FSE) entwickelt, welches eine Fuzzy Regelung zur Schätzung der Durchschnittsgeschwindigkeit einsetzt. Diese Fuzzy Regelung basiert auf den Parametern Straßenklasse, Straßenneigung, Straßenoberfläche und Straßenlänge einsetzt. Das Fuzzy-FSE besteht aus zwei Teilen: einer Regel- und Wissensbasis, die über die Zugehörigkeitsfunktionen für den Ausgangsparameter Geschwindigkeit entscheidet, und mehrere Fuzzy-Regelsysteme, welche die resultierende Durchschnittsgeschwindigkeit berechnen. Die Ergebnisse zeigen, dass das Fuzzy-FSE auch bei ausschließlicher Verwendung von OSM Daten eine bessere Leistung erbringt als bestehende Methoden. Die Herausforderung der fehlerhaften Straßenklassifizierung wird durch die Entwicklung eines neuartigen Ansatzes zur Erkennung von Klassifizierungfehlern in OSM angegangen. Dabei wird sowohl nach nicht verbundenen Netzwerkteilen als auch nach Lücken im Straßennetzwerk gesucht. Verschiedene Parameter werden in einem Bewertungssystem kombiniert, um eine Fehlerwahrscheinlichkeit zu erhalten. Auf Basis der Fehlerwahrscheinlichkeit kann ein menschlicher Nutzer diese Fehler überprüfen und korrigieren. Die Ergebnisse deuten einerseits darauf hin, dass an Lücken mehr Klassifizierungsfehler gefunden werden als an nicht verbundenen Netzwerkteilen. Andererseits zeigen sie, dass das entwickelte Bewertungssystem bei einer benutzergesteuerten Suche nach Lücken zu einem schnellen Aufdecken von Klassifizierungsfehlern verwendet werden kann. Aus dem ersten Teil dieser Arbeit ergibt sich somit ein erweiterter OSM Datensatz mit verbesserter Routingfähigkeit. Im zweiten Teil dieser Arbeit werden die erweiterten OSM Daten zur Bewertung der kritischen Straßeninfrastruktur im Katastrophenkontext verwendet. Dazu wird der zweite Teil des generischen, mehrskaligen Konzepts entwickelt, das aus mehreren, miteinander verbundenen Modulen besteht. Ein Modul implementiert zwei Erreichbarkeitsindizes, welche verschiedene Aspekte der Erreichbarkeit im Straßennetzwerk hervorheben. In einem weiteren Modul wird ein grundlegendes Modell der Verkehrsnachfrage entwickelt, welches den täglichen interstädtischen Verkehr ausschließlich auf der Grundlage von OSM Daten schätzt. Ein drittes Modul verwendet die oben beschriebenen Module zur Schätzung verschiedener Arten von Auswirkungen von Naturkatastrophen auf das Straßennetzwerk. Schließlich wird in einem vierten Modul die Vulnerabilität des Straßennetzes gegenüber weiteren Schäden bei Langzeitkatastrophen analysiert. Das generische Konzept mit allen Modulen wird exemplarisch in zwei verschiedenen Regionen für zwei Waldbrandszenarien angewendet. Die Ergebnisse der Fallstudien zeigen, dass das Konzept ein wertvolles, flexibles und global anwendbares Instrument für Regionalplaner und Katastrophenmanagement darstellt, das länder- bzw. regionenspezifische Anpassungen ermöglicht und gleichzeitig wenig Daten benötigt