Systems for characterizing Internet routing

2018 Spring.Includes bibliographical references.Today the Internet plays a critical role in our lives; we rely on it for communication, business, and more recently, smart home operations. Users expect high performance and availability of the Internet. To meet such high demands, all Internet components including routing must operate at peak efficiency. However, events that hamper the routing system over the Internet are very common, causing millions of dollars of financial loss, traffic exposed to attacks, or even loss of national connectivity. Moreover, there is sparse real-time detection and reporting of such events for the public. A key challenge in addressing such issues is lack of methodology to study, evaluate and characterize Internet connectivity. While many networks operating autonomously have made the Internet robust, the complexity in understanding how users interconnect, interact and retrieve content has also increased. Characterizing how data is routed, measuring dependency on external networks, and fast outage detection has become very necessary using public measurement infrastructures and data sources. From a regulatory standpoint, there is an immediate need for systems to detect and report routing events where a content provider's routing policies may run afoul of state policies. In this dissertation, we design, build and evaluate systems that leverage existing infrastructure and report routing events in near-real time. In particular, we focus on geographic routing anomalies i.e., detours, routing failure i.e., outages, and measuring structural changes in routing policies

Passport: Enabling Accurate Country-Level Router Geolocation using Inaccurate Sources

When does Internet traffic cross international borders? This question has major geopolitical, legal and social implications and is surprisingly difficult to answer. A critical stumbling block is a dearth of tools that accurately map routers traversed by Internet traffic to the countries in which they are located. This paper presents Passport: a new approach for efficient, accurate country-level router geolocation and a system that implements it. Passport provides location predictions with limited active measurements, using machine learning to combine information from IP geolocation databases, router hostnames, whois records, and ping measurements. We show that Passport substantially outperforms existing techniques, and identify cases where paths traverse countries with implications for security, privacy, and performance

Passport: enabling accurate country-level router geolocation using inaccurate sources

When does Internet traffic cross international borders? This question has major geopolitical, legal and social implications and is surprisingly difficult to answer. A critical stumbling block is a dearth of tools that accurately map routers traversed by Internet traffic to the countries in which they are located. This paper presents Passport: a new approach for efficient, accurate country-level router geolocation and a system that implements it. Passport provides location predictions with limited active measurements, using machine learning to combine information from IP geolocation databases, router hostnames, whois records, and ping measurements. We show that Passport substantially outperforms existing techniques, and identify cases where paths traverse countries with implications for security, privacy, and performance.First author draf

Measuring And Improving Internet Video Quality Of Experience

Streaming multimedia content over the IP-network is poised to be the dominant Internet traffic for the coming decade, predicted to account for more than 91% of all consumer traffic in the coming years. Streaming multimedia content ranges from Internet television (IPTV), video on demand (VoD), peer-to-peer streaming, and 3D television over IP to name a few. Widespread acceptance, growth, and subscriber retention are contingent upon network providers assuring superior Quality of Experience (QoE) on top of todays Internet. This work presents the first empirical understanding of Internet’s video-QoE capabilities, and tools and protocols to efficiently infer and improve them. To infer video-QoE at arbitrary nodes in the Internet, we design and implement MintMOS: a lightweight, real-time, noreference framework for capturing perceptual quality. We demonstrate that MintMOS’s projections closely match with subjective surveys in accessing perceptual quality. We use MintMOS to characterize Internet video-QoE both at the link level and end-to-end path level. As an input to our study, we use extensive measurements from a large number of Internet paths obtained from various measurement overlays deployed using PlanetLab. Link level degradations of intra– and inter–ISP Internet links are studied to create an empirical understanding of their shortcomings and ways to overcome them. Our studies show that intra–ISP links are often poorly engineered compared to peering links, and that iii degradations are induced due to transient network load imbalance within an ISP. Initial results also indicate that overlay networks could be a promising way to avoid such ISPs in times of degradations. A large number of end-to-end Internet paths are probed and we measure delay, jitter, and loss rates. The measurement data is analyzed offline to identify ways to enable a source to select alternate paths in an overlay network to improve video-QoE, without the need for background monitoring or apriori knowledge of path characteristics. We establish that for any unstructured overlay of N nodes, it is sufficient to reroute key frames using a random subset of k nodes in the overlay, where k is bounded by O(lnN). We analyze various properties of such random subsets to derive simple, scalable, and an efficient path selection strategy that results in a k-fold increase in path options for any source-destination pair; options that consistently outperform Internet path selection. Finally, we design a prototype called source initiated frame restoration (SIFR) that employs random subsets to derive alternate paths and demonstrate its effectiveness in improving Internet video-QoE

Enhancing OpenStreetMap for the Assessment of Critical Road Infrastructure in a Disaster Context

Die Häufigkeit von Naturkatastrophen nimmt weltweit zu, was zu immensen Schäden an kritischer Straßeninfrastruktur und deren Funktionalität führen kann. Daher ist es von entscheidender Bedeutung, die Funktionalität kritischer Straßeninfrastruktur vor, während und nach einer Katastrophe zu beurteilen. Dazu werden globale Straßendaten benötigt, die für die Routenplanung nutzbar sind. OpenStreetMap (OSM) stellt globale Straßennetzdaten zur Verfügung, die kostenlos und frei zugänglich sind. Allerdings ist die Verwendung der OSM Straßendaten für Routenplanungsanwendungen oft eine Herausforderung. Das übergeordnete Ziel dieser Arbeit ist die Entwicklung eines generischen, mehrskaligen Konzepts zur Analyse kritischer Straßeninfrastrukturen im Kontext von Naturgefahren unter Verwendung von OSM Daten. Dafür werden zwei aufeinander folgende Forschungsziele aufgestellt: (i) die Verbesserung der Routingfähigkeit von OSM Daten und (ii) die Bewertung kritischer Straßeninfrastruktur im Kontext von Naturgefahren. Daraus resultiert die Gliederung dieser Arbeit in zwei Hauptteile, die jeweils den Forschungszielen entsprechen. Im ersten Teil dieser Arbeit wird die Nutzbarkeit von OSM Daten für Routing Anwendungen verbessert. Zunächst wird dafür die Qualität des OSM Straßennetzwerks im Detail analysiert. Dabei werden zwei große Herausforderungen im Bereich der Anwendbarkeit von OSM Daten für die Routenplanung identifiziert: fehlende Geschwindigkeitsangaben und Fehler in der Straßenklassifizierung. Um die erste Herausforderung zu bewältigen, wird ein FuzzyFramework zur Geschwindigkeitsschätzung (Fuzzy-FSE) entwickelt, welches eine Fuzzy Regelung zur Schätzung der Durchschnittsgeschwindigkeit einsetzt. Diese Fuzzy Regelung basiert auf den Parametern Straßenklasse, Straßenneigung, Straßenoberfläche und Straßenlänge einsetzt. Das Fuzzy-FSE besteht aus zwei Teilen: einer Regel- und Wissensbasis, die über die Zugehörigkeitsfunktionen für den Ausgangsparameter Geschwindigkeit entscheidet, und mehrere Fuzzy-Regelsysteme, welche die resultierende Durchschnittsgeschwindigkeit berechnen. Die Ergebnisse zeigen, dass das Fuzzy-FSE auch bei ausschließlicher Verwendung von OSM Daten eine bessere Leistung erbringt als bestehende Methoden. Die Herausforderung der fehlerhaften Straßenklassifizierung wird durch die Entwicklung eines neuartigen Ansatzes zur Erkennung von Klassifizierungfehlern in OSM angegangen. Dabei wird sowohl nach nicht verbundenen Netzwerkteilen als auch nach Lücken im Straßennetzwerk gesucht. Verschiedene Parameter werden in einem Bewertungssystem kombiniert, um eine Fehlerwahrscheinlichkeit zu erhalten. Auf Basis der Fehlerwahrscheinlichkeit kann ein menschlicher Nutzer diese Fehler überprüfen und korrigieren. Die Ergebnisse deuten einerseits darauf hin, dass an Lücken mehr Klassifizierungsfehler gefunden werden als an nicht verbundenen Netzwerkteilen. Andererseits zeigen sie, dass das entwickelte Bewertungssystem bei einer benutzergesteuerten Suche nach Lücken zu einem schnellen Aufdecken von Klassifizierungsfehlern verwendet werden kann. Aus dem ersten Teil dieser Arbeit ergibt sich somit ein erweiterter OSM Datensatz mit verbesserter Routingfähigkeit. Im zweiten Teil dieser Arbeit werden die erweiterten OSM Daten zur Bewertung der kritischen Straßeninfrastruktur im Katastrophenkontext verwendet. Dazu wird der zweite Teil des generischen, mehrskaligen Konzepts entwickelt, das aus mehreren, miteinander verbundenen Modulen besteht. Ein Modul implementiert zwei Erreichbarkeitsindizes, welche verschiedene Aspekte der Erreichbarkeit im Straßennetzwerk hervorheben. In einem weiteren Modul wird ein grundlegendes Modell der Verkehrsnachfrage entwickelt, welches den täglichen interstädtischen Verkehr ausschließlich auf der Grundlage von OSM Daten schätzt. Ein drittes Modul verwendet die oben beschriebenen Module zur Schätzung verschiedener Arten von Auswirkungen von Naturkatastrophen auf das Straßennetzwerk. Schließlich wird in einem vierten Modul die Vulnerabilität des Straßennetzes gegenüber weiteren Schäden bei Langzeitkatastrophen analysiert. Das generische Konzept mit allen Modulen wird exemplarisch in zwei verschiedenen Regionen für zwei Waldbrandszenarien angewendet. Die Ergebnisse der Fallstudien zeigen, dass das Konzept ein wertvolles, flexibles und global anwendbares Instrument für Regionalplaner und Katastrophenmanagement darstellt, das länder- bzw. regionenspezifische Anpassungen ermöglicht und gleichzeitig wenig Daten benötigt

Traffic Management Applications for Stateful SDN Data Plane

The successful OpenFlow approach to Software Defined Networking (SDN) allows network programmability through a central controller able to orchestrate a set of dumb switches. However, the simple match/action abstraction of OpenFlow switches constrains the evolution of the forwarding rules to be fully managed by the controller. This can be particularly limiting for a number of applications that are affected by the delay of the slow control path, like traffic management applications. Some recent proposals are pushing toward an evolution of the OpenFlow abstraction to enable the evolution of forwarding policies directly in the data plane based on state machines and local events. In this paper, we present two traffic management applications that exploit a stateful data plane and their prototype implementation based on OpenState, an OpenFlow evolution that we recently proposed.Comment: 6 pages, 9 figure

Towards detecting, characterizing and rating of road class errors in crowd-sourced road network databases

OpenStreetMap (OSM), with its global coverage and Open Database License, has recently gained popularity. Its quality is adequate for many applications, but since it is crowd-sourced, errors remain an issue. Errors in associated tags of the road network, for example, are impacting routing applications. Particularly road classification errors often lead to false assumptions about capacity, maximum speed, or road quality which could then result in detours for routing applications. This study aims at finding potential classification errors automatically, which can then be checked and corrected by a human expert. We develop a novel approach to detect road classification errors in OSM by searching for disconnected parts and gaps in different levels of a hierarchical road network. Different parameters are identified that indicate gaps in road networks. These parameters are then combined in a rating system to obtain an error probability in order to suggest possible misclassifications to a human user. The methodology is applied exemplarily for the state of New South Wales in Australia. The results demonstrate that (1) more classification errors are found at gaps than at disconnected parts and (2) the gap search enables the user to find classification errors quickly using the developed rating system that indicates an error probability. In future work, the methodology can be extended to include available tags in OSM for the rating system. The source code of the implementation is available via GitHub