Towards Collaborative Internet Content Delivery

Der heutige Internetverkehr wird von Content Distribution Infrastructures (CDI), z.B. Content Distribution Networks, Hyper-Giants und One-Click-Hostern, dominiert. Um das rasante Wachstum der Daten zu bewältigen, betreiben CDIs massive Infrastrukturen. Aber mit deren Größe wachsen auch die operativen Herausforderungen. Hier erweist es sich als schwierig, die Server-zu-User Zuweisung aktuell zu halten, da dem CDI die Netzwerktopologie, deren aktueller Zustand und die genaue Netzwerkposition des Users nicht bekannt sind. Zur gleichen Zeit sehen sich Netzwerkbetreiber, genannt Internet Service Provider (ISP), mit dem stark wachsenden und immer unberechenbarer werdenden Verkehrsverhalten der CDIs ausgesetzt, ohne darauf entsprechend reagieren zu können. Diese Schwierigkeiten zwischen ISPs und CDIs resultieren aus dem fehlenden Mechanismus der ISPs ihr Netzwerkwissen an die CDIs zu kommunizieren. Um das Server-zu-User Zuweisungsproblem zu lösen, beschäftigen wir uns zuerst mit IP-Geolocation. Hier legen wir den Fokus auf zwei Ansätze: a) das Auswerten von GPS Koordinaten, die von Usern selbst bereitgestellt werden und b) eine generelle Studie von IP-Geolocation Datenbanken. In beiden Fällen wird deutlich, dass IP- Geolocation nur sehr begrenzt helfen kann. Besonders in mobilen Datennetzen ist IP-Geolocation keine Hilfe. Als nächstes wenden wir uns dem Problem der Netzwerk- und Topologieunkenntnis von CDIs zu. Unsere Lösung dieses Problems beruht auf Kooperation zwischen CDIs und ISPs. Hierzu beschreiben, entwickeln und implementieren wir das Provider-aided Distance Information System (PaDIS), welches von ISPs betrieben wird und es CDIs ermöglicht, aktuelle Netzwerkinformationen zu beziehen. Dazu benutzt PaDIS Information aus dem operativen Betrieb einer ISP um CDIs den besten Server, basierend auf verschiedenen Metriken, wie Auslastung, Hops oder Latenz, vorzuschlagen. Außerdem wird durch PaDIS auch das Server-zu-User Zuweisungsproblem gelöst, was mit IP-Geolocation nicht möglich war. Unsere Auswertung zeigt dabei, dass PaDIS die Zeiten zum Herunterladen von Dateien um einen Faktor von Vier verkürzen kann. Davon profitieren nicht nur CDIs, sondern auch die User. ISPs ziehen aus dem Einsatz von PaDIS den Vorteil, dass sie die Zuweisung von Server-zu-User mitsteuern können. Wir entwerfen das Konzept des Content-aware Traffic Engineering (CaTE), welches den Verkehr von CDIs dynamisch an die aktuelle Last von Netzwerken anpasst. Im Ergebnis wird die Zuordnung von Server-zu-User deutlich verbessert, was sich sowohl positiv für das CDI als auch die User auswirkt. Weiterhin erlangen ISP die Fähigkeit, Datenströme auf Netzwerkpfade mit wenig Belastung zu legen. Unsere Auswertung von CaTE, welche auf operativen Daten einer ISP beruht, zeigt, dass sowohl die Pfadlängen als auch die Latenz zwischen Server und User signifikant verringert werden, während die ISPs ihren Datenverkehr gleichmäßiger verteilen können und dadurch die Gesamtlast des Netzwerks senken. Today, a large fraction of Internet traffic is originated by Content Distribution Infrastructures (CDIs), such as content distribution networks, hyper-giants and One-Click-Hosters. To cope with the increasing demand for content, CDIs deploy massive centralized or distributed infrastructures. For CDIs, the operation of their infrastructures is challenging, as they have to dynamically map end-users to appropriate servers without being fully aware of the end-users’ network locations. Apart from CDIs, the operational overhead of Internet Service Providers (ISPs) is growing increasingly complex, due to content delivery traffic caused by CDIs. In fact, the difficulties ISPs have with regards to engineering their traffic, stem from the fact that CDIs have limited knowledge about network conditions and infrastructures, while ISPs cannot communicate their insight about networks to CDIs. To solve the mapping challenges CDIs face, we studying the applicability of IP-Geolocation to optimize CDI operation in terms of end-user to server mapping. We base the study on two different approaches: a) an evaluation of end-user submitted GPS coordinates and b) a general study of IP-Geolocation databases. We find that in both cases, IP-Geolocation is only of limited help to select servers close to end-users. Especially in mobile environments, we find that IP-Geolocation is unable to solve the mapping problem. We broaden the scope and tackle CDIs’ general lack of awareness with regards to ISP networks. We argue that the challenges CDIs and ISPs face today can be turned into an opportunity when enabling collaboration between the two. We propose, design and implement a solution, where an ISP offers a Provider-aided Distance Information System (PaDIS) as an interface for CDIs. PaDIS uses information available only to the ISP to rank any client-host pair, based on up-to-date network information, such as delay, bandwidth or number of hops. By extension, this approach also implicitly solves the mapping problem IP-Geolocation was unable to resolve. Experiments with different CDIs show that improvements in download times of up to a factor of four are possible. Furthermore, we show that deploying PaDIS not only benefits CDIs, but also end-users. With regards to the benefits for ISPs, we show that by offering PaDIS to CDIs, ISPs are able to partly reclaim control of the traffic induced by CDIs. We design the concept of Content-aware Traffic Engineering (CaTE), which dynamically adapts the traffic demand for content hosted on CDIs by utilizing PaDIS during their server selection process. As a result, CDIs enhance their end-user to server mapping and improve end-user experience. In addition, ISPs gain the ability to partially influence traffic demands within their networks. Our evaluation, based upon operational data from a large tier-1 ISP, shows improvements minimizing the path length as well as delay between end-user and assigned CDI server, significant reduction in network-wide traffic and in maximum link utilization