The Role of Caching in Future Communication Systems and Networks

This paper has the following ambitious goal: to convince the reader that content caching is an exciting research topic for the future communication systems and networks. Caching has been studied for more than 40 years, and has recently received increased attention from industry and academia. Novel caching techniques promise to push the network performance to unprecedented limits, but also pose significant technical challenges. This tutorial provides a brief overview of existing caching solutions, discusses seminal papers that open new directions in caching, and presents the contributions of this special issue. We analyze the challenges that caching needs to address today, also considering an industry perspective, and identify bottleneck issues that must be resolved to unleash the full potential of this promising technique

Online Caching with no Regret: Optimistic Learning via Recommendations

The design of effective online caching policies is an increasingly important problem for content distribution networks, online social networks and edge computing services, among other areas. This paper proposes a new algorithmic toolbox for tackling this problem through the lens of optimistic online learning. We build upon the Follow-the-Regularized-Leader (FTRL) framework, which is developed further here to include predictions for the file requests, and we design online caching algorithms for bipartite networks with fixed-size caches or elastic leased caches subject to time-average budget constraints. The predictions are provided by a content recommendation system that influences the users viewing activity and hence can naturally reduce the caching network's uncertainty about future requests. We also extend the framework to learn and utilize the best request predictor in cases where many are available. We prove that the proposed {optimistic} learning caching policies can achieve sub-zero performance loss (regret) for perfect predictions, and maintain the sub-linear regret bound $O(\sqrt T)$, which is the best achievable bound for policies that do not use predictions, even for arbitrary-bad predictions. The performance of the proposed algorithms is evaluated with detailed trace-driven numerical tests.Comment: arXiv admin note: substantial text overlap with arXiv:2202.1059

Impact of Location on Content Delivery

Steigende Benutzerzahlen und steigende Internetnutzung sind seit über 15 Jahren verantwortlich für ein exponentielles Wachstum des Internetverkehrs. Darüber hinaus haben neue Applikationen und Anwendungsfälle zu einer Veränderung der Eigenschaften des Verkehrs geführt. Zum Beispiel erlauben soziale Netze dem Benutzer die Veröffentlichung eigener Inhalte. Diese benutzergenerierten Inhalte werden häufig auf beliebten Webseiten wie YouTube, Twitter oder Facebook publiziert. Weitere Beispiele sind die Angebote an interaktiven oder multimedialen Inhalten wie Google Maps oder Fernsehdienste (IPTV). Die Einführung von Peer-to-Peer-Protokollen (P2P) im Jahre 1998 bewirkte einen noch radikaleren Wandel, da sie den direkten Austausch von großen Mengen an Daten erlauben: Die Peers übertragen die Daten ohne einen dazwischenliegenden, oft zentralisierten Server. Allerdings zeigen aktuelle Forschungsarbeiten, dass Internetverkehr wieder von HTTP dominiert wird, zum Großteil auf Kosten von P2P. Dieses Verkehrswachstum erhöht die Anforderungen an die Komponenten aus denen das Internet aufgebaut ist, z.B. Server und Router. Darüber hinaus wird der Großteil des Verkehrs von wenigen, sehr beliebten Diensten erzeugt. Die gewaltige Nachfrage nach solchen beliebten Inhalten kann nicht mehr durch das traditionelle Hostingmodell gedeckt werden, bei dem jeder Inhalt nur auf einem Server verfügbar gemacht wird. Stattdessen müssen Inhalteanbieter ihre Infrastruktur ausweiten, z.B. indem sie sie in großen Datenzentren vervielfältigen, oder indem sie den Dienst einer Content Distribution Infrastructure wie Akamai oder Limelight in Anspruch nehmen. Darüber hinaus müssen nicht nur die Anbieter von Inhalten sich der Nachfrage anpassen: Auch die Netzwerkinfrastruktur muss kontinuierlich mit der ständig steigenden Nachfrage mitwachsen. In dieser Doktorarbeit charakterisieren wir die Auswirkung von Content Delivery auf das Netzwerk. Wir nutzen Datensätze aus aktiven und aus passiven Messungen, die es uns ermöglichen, das Problem auf verschiedenen Abstraktionsebenen zu untersuchen: vom detaillierten Verhalten auf der Protokollebene von verschiedenen Content Delivery-Methoden bis hin zum ganzheitlichen Bild des Identifizierens und Kartographierens der Content Distribution Infrastructures, die für die populärsten Inhalte verantwortlich sind. Unsere Ergebnisse zeigen, dass das Cachen von Inhalten immer noch ein schwieriges Problem darstellt und dass die Wahl des DNS-Resolvers durch den Nutzer einen ausgeprägten Einfluß auf den Serverwahlmechanismus der Content Distribution Infrastructure hat. Wir schlagen vor, Webinhalte zu kartographieren, um darauf rückschließen zu können, wie Content Distribution Infrastructures ausgerollt sind und welche Rollen verschiedene Organisationen im Internet einnehmen. Wir schließen die Arbeit ab, indem wir unsere Ergebnisse mit zeitnahen Arbeiten vergleichen und geben Empfehlungen, wie man die Auslieferung von Inhalten weiter verbessern kann, an alle betroffenen Parteien: Benutzer, Internetdienstanbieter und Content Distribution Infrastructures.The increasing number of users as well as their demand for more and richer content has led to an exponential growth of Internet traffic for more than 15 years. In addition, new applications and use cases have changed the type of traffic. For example, social networking enables users to publish their own content. This user generated content is often published on popular sites such as YouTube, Twitter, and Facebook. Another example are the offerings of interactive and multi-media content by content providers, e.g., Google Maps or IPTV services. With the introduction of peer-to-peer (P2P) protocols in 1998 an even more radical change emerged because P2P protocols allow users to directly exchange large amounts of content: The peers transfer data without the need for an intermediary and often centralized server. However, as shown by recent studies Internet traffic is again dominated by HTTP, mostly at the expense of P2P. This traffic growth increases the demands on the infrastructure components that form the Internet, e.g., servers and routers. Moreover, most of the traffic is generated by a few very popular services. The enormous demand for such popular content cannot be satisfied by the traditional hosting model in which content is located on a single server. Instead, content providers need to scale up their delivery infrastructure, e.g., by using replication in large data centers or by buying service from content delivery infrastructures, e.g., Akamai or Limelight. Moreover, not only content providers have to cope with the demand: The network infrastructure also needs to be constantly upgraded to keep up with the growing demand for content. In this thesis we characterize the impact of content delivery on the network. We utilize data sets from both active and passive measurements. This allows us to cover a wide range of abstraction levels from a detailed protocol level view of several content delivery mechanisms to the high-level picture of identifying and mapping the content infrastructures that are hosting the most popular content. We find that caching content is still hard and that the user's choice of DNS resolvers has a profound impact on the server selection mechanism of content distribution infrastructures. We propose Web content cartography to infer how content distribution infrastructures are deployed and what the role of different organizations in the Internet is. We conclude by putting our findings in the context of contemporary work and give recommendations on how to improve content delivery to all parties involved: users, Internet service providers, and content distribution infrastructures

Proactive Mechanisms for Video-on-Demand Content Delivery

Video delivery over the Internet is the dominant source of network load all over the world. Especially VoD streaming services such as YouTube, Netflix, and Amazon Video have propelled the proliferation of VoD in many peoples' everyday life. VoD allows watching video from a large quantity of content at any time and on a multitude of devices, including smart TVs, laptops, and smartphones. Studies show that many people under the age of 32 grew up with VoD services and have never subscribed to a traditional cable TV service. This shift in video consumption behavior is continuing with an ever-growing number of users. satisfy this large demand, VoD service providers usually rely on CDN, which make VoD streaming scalable by operating a geographically distributed network of several hundreds of thousands of servers. Thereby, they deliver content from locations close to the users, which keeps traffic local and enables a fast playback start. CDN experience heavy utilization during the day and are usually reactive to the user demand, which is not optimal as it leads to expensive over-provisioning, to cope with traffic peaks, and overreacting content eviction that decreases the CDN's performance. However, to sustain future VoD streaming projections with hundreds of millions of users, new approaches are required to increase the content delivery efficiency. To this end, this thesis identifies three key research areas that have the potential to address the future demand for VoD content. Our first contribution is the design of vFetch, a privacy-preserving prefetching mechanism for mobile devices. It focuses explicitly on OTT VoD providers such as YouTube. vFetch learns the user interest towards different content channels and uses these insights to prefetch content on a user terminal. To do so, it continually monitors the user behavior and the device's mobile connectivity pattern, to allow for resource-efficient download scheduling. Thereby, vFetch illustrates how personalized prefetching can reduce the mobile data volume and alleviate mobile networks by offloading peak-hour traffic. Our second contribution focuses on proactive in-network caching. To this end, we present the design of the ProCache mechanism that divides the available cache storage concerning separate content categories. Thus, the available storage is allocated to these divisions based on their contribution to the overall cache efficiency. We propose a general work-flow that emphasizes multiple categories of a mixed content workload in addition to a work-flow tailored for music video content, the dominant traffic source on YouTube. Thereby, ProCache shows how content-awareness can contribute to efficient in-network caching. Our third contribution targets the application of multicast for VoD scenarios. Many users request popular VoD content with only small differences in their playback start time which offers a potential for multicast. Therefore, we present the design of the VoDCast mechanism that leverages this potential to multicast parts of popular VoD content. Thereby, VoDCast illustrates how ISP can collaborate with CDN to coordinate on content that should be delivered by ISP-internal multicast

Trade-Offs Under Pressure: Heuristics and Observations Of Teams Resolving Internet Service Outages

The increasing complexity of software applications and architectures in Internet services challenge the reasoning of operators tasked with diagnosing and resolving outages and degradations as they arise. Although a growing body of literature focuses on how failures can be prevented through more robust and fault-tolerant design of these systems, a dearth of research explores the cognitive challenges engineers face when those preventative designs fail and they are left to think and react to scenarios that hadn’t been imagined. This study explores what heuristics or rules-of-thumb engineers employ when faced with an outage or degradation scenario in a business-critical Internet service. A case study approach was used, focusing on an actual outage of functionality during a high period of buying activity on a popular online marketplace. Heuristics and other tacit knowledge were identified, and provide a promising avenue for both training and future interface design opportunities. Three diagnostic heuristics were identified as being in use: a) initially look for correlation between the behaviour and any recent changes made in the software, b) upon finding no correlation with a software change, widen the search to any potential contributors imagined, and c) when choosing a diagnostic direction, reduce it by focusing on the one that most easily comes to mind, either because symptoms match those of a difficult-to-diagnose event in the past, or those of any recent events. A fourth heuristic is coordinative in nature: when making changes to software in an effort to mitigate the untoward effects or to resolve the issue completely, rely on peer review of the changes more than automated testing (if at all.

Caching and prefetching for efficient video services in mobile networks

Cellular networks have witnessed phenomenal traffic growth recently fueled by new high speed broadband cellular access technologies. This growth is in large part driven by the emergence of the HTTP Adaptive Streaming (HAS) as a new video delivery method. In HAS, several qualities of the same videos are made available in the network so that clients can choose the quality that best fits their bandwidth capacity. This strongly impacts the viewing pattern of the clients, their switching behavior between video qualities, and thus beyond on content delivery systems.Our first contribution consists in providing an analysis of a real HAS dataset collected in France and provided by the largest French mobile operator. Firstly, we analyze and model the viewing patterns of VoD and live streaming HAS sessions and we propose a new cache replacement strategy, named WA-LRU. WA-LRU leverages the time locality of video segments within the HAS content. We show that WA-LRU improves the cache hit-ratio mostly at the loading phase while it reduces significantly the processing overhead at the cache.In our second contribution, we analyze and model the adaptation logic between the video qualities based on empirical observations. We show that high switching behaviors lead to sub optimal caching performance, since several versions of the same content compete to be cached. In this context we investigate the benefits of a Cache Friendly HAS system (CF-DASH) which aims at improving the caching efficiency in mobile networks and to sustain the quality of experience of mobile clients. We evaluate CF-dash based on trace-driven simulations and test-bed experiments. Our validation results are promising. Simulations on real HAS traffic show that we achieve a significant gain in hit-ratio that ranges from 15% up to 50%.In the second part of this thesis, we investigate the mobile video prefetching opportunities. Online media services are reshaping the way video content is watched. People with similar interests tend to request same content. This provides enormous potential to predict which content users are interested in. Besides, mobile devices are commonly used to watch videos which popularity is largely driven by their social success. We design a system, named "Central Predictor System (CPsys)", which aims at predicting and prefetching relevant content for each mobile client. To fine tune our prefetching system, we rely on a large dataset collected from a large mobile carrier in Europe. The rationale of our prefetching strategy is first to form a graph and build implicit or explicit ties between similar users. On top of this graph, we propose the Most Popular and Most Recent (MPMR) policy to predict relevant videos for each user. We show that CPSys can achieve high performance as regards prediction correctness and network utilization efficiency. We further show that CPSys outperforms other prefetching schemes from the state of the art. At the end, we provide a proof-of-concept implementation of our prefetching system.Les réseaux cellulaires ont connu une croissance phénoménale du trafic alimentée par les nouvelles technologies d’accès cellulaire à large bande. Cette croissance est tirée en grande partie par le trafic HTTP adaptatif streaming (HAS) comme une nouvelle technique de diffu- sion de contenus audiovisuel. Le principe du HAS est de rendre disponible plusieurs qualités de la même vidéo en ligne et que les clients choisissent la meilleure qualité qui correspond à leur bande passante. Chaque niveau d’encodage est segmenté en des petits vidéos qu’on appelle segments ou chunks et dont la durée varie entre 2 à 10 secondes. L’émergence du HAS a introduit des nouvelles contraintes sur les systèmes de livraison des contenus vidéo en particulier sur les systèmes de cache. Dans cette thèse, nous nous intéressons à l’étude de cet impact et à proposer des algorithmes et des solutions qui optimisent les fonctionnalités de ces systèmes. D’autre part, la consommation des contenus est fortement impactée par les nouvelles technologies du Web2.0 tel que l’émergence des réseaux sociaux. Dans cette thèse, nous exploitons les réseaux sociaux afin de proposer un service de préchargement des contenus VoD sur terminaux mobiles. Notre solution permet l’amélioration de la QoE des utilisateurs et permet de bien gérer les ressources réseaux mobile.Nous listons nos contributions comme suit :Notre première contribution consiste à mener une analyse détaillée des données sur un trafic HAS réel collecté en France et fournie par le plus grand opérateur de téléphonie mobile du pays. Tout d’abord, nous analysons et modélisons le comportement des clients qui demandent des contenus catch-up et live. Nous constatons que le nombre de requêtes par segment suit deux types de distribution : La loi log-normal pour modéliser les 40 premiers chunks par session de streaming, ensuite on observe une queue qui peut être modélisé par la loi de Pareto. Cette observation suggère que les clients ne consomment pas la totalité du contenu catch-up. On montre par simulation que si le cache implémente des logiques de caching qui ne tiennent pas en compte les caractéristiques des flux HAS, sa performance diminuerait considérablement.Dans ce contexte, nous proposons un nouvel algorithme de remplacement des contenus que nous appelons Workload Aware-LRU (WA-LRU). WA-LRU permet d’améliorer la performance des systèmes de cache en augmentant le Hit-Ratio en particulier pour les premiers segments et en diminuant le temps requis pour la mise à jour de la liste des objets cachés. En fonction de la capacité du cache et de la charge du trafic dans le réseau, WA-LRU estime un seuil sur le rang du segment à cacher. Si le rang du chunk demandé dépasse ce seuil, le chunk ne sera pas caché sinon il sera caché. Comme WA-LRU dépend de la charge du trafic dans le réseau, cela suppose que le seuil choisit par WA-LRU est dynamique sur la journée. WA-LRU est plus agressif pendant les heures chargées (i.e. il cache moins de chunks, ceux qui sont les plus demandés) que pendant les heures creuses où le réseau est moins chargé.Dans notre deuxième contribution, nous étudions plus en détail les facteurs qui poussent les clients HAS à changer de qualité lors d’une session vidéo. Nous modélisons également ce changement de qualité en se basant sur des données empiriques provenant de notre trace de trafic. Au niveau du cache, nous montrons que le changement fréquent de qualité crée une compétition entre les différents profiles d’encodages. Cela réduit les performances du système de cache. Dans ce contexte, nous proposons Cache Friendly-DASH (CF-DASH), une implémentation d’un player HAS compatible avec le standard DASH, qui assure une meilleure stabilité du player. Nous montrons à travers des simulations et des expérimentations que CF- DASH améliore expérience client et permet aussi d’atteindre un gain significatif du hit-ratio qui peut varier entre 15% à 50%.Dans la deuxième partie de cette thèse, nous proposons un système de préchargement de contenus vidéos sur terminaux mobile. La consommation des contenus vidéo en ligne est fortement impactée par les nouvelles technologies du Web2.0 et les réseaux sociaux. Les personnes qui partagent des intérêts similaires ont tendance à demander le même contenu. Cela permet de prédire le comportement des clients et identifier les contenus qui peuvent les intéresser. Par ailleurs, les smartphones et tablettes sont de plus en plus adaptés pour visionner des vidéos et assurer une meilleure qualité d’expérience. Dans cette thèse, nous concevons un système qu’on appelle CPSys (Central Predictor System) permettant d’identifier les vidéos les plus pertinentes pour chaque utilisateur. Pour bien paramétrer notre système de préchargement, nous analysons des traces de trafic de type User Generated Videos (UGC). En particulier, nous analysons la popularité des contenus YouTube et Facebook, ainsi que l’évolution de la popularité des contenus en fonction du temps. Nous observons que 10% des requêtes se font sur une fenêtre de temps d’une heure après avoir mis les vidéos en ligne et 40% des requêtes se font sur une fenêtre de temps de un jour. On présente aussi des analyses sur le comportement des clients. On observe que la consommation des contenus vidéo varie significativement entre les clients mobiles. On distingue 2 types de clients :• les grands consommateurs : Ils forment une minorité mais consomment plusieurs vidéos sur une journée.• lespetitsconsommateurs:Ilsformentlamajoritédesclientsmaisconsommentquelques vidéos par jour voir sur une période plus longue.On s’appuyant sur ces observations, notre système de préchargement adapte le mode de pré- chargement selon le profil utilisateur qui est déduit à partir de l’historique de la consommation de chaque client.Dans un premier temps, CPSys crée un graphe regroupant les utilisateurs qui sont similaires. Le graphe peut être soit explicite (type Facebook) ou implicite qui est construit à la base des techniques de colllaborative filtering dérivés des systèmes de recommandations. Une fois le graphe est créé, nous proposons la politique Most Popular Most Recent (MPMR) qui permet d’inférer quel contenu doit-on précharger pour chaque utilisateur. MPMR trie les vidéos candidats selon la popularité locale du contenu définit comme le nombre de vues effectués par les voisins les plus similaires, ensuite MPMR donne la priorité aux contenus les plus frais. Nous montrons que CPSys peut atteindre des performances élevées par rapport à d’autres techniques présentées dans l’état de l’art. CPSys améliore la qualité de la prédiction et réduit d’une manière significative le trafic réseau.Finalement, nous développons une preuve de concept de notre système de préchargement

Caching and prefetching for efficient video services in mobile networks

Cellular networks have witnessed phenomenal traffic growth recently fueled by new high speed broadband cellular access technologies. This growth is in large part driven by the emergence of the HTTP Adaptive Streaming (HAS) as a new video delivery method. In HAS, several qualities of the same videos are made available in the network so that clients can choose the quality that best fits their bandwidth capacity. This strongly impacts the viewing pattern of the clients, their switching behavior between video qualities, and thus beyond on content delivery systems.Our first contribution consists in providing an analysis of a real HAS dataset collected in France and provided by the largest French mobile operator. Firstly, we analyze and model the viewing patterns of VoD and live streaming HAS sessions and we propose a new cache replacement strategy, named WA-LRU. WA-LRU leverages the time locality of video segments within the HAS content. We show that WA-LRU improves the cache hit-ratio mostly at the loading phase while it reduces significantly the processing overhead at the cache.In our second contribution, we analyze and model the adaptation logic between the video qualities based on empirical observations. We show that high switching behaviors lead to sub optimal caching performance, since several versions of the same content compete to be cached. In this context we investigate the benefits of a Cache Friendly HAS system (CF-DASH) which aims at improving the caching efficiency in mobile networks and to sustain the quality of experience of mobile clients. We evaluate CF-dash based on trace-driven simulations and test-bed experiments. Our validation results are promising. Simulations on real HAS traffic show that we achieve a significant gain in hit-ratio that ranges from 15% up to 50%.In the second part of this thesis, we investigate the mobile video prefetching opportunities. Online media services are reshaping the way video content is watched. People with similar interests tend to request same content. This provides enormous potential to predict which content users are interested in. Besides, mobile devices are commonly used to watch videos which popularity is largely driven by their social success. We design a system, named "Central Predictor System (CPsys)", which aims at predicting and prefetching relevant content for each mobile client. To fine tune our prefetching system, we rely on a large dataset collected from a large mobile carrier in Europe. The rationale of our prefetching strategy is first to form a graph and build implicit or explicit ties between similar users. On top of this graph, we propose the Most Popular and Most Recent (MPMR) policy to predict relevant videos for each user. We show that CPSys can achieve high performance as regards prediction correctness and network utilization efficiency. We further show that CPSys outperforms other prefetching schemes from the state of the art. At the end, we provide a proof-of-concept implementation of our prefetching system.Les réseaux cellulaires ont connu une croissance phénoménale du trafic alimentée par les nouvelles technologies d’accès cellulaire à large bande. Cette croissance est tirée en grande partie par le trafic HTTP adaptatif streaming (HAS) comme une nouvelle technique de diffu- sion de contenus audiovisuel. Le principe du HAS est de rendre disponible plusieurs qualités de la même vidéo en ligne et que les clients choisissent la meilleure qualité qui correspond à leur bande passante. Chaque niveau d’encodage est segmenté en des petits vidéos qu’on appelle segments ou chunks et dont la durée varie entre 2 à 10 secondes. L’émergence du HAS a introduit des nouvelles contraintes sur les systèmes de livraison des contenus vidéo en particulier sur les systèmes de cache. Dans cette thèse, nous nous intéressons à l’étude de cet impact et à proposer des algorithmes et des solutions qui optimisent les fonctionnalités de ces systèmes. D’autre part, la consommation des contenus est fortement impactée par les nouvelles technologies du Web2.0 tel que l’émergence des réseaux sociaux. Dans cette thèse, nous exploitons les réseaux sociaux afin de proposer un service de préchargement des contenus VoD sur terminaux mobiles. Notre solution permet l’amélioration de la QoE des utilisateurs et permet de bien gérer les ressources réseaux mobile.Nous listons nos contributions comme suit :Notre première contribution consiste à mener une analyse détaillée des données sur un trafic HAS réel collecté en France et fournie par le plus grand opérateur de téléphonie mobile du pays. Tout d’abord, nous analysons et modélisons le comportement des clients qui demandent des contenus catch-up et live. Nous constatons que le nombre de requêtes par segment suit deux types de distribution : La loi log-normal pour modéliser les 40 premiers chunks par session de streaming, ensuite on observe une queue qui peut être modélisé par la loi de Pareto. Cette observation suggère que les clients ne consomment pas la totalité du contenu catch-up. On montre par simulation que si le cache implémente des logiques de caching qui ne tiennent pas en compte les caractéristiques des flux HAS, sa performance diminuerait considérablement.Dans ce contexte, nous proposons un nouvel algorithme de remplacement des contenus que nous appelons Workload Aware-LRU (WA-LRU). WA-LRU permet d’améliorer la performance des systèmes de cache en augmentant le Hit-Ratio en particulier pour les premiers segments et en diminuant le temps requis pour la mise à jour de la liste des objets cachés. En fonction de la capacité du cache et de la charge du trafic dans le réseau, WA-LRU estime un seuil sur le rang du segment à cacher. Si le rang du chunk demandé dépasse ce seuil, le chunk ne sera pas caché sinon il sera caché. Comme WA-LRU dépend de la charge du trafic dans le réseau, cela suppose que le seuil choisit par WA-LRU est dynamique sur la journée. WA-LRU est plus agressif pendant les heures chargées (i.e. il cache moins de chunks, ceux qui sont les plus demandés) que pendant les heures creuses où le réseau est moins chargé.Dans notre deuxième contribution, nous étudions plus en détail les facteurs qui poussent les clients HAS à changer de qualité lors d’une session vidéo. Nous modélisons également ce changement de qualité en se basant sur des données empiriques provenant de notre trace de trafic. Au niveau du cache, nous montrons que le changement fréquent de qualité crée une compétition entre les différents profiles d’encodages. Cela réduit les performances du système de cache. Dans ce contexte, nous proposons Cache Friendly-DASH (CF-DASH), une implémentation d’un player HAS compatible avec le standard DASH, qui assure une meilleure stabilité du player. Nous montrons à travers des simulations et des expérimentations que CF- DASH améliore expérience client et permet aussi d’atteindre un gain significatif du hit-ratio qui peut varier entre 15% à 50%.Dans la deuxième partie de cette thèse, nous proposons un système de préchargement de contenus vidéos sur terminaux mobile. La consommation des contenus vidéo en ligne est fortement impactée par les nouvelles technologies du Web2.0 et les réseaux sociaux. Les personnes qui partagent des intérêts similaires ont tendance à demander le même contenu. Cela permet de prédire le comportement des clients et identifier les contenus qui peuvent les intéresser. Par ailleurs, les smartphones et tablettes sont de plus en plus adaptés pour visionner des vidéos et assurer une meilleure qualité d’expérience. Dans cette thèse, nous concevons un système qu’on appelle CPSys (Central Predictor System) permettant d’identifier les vidéos les plus pertinentes pour chaque utilisateur. Pour bien paramétrer notre système de préchargement, nous analysons des traces de trafic de type User Generated Videos (UGC). En particulier, nous analysons la popularité des contenus YouTube et Facebook, ainsi que l’évolution de la popularité des contenus en fonction du temps. Nous observons que 10% des requêtes se font sur une fenêtre de temps d’une heure après avoir mis les vidéos en ligne et 40% des requêtes se font sur une fenêtre de temps de un jour. On présente aussi des analyses sur le comportement des clients. On observe que la consommation des contenus vidéo varie significativement entre les clients mobiles. On distingue 2 types de clients :• les grands consommateurs : Ils forment une minorité mais consomment plusieurs vidéos sur une journée.• lespetitsconsommateurs:Ilsformentlamajoritédesclientsmaisconsommentquelques vidéos par jour voir sur une période plus longue.On s’appuyant sur ces observations, notre système de préchargement adapte le mode de pré- chargement selon le profil utilisateur qui est déduit à partir de l’historique de la consommation de chaque client.Dans un premier temps, CPSys crée un graphe regroupant les utilisateurs qui sont similaires. Le graphe peut être soit explicite (type Facebook) ou implicite qui est construit à la base des techniques de colllaborative filtering dérivés des systèmes de recommandations. Une fois le graphe est créé, nous proposons la politique Most Popular Most Recent (MPMR) qui permet d’inférer quel contenu doit-on précharger pour chaque utilisateur. MPMR trie les vidéos candidats selon la popularité locale du contenu définit comme le nombre de vues effectués par les voisins les plus similaires, ensuite MPMR donne la priorité aux contenus les plus frais. Nous montrons que CPSys peut atteindre des performances élevées par rapport à d’autres techniques présentées dans l’état de l’art. CPSys améliore la qualité de la prédiction et réduit d’une manière significative le trafic réseau.Finalement, nous développons une preuve de concept de notre système de préchargement

Architectures for the Future Networks and the Next Generation Internet: A Survey

Networking research funding agencies in the USA, Europe, Japan, and other countries are encouraging research on revolutionary networking architectures that may or may not be bound by the restrictions of the current TCP/IP based Internet. We present a comprehensive survey of such research projects and activities. The topics covered include various testbeds for experimentations for new architectures, new security mechanisms, content delivery mechanisms, management and control frameworks, service architectures, and routing mechanisms. Delay/Disruption tolerant networks, which allow communications even when complete end-to-end path is not available, are also discussed

Development of a system compliant with the Application-Layer Traffic Optimization Protocol

Dissertação de mestrado integrado em Engenharia InformáticaWith the ever-increasing Internet usage that is following the start of the new decade, the need to optimize this world-scale network of computers becomes a big priority in the technological sphere that has the number of users rising, as are the Quality of Service (QoS) demands by applications in domains such as media streaming or virtual reality. In the face of rising traffic and stricter application demands, a better understand ing of how Internet Service Providers (ISPs) should manage their assets is needed. An important concern regards to how applications utilize the underlying network infras tructure over which they reside. Most of these applications act with little regard for ISP preferences, as exemplified by their lack of care in achieving traffic locality during their operation, which would be a preferable feature for network administrators, and that could also improve application performance. However, even a best-effort attempt by applications to cooperate will hardly succeed if ISP policies aren’t clearly commu nicated to them. Therefore, a system to bridge layer interests has much potential in helping achieve a mutually beneficial scenario. The main focus of this thesis is the Application-Layer Traffic Optimization (ALTO) work ing group, which was formed by the Internet Engineering Task Force (IETF) to explore standardizations for network information retrieval. This group specified a request response protocol where authoritative entities provide resources containing network status information and administrative preferences. Sharing of infrastructural insight is done with the intent of enabling a cooperative environment, between the network overlay and underlay, during application operations, to obtain better infrastructural re sourcefulness and the consequential minimization of the associated operational costs. This work gives an overview of the historical network tussle between applications and service providers, presents the ALTO working group’s project as a solution, im plements an extended system built upon their ideas, and finally verifies the developed system’s efficiency, in a simulation, when compared to classical alternatives.Com o acrescido uso da Internet que acompanha o início da nova década, a necessidade de otimizar esta rede global de computadores passa a ser uma grande prioridade na esfera tecnológica que vê o seu número de utilizadores a aumentar, assim como a exigência, por parte das aplicações, de novos padrões de Qualidade de Serviço (QoS), como visto em domínios de transmissão de conteúdo multimédia em tempo real e em experiências de realidade virtual. Face ao aumento de tráfego e aos padrões de exigência aplicacional mais restritos, é necessário melhor compreender como os fornecedores de serviços Internet (ISPs) devem gerir os seus recursos. Um ponto fulcral é como aplicações utilizam os seus recursos da rede, onde muitas destas não têm consideração pelas preferências dos ISPs, como exemplificado pela sua falta de esforço em localizar tráfego, onde o contrário seria preferível por administradores de rede e teria potencial para melhorar o desempenho aplicacional. Uma tentativa de melhor esforço, por parte das aplicações, em resolver este problema, não será bem-sucedida se as preferências administrativas não forem claramente comunicadas. Portanto, um sistema que sirva de ponte de comunicação entre camadas pode potenciar um cenário mutuamente benéfico. O foco principal desta tese é o grupo de trabalho Application-Layer Traffic Optimization (ALTO), que foi formado pelo Internet Engineering Task Force (IETF) para explorar estandardizações para recolha de informação da rede. Este grupo especificou um protocolo onde entidades autoritárias disponibilizam recursos com informação de estado de rede, e preferências administrativas. A partilha de conhecimento infraestrutural é feita para possibilitar um ambiente cooperativo entre redes overlay e underlay, para uma mais eficiente utilização de recursos e a consequente minimização de custos operacionais. É pretendido dar uma visão da histórica disputa entre aplicações e ISPs, assim como apresentar o projeto do grupo de trabalho ALTO como solução, implementar e melhorar sobre as suas ideias, e finalmente verificar a eficiência do sistema numa simulação, quando comparado com alternativas clássicas