1,408 research outputs found

    Modeling and Evaluation of Multisource Streaming Strategies in P2P VoD Systems

    Get PDF
    In recent years, multimedia content distribution has largely been moved to the Internet, inducing broadcasters, operators and service providers to upgrade with large expenses their infrastructures. In this context, streaming solutions that rely on user devices such as set-top boxes (STBs) to offload dedicated streaming servers are particularly appropriate. In these systems, contents are usually replicated and scattered over the network established by STBs placed at users' home, and the video-on-demand (VoD) service is provisioned through streaming sessions established among neighboring STBs following a Peer-to-Peer fashion. Up to now the majority of research works have focused on the design and optimization of content replicas mechanisms to minimize server costs. The optimization of replicas mechanisms has been typically performed either considering very crude system performance indicators or analyzing asymptotic behavior. In this work, instead, we propose an analytical model that complements previous works providing fairly accurate predictions of system performance (i.e., blocking probability). Our model turns out to be a highly scalable, flexible, and extensible tool that may be helpful both for designers and developers to efficiently predict the effect of system design choices in large scale STB-VoD system

    Network overload avoidance by traffic engineering and content caching

    Get PDF
    The Internet traffic volume continues to grow at a great rate, now driven by video and TV distribution. For network operators it is important to avoid congestion in the network, and to meet service level agreements with their customers. This thesis presents work on two methods operators can use to reduce links loads in their networks: traffic engineering and content caching. This thesis studies access patterns for TV and video and the potential for caching. The investigation is done both using simulation and by analysis of logs from a large TV-on-Demand system over four months. The results show that there is a small set of programs that account for a large fraction of the requests and that a comparatively small local cache can be used to significantly reduce the peak link loads during prime time. The investigation also demonstrates how the popularity of programs changes over time and shows that the access pattern in a TV-on-Demand system very much depends on the content type. For traffic engineering the objective is to avoid congestion in the network and to make better use of available resources by adapting the routing to the current traffic situation. The main challenge for traffic engineering in IP networks is to cope with the dynamics of Internet traffic demands. This thesis proposes L-balanced routings that route the traffic on the shortest paths possible but make sure that no link is utilised to more than a given level L. L-balanced routing gives efficient routing of traffic and controlled spare capacity to handle unpredictable changes in traffic. We present an L-balanced routing algorithm and a heuristic search method for finding L-balanced weight settings for the legacy routing protocols OSPF and IS-IS. We show that the search and the resulting weight settings work well in real network scenarios

    A Scalable Solution For Interactive Video Streaming

    Get PDF
    This dissertation presents an overall solution for interactive Near Video On Demand (NVOD) systems, where limited server and network resources prevent the system from servicing all customers’ requests. The interactive nature of recent workloads complicates matters further. Interactive requests require additional resources to be handled. This dissertation analyzes the system performance under a realistic workload using different stream merging techniques and scheduling policies. It considers a wide range of system parameters and studies their impact on the waiting and blocking metrics. In order to improve waiting customers experience, we propose a new scheduling policy for waiting customers that is fairer and delivers a descent performance. Blocking is a major issue in interactive NVOD systems and we propose a few techniques to minimize it. In particular, we study the maximum Interactive Stream (I-Stream) length (Threshold) that should be allowed in order to prevent a few requests from using the expensive I-Streams for a prolonged period of time, which starves other requests from a chance of using this valuable resource. Using a reasonable I-Stream threshold proves very effective in improving blocking metrics. Moreover, we introduce an I-Stream provisioning policy to dynamically shift resources based on the system requirements at the time. The proposed policy proves to be highly effective in improving the overall system performance. To account for both average waiting time and average blocking time, we introduce a new metric (Aggregate Delay) . We study the client-side cache management policy. We utilize the customer’s cache to service most interactive requests, which reduces the load on the server. We propose three purging algorithms to clear data when the cache gets full. Purge Oldest removes the oldest data in the cache, whereas Purge Furthest clears the furthest data from the client’s playback point. In contrast, Adaptive Purge tries to avoid purging any data that includes the customer’s playback point or the playback point of any stream that is being listened to by the client. Additionally, we study the impact of the purge block, which is the least amount of data to be cleared, on the system performance. Finally, we study the effect of bookmarking on the system performance. A video segment that is searched and watched repeatedly is called a hotspot and is pointed to by a bookmark. We introduce three enhancements to effectively support bookmarking. Specifically, we propose a new purging algorithm to avoid purging hotspot data if it is already cached. On top of that, we fetch hotspot data for customers not listening to any stream. Furthermore, we reserve multicast channels to fetch hotspot data

    Scalable service for flexible access to personal content

    Get PDF

    Machine Learning and Big Data Methodologies for Network Traffic Monitoring

    Get PDF
    Over the past 20 years, the Internet saw an exponential grown of traffic, users, services and applications. Currently, it is estimated that the Internet is used everyday by more than 3.6 billions users, who generate 20 TB of traffic per second. Such a huge amount of data challenge network managers and analysts to understand how the network is performing, how users are accessing resources, how to properly control and manage the infrastructure, and how to detect possible threats. Along with mathematical, statistical, and set theory methodologies machine learning and big data approaches have emerged to build systems that aim at automatically extracting information from the raw data that the network monitoring infrastructures offer. In this thesis I will address different network monitoring solutions, evaluating several methodologies and scenarios. I will show how following a common workflow, it is possible to exploit mathematical, statistical, set theory, and machine learning methodologies to extract meaningful information from the raw data. Particular attention will be given to machine learning and big data methodologies such as DBSCAN, and the Apache Spark big data framework. The results show that despite being able to take advantage of mathematical, statistical, and set theory tools to characterize a problem, machine learning methodologies are very useful to discover hidden information about the raw data. Using DBSCAN clustering algorithm, I will show how to use YouLighter, an unsupervised methodology to group caches serving YouTube traffic into edge-nodes, and latter by using the notion of Pattern Dissimilarity, how to identify changes in their usage over time. By using YouLighter over 10-month long races, I will pinpoint sudden changes in the YouTube edge-nodes usage, changes that also impair the end users’ Quality of Experience. I will also apply DBSCAN in the deployment of SeLINA, a self-tuning tool implemented in the Apache Spark big data framework to autonomously extract knowledge from network traffic measurements. By using SeLINA, I will show how to automatically detect the changes of the YouTube CDN previously highlighted by YouLighter. Along with these machine learning studies, I will show how to use mathematical and set theory methodologies to investigate the browsing habits of Internauts. By using a two weeks dataset, I will show how over this period, the Internauts continue discovering new websites. Moreover, I will show that by using only DNS information to build a profile, it is hard to build a reliable profiler. Instead, by exploiting mathematical and statistical tools, I will show how to characterize Anycast-enabled CDNs (A-CDNs). I will show that A-CDNs are widely used either for stateless and stateful services. That A-CDNs are quite popular, as, more than 50% of web users contact an A-CDN every day. And that, stateful services, can benefit of A-CDNs, since their paths are very stable over time, as demonstrated by the presence of only a few anomalies in their Round Trip Time. Finally, I will conclude by showing how I used BGPStream an open-source software framework for the analysis of both historical and real-time Border Gateway Protocol (BGP) measurement data. By using BGPStream in real-time mode I will show how I detected a Multiple Origin AS (MOAS) event, and how I studies the black-holing community propagation, showing the effect of this community in the network. Then, by using BGPStream in historical mode, and the Apache Spark big data framework over 16 years of data, I will show different results such as the continuous growth of IPv4 prefixes, and the growth of MOAS events over time. All these studies have the aim of showing how monitoring is a fundamental task in different scenarios. In particular, highlighting the importance of machine learning and of big data methodologies

    Caching and prefetching for efficient video services in mobile networks

    Get PDF
    Cellular networks have witnessed phenomenal traffic growth recently fueled by new high speed broadband cellular access technologies. This growth is in large part driven by the emergence of the HTTP Adaptive Streaming (HAS) as a new video delivery method. In HAS, several qualities of the same videos are made available in the network so that clients can choose the quality that best fits their bandwidth capacity. This strongly impacts the viewing pattern of the clients, their switching behavior between video qualities, and thus beyond on content delivery systems.Our first contribution consists in providing an analysis of a real HAS dataset collected in France and provided by the largest French mobile operator. Firstly, we analyze and model the viewing patterns of VoD and live streaming HAS sessions and we propose a new cache replacement strategy, named WA-LRU. WA-LRU leverages the time locality of video segments within the HAS content. We show that WA-LRU improves the cache hit-ratio mostly at the loading phase while it reduces significantly the processing overhead at the cache.In our second contribution, we analyze and model the adaptation logic between the video qualities based on empirical observations. We show that high switching behaviors lead to sub optimal caching performance, since several versions of the same content compete to be cached. In this context we investigate the benefits of a Cache Friendly HAS system (CF-DASH) which aims at improving the caching efficiency in mobile networks and to sustain the quality of experience of mobile clients. We evaluate CF-dash based on trace-driven simulations and test-bed experiments. Our validation results are promising. Simulations on real HAS traffic show that we achieve a significant gain in hit-ratio that ranges from 15% up to 50%.In the second part of this thesis, we investigate the mobile video prefetching opportunities. Online media services are reshaping the way video content is watched. People with similar interests tend to request same content. This provides enormous potential to predict which content users are interested in. Besides, mobile devices are commonly used to watch videos which popularity is largely driven by their social success. We design a system, named "Central Predictor System (CPsys)", which aims at predicting and prefetching relevant content for each mobile client. To fine tune our prefetching system, we rely on a large dataset collected from a large mobile carrier in Europe. The rationale of our prefetching strategy is first to form a graph and build implicit or explicit ties between similar users. On top of this graph, we propose the Most Popular and Most Recent (MPMR) policy to predict relevant videos for each user. We show that CPSys can achieve high performance as regards prediction correctness and network utilization efficiency. We further show that CPSys outperforms other prefetching schemes from the state of the art. At the end, we provide a proof-of-concept implementation of our prefetching system.Les réseaux cellulaires ont connu une croissance phénoménale du trafic alimentée par les nouvelles technologies d’accès cellulaire à large bande. Cette croissance est tirée en grande partie par le trafic HTTP adaptatif streaming (HAS) comme une nouvelle technique de diffu- sion de contenus audiovisuel. Le principe du HAS est de rendre disponible plusieurs qualités de la même vidéo en ligne et que les clients choisissent la meilleure qualité qui correspond à leur bande passante. Chaque niveau d’encodage est segmenté en des petits vidéos qu’on appelle segments ou chunks et dont la durée varie entre 2 à 10 secondes. L’émergence du HAS a introduit des nouvelles contraintes sur les systèmes de livraison des contenus vidéo en particulier sur les systèmes de cache. Dans cette thèse, nous nous intéressons à l’étude de cet impact et à proposer des algorithmes et des solutions qui optimisent les fonctionnalités de ces systèmes. D’autre part, la consommation des contenus est fortement impactée par les nouvelles technologies du Web2.0 tel que l’émergence des réseaux sociaux. Dans cette thèse, nous exploitons les réseaux sociaux afin de proposer un service de préchargement des contenus VoD sur terminaux mobiles. Notre solution permet l’amélioration de la QoE des utilisateurs et permet de bien gérer les ressources réseaux mobile.Nous listons nos contributions comme suit :Notre première contribution consiste à mener une analyse détaillée des données sur un trafic HAS réel collecté en France et fournie par le plus grand opérateur de téléphonie mobile du pays. Tout d’abord, nous analysons et modélisons le comportement des clients qui demandent des contenus catch-up et live. Nous constatons que le nombre de requêtes par segment suit deux types de distribution : La loi log-normal pour modéliser les 40 premiers chunks par session de streaming, ensuite on observe une queue qui peut être modélisé par la loi de Pareto. Cette observation suggère que les clients ne consomment pas la totalité du contenu catch-up. On montre par simulation que si le cache implémente des logiques de caching qui ne tiennent pas en compte les caractéristiques des flux HAS, sa performance diminuerait considérablement.Dans ce contexte, nous proposons un nouvel algorithme de remplacement des contenus que nous appelons Workload Aware-LRU (WA-LRU). WA-LRU permet d’améliorer la performance des systèmes de cache en augmentant le Hit-Ratio en particulier pour les premiers segments et en diminuant le temps requis pour la mise à jour de la liste des objets cachés. En fonction de la capacité du cache et de la charge du trafic dans le réseau, WA-LRU estime un seuil sur le rang du segment à cacher. Si le rang du chunk demandé dépasse ce seuil, le chunk ne sera pas caché sinon il sera caché. Comme WA-LRU dépend de la charge du trafic dans le réseau, cela suppose que le seuil choisit par WA-LRU est dynamique sur la journée. WA-LRU est plus agressif pendant les heures chargées (i.e. il cache moins de chunks, ceux qui sont les plus demandés) que pendant les heures creuses où le réseau est moins chargé.Dans notre deuxième contribution, nous étudions plus en détail les facteurs qui poussent les clients HAS à changer de qualité lors d’une session vidéo. Nous modélisons également ce changement de qualité en se basant sur des données empiriques provenant de notre trace de trafic. Au niveau du cache, nous montrons que le changement fréquent de qualité crée une compétition entre les différents profiles d’encodages. Cela réduit les performances du système de cache. Dans ce contexte, nous proposons Cache Friendly-DASH (CF-DASH), une implémentation d’un player HAS compatible avec le standard DASH, qui assure une meilleure stabilité du player. Nous montrons à travers des simulations et des expérimentations que CF- DASH améliore expérience client et permet aussi d’atteindre un gain significatif du hit-ratio qui peut varier entre 15% à 50%.Dans la deuxième partie de cette thèse, nous proposons un système de préchargement de contenus vidéos sur terminaux mobile. La consommation des contenus vidéo en ligne est fortement impactée par les nouvelles technologies du Web2.0 et les réseaux sociaux. Les personnes qui partagent des intérêts similaires ont tendance à demander le même contenu. Cela permet de prédire le comportement des clients et identifier les contenus qui peuvent les intéresser. Par ailleurs, les smartphones et tablettes sont de plus en plus adaptés pour visionner des vidéos et assurer une meilleure qualité d’expérience. Dans cette thèse, nous concevons un système qu’on appelle CPSys (Central Predictor System) permettant d’identifier les vidéos les plus pertinentes pour chaque utilisateur. Pour bien paramétrer notre système de préchargement, nous analysons des traces de trafic de type User Generated Videos (UGC). En particulier, nous analysons la popularité des contenus YouTube et Facebook, ainsi que l’évolution de la popularité des contenus en fonction du temps. Nous observons que 10% des requêtes se font sur une fenêtre de temps d’une heure après avoir mis les vidéos en ligne et 40% des requêtes se font sur une fenêtre de temps de un jour. On présente aussi des analyses sur le comportement des clients. On observe que la consommation des contenus vidéo varie significativement entre les clients mobiles. On distingue 2 types de clients :• les grands consommateurs : Ils forment une minorité mais consomment plusieurs vidéos sur une journée.• lespetitsconsommateurs:Ilsformentlamajoritédesclientsmaisconsommentquelques vidéos par jour voir sur une période plus longue.On s’appuyant sur ces observations, notre système de préchargement adapte le mode de pré- chargement selon le profil utilisateur qui est déduit à partir de l’historique de la consommation de chaque client.Dans un premier temps, CPSys crée un graphe regroupant les utilisateurs qui sont similaires. Le graphe peut être soit explicite (type Facebook) ou implicite qui est construit à la base des techniques de colllaborative filtering dérivés des systèmes de recommandations. Une fois le graphe est créé, nous proposons la politique Most Popular Most Recent (MPMR) qui permet d’inférer quel contenu doit-on précharger pour chaque utilisateur. MPMR trie les vidéos candidats selon la popularité locale du contenu définit comme le nombre de vues effectués par les voisins les plus similaires, ensuite MPMR donne la priorité aux contenus les plus frais. Nous montrons que CPSys peut atteindre des performances élevées par rapport à d’autres techniques présentées dans l’état de l’art. CPSys améliore la qualité de la prédiction et réduit d’une manière significative le trafic réseau.Finalement, nous développons une preuve de concept de notre système de préchargement

    Caching and prefetching for efficient video services in mobile networks

    Get PDF
    Cellular networks have witnessed phenomenal traffic growth recently fueled by new high speed broadband cellular access technologies. This growth is in large part driven by the emergence of the HTTP Adaptive Streaming (HAS) as a new video delivery method. In HAS, several qualities of the same videos are made available in the network so that clients can choose the quality that best fits their bandwidth capacity. This strongly impacts the viewing pattern of the clients, their switching behavior between video qualities, and thus beyond on content delivery systems.Our first contribution consists in providing an analysis of a real HAS dataset collected in France and provided by the largest French mobile operator. Firstly, we analyze and model the viewing patterns of VoD and live streaming HAS sessions and we propose a new cache replacement strategy, named WA-LRU. WA-LRU leverages the time locality of video segments within the HAS content. We show that WA-LRU improves the cache hit-ratio mostly at the loading phase while it reduces significantly the processing overhead at the cache.In our second contribution, we analyze and model the adaptation logic between the video qualities based on empirical observations. We show that high switching behaviors lead to sub optimal caching performance, since several versions of the same content compete to be cached. In this context we investigate the benefits of a Cache Friendly HAS system (CF-DASH) which aims at improving the caching efficiency in mobile networks and to sustain the quality of experience of mobile clients. We evaluate CF-dash based on trace-driven simulations and test-bed experiments. Our validation results are promising. Simulations on real HAS traffic show that we achieve a significant gain in hit-ratio that ranges from 15% up to 50%.In the second part of this thesis, we investigate the mobile video prefetching opportunities. Online media services are reshaping the way video content is watched. People with similar interests tend to request same content. This provides enormous potential to predict which content users are interested in. Besides, mobile devices are commonly used to watch videos which popularity is largely driven by their social success. We design a system, named "Central Predictor System (CPsys)", which aims at predicting and prefetching relevant content for each mobile client. To fine tune our prefetching system, we rely on a large dataset collected from a large mobile carrier in Europe. The rationale of our prefetching strategy is first to form a graph and build implicit or explicit ties between similar users. On top of this graph, we propose the Most Popular and Most Recent (MPMR) policy to predict relevant videos for each user. We show that CPSys can achieve high performance as regards prediction correctness and network utilization efficiency. We further show that CPSys outperforms other prefetching schemes from the state of the art. At the end, we provide a proof-of-concept implementation of our prefetching system.Les réseaux cellulaires ont connu une croissance phénoménale du trafic alimentée par les nouvelles technologies d’accès cellulaire à large bande. Cette croissance est tirée en grande partie par le trafic HTTP adaptatif streaming (HAS) comme une nouvelle technique de diffu- sion de contenus audiovisuel. Le principe du HAS est de rendre disponible plusieurs qualités de la même vidéo en ligne et que les clients choisissent la meilleure qualité qui correspond à leur bande passante. Chaque niveau d’encodage est segmenté en des petits vidéos qu’on appelle segments ou chunks et dont la durée varie entre 2 à 10 secondes. L’émergence du HAS a introduit des nouvelles contraintes sur les systèmes de livraison des contenus vidéo en particulier sur les systèmes de cache. Dans cette thèse, nous nous intéressons à l’étude de cet impact et à proposer des algorithmes et des solutions qui optimisent les fonctionnalités de ces systèmes. D’autre part, la consommation des contenus est fortement impactée par les nouvelles technologies du Web2.0 tel que l’émergence des réseaux sociaux. Dans cette thèse, nous exploitons les réseaux sociaux afin de proposer un service de préchargement des contenus VoD sur terminaux mobiles. Notre solution permet l’amélioration de la QoE des utilisateurs et permet de bien gérer les ressources réseaux mobile.Nous listons nos contributions comme suit :Notre première contribution consiste à mener une analyse détaillée des données sur un trafic HAS réel collecté en France et fournie par le plus grand opérateur de téléphonie mobile du pays. Tout d’abord, nous analysons et modélisons le comportement des clients qui demandent des contenus catch-up et live. Nous constatons que le nombre de requêtes par segment suit deux types de distribution : La loi log-normal pour modéliser les 40 premiers chunks par session de streaming, ensuite on observe une queue qui peut être modélisé par la loi de Pareto. Cette observation suggère que les clients ne consomment pas la totalité du contenu catch-up. On montre par simulation que si le cache implémente des logiques de caching qui ne tiennent pas en compte les caractéristiques des flux HAS, sa performance diminuerait considérablement.Dans ce contexte, nous proposons un nouvel algorithme de remplacement des contenus que nous appelons Workload Aware-LRU (WA-LRU). WA-LRU permet d’améliorer la performance des systèmes de cache en augmentant le Hit-Ratio en particulier pour les premiers segments et en diminuant le temps requis pour la mise à jour de la liste des objets cachés. En fonction de la capacité du cache et de la charge du trafic dans le réseau, WA-LRU estime un seuil sur le rang du segment à cacher. Si le rang du chunk demandé dépasse ce seuil, le chunk ne sera pas caché sinon il sera caché. Comme WA-LRU dépend de la charge du trafic dans le réseau, cela suppose que le seuil choisit par WA-LRU est dynamique sur la journée. WA-LRU est plus agressif pendant les heures chargées (i.e. il cache moins de chunks, ceux qui sont les plus demandés) que pendant les heures creuses où le réseau est moins chargé.Dans notre deuxième contribution, nous étudions plus en détail les facteurs qui poussent les clients HAS à changer de qualité lors d’une session vidéo. Nous modélisons également ce changement de qualité en se basant sur des données empiriques provenant de notre trace de trafic. Au niveau du cache, nous montrons que le changement fréquent de qualité crée une compétition entre les différents profiles d’encodages. Cela réduit les performances du système de cache. Dans ce contexte, nous proposons Cache Friendly-DASH (CF-DASH), une implémentation d’un player HAS compatible avec le standard DASH, qui assure une meilleure stabilité du player. Nous montrons à travers des simulations et des expérimentations que CF- DASH améliore expérience client et permet aussi d’atteindre un gain significatif du hit-ratio qui peut varier entre 15% à 50%.Dans la deuxième partie de cette thèse, nous proposons un système de préchargement de contenus vidéos sur terminaux mobile. La consommation des contenus vidéo en ligne est fortement impactée par les nouvelles technologies du Web2.0 et les réseaux sociaux. Les personnes qui partagent des intérêts similaires ont tendance à demander le même contenu. Cela permet de prédire le comportement des clients et identifier les contenus qui peuvent les intéresser. Par ailleurs, les smartphones et tablettes sont de plus en plus adaptés pour visionner des vidéos et assurer une meilleure qualité d’expérience. Dans cette thèse, nous concevons un système qu’on appelle CPSys (Central Predictor System) permettant d’identifier les vidéos les plus pertinentes pour chaque utilisateur. Pour bien paramétrer notre système de préchargement, nous analysons des traces de trafic de type User Generated Videos (UGC). En particulier, nous analysons la popularité des contenus YouTube et Facebook, ainsi que l’évolution de la popularité des contenus en fonction du temps. Nous observons que 10% des requêtes se font sur une fenêtre de temps d’une heure après avoir mis les vidéos en ligne et 40% des requêtes se font sur une fenêtre de temps de un jour. On présente aussi des analyses sur le comportement des clients. On observe que la consommation des contenus vidéo varie significativement entre les clients mobiles. On distingue 2 types de clients :• les grands consommateurs : Ils forment une minorité mais consomment plusieurs vidéos sur une journée.• lespetitsconsommateurs:Ilsformentlamajoritédesclientsmaisconsommentquelques vidéos par jour voir sur une période plus longue.On s’appuyant sur ces observations, notre système de préchargement adapte le mode de pré- chargement selon le profil utilisateur qui est déduit à partir de l’historique de la consommation de chaque client.Dans un premier temps, CPSys crée un graphe regroupant les utilisateurs qui sont similaires. Le graphe peut être soit explicite (type Facebook) ou implicite qui est construit à la base des techniques de colllaborative filtering dérivés des systèmes de recommandations. Une fois le graphe est créé, nous proposons la politique Most Popular Most Recent (MPMR) qui permet d’inférer quel contenu doit-on précharger pour chaque utilisateur. MPMR trie les vidéos candidats selon la popularité locale du contenu définit comme le nombre de vues effectués par les voisins les plus similaires, ensuite MPMR donne la priorité aux contenus les plus frais. Nous montrons que CPSys peut atteindre des performances élevées par rapport à d’autres techniques présentées dans l’état de l’art. CPSys améliore la qualité de la prédiction et réduit d’une manière significative le trafic réseau.Finalement, nous développons une preuve de concept de notre système de préchargement
    corecore