Development of advanced multimedia services in P2P architectures

La transmissió de fluxos multimèdia en temps real (streaming) s’ha convertit en un tema punter i de gran interès al món de la recerca d’Internet, especialment quan ens referim a aplicacions de transmissió d’àudio i vídeo en directe a través de xarxes peer-to-peer (P2P). Generalment, aquestes aplicacions han de fer front a molts problemes en el seu disseny i implementació deguts a la dinamicitat i heterogeneïtat que per natura caracteritzen les xarxes P2P. En aquest projecte, s’introdueixen noves característiques que les aplicacions de transmissió multimèdia P2P actuals no contemplen. Els requisits de connexió i maquinari són diferents per a la transmissió de fluxos de baixa i alta capacitat, no obstant, tots els nodes s’acostumen a considerar idèntics, cosa que no representa una aproximació gaire encertada tenint en compte un medi tan heterogeni. A més a més, amb la finalitat d’aconseguir distinció entre nodes, es fa necessari la introducció d’un mecanisme que permeti l’intercanvi de les capacitats específiques de cada node, incloent-hi les de transcodificació de fluxos. Un altre aspecte a destacar és el fet que aquestes aplicacions són difícils d’ampliar, incorporar nous serveis o modificar les dades que porten precarregades com ara la llista de canals de televisió disponibles, cosa que impossibilita garantir la disponibilitat de la font tot el temps. Per altra banda, els serveis interactius tampoc s’han desenvolupat gaire. Aquest projecte proposa el disseny i implementació d’una plataforma de difusió multimèdia P2P cooperativa i interactiva que permet superar els problemes esmentats. La plataforma integra diferents mecanismes que permeten la distribució en temps real de continguts multimèdia en diferents qualitats incloent fluxos d’alta capacitat (com per exemple HD). Aquesta plataforma és una solució novedosa basada en JXTA, DONET i ALM (Arbres Multicast a nivell d’Aplicació) que proporciona un sistema ampliable segons noves necessitats i facilita la inserció de nous serveis de valor afegit. La plataforma proposada es fonamenta en la creació d’una arquitectura de 2 capes lògiques superposades: una capa lògica JXTA, encarregada bàsicament de la senyalització i intercanvi de metadades, i una capa de transmissió basada en sockets UDP unicast. D’aquesta manera, la diferència entre la capa de transmissió i la capa física es pot veure reduïda a partir de la informació obtinguda de la capa JXTA, la qual es va actualitzant al llarg del temps

QoE in Pull Based P2P-TV Systems: Overlay Topology Design Tradeoff

Abstract—This paper presents a systematic performance anal-ysis of pull P2P video streaming systems for live applications, providing guidelines for the design of the overlay topology and the chunk scheduling algorithm. The contribution of the paper is threefold: 1) we propose a realistic simulative model of the system that represents the effects of access bandwidth heterogeneity, latencies, peculiar characteristics of the video, while still guaranteeing good scalability properties; 2) we propose a new latency/bandwidth-aware overlay topology design strategy that improves application layer performance while reducing the underlying transport network stress; 3) we investigate the impact of chunk scheduling algorithms that explicitly exploit properties of encoded video. Results show that our proposal jointly improves the actual Quality of Experience of users and reduces the cost the transport network has to support. I

Multiple Multicast Trees for media distribution

Dissertação apresentada à Escola Superior de Tecnologia do Instituto Politécnico de Castelo Branco e Instituto de Telecomunicações para cumprimento dos requisitos necessários à obtenção do grau de Mestre em Desenvolvimento de Software e Sistemas Interativos, realizada sob a orientação científica do Professor adjunto Doutor Osvaldo Santos, do Instituto Politécnico de Castelo Branco.Com a implementação massiva dos acessos de banda larga nos utilizadores, e com o aumento da capacidade dos dispositivos, o paradigma de rede P2P tem vindo a ganhar consistência e terreno comparativamente à típica tecnologia cliente-servidor. Na maioria dos países modernos as ligações à Internet têm capacidade suficiente para libertar as capacidades que o P2P pode oferecer em aplicações como, video-on-demand ou televisão em tempo real. É sabido que o uso de sistemas baseados em P2P para distribuir conteúdos sensíveis a atrasos pode levantar questões técnicas associadas à instabilidade do sistema causado pela entrada e saída de clientes. Neste relatório é proposto uma plataforma para distribuir conteúdos 3D, sensíveis a atrasos, utilizando um sistema híbrido cliente servidor e P2P hibrido. A plataforma proposta utiliza ao nível da aplicação P2P tecnologia do tipo múltiplas árvores na rede de acesso, delegando as típicas ações de servidor aos super-peers que estão distribuídos geograficamente. Esta proposta utiliza uma nova arquitetura de controlo para tirar proveito dos recursos da Internet para alimentar as técnicas de QoS rigorosas de forma escalável. Os resultados são baseados em testes efetuados em laboratório e mostram uma rápida reação nos clientes.Abstract: With the massive deployment of broadband access to the end-users and the improved hardware capabilities of end devices, peer-to-peer (P2P) networking paradigm is consistently gaining terrain over the typical client-server approach. In most of the modern countries, today’s Internet connectivity has sufficient conditions to unleash P2P applications such as video-on-demand or real-time television. It is known that the use of P2P based systems to distribute delay sensitive applications raises technical problems mainly associated with the system’s instability caused by the peer churn effect. In this report, we propose a framework to distribute delay sensitive 3D video content using a hybrid client-server and P2P approach. The proposed framework uses P2P application-level multicast trees at the access networks, delegating typical server operations at super-peers who are domain and geographically distributed. The approach uses a new control architecture to take advantage of the Internet to meet stringent QoS demands in a scalable manner. Results based on real testbed implementation show quick reaction at peer level

Measuring And Improving Internet Video Quality Of Experience

Streaming multimedia content over the IP-network is poised to be the dominant Internet traffic for the coming decade, predicted to account for more than 91% of all consumer traffic in the coming years. Streaming multimedia content ranges from Internet television (IPTV), video on demand (VoD), peer-to-peer streaming, and 3D television over IP to name a few. Widespread acceptance, growth, and subscriber retention are contingent upon network providers assuring superior Quality of Experience (QoE) on top of todays Internet. This work presents the first empirical understanding of Internet’s video-QoE capabilities, and tools and protocols to efficiently infer and improve them. To infer video-QoE at arbitrary nodes in the Internet, we design and implement MintMOS: a lightweight, real-time, noreference framework for capturing perceptual quality. We demonstrate that MintMOS’s projections closely match with subjective surveys in accessing perceptual quality. We use MintMOS to characterize Internet video-QoE both at the link level and end-to-end path level. As an input to our study, we use extensive measurements from a large number of Internet paths obtained from various measurement overlays deployed using PlanetLab. Link level degradations of intra– and inter–ISP Internet links are studied to create an empirical understanding of their shortcomings and ways to overcome them. Our studies show that intra–ISP links are often poorly engineered compared to peering links, and that iii degradations are induced due to transient network load imbalance within an ISP. Initial results also indicate that overlay networks could be a promising way to avoid such ISPs in times of degradations. A large number of end-to-end Internet paths are probed and we measure delay, jitter, and loss rates. The measurement data is analyzed offline to identify ways to enable a source to select alternate paths in an overlay network to improve video-QoE, without the need for background monitoring or apriori knowledge of path characteristics. We establish that for any unstructured overlay of N nodes, it is sufficient to reroute key frames using a random subset of k nodes in the overlay, where k is bounded by O(lnN). We analyze various properties of such random subsets to derive simple, scalable, and an efficient path selection strategy that results in a k-fold increase in path options for any source-destination pair; options that consistently outperform Internet path selection. Finally, we design a prototype called source initiated frame restoration (SIFR) that employs random subsets to derive alternate paths and demonstrate its effectiveness in improving Internet video-QoE

Design and Implementation of a Communication Protocol to Improve Multimedia QoS and QoE in Wireless Ad Hoc Networks

[EN] This dissertation addresses the problem of multimedia delivery over multi-hop ad hoc wireless networks, and especially over wireless sensor networks. Due to their characteristics of low power consumption, low processing capacity and low memory capacity, they have major difficulties in achieving optimal quality levels demanded by end users in such communications. In the first part of this work, it has been carried out a study to determine the behavior of a variety of multimedia streams and how they are affected by the network conditions when they are transmitted over topologies formed by devices of different technologies in multi hop wireless ad hoc mode. To achieve this goal, we have performed experimental tests using a test bench, which combine the main codecs used in audio and video streaming over IP networks with different sound and video captures representing the characteristic patterns of multimedia services such as phone calls, video communications, IPTV and video on demand (VOD). With the information gathered in the laboratory, we have been able to establish the correlation between the induced changes in the physical and logical topology and the network parameters that measure the quality of service (QoS) of a multimedia transmission, such as latency, jitter or packet loss. At this stage of the investigation, a study was performed to determine the state of the art of the proposed protocols, algorithms, and practical implementations that have been explicitly developed to optimize the multimedia transmission over wireless ad hoc networks, especially in ad hoc networks using clusters of nodes distributed over a geographic area and wireless sensor networks. Next step of this research was the development of an algorithm focused on the logical organization of clusters formed by nodes capable of adapting to the circumstances of real-time traffic. The stated goal was to achieve the maximum utilization of the resources offered by the set of nodes that forms the network, allowing simultaneously sending reliably and efficiently all types of content through them, and mixing conventional IP data traffic with multimedia traffic with stringent QoS and QoE requirements. Using the information gathered in the previous phase, we have developed a network architecture that improves overall network performance and multimedia streaming. In parallel, it has been designed and programmed a communication protocol that allows implementing the proposal and testing its operation on real network infrastructures. In the last phase of this thesis we have focused our work on sending multimedia in wireless sensor networks (WSN). Based on the above results, we have adapted both the architecture and the communication protocol for this particular type of network, whose use has been growing hugely in recent years.[ES] Esta tesis doctoral aborda el problema de la distribución de contenidos multimedia a través de redes inalámbricas ad hoc multisalto, especialmente las redes inalámbricas de sensores que, debido a sus características de bajo consumo energético, baja capacidad de procesamiento y baja capacidad de memoria, plantean grandes dificultades para alcanzar los niveles de calidad óptimos que exigen los usuarios finales en dicho tipo de comunicaciones. En la primera parte de este trabajo se ha llevado a cabo un estudio para determinar el comportamiento de una gran variedad de flujos multimedia y como se ven afectados por las condiciones de la red cuando son transmitidos a través topologías formadas por dispositivos de diferentes tecnologías que se comunican en modo ad hoc multisalto inalámbrico. Para ello, se han realizado pruebas experimentales sobre una maqueta de laboratorio, combinando los principales códecs empleados en la transmisión de audio y video a través de redes IP con diversas capturas de sonido y video que representan patrones característicos de servicios multimedia tales como las llamadas telefónicas, videoconferencias, IPTV o video bajo demanda (VOD). Con la información reunida en el laboratorio se ha podido establecer la correlación entre los cambios inducidos en la topología física y lógica de la red con los parámetros que miden la calidad de servicio (QoS) de una transmisión multimedia, tales como la latencia el jitter o la pérdida de paquetes. En esta fase de la investigación se realiza un estudio para determinar el estado del arte de las propuestas de desarrollo e implementación de protocolos y algoritmos que se han generado de forma explícita para optimizar la transmisión de tráfico multimedia sobre redes ad hoc inalámbricas, especialmente en las redes inalámbricas de sensores y redes ad hoc utilizando clústeres de nodos distribuidos en un espacio geográfico. El siguiente paso en la investigación ha consistido en el desarrollo de un algoritmo propio para la organización lógica de clústeres formados por nodos capaces de adaptarse a las circunstancias del tráfico en tiempo real. El objetivo planteado es conseguir un aprovechamiento máximo de los recursos ofrecidos por el conjunto de nodos que forman la red, permitiendo de forma simultánea el envío de todo tipo de contenidos a través de ellos de forma confiable y eficiente, permitiendo la convivencia de tráfico de datos IP convencional con tráfico multimedia con requisitos exigentes de QoS y QoE. A partir de la información conseguida en la fase anterior, se ha desarrollado una arquitectura de red que mejora el rendimiento general de la red y el de las transmisiones multimedia de audio y video en particular. De forma paralela, se ha diseñado y programado un protocolo de comunicación que permite implementar el modelo y testear su funcionamiento sobre infraestructuras de red reales. En la última fase de esta tesis se ha dirigido la atención hacia la transmisión multimedia en las redes de sensores inalámbricos (WSN). Partiendo de los resultados anteriores, se ha adaptado tanto la arquitectura como el protocolo de comunicaciones para este tipo concreto de red, cuyo uso se ha extendido en los últimos años de forma considerable[CA] Esta tesi doctoral aborda el problema de la distribució de continguts multimèdia a través de xarxes sense fil ad hoc multi salt, especialment les xarxes sense fil de sensors que, a causa de les seues característiques de baix consum energètic, baixa capacitat de processament i baixa capacitat de memòria, plantegen grans dificultats per a aconseguir els nivells de qualitat òptims que exigixen els usuaris finals en eixos tipus de comunicacions. En la primera part d'este treball s'ha dut a terme un estudi per a determinar el comportament d'una gran varietat de fluxos multimèdia i com es veuen afectats per les condicions de la xarxa quan són transmesos a través topologies formades per dispositius de diferents tecnologies que es comuniquen en mode ad hoc multi salt sense fil. Per a això, s'han realitzat proves experimentals sobre una maqueta de laboratori, combinant els principals códecs empleats en la transmissió d'àudio i vídeo a través de xarxes IP amb diverses captures de so i vídeo que representen patrons característics de serveis multimèdia com son les cridades telefòniques, videoconferències, IPTV o vídeo baix demanda (VOD). Amb la informació reunida en el laboratori s'ha pogut establir la correlació entre els canvis induïts en la topologia física i lògica de la xarxa amb els paràmetres que mesuren la qualitat de servei (QoS) d'una transmissió multimèdia, com la latència el jitter o la pèrdua de paquets. En esta fase de la investigació es realitza un estudi per a determinar l'estat de l'art de les propostes de desenvolupament i implementació de protocols i algoritmes que s'han generat de forma explícita per a optimitzar la transmissió de tràfic multimèdia sobre xarxes ad hoc sense fil, especialment en les xarxes sense fil de sensors and xarxes ad hoc utilitzant clusters de nodes distribuïts en un espai geogràfic. El següent pas en la investigació ha consistit en el desenvolupament d'un algoritme propi per a l'organització lògica de clusters formats per nodes capaços d'adaptar-se a les circumstàncies del tràfic en temps real. L'objectiu plantejat és aconseguir un aprofitament màxim dels recursos oferits pel conjunt de nodes que formen la xarxa, permetent de forma simultània l'enviament de qualsevol tipus de continguts a través d'ells de forma confiable i eficient, permetent la convivència de tràfic de dades IP convencional amb tràfic multimèdia amb requisits exigents de QoS i QoE. A partir de la informació aconseguida en la fase anterior, s'ha desenvolupat una arquitectura de xarxa que millora el rendiment general de la xarxa i el de les transmissions multimèdia d'àudio i vídeo en particular. De forma paral¿lela, s'ha dissenyat i programat un protocol de comunicació que permet implementar el model i testejar el seu funcionament sobre infraestructures de xarxa reals. En l'última fase d'esta tesi s'ha dirigit l'atenció cap a la transmissió multimèdia en les xarxes de sensors sense fil (WSN). Partint dels resultats anteriors, s'ha adaptat tant l'arquitectura com el protocol de comunicacions per a aquest tipus concret de xarxa, l'ús del qual s'ha estés en els últims anys de forma considerable.Díaz Santos, JR. (2016). Design and Implementation of a Communication Protocol to Improve Multimedia QoS and QoE in Wireless Ad Hoc Networks [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/62162TESI

Caching and prefetching for efficient video services in mobile networks

Cellular networks have witnessed phenomenal traffic growth recently fueled by new high speed broadband cellular access technologies. This growth is in large part driven by the emergence of the HTTP Adaptive Streaming (HAS) as a new video delivery method. In HAS, several qualities of the same videos are made available in the network so that clients can choose the quality that best fits their bandwidth capacity. This strongly impacts the viewing pattern of the clients, their switching behavior between video qualities, and thus beyond on content delivery systems.Our first contribution consists in providing an analysis of a real HAS dataset collected in France and provided by the largest French mobile operator. Firstly, we analyze and model the viewing patterns of VoD and live streaming HAS sessions and we propose a new cache replacement strategy, named WA-LRU. WA-LRU leverages the time locality of video segments within the HAS content. We show that WA-LRU improves the cache hit-ratio mostly at the loading phase while it reduces significantly the processing overhead at the cache.In our second contribution, we analyze and model the adaptation logic between the video qualities based on empirical observations. We show that high switching behaviors lead to sub optimal caching performance, since several versions of the same content compete to be cached. In this context we investigate the benefits of a Cache Friendly HAS system (CF-DASH) which aims at improving the caching efficiency in mobile networks and to sustain the quality of experience of mobile clients. We evaluate CF-dash based on trace-driven simulations and test-bed experiments. Our validation results are promising. Simulations on real HAS traffic show that we achieve a significant gain in hit-ratio that ranges from 15% up to 50%.In the second part of this thesis, we investigate the mobile video prefetching opportunities. Online media services are reshaping the way video content is watched. People with similar interests tend to request same content. This provides enormous potential to predict which content users are interested in. Besides, mobile devices are commonly used to watch videos which popularity is largely driven by their social success. We design a system, named "Central Predictor System (CPsys)", which aims at predicting and prefetching relevant content for each mobile client. To fine tune our prefetching system, we rely on a large dataset collected from a large mobile carrier in Europe. The rationale of our prefetching strategy is first to form a graph and build implicit or explicit ties between similar users. On top of this graph, we propose the Most Popular and Most Recent (MPMR) policy to predict relevant videos for each user. We show that CPSys can achieve high performance as regards prediction correctness and network utilization efficiency. We further show that CPSys outperforms other prefetching schemes from the state of the art. At the end, we provide a proof-of-concept implementation of our prefetching system.Les réseaux cellulaires ont connu une croissance phénoménale du trafic alimentée par les nouvelles technologies d’accès cellulaire à large bande. Cette croissance est tirée en grande partie par le trafic HTTP adaptatif streaming (HAS) comme une nouvelle technique de diffu- sion de contenus audiovisuel. Le principe du HAS est de rendre disponible plusieurs qualités de la même vidéo en ligne et que les clients choisissent la meilleure qualité qui correspond à leur bande passante. Chaque niveau d’encodage est segmenté en des petits vidéos qu’on appelle segments ou chunks et dont la durée varie entre 2 à 10 secondes. L’émergence du HAS a introduit des nouvelles contraintes sur les systèmes de livraison des contenus vidéo en particulier sur les systèmes de cache. Dans cette thèse, nous nous intéressons à l’étude de cet impact et à proposer des algorithmes et des solutions qui optimisent les fonctionnalités de ces systèmes. D’autre part, la consommation des contenus est fortement impactée par les nouvelles technologies du Web2.0 tel que l’émergence des réseaux sociaux. Dans cette thèse, nous exploitons les réseaux sociaux afin de proposer un service de préchargement des contenus VoD sur terminaux mobiles. Notre solution permet l’amélioration de la QoE des utilisateurs et permet de bien gérer les ressources réseaux mobile.Nous listons nos contributions comme suit :Notre première contribution consiste à mener une analyse détaillée des données sur un trafic HAS réel collecté en France et fournie par le plus grand opérateur de téléphonie mobile du pays. Tout d’abord, nous analysons et modélisons le comportement des clients qui demandent des contenus catch-up et live. Nous constatons que le nombre de requêtes par segment suit deux types de distribution : La loi log-normal pour modéliser les 40 premiers chunks par session de streaming, ensuite on observe une queue qui peut être modélisé par la loi de Pareto. Cette observation suggère que les clients ne consomment pas la totalité du contenu catch-up. On montre par simulation que si le cache implémente des logiques de caching qui ne tiennent pas en compte les caractéristiques des flux HAS, sa performance diminuerait considérablement.Dans ce contexte, nous proposons un nouvel algorithme de remplacement des contenus que nous appelons Workload Aware-LRU (WA-LRU). WA-LRU permet d’améliorer la performance des systèmes de cache en augmentant le Hit-Ratio en particulier pour les premiers segments et en diminuant le temps requis pour la mise à jour de la liste des objets cachés. En fonction de la capacité du cache et de la charge du trafic dans le réseau, WA-LRU estime un seuil sur le rang du segment à cacher. Si le rang du chunk demandé dépasse ce seuil, le chunk ne sera pas caché sinon il sera caché. Comme WA-LRU dépend de la charge du trafic dans le réseau, cela suppose que le seuil choisit par WA-LRU est dynamique sur la journée. WA-LRU est plus agressif pendant les heures chargées (i.e. il cache moins de chunks, ceux qui sont les plus demandés) que pendant les heures creuses où le réseau est moins chargé.Dans notre deuxième contribution, nous étudions plus en détail les facteurs qui poussent les clients HAS à changer de qualité lors d’une session vidéo. Nous modélisons également ce changement de qualité en se basant sur des données empiriques provenant de notre trace de trafic. Au niveau du cache, nous montrons que le changement fréquent de qualité crée une compétition entre les différents profiles d’encodages. Cela réduit les performances du système de cache. Dans ce contexte, nous proposons Cache Friendly-DASH (CF-DASH), une implémentation d’un player HAS compatible avec le standard DASH, qui assure une meilleure stabilité du player. Nous montrons à travers des simulations et des expérimentations que CF- DASH améliore expérience client et permet aussi d’atteindre un gain significatif du hit-ratio qui peut varier entre 15% à 50%.Dans la deuxième partie de cette thèse, nous proposons un système de préchargement de contenus vidéos sur terminaux mobile. La consommation des contenus vidéo en ligne est fortement impactée par les nouvelles technologies du Web2.0 et les réseaux sociaux. Les personnes qui partagent des intérêts similaires ont tendance à demander le même contenu. Cela permet de prédire le comportement des clients et identifier les contenus qui peuvent les intéresser. Par ailleurs, les smartphones et tablettes sont de plus en plus adaptés pour visionner des vidéos et assurer une meilleure qualité d’expérience. Dans cette thèse, nous concevons un système qu’on appelle CPSys (Central Predictor System) permettant d’identifier les vidéos les plus pertinentes pour chaque utilisateur. Pour bien paramétrer notre système de préchargement, nous analysons des traces de trafic de type User Generated Videos (UGC). En particulier, nous analysons la popularité des contenus YouTube et Facebook, ainsi que l’évolution de la popularité des contenus en fonction du temps. Nous observons que 10% des requêtes se font sur une fenêtre de temps d’une heure après avoir mis les vidéos en ligne et 40% des requêtes se font sur une fenêtre de temps de un jour. On présente aussi des analyses sur le comportement des clients. On observe que la consommation des contenus vidéo varie significativement entre les clients mobiles. On distingue 2 types de clients :• les grands consommateurs : Ils forment une minorité mais consomment plusieurs vidéos sur une journée.• lespetitsconsommateurs:Ilsformentlamajoritédesclientsmaisconsommentquelques vidéos par jour voir sur une période plus longue.On s’appuyant sur ces observations, notre système de préchargement adapte le mode de pré- chargement selon le profil utilisateur qui est déduit à partir de l’historique de la consommation de chaque client.Dans un premier temps, CPSys crée un graphe regroupant les utilisateurs qui sont similaires. Le graphe peut être soit explicite (type Facebook) ou implicite qui est construit à la base des techniques de colllaborative filtering dérivés des systèmes de recommandations. Une fois le graphe est créé, nous proposons la politique Most Popular Most Recent (MPMR) qui permet d’inférer quel contenu doit-on précharger pour chaque utilisateur. MPMR trie les vidéos candidats selon la popularité locale du contenu définit comme le nombre de vues effectués par les voisins les plus similaires, ensuite MPMR donne la priorité aux contenus les plus frais. Nous montrons que CPSys peut atteindre des performances élevées par rapport à d’autres techniques présentées dans l’état de l’art. CPSys améliore la qualité de la prédiction et réduit d’une manière significative le trafic réseau.Finalement, nous développons une preuve de concept de notre système de préchargement

Caching and prefetching for efficient video services in mobile networks

Cellular networks have witnessed phenomenal traffic growth recently fueled by new high speed broadband cellular access technologies. This growth is in large part driven by the emergence of the HTTP Adaptive Streaming (HAS) as a new video delivery method. In HAS, several qualities of the same videos are made available in the network so that clients can choose the quality that best fits their bandwidth capacity. This strongly impacts the viewing pattern of the clients, their switching behavior between video qualities, and thus beyond on content delivery systems.Our first contribution consists in providing an analysis of a real HAS dataset collected in France and provided by the largest French mobile operator. Firstly, we analyze and model the viewing patterns of VoD and live streaming HAS sessions and we propose a new cache replacement strategy, named WA-LRU. WA-LRU leverages the time locality of video segments within the HAS content. We show that WA-LRU improves the cache hit-ratio mostly at the loading phase while it reduces significantly the processing overhead at the cache.In our second contribution, we analyze and model the adaptation logic between the video qualities based on empirical observations. We show that high switching behaviors lead to sub optimal caching performance, since several versions of the same content compete to be cached. In this context we investigate the benefits of a Cache Friendly HAS system (CF-DASH) which aims at improving the caching efficiency in mobile networks and to sustain the quality of experience of mobile clients. We evaluate CF-dash based on trace-driven simulations and test-bed experiments. Our validation results are promising. Simulations on real HAS traffic show that we achieve a significant gain in hit-ratio that ranges from 15% up to 50%.In the second part of this thesis, we investigate the mobile video prefetching opportunities. Online media services are reshaping the way video content is watched. People with similar interests tend to request same content. This provides enormous potential to predict which content users are interested in. Besides, mobile devices are commonly used to watch videos which popularity is largely driven by their social success. We design a system, named "Central Predictor System (CPsys)", which aims at predicting and prefetching relevant content for each mobile client. To fine tune our prefetching system, we rely on a large dataset collected from a large mobile carrier in Europe. The rationale of our prefetching strategy is first to form a graph and build implicit or explicit ties between similar users. On top of this graph, we propose the Most Popular and Most Recent (MPMR) policy to predict relevant videos for each user. We show that CPSys can achieve high performance as regards prediction correctness and network utilization efficiency. We further show that CPSys outperforms other prefetching schemes from the state of the art. At the end, we provide a proof-of-concept implementation of our prefetching system.Les réseaux cellulaires ont connu une croissance phénoménale du trafic alimentée par les nouvelles technologies d’accès cellulaire à large bande. Cette croissance est tirée en grande partie par le trafic HTTP adaptatif streaming (HAS) comme une nouvelle technique de diffu- sion de contenus audiovisuel. Le principe du HAS est de rendre disponible plusieurs qualités de la même vidéo en ligne et que les clients choisissent la meilleure qualité qui correspond à leur bande passante. Chaque niveau d’encodage est segmenté en des petits vidéos qu’on appelle segments ou chunks et dont la durée varie entre 2 à 10 secondes. L’émergence du HAS a introduit des nouvelles contraintes sur les systèmes de livraison des contenus vidéo en particulier sur les systèmes de cache. Dans cette thèse, nous nous intéressons à l’étude de cet impact et à proposer des algorithmes et des solutions qui optimisent les fonctionnalités de ces systèmes. D’autre part, la consommation des contenus est fortement impactée par les nouvelles technologies du Web2.0 tel que l’émergence des réseaux sociaux. Dans cette thèse, nous exploitons les réseaux sociaux afin de proposer un service de préchargement des contenus VoD sur terminaux mobiles. Notre solution permet l’amélioration de la QoE des utilisateurs et permet de bien gérer les ressources réseaux mobile.Nous listons nos contributions comme suit :Notre première contribution consiste à mener une analyse détaillée des données sur un trafic HAS réel collecté en France et fournie par le plus grand opérateur de téléphonie mobile du pays. Tout d’abord, nous analysons et modélisons le comportement des clients qui demandent des contenus catch-up et live. Nous constatons que le nombre de requêtes par segment suit deux types de distribution : La loi log-normal pour modéliser les 40 premiers chunks par session de streaming, ensuite on observe une queue qui peut être modélisé par la loi de Pareto. Cette observation suggère que les clients ne consomment pas la totalité du contenu catch-up. On montre par simulation que si le cache implémente des logiques de caching qui ne tiennent pas en compte les caractéristiques des flux HAS, sa performance diminuerait considérablement.Dans ce contexte, nous proposons un nouvel algorithme de remplacement des contenus que nous appelons Workload Aware-LRU (WA-LRU). WA-LRU permet d’améliorer la performance des systèmes de cache en augmentant le Hit-Ratio en particulier pour les premiers segments et en diminuant le temps requis pour la mise à jour de la liste des objets cachés. En fonction de la capacité du cache et de la charge du trafic dans le réseau, WA-LRU estime un seuil sur le rang du segment à cacher. Si le rang du chunk demandé dépasse ce seuil, le chunk ne sera pas caché sinon il sera caché. Comme WA-LRU dépend de la charge du trafic dans le réseau, cela suppose que le seuil choisit par WA-LRU est dynamique sur la journée. WA-LRU est plus agressif pendant les heures chargées (i.e. il cache moins de chunks, ceux qui sont les plus demandés) que pendant les heures creuses où le réseau est moins chargé.Dans notre deuxième contribution, nous étudions plus en détail les facteurs qui poussent les clients HAS à changer de qualité lors d’une session vidéo. Nous modélisons également ce changement de qualité en se basant sur des données empiriques provenant de notre trace de trafic. Au niveau du cache, nous montrons que le changement fréquent de qualité crée une compétition entre les différents profiles d’encodages. Cela réduit les performances du système de cache. Dans ce contexte, nous proposons Cache Friendly-DASH (CF-DASH), une implémentation d’un player HAS compatible avec le standard DASH, qui assure une meilleure stabilité du player. Nous montrons à travers des simulations et des expérimentations que CF- DASH améliore expérience client et permet aussi d’atteindre un gain significatif du hit-ratio qui peut varier entre 15% à 50%.Dans la deuxième partie de cette thèse, nous proposons un système de préchargement de contenus vidéos sur terminaux mobile. La consommation des contenus vidéo en ligne est fortement impactée par les nouvelles technologies du Web2.0 et les réseaux sociaux. Les personnes qui partagent des intérêts similaires ont tendance à demander le même contenu. Cela permet de prédire le comportement des clients et identifier les contenus qui peuvent les intéresser. Par ailleurs, les smartphones et tablettes sont de plus en plus adaptés pour visionner des vidéos et assurer une meilleure qualité d’expérience. Dans cette thèse, nous concevons un système qu’on appelle CPSys (Central Predictor System) permettant d’identifier les vidéos les plus pertinentes pour chaque utilisateur. Pour bien paramétrer notre système de préchargement, nous analysons des traces de trafic de type User Generated Videos (UGC). En particulier, nous analysons la popularité des contenus YouTube et Facebook, ainsi que l’évolution de la popularité des contenus en fonction du temps. Nous observons que 10% des requêtes se font sur une fenêtre de temps d’une heure après avoir mis les vidéos en ligne et 40% des requêtes se font sur une fenêtre de temps de un jour. On présente aussi des analyses sur le comportement des clients. On observe que la consommation des contenus vidéo varie significativement entre les clients mobiles. On distingue 2 types de clients :• les grands consommateurs : Ils forment une minorité mais consomment plusieurs vidéos sur une journée.• lespetitsconsommateurs:Ilsformentlamajoritédesclientsmaisconsommentquelques vidéos par jour voir sur une période plus longue.On s’appuyant sur ces observations, notre système de préchargement adapte le mode de pré- chargement selon le profil utilisateur qui est déduit à partir de l’historique de la consommation de chaque client.Dans un premier temps, CPSys crée un graphe regroupant les utilisateurs qui sont similaires. Le graphe peut être soit explicite (type Facebook) ou implicite qui est construit à la base des techniques de colllaborative filtering dérivés des systèmes de recommandations. Une fois le graphe est créé, nous proposons la politique Most Popular Most Recent (MPMR) qui permet d’inférer quel contenu doit-on précharger pour chaque utilisateur. MPMR trie les vidéos candidats selon la popularité locale du contenu définit comme le nombre de vues effectués par les voisins les plus similaires, ensuite MPMR donne la priorité aux contenus les plus frais. Nous montrons que CPSys peut atteindre des performances élevées par rapport à d’autres techniques présentées dans l’état de l’art. CPSys améliore la qualité de la prédiction et réduit d’une manière significative le trafic réseau.Finalement, nous développons une preuve de concept de notre système de préchargement

Real-time video streaming using peer-to-peer for video distribution

The growth of the Internet has led to research and development of several new and useful applications including video streaming. Commercial experiments are underway to determine the feasibility of multimedia broadcasting using packet based data networks alongside traditional over-the-air broadcasting. Broadcasting companies are offering low cost or free versions of video content online to both guage and at the same time generate popularity. In addition to television broadcasting, video streaming is used in a number of application areas including video conferencing, telecommuting and long distance education. Large scale video streaming has not become as widespread or widely deployed as could be expected. The reason for this is the high bandwidth requirement (and thus high cost) associated with video data. Provision of a constant stream of video data on a medium to large scale typically consumes a significant amount of bandwidth. An effect of this is that encoding bit rates are lowered and consequently video quality is degraded resulting in even slower uptake rates for video streaming services. The aim of this dissertation is to investigate peer-to-peer streaming as a potential solution to this bandwidth problem. The proposed peer-to-peer based solution relies on end user co-operation for video data distribution. This approach is highly effective in reducing the outgoing bandwidth requirement for the video streaming server. End users redistribute received video chunks amongst their respective peers and in so doing increase the potential capacity of the entire network for supporting more clients. A secondary effect of such a system is that encoding capabilities (including higher encoding bit rates or encoding of additional sub-channels) can be enhanced. Peer-to-peer distribution enables any regular user to stream video to large streaming networks with many viewers. This research includes a detailed overview of the fields of video streaming and peer-to-peer networking. Techniques for optimal video preparation and data distribution were investigated. A variety of academic and commercial peer-to-peer based multimedia broadcasting systems were analysed as a means to further define and place the proposed implementation in context with respect to other peercasting implementations. A proof-of-concept of the proposed implementation was developed, mathematically analyzed and simulated in a typical deployment scenario. Analysis was carried out to predict simulation performance and as a form of design evaluation and verification. The analysis highlighted some critical areas which resulted in adaptations to the initial design as well as conditions under which performance can be guaranteed. A simulation of the proof-of-concept system was used to determine the extent of bandwidth savings for the video server. The aim of the simulations was to show that it is possible to encode and deliver video data in real time over a peer-to-peer network. The proposed system achieved expectations and showed significant bandwidth savings for a sustantially large video streaming audience. The implementation was able to encode video in real time and continually stream video packets on time to connected peers while continually supporting network growth by connecting additional peers (or stream viewers). The system performed well and showed good performance under typical real world restrictions on available bandwith capacity.Dissertation (MEng)--University of Pretoria, 2009.Electrical, Electronic and Computer Engineeringunrestricte