Unveiling the end-user viewport resolution from encrypted video traces

International audienceVideo streaming is without doubt the most requested Internet service, and main source of pressure on the Internet infrastructure. At the same time, users are no longer satisfied by the Internet's best effort service, instead, they expect a seamless service of high quality from the side of the network. As result, Internet Service Providers (ISP) engineer their traffic so as to improve their end-users' experience and avoid economic losses. Content providers from their side, and to enforce customers privacy, have shifted towards end-to-end encryption (e.g., TLS/SSL). Video streaming relies on the dynamic adaptive streaming over HTTP protocol (DASH) which takes into consideration the underlying network conditions (e.g., delay, loss rate, and throughput) and the viewport capacity (e.g., screen resolution) to improve the experience of the end user in the limit of the available network resources. In this work, we propose an experimental framework able to infer fine-grained video flow information such as chunk sizes from encrypted YouTube video traces. We also present a novel technique to separate video and audio chunks from encrypted traces based on Gaussian Mixture Models (GMM). Then, we leverage our dataset to train models able to predict the class of viewport (either SD or HD) per video session with an average 92% accuracy and 85% F1-score. The prediction of the exact viewport resolution is also possible but shows a lower accuracy than the viewport class

QoE-driven Cache Placement for Adaptive Video Streaming: Minding the Viewport

International audienceTo handle the increasing demand for video streaming, ISP's and service providers use edge servers to cache video content to reduce the rush on their servers, balance the load between them and over the network, and smooth out the traffic variability. The dynamic adaptive streaming over HTTP protocol (DASH) makes videos available in multiple representations, and end-users can switch video resolution as a function of their network conditions and terminal display capacity (e.g., bandwidth, screen resolution). In this context, we study a viewportaware caching optimization problem for dynamic adaptive video streaming that appropriately considers the client viewport size and access speed, the join time, and the characteristics of videos. We formulate and study the proposed optimization problem as an Integer Linear Program (ILP) that balances minimal join time and maximal visual experience, subject to the cache storage capacity. Our framework sheds light on optimal caching performance. Our proposed heuristic provides guidelines on the videos, and the representations of each video, to cache based on the video popularity, its encoding information, and the distribution of end-user display capacity and access speed in a way to maximize the overall end-user QoE

On Accounting for Screen Resolution in Adaptive Video Streaming: A QoE-Driven Bandwidth Sharing Framework

International audienceScreen resolution along with network conditions are main objective factors impacting the user experience, in particular for video streaming applications. Terminals on their side feature more and more advanced characteristics resulting in different network requirements for good visual experience [1]. Previous studies tried to link MOS (Mean Opinion Score) to video bit rate for different screen types (e.g., CIF, QCIF, and HD) [2]. We leverage such studies and formulate a QoE-driven resource allocation problem to pinpoint the optimal bandwidth allocation that maximizes the QoE (Quality of Experience) over all users of a provider located behind the same bottleneck link, while accounting for the characteristics of the screens they use for video playout. For our optimization problem, QoE functions are built using curve fitting on data sets capturing the relationship between MOS, screen characteristics, and bandwidth requirements. We propose a simple heuristic based on Lagrangian relaxation and KKT (Karush Kuhn Tucker) conditions for a subset of constraints. Numerical simulations show that the proposed heuristic is able to increase overall QoE up to 20% compared to an allocation with TCP look-alike strategies implementing max-min fairness. Later, we use a MPEG/DASH implementation in the context of ns-3 and show that coupling our approach with a rate adaptation algorithm (e.g., [3]) can help increasing QoE while reducing both resolution switches and number of interruptions

ACQUA: A user friendly platform for lightweight network monitoring and QoE forecasting

International audienceACQUA, Application for prediCting QUality ofExperience at Internet Access, is an Android application tomeasure mobile network access performance and to estimatehow this performance affects main applications of interest tothe end user from Quality of Experience (QoE) viewpoint.Every application supported in ACQUA is a function, or amodel, built offline, that links the network-level and device-levelmeasurements to expected Quality of Experience. Supervisedmachine learning techniques are used to establish such link.Thanks to a lightweight measurement strategy, ACQUA canperform measurements continuously and show to the user, inaddition to QoE estimations, measurement results obtained bothactively and passively. This way we we can provide insights overtime on network performance as well as user-friendly QoE valuesthat explain the state of the network. Finally, ACQUA provides afeedback channel for end users to express themselves about theirreal QoE, a feedback that we plan to use to assess the importanceof the subjectivity of QoE in real life scenarios

On excess bandwidth usage of video streaming: when video resolution mismatches browser viewport

International audienceVideo streaming is, without a doubt, the most dominant application on the Internet. Each time a video streaming platform (e.g., YouTube, Dailymotion or Netflix) is requested, the browser loads a web page, setups the video player, then retrieves and renders the requested content. The video streaming transmission is based on the dynamic adaptive streaming over HTTP (DASH) which takes into consideration the underlying network conditions (e.g., delay, loss rate and throughput) and the terminal characteristics (viewport) to select the video resolution to request from the server. We question in this work the efficiency of this transmission in taking into account the terminal characteristics, the viewport in particular, knowing that requesting a resolution exceeding the viewport results in waste of bandwidth. Such bandwidth waste can either save money when the user is on a pay as you go data plane, or steal bandwidth from other users who are in need for it to further improve their Quality of Experience (QoE). To narrow the stats, we present a controlled experimental framework that leverages the YouTube and Dailymotion video players and the Chrome web request API to assess the impact of browser viewport on the observed video resolution pattern [1]-[3]. In a first attempt of kind, we use the observed patterns to quantify the amount of wasted bandwidth. Our data-driven analysis points to high sensitivity of the Dailymotion player toward small viewports (240x144 and 400x225) compared to the YouTube player resulting in 15% and 8% less bandwidth waste respectively. However, as the users shift toward large viewports, the YouTube player becomes more viewport friendly compared to the Dailymotion player with shows an estimated bandwidth waste of 28%

On Accounting for Screen Resolution in Adaptive Video Streaming: QoE driven bandwidth sharing framework

International audienceScreen resolution along with network conditions are main objective factors impacting the user experience, in particular for video streaming applications. User terminals on their side feature more and more advanced characteristics resulting in different network requirements for good visual experience. Previous studies tried to link MOS (Mean Opinion Score) to video bitrate for different screen types (e.g., Common Intermediate Format (CIF), Quarter Common Intermediate Format (QCIF), and High Definition (HD)). We leverage such studies and formulate a QoE driven resource allocation problem to pinpoint the optimal bandwidth allocation that maximizes the QoE (Quality of Experience) over all users of a network service provider located behind the same bottleneck link, while accounting for the characteristics of the screens they use for video playout. For our optimization problem, QoE functions are built using curve fitting on datasets capturing the relationship between MOS, screen characteristics, and bandwidth requirements. We propose a simple heuristic based on Lagrangian relaxation and KKT (Karush Kuhn Tucker) conditions to efficiently solve the optimization problem. Our numerical simulations show that the proposed heuristic is able to increase overall QoE up to 20% compared to an allocation with a TCP look-alike strategy implementing max-min fairness

QoE-aware content management in the Internet : caching and transport

Internet aujourd’hui englobe différentes applications, la plupart consacrées à la consommation de contenu numérique. Les utilisateurs s’attendent à la meilleure qualité du réseau, et parallèlement les fournisseurs de services œuvrent pour une gestion efficace de leur trafic et pour une amélioration de la qualité d'expérience (QoE) de leurs utilisateurs. Cette dernière tâche est plus difficile avec l’émergence du chiffrement de bout en bout. Aujourd'hui, l'enjeu est notable, notamment pour le streaming vidéo qui est la catégorie d'applications la plus dominante et la principale source de pression sur l'infrastructure Internet, imposant ainsi de fortes contraintes sur la qualité de service (QoS) fournie par le réseau. En gros, le streaming vidéo repose sur le protocole de diffusion en flux adaptatif dynamique sur HTTP (DASH) qui prend en compte les conditions sous-jacentes du réseau (par exemple, le retard, le taux de perte et le débit) et la capacité de la fenêtre sur laquelle la vidéo est visualisée (par exemple, la résolution de la fenêtre d'affichage) pour améliorer l'expérience des utilisateurs dans la limite des ressources réseaux disponibles. Dans ce sens, la réalité du trafic vidéo chiffré est très importante pour les ISP's et les fournisseurs de contenu car cela leur permet d'être proactifs quand il s'agit de la gestion des flux à travers leurs réseaux (par exemple, allocation des ressources et placement de contenu). Dans cette thèse, nous nous concentrons sur les services de streaming vidéo et sur la vidéo QoE afin d'assurer une gestion efficace de l'énorme et diverse contenu vidéo disponible sur Internet. Par conséquent, il est nécessaire de comprendre le processus de transmission vidéo, d'identifier des métriques clés corrélées à la QoE vidéo et de proposer des solutions permettant de déduire ces métriques et de les exploiter afin de gérer d'une manière optimale les ressources réseaux et de maximiser la QoE des utilisateurs.Nous présentons d’abord un cadre expérimental contrôlé qui exploite les lecteurs vidéos YouTube et Dailymotion et l'API de requête Web du navigateur Chrome pour évaluer l'impact de la taille de la fenêtre d'affichage (en pixels) et quantifier la quantité de bande passante gaspillée. Ensuite, nous proposons une méthodologie pour déduire des informations relatives au flux vidéo telle que la taille des segments, nous exploitons ensuite ces données et des algorithmes d'apprentissage automatique pour prédire la classe de résolution de la fenêtre d’affichage à partir des traces vidéos chiffrées. Plus tard, nous formulons un problème d'allocation de ressources piloté par la QoE pour identifier l'allocation optimale de bande passante sur l’ensemble des utilisateurs situés derrière le même goulot d'étranglement, en considérant leurs fenêtres d’affichage. De plus, nous proposons un problème d'optimisation pour la mise en cache des vidéos visualisés qui est sensible à la fenêtre d'affichage, ce dernier prend aussi en compte la vitesse d'accès et les caractéristiques des vidéos.The Internet has changed drastically in recent years; multiple novel applications and services have emerged, all about consuming digital content. In parallel, users are no longer satisfied by the Internet's best effort service; instead, they expect a seamless service of high quality from the side of the network. This has increased the pressure on Internet Service Providers (ISP) to efficiently engineer their traffic and improve their end-users Quality of Experience (QoE) rather than just monitoring the physical properties of their networks. Furthermore, content providers from their side, and to protect the content of their customers, have shifted towards end-to-end encryption (e.g., TLS/SSL), which has complicated even further the task of ISPs in handling the traffic in their networks. Today, the challenge is notable, especially for video streaming since it is the most dominant service and the primary source of pressure on the Internet infrastructure, imposing tight constraints on the quality of service (QoS) provided by the network. Video streaming relies on the dynamic adaptive streaming over HTTP (DASH) protocol which takes into consideration the underlying network conditions (e.g., delay, loss rate, and throughput) and the viewport capacity (e.g., viewport resolution) to improve the experience of the end-user in the limit of the available network resources. Nevertheless, knowing encrypted video traffic is of great help to ISPs as it allows taking appropriate network management actions. Therefore, this thesis focuses on video streaming services and video QoE to properly manage the enormous and diverse video content available on the Internet. To that aim, one needs to understand the transmission process of dynamic adaptive video streaming over HTTP (DASH) protocol, identify new metrics correlated to video QoE, and propose solutions to infer and leverage such metrics for optimal network resources management while maximizing the end-user QoE.In the beginning, we present a controlled experimental framework that leverages the YouTube and Dailymotion video players and the Chrome Web Request API to assess the impact of browser viewport on the observed video resolution pattern. We use the observed patterns to quantify the wasted bandwidth. Then, we propose a methodology based on controlled experimentation able to infer fine-grained video flow information such as chunk sizes and use them as features for machine learning models able to predict the viewport resolution class from encrypted video traces. Later, we formulate a QoE-driven resource allocation problem to pinpoint the optimal bandwidth allocation that maximizes the QoE for users sharing the same bottleneck link while considering their viewport sizes. For content providers, operating at the network edge, we study a viewport aware caching optimization problem for dynamic adaptive video streaming that appropriately considers the client viewport size and access speed, the join time, and the characteristics of videos

Gestion de contenus dans les réseaux par la qualité d’expérience (QoE) : caching et transport

The Internet has changed drastically in recent years; multiple novel applications and services have emerged, all about consuming digital content. In parallel, users are no longer satisfied by the Internet's best effort service; instead, they expect a seamless service of high quality from the side of the network. This has increased the pressure on Internet Service Providers (ISP) to efficiently engineer their traffic and improve their end-users Quality of Experience (QoE) rather than just monitoring the physical properties of their networks. Furthermore, content providers from their side, and to protect the content of their customers, have shifted towards end-to-end encryption (e.g., TLS/SSL), which has complicated even further the task of ISPs in handling the traffic in their networks. Today, the challenge is notable, especially for video streaming since it is the most dominant service and the primary source of pressure on the Internet infrastructure, imposing tight constraints on the quality of service (QoS) provided by the network. Video streaming relies on the dynamic adaptive streaming over HTTP (DASH) protocol which takes into consideration the underlying network conditions (e.g., delay, loss rate, and throughput) and the viewport capacity (e.g., viewport resolution) to improve the experience of the end-user in the limit of the available network resources. Nevertheless, knowing encrypted video traffic is of great help to ISPs as it allows taking appropriate network management actions. Therefore, this thesis focuses on video streaming services and video QoE to properly manage the enormous and diverse video content available on the Internet. To that aim, one needs to understand the transmission process of dynamic adaptive video streaming over HTTP (DASH) protocol, identify new metrics correlated to video QoE, and propose solutions to infer and leverage such metrics for optimal network resources management while maximizing the end-user QoE.In the beginning, we present a controlled experimental framework that leverages the YouTube and Dailymotion video players and the Chrome Web Request API to assess the impact of browser viewport on the observed video resolution pattern. We use the observed patterns to quantify the wasted bandwidth. Then, we propose a methodology based on controlled experimentation able to infer fine-grained video flow information such as chunk sizes and use them as features for machine learning models able to predict the viewport resolution class from encrypted video traces. Later, we formulate a QoE-driven resource allocation problem to pinpoint the optimal bandwidth allocation that maximizes the QoE for users sharing the same bottleneck link while considering their viewport sizes. For content providers, operating at the network edge, we study a viewport aware caching optimization problem for dynamic adaptive video streaming that appropriately considers the client viewport size and access speed, the join time, and the characteristics of videos.Internet aujourd’hui englobe différentes applications, la plupart consacrées à la consommation de contenu numérique. Les utilisateurs s’attendent à la meilleure qualité du réseau, et parallèlement les fournisseurs de services œuvrent pour une gestion efficace de leur trafic et pour une amélioration de la qualité d'expérience (QoE) de leurs utilisateurs. Cette dernière tâche est plus difficile avec l’émergence du chiffrement de bout en bout. Aujourd'hui, l'enjeu est notable, notamment pour le streaming vidéo qui est la catégorie d'applications la plus dominante et la principale source de pression sur l'infrastructure Internet, imposant ainsi de fortes contraintes sur la qualité de service (QoS) fournie par le réseau. En gros, le streaming vidéo repose sur le protocole de diffusion en flux adaptatif dynamique sur HTTP (DASH) qui prend en compte les conditions sous-jacentes du réseau (par exemple, le retard, le taux de perte et le débit) et la capacité de la fenêtre sur laquelle la vidéo est visualisée (par exemple, la résolution de la fenêtre d'affichage) pour améliorer l'expérience des utilisateurs dans la limite des ressources réseaux disponibles. Dans ce sens, la réalité du trafic vidéo chiffré est très importante pour les ISP's et les fournisseurs de contenu car cela leur permet d'être proactifs quand il s'agit de la gestion des flux à travers leurs réseaux (par exemple, allocation des ressources et placement de contenu). Dans cette thèse, nous nous concentrons sur les services de streaming vidéo et sur la vidéo QoE afin d'assurer une gestion efficace de l'énorme et diverse contenu vidéo disponible sur Internet. Par conséquent, il est nécessaire de comprendre le processus de transmission vidéo, d'identifier des métriques clés corrélées à la QoE vidéo et de proposer des solutions permettant de déduire ces métriques et de les exploiter afin de gérer d'une manière optimale les ressources réseaux et de maximiser la QoE des utilisateurs.Nous présentons d’abord un cadre expérimental contrôlé qui exploite les lecteurs vidéos YouTube et Dailymotion et l'API de requête Web du navigateur Chrome pour évaluer l'impact de la taille de la fenêtre d'affichage (en pixels) et quantifier la quantité de bande passante gaspillée. Ensuite, nous proposons une méthodologie pour déduire des informations relatives au flux vidéo telle que la taille des segments, nous exploitons ensuite ces données et des algorithmes d'apprentissage automatique pour prédire la classe de résolution de la fenêtre d’affichage à partir des traces vidéos chiffrées. Plus tard, nous formulons un problème d'allocation de ressources piloté par la QoE pour identifier l'allocation optimale de bande passante sur l’ensemble des utilisateurs situés derrière le même goulot d'étranglement, en considérant leurs fenêtres d’affichage. De plus, nous proposons un problème d'optimisation pour la mise en cache des vidéos visualisés qui est sensible à la fenêtre d'affichage, ce dernier prend aussi en compte la vitesse d'accès et les caractéristiques des vidéos

Gestion de contenus dans les réseaux par la qualité d’expérience (QoE) : caching et transport

The Internet has changed drastically in recent years; multiple novel applications and services have emerged, all about consuming digital content. In parallel, users are no longer satisfied by the Internet's best effort service; instead, they expect a seamless service of high quality from the side of the network. This has increased the pressure on Internet Service Providers (ISP) to efficiently engineer their traffic and improve their end-users Quality of Experience (QoE) rather than just monitoring the physical properties of their networks. Furthermore, content providers from their side, and to protect the content of their customers, have shifted towards end-to-end encryption (e.g., TLS/SSL), which has complicated even further the task of ISPs in handling the traffic in their networks. Today, the challenge is notable, especially for video streaming since it is the most dominant service and the primary source of pressure on the Internet infrastructure, imposing tight constraints on the quality of service (QoS) provided by the network. Video streaming relies on the dynamic adaptive streaming over HTTP (DASH) protocol which takes into consideration the underlying network conditions (e.g., delay, loss rate, and throughput) and the viewport capacity (e.g., viewport resolution) to improve the experience of the end-user in the limit of the available network resources. Nevertheless, knowing encrypted video traffic is of great help to ISPs as it allows taking appropriate network management actions. Therefore, this thesis focuses on video streaming services and video QoE to properly manage the enormous and diverse video content available on the Internet. To that aim, one needs to understand the transmission process of dynamic adaptive video streaming over HTTP (DASH) protocol, identify new metrics correlated to video QoE, and propose solutions to infer and leverage such metrics for optimal network resources management while maximizing the end-user QoE.In the beginning, we present a controlled experimental framework that leverages the YouTube and Dailymotion video players and the Chrome Web Request API to assess the impact of browser viewport on the observed video resolution pattern. We use the observed patterns to quantify the wasted bandwidth. Then, we propose a methodology based on controlled experimentation able to infer fine-grained video flow information such as chunk sizes and use them as features for machine learning models able to predict the viewport resolution class from encrypted video traces. Later, we formulate a QoE-driven resource allocation problem to pinpoint the optimal bandwidth allocation that maximizes the QoE for users sharing the same bottleneck link while considering their viewport sizes. For content providers, operating at the network edge, we study a viewport aware caching optimization problem for dynamic adaptive video streaming that appropriately considers the client viewport size and access speed, the join time, and the characteristics of videos.Internet aujourd’hui englobe différentes applications, la plupart consacrées à la consommation de contenu numérique. Les utilisateurs s’attendent à la meilleure qualité du réseau, et parallèlement les fournisseurs de services œuvrent pour une gestion efficace de leur trafic et pour une amélioration de la qualité d'expérience (QoE) de leurs utilisateurs. Cette dernière tâche est plus difficile avec l’émergence du chiffrement de bout en bout. Aujourd'hui, l'enjeu est notable, notamment pour le streaming vidéo qui est la catégorie d'applications la plus dominante et la principale source de pression sur l'infrastructure Internet, imposant ainsi de fortes contraintes sur la qualité de service (QoS) fournie par le réseau. En gros, le streaming vidéo repose sur le protocole de diffusion en flux adaptatif dynamique sur HTTP (DASH) qui prend en compte les conditions sous-jacentes du réseau (par exemple, le retard, le taux de perte et le débit) et la capacité de la fenêtre sur laquelle la vidéo est visualisée (par exemple, la résolution de la fenêtre d'affichage) pour améliorer l'expérience des utilisateurs dans la limite des ressources réseaux disponibles. Dans ce sens, la réalité du trafic vidéo chiffré est très importante pour les ISP's et les fournisseurs de contenu car cela leur permet d'être proactifs quand il s'agit de la gestion des flux à travers leurs réseaux (par exemple, allocation des ressources et placement de contenu). Dans cette thèse, nous nous concentrons sur les services de streaming vidéo et sur la vidéo QoE afin d'assurer une gestion efficace de l'énorme et diverse contenu vidéo disponible sur Internet. Par conséquent, il est nécessaire de comprendre le processus de transmission vidéo, d'identifier des métriques clés corrélées à la QoE vidéo et de proposer des solutions permettant de déduire ces métriques et de les exploiter afin de gérer d'une manière optimale les ressources réseaux et de maximiser la QoE des utilisateurs.Nous présentons d’abord un cadre expérimental contrôlé qui exploite les lecteurs vidéos YouTube et Dailymotion et l'API de requête Web du navigateur Chrome pour évaluer l'impact de la taille de la fenêtre d'affichage (en pixels) et quantifier la quantité de bande passante gaspillée. Ensuite, nous proposons une méthodologie pour déduire des informations relatives au flux vidéo telle que la taille des segments, nous exploitons ensuite ces données et des algorithmes d'apprentissage automatique pour prédire la classe de résolution de la fenêtre d’affichage à partir des traces vidéos chiffrées. Plus tard, nous formulons un problème d'allocation de ressources piloté par la QoE pour identifier l'allocation optimale de bande passante sur l’ensemble des utilisateurs situés derrière le même goulot d'étranglement, en considérant leurs fenêtres d’affichage. De plus, nous proposons un problème d'optimisation pour la mise en cache des vidéos visualisés qui est sensible à la fenêtre d'affichage, ce dernier prend aussi en compte la vitesse d'accès et les caractéristiques des vidéos