Quantifying subjective quality evaluations for mobile video watching in a semi-living lab context

This paper discusses results from an exploratory study in which Quality of Experience aspects related to mobile video watching were investigated in a semi-living lab setting. More specifically, we zoom in on usage patterns in a natural research context and on the subjective evaluation of high and low-resolution movie trailers that are transferred to a mobile device using two transmission protocols for video (i.e., real-time transport protocol and progressive download using HTTP). User feedback was collected by means of short questionnaires on the mobile device, combined with traditional pen and paper diaries. The subjective evaluations regarding the general technical quality, perceived distortion, fluentness of the video, and loading speed are studied and the influence of the transmission protocol and video resolution on these evaluations is analyzed. Multinomial logistic regression results in a model to estimate the subjective evaluations regarding the perceived distortion and loading speed based on objectively-measured parameters of the video session

Quantifying the influence of rebuffering interruptions on the user's quality of experience during mobile video watching

Entertainment and multimedia are the key functionalities in emerging mobile markets. The ability to understand and quantify the quality of experience (QoE, i.e., the users' subjective perception of the "overall acceptability of an application or service"), will play a major role in the success of these mobile services. This study explores the thresholds at which the technical quality of a mobile video service becomes unacceptable for users. A subjective experiment drawing on the logging of technical parameters combined with subjective evaluations by a user panel resulted in a model for quantifying the acceptability of video interruptions. The results of this analysis provide insights into the QoE and (un)acceptability regarding video interruptions for different network conditions and video parameters. The conclusions of this paper can be used as a guideline for service design and network dimensioning

Diseño centrado en calidad para la difusión Peer-to-Peer de video en vivo

El uso de redes Peer-to-Peer (P2P) es una forma escalable para ofrecer servicios de video sobre Internet. Este documento hace foco en la definición, desarrollo y evaluación de una arquitectura P2P para distribuir video en vivo. El diseño global de la red es guiado por la calidad de experiencia (Quality of Experience - QoE), cuyo principal componente en este caso es la calidad del video percibida por los usuarios finales, en lugar del tradicional diseño basado en la calidad de servicio (Quality of Service - QoE) de la mayoría de los sistemas. Para medir la calidad percibida del video, en tiempo real y automáticamente, extendimos la recientemente propuesta metodología Pseudo-Subjective Quality Assessment (PSQA). Dos grandes líneas de investigación son desarrolladas. Primero, proponemos una técnica de distribución de video desde múltiples fuentes con las características de poder ser optimizada para maximizar la calidad percibida en contextos de muchas fallas y de poseer muy baja señalización (a diferencia de los sistemas existentes). Desarrollamos una metodología, basada en PSQA, que nos permite un control fino sobre la forma en que la señal de video es dividida en partes y la cantidad de redundancia agregada, como una función de la dinámica de los usuarios de la red. De esta forma es posible mejorar la robustez del sistema tanto como sea deseado, contemplando el límite de capacidad en la comunicación. En segundo lugar, presentamos un mecanismo estructurado para controlar la topología de la red. La selección de que usuarios servirán a que otros es importante para la robustez de la red, especialmente cuando los usuarios son heterogéneos en sus capacidades y en sus tiempos de conexión.Nuestro diseño maximiza la calidad global esperada (evaluada usando PSQA), seleccionado una topología que mejora la robustez del sistema. Además estudiamos como extender la red con dos servicios complementarios: el video bajo demanda (Video on Demand - VoD) y el servicio MyTV. El desafío en estos servicios es como realizar búsquedas eficientes sobre la librería de videos, dado al alto dinamismo del contenido. Presentamos una estrategia de "caching" para las búsquedas en estos servicios, que maximiza el número total de respuestas correctas a las consultas, considerando una dinámica particular en los contenidos y restricciones de ancho de banda. Nuestro diseño global considera escenarios reales, donde los casos de prueba y los parámetros de configuración surgen de datos reales de un servicio de referencia en producción. Nuestro prototipo es completamente funcional, de uso gratuito, y basado en tecnologías bien probadas de código abierto

Quality of experience characterization and provisioning in mobile cellular networks

Παραδοσιακά, οι προηγούμενες γενεές κινητών κυψελωτών δικτύων έχουν σχεδιαστεί με κριτήρια Ποιότητας Υπηρεσίας, έτσι ώστε να πληρούν συγκεκριμένες απαιτήσεις διαφόρων υπηρεσιών. Η «Ποιότητα Εμπειρίας» έχει, ωστόσο, πρόσφατα εμφανιστεί ως έννοια, επηρεάζοντας το σχεδιασμό των μελλοντικών γενεών των δικτύων, δίνοντας σαφή έμφαση στην πραγματικά επιτευχθείσα εμπειρία του τελικού χρήστη. Η εμφάνιση της έννοιας της Ποιότητας Εμπειρίας οφείλεται στην αναπόφευκτη, ισχυρή μετάβαση που βιώνει η βιομηχανία των Τηλεπικοινωνιών από συστημο-κεντρικά δίκτυα σε πιο χρηστο-κεντρικές λύσεις και στόχους. Οι πάροχοι κινητών δικτύων, οι πάροχοι υπηρεσιών, οι προγραμματιστές εφαρμογών, αλλά και άλλα ενδιαφερόμενα μέλη που εμπλέκονται στην αλυσίδα παροχής υπηρεσιών προσελκύονται από τις ευκαιρίες που μπορεί να προσφέρει η ενσωμάτωση γνώσης Ποιότητας Εμπειρίας στο επιχειρηματικό τους μοντέλο. Πράγματι, η παρεχόμενη Ποιότητα Εμπειρίας αποτελεί έναν καθοριστικό παράγοντα διαφοροποίησης μεταξύ των διαφόρων παικτών, μία τάση που αναμένεται να γίνει ακόμη πιο έντονη τα επόμενα χρόνια. Υποκινούμενη από αυτή την χρηστο-κεντρική τάση, η έρευνα που διεξάγεται σε αυτή τη διατριβή έχει ως στόχο την διερεύνηση των προκλήσεων και των ευκαιριών που προκύπτουν στα σύγχρονα κινητά κυψελωτά δίκτυα όταν λαμβάνεται υπόψιν η έννοια της Ποιότητας Εμπειρίας. Τέτοιες ευκαιρίες αφορούν, καταρχήν, τη δυνατότητα κατανόησης της Ποιότητας Εμπειρίας που επιτυγχάνει ένας πάροχος κατά την προσφορά μίας υπηρεσίας. Αυτό μπορεί να επιτευχθεί με την υλοποίηση και ενσωμάτωση μεθόδων αξιολόγησης Ποιότητας Εμπειρίας στην πραγματικού-χρόνου λειτουργία ενός δικτύου. Εν συνεχεία, ακολουθεί η εκμετάλλευση της συλλεγμένης ευφυΐας που σχετίζεται με την Ποιότητα Εμπειρίας, προκειμένου να επανεξεταστούν υφιστάμενοι μηχανισμοί επιπέδου δικτύου (π.χ., χρονο-προγραμματισμός ραδιοπόρων) ή μηχανισμοί επιπέδου εφαρμογής (π.χ., ροή βίντεο), αλλά και να προταθούν καινοτόμες διαστρωματικές προσεγγίσεις προς όφελος της Ποιότητας Εμπειρίας. Επιπλέον, υπάρχει η δυνατότητα πρότασης νέων αλγορίθμων που προκύπτουν από τα εγγενή χαρακτηριστικά της Ποιότητας Εμπειρίας, όπως η μη γραμμική επίδραση μετρικών Ποιότητας Υπηρεσίας στην Ποιότητα Εμπειρίας, με στόχο την περαιτέρω βελτίωσή της. Σε αυτή την κατεύθυνση, στην παρούσα διατριβή, διερευνώνται και αξιοποιούνται μοντέλα και μετρικές εκτίμησης Ποιότητας Εμπειρίας με στόχο την ποσοτικοποίησή της, έχοντας ως απώτερο στόχο την εισαγωγή βελτιώσεων στους υφιστάμενους μηχανισμούς κινητών κυψελωτών δικτύων. Ο πυρήνας αυτής της διατριβής είναι η πρόταση μίας κυκλικής διεργασίας παροχής Ποιότητας Εμπειρίας που επιτρέπει τον έλεγχο, την παρακολούθηση (ήτοι, τη μοντελοποίηση) και τη διαχείριση της Ποιότητας Εμπειρίας σε ένα κυψελωτό δίκτυο. Κάθε μία από αυτές τις λειτουργίες αναλύεται περαιτέρω, ενώ έμφαση δίνεται στις λειτουργίες μοντελοποίησης και διαχείρισης. Όσον αφορά τη μοντελοποίηση, γίνεται περιγραφή και ταξινόμηση των μεθόδων εκτίμησης και των δεικτών επιδόσεων Ποιότητας Εμπειρίας. Η παραμετρική εκτίμηση της ποιότητας αναδεικνύεται ως η πιο ελκυστική κατηγορία μοντελοποίησης Ποιότητας Εμπειρίας σε κινητά κυψελωτά δίκτυα, οπότε και περιγράφεται διεξοδικά για ευρέως χρησιμοποιούμενους τύπους υπηρεσιών, όπως η συνομιλία (φωνή) μέσω Internet Protocol (IP) και η μετάδοση βίντεο. Όσον αφορά τη διαχείριση Ποιότητας Εμπειρίας, προτείνονται νέοι μηχανισμοί που επιδεικνύουν βελτιώσεις στην εμπειρία των τελικών χρηστών, και συγκεκριμένα: α) ένα σχήμα ελέγχου των επικοινωνιών συσκευής-προς-συσκευή που λαμβάνει υπόψιν την εμπειρία των χρηστών, β) ένας «συνεπής» αλγόριθμος χρονο-προγραμματισμού ραδιοπόρων που βελτιώνει την Ποιότητα Εμπειρίας του χρήστη μετριάζοντας τις διακυμάνσεις της ρυθμαπόδοσης του δικτύου, και γ) ένας μηχανισμός προσαρμοστικής ροής βίντεο με γνώσεις «πλαισίου», ο οποίος επιτυγχάνει την εξάλειψη διακοπών του βίντεο σε συνθήκες χαμηλού εύρους ζώνης. Επιπλέον, προτείνεται μία εφαρμογή Ποιότητας Εμπειρίας βασισμένη στην αρχιτεκτονική Software-Defined Networking (SDN), ονόματι “QoE-SDN APP”, η οποία επιτρέπει την ανάδραση πληροφοριών δικτύου από παρόχους κινητής τηλεφωνίας σε παρόχους υπηρεσιών βίντεο, αναδεικνύοντας πλεονεκτήματα ως προς την Ποιότητα Εμπειρίας για τους πελάτες των παρόχων βίντεο αλλά και ως προς την εξοικονόμηση εύρους ζώνης για τους φορείς εκμετάλλευσης δικτύου. Εν κατακλείδι, η παρούσα διατριβή προωθεί την ενοποίηση του ερευνητικού πεδίου της Ποιότητας Εμπειρίας με τον τομέα των κινητών επικοινωνιών, καθώς και τη συνεργασία αμοιβαίου ενδιαφέροντος μεταξύ των παρόχων δικτύου (επίπεδο δικτύου) με τους παρόχους υπηρεσιών (επίπεδο εφαρμογής), αναδεικνύοντας την δυναμική από τέτοιου είδους προσεγγίσεις για όλους τους εμπλεκόμενους φορείς.Traditionally, previous generations of mobile cellular networks have been designed with Quality of Service (QoS) criteria in mind, so that they manage to meet specific service requirements. Quality of Experience (QoE) has, however, recently emerged as a concept, disrupting the design of future network generations by giving clear emphasis on the actually achieved user experience. The emergence of the QoE concept has been a result of the inevitable strong transition that the Telecom industry is currently experiencing from system-centric networks to more user-centric solutions and objectives. Mobile network operators, service providers, application developers, as well as other stakeholders involved in the service provisioning chain have been attracted by the opportunities that the integration of the QoE concept could bring to their business; indeed, the provisioned QoE constitutes a determining factor of differentiation among different stakeholders, a tendency which is expected to become even more intense in the years to come. Motivated by this boost towards user-centricity, the objective of the research conducted in this thesis is to explore the challenges and opportunities that arise in modern mobile cellular networks when QoE is considered. Such opportunities concern, first of all, the possibility to comprehend the QoE that a provider achieves when provisioning a service. This can be enabled by the implementation and integration of QoE assessment methods into the real-time operation of a network. Then, the next step is the exploitation of collected QoE-related intelligence in order to re-examine existing network-layer mechanisms (e.g., radio scheduling), or application-layer mechanisms (e.g., video streaming), as well as propose novel cross-layer approaches towards ameliorating the achieved QoE. Moreover, the opportunity emerges to propose novel algorithms that stem from the inherent idiosyncrasies of QoE, such as the non-linear impact of QoS-related parameters on QoE, as a way to further enhance the users’ QoE. In this direction, throughout this thesis, QoE estimation models and metrics are explored and exploited in order to quantify QoE and thus, to improve existing mechanisms of mobile cellular networks. The core of this thesis is the proposal of a QoE provisioning cycle that allows the control, monitoring (i.e., modeling) and management of QoE in a cellular network. Each one of these functions is further analyzed, while emphasis is given on the modeling and management operations. In terms of modeling, QoE assessment methods and QoE-related performance indicators are described and classified. Parametric quality estimation is identified as the most appealing type of QoE estimation in mobile cellular networks, thus, it is thoroughly described for widely used types of services, such as Voice over IP (VoIP) and video streaming. In terms of QoE management, novel QoE-aware mechanisms that demonstrate QoE improvements for the users are proposed, namely: a) a QoE-driven Device-to-Device (D2D) communication management scheme that enhances end-user QoE, b) a “consistent” radio scheduling algorithm that improves the end-user QoE by mitigating throughput fluctuations, and c) a context-aware HTTP Adaptive Streaming (HAS) mechanism that successfully mitigates stallings (i.e., video freezing events) in the context of bandwidth-challenging scenarios. Moreover, a programmable QoE-SDN APP into the Software-Defined Networking (SDN) architecture is introduced, which enables network feedback exposure from mobile network operators to video service providers, revealing QoE benefits for the customers of video providers and bandwidth savings for the network operators. Overall, this thesis promotes the uniting of the domain of QoE with the domain of mobile communications, as well as the collaboration of mutual-interest between mobile network operators (network layer) and service providers (application layer), presenting the high potential from such approaches for all involved stakeholders

Novel applications of Machine Learning to Network Traffic Analysis and Prediction

It is now clear that machine learning will be widely used in future telecommunication networks as it is increasingly used in today's networks. However, despite its increasing application and its enormous potential, there are still many areas in which the new techniques developed in the area of machine learning are not yet fully utilized. The aim of this thesis is to present the application of innovative techniques of machine learning (ML-Machine Learning) in the field of Telecommunications, and specifically to problems related to the analysis and prediction of traffic in data networks (NTAP - Network Traffic Analysis and Prediction). The applications of NTAP are very broad, so this thesis focuses on the following five specific areas: - Prediction of connectivity of wireless devices. - Security intrusion detection, using network traffic information - Classification of network traffic, using the headers of the transmitted network packets - Estimation of the quality of the experience perceived by the user (QoE) when viewing multimedia streaming, using aggregate information of the network packets - Generation of synthetic traffic associated with security attacks and use of that synthetic traffic to improve security intrusion detection algorithms. The final intention is to create prediction and analysis models that produce improvements in the NTAP areas mentioned above. With this objective, this thesis provides advances in the application of machine learning techniques to the area of NTAP. These advances consist of: - Development of new machine learning models and architectures for NTAP - Define new ways to structure and transform training data so that existing machine learning models can be applied to specific NTAP problems. - Define algorithms for the creation of synthetic network traffic associated with specific events in the operation of the network (for example, specific types of intrusions), ensuring that the new synthetic data can be used as new training data. - Extension and application of classic models of machine learning to the area of NTAP, obtaining improvements in the classification or regression metrics and/or improvements in the performance measures of the algorithms (e.g. training time, prediction time, memory needs, ...).Departamento de Teoría de la Señal y Comunicaciones e Ingeniería TelemáticaDoctorado en Tecnologías de la Información y las Telecomunicacione