Quality of experience in telemeetings and videoconferencing: a comprehensive survey

Telemeetings such as audiovisual conferences or virtual meetings play an increasingly important role in our professional and private lives. For that reason, system developers and service providers will strive for an optimal experience for the user, while at the same time optimizing technical and financial resources. This leads to the discipline of Quality of Experience (QoE), an active field originating from the telecommunication and multimedia engineering domains, that strives for understanding, measuring, and designing the quality experience with multimedia technology. This paper provides the reader with an entry point to the large and still growing field of QoE of telemeetings, by taking a holistic perspective, considering both technical and non-technical aspects, and by focusing on current and near-future services. Addressing both researchers and practitioners, the paper first provides a comprehensive survey of factors and processes that contribute to the QoE of telemeetings, followed by an overview of relevant state-of-the-art methods for QoE assessment. To embed this knowledge into recent technology developments, the paper continues with an overview of current trends, focusing on the field of eXtended Reality (XR) applications for communication purposes. Given the complexity of telemeeting QoE and the current trends, new challenges for a QoE assessment of telemeetings are identified. To overcome these challenges, the paper presents a novel Profile Template for characterizing telemeetings from the holistic perspective endorsed in this paper

The contrast effect: QoE of mixed video-qualities at the same time

In desktop multi-party video-conferencing videostreams of participants are delivered in different qualities, but we know little about how such composition of the screen affects the quality of experience. Do the different videostreams serve as indirect quality references and the perceived video quality is thus dependent on other streams in the same session? How is the relation between the perceived qualities of each stream and the perceived quality of the overall session? To answer these questions we conducted a crowdsourcing study, in which we gathered over 5000 perceived quality ratings of overall sessions and individual streams. Our results show a contrast effect: high quality streams are rated better when more low quality streams are co-present, and vice versa. In turn, the quality p

1Mbps is enough: video quality and individual idiosyncrasies in multiparty HD video-conferencing

Most video platforms deliver HD video in high bitrate encoding. Modern video-conferencing systems are capable of handling HD streams, but using multiparty conferencing, average internet connections in the home are on their bandwidth limit. For properly managing the encoding bitrate in videoconferencing, we must know what is the minimum bitrate requirement to provide users an acceptable experience, and what is the bitrate level after which QoE saturates?. Most available subjective studies in this area used rather dated technologies. We report on a multiparty study on video quality with HD resolution. We tested different encoding bitrates (256kbs, 1024kbs and 4096kbs) and packet loss rates (0, 0.5%) in groups of 4 participants with a

ViCoCoS-3D: Videoconferencing common scenes

This paper presents a 3D video dataset containing sequences with typical content from videoconferencing scenarios. The objective of this dataset is to provide freely-available sequences for the research community to support the develop-ment and evaluation of processing techniques applicable to 3D videoconferencing systems. Therefore, a detailed description of the generation process and the content characteristics is provided, together with insights of possible applications of the datase

MediaSync: Handbook on Multimedia Synchronization

This book provides an approachable overview of the most recent advances in the fascinating field of media synchronization (mediasync), gathering contributions from the most representative and influential experts. Understanding the challenges of this field in the current multi-sensory, multi-device, and multi-protocol world is not an easy task. The book revisits the foundations of mediasync, including theoretical frameworks and models, highlights ongoing research efforts, like hybrid broadband broadcast (HBB) delivery and users' perception modeling (i.e., Quality of Experience or QoE), and paves the way for the future (e.g., towards the deployment of multi-sensory and ultra-realistic experiences). Although many advances around mediasync have been devised and deployed, this area of research is getting renewed attention to overcome remaining challenges in the next-generation (heterogeneous and ubiquitous) media ecosystem. Given the significant advances in this research area, its current relevance and the multiple disciplines it involves, the availability of a reference book on mediasync becomes necessary. This book fills the gap in this context. In particular, it addresses key aspects and reviews the most relevant contributions within the mediasync research space, from different perspectives. Mediasync: Handbook on Multimedia Synchronization is the perfect companion for scholars and practitioners that want to acquire strong knowledge about this research area, and also approach the challenges behind ensuring the best mediated experiences, by providing the adequate synchronization between the media elements that constitute these experiences

Quality of service over ATM networks

PhDAbstract not availabl

Qualitätswahrnehmung von Konferenz- und Telemeeting-Systemen : Methoden und Modelle zur Beurteilung und Prädiktion

Die vorliegende Dissertation behandelt die Qualitätswahrnehmung von Telemeetingsystemen, d.h. audiovisuellen Telekonferenzsystemen, bei denen mehr als zwei Gesprächspartner miteinander verbunden sind. Die Dissertation legt den Schwerpunkt auf zwei Aspekte, die ein Telemeeting, d.h. Mehrpersonengespräch über ein Telemeetingsystem, von einem konventionellen (Video-)Telefonat zwischen zwei Teilnehmer unterscheiden. Der erste Aspekt ist die besondere kommunikative Situation, die sich dadurch hervorhebt, dass sie ein Gruppengespräch darstellt, welches über ein Telekommunikationssystem stattfindet. Der zweite Aspekt ist die Möglichkeit, dass die Nutzer asymmetrische Verbindungen antreffen können, d.h. dass die Gesprächspartner mit unterschiedlichen Geräten und Leitungseigenschaften verbunden sind. Das wiederum ermöglicht es, verschiedene Niveaus einer Telemeetingqualität erfahren zu können, nämlich die Qualität des gesamten Telemeetings und der Qualität der einzelnen Verbindungen der Teilnehmer. Zunächst wird in dieser Dissertation ein konzeptionelles Model entwickelt, welches as theoretische Grundlage dient. Danach wird eine Methode zur Durchführung von Qualitätstest für Mehrpersonengespräche beschrieben. Anschließend werden drei Experimente vorgestellt und analysiert, welche den Einfluss von kommunikativen Aspekten, genauer der Komplexität der Kommunikationssituation und der Anteilnahme am Gespräch, untersuchen. Danach werden sieben auditive und audiovisuelle Experimente vorgestellt und analysiert, welche den Einfluss der technischen Systemeigenschaften auf die oben genannten verschiedenen Qualitätsniveaus untersuchen. Zuletzt werden in dieser Dissertation Modelle entwickelt, welche Urteile der Gesamtqualität anhand von Qualitätsurteilen der Einzelverbindungen schätzen. Da Eingangs- und Ausgangsgrößen der vorgestellten Modelle perzeptive Nutzerurteile und nicht instrumentelle Qualitätsschätzungen sind, liefern die Modelle eine konzeptionelle Basis für die Entwicklung technischer Lösungen. Die wesentlichen Erkenntnisse dieser Arbeit sind: 1. Eine komplexere Kommunikationssituation kann unter denselben technischen Bedingungen zu niedrigeren Qualitätsurteilen führen als eine weniger komplexe Kommunikationssituation. 2. Der Einfluss der Anteilnahme am Gespräch in einem Qualitätstest kann größer sein als der Effekt der getesteten technischen Bedingungen. 3. Es existiert eine gegenseitige Beeinflussung der Qualitätsurteile der Einzelverbindungen in einem Gespräch, wobei diese Beeinflussung von den technischen Bedingungen abhängt. 4. Das Qualitätsurteil des gesamten Systems kann in vielen Fällen als einfacher Mittelwert der Qualitätsurteile der Einzelverbindungen geschätzt werden. Jedoch für mehrere technische Bedingungen liefern komplexere Schätzmodelle bessere Ergebnisse. 5. Die besten Modelle ereichen Korrelationskoeffizienten von bis zu 0.95 und RMSE-Werte (Wurzel des Mittleren Quadratischen Fehlers) von 0.45 auf der 5-Punkte Absolute-Category-Rating-Skala. Das zeigt, dass es möglich ist, die Gesamtqualität anhand der Einzelverbindungsqualitäten angemessen schätzen zu können. 6. Es hat sich keine Modellfunktion herausgestellt, die als einzige alle anderen untersuchten Funktionen signifikant übertrifft. Jedoch zeigte eine der Funktionen den besten Kompromiss zwischen zwei grundsätzlichen Trends: Ist die Gesamtqualität gut, dann liegt der Mittelwert der Einzelverbindungsurteile sehr nahe an dem Gesamturteil; ist die Gesamtqualität schlecht, dann liegt das Minimum der Einzelverbindungsurteile sehr nahe an dem Gesamturteil. Demnach berechnet sich die meist versprechendste Modellierungsfunktion als eine gewichtete Kombination aus Mittelwert und Minimum der Einzelverbindungsurteile, wobei die Gewichtung selbst wiederum vom Mittelwert abhängt. 7. Einzelne Details bei Design und Durchführung der Qualitätstests zeigten unterschiedliche Messempfindlichkeiten hinsichtlich der drei Punkte Detektion der gegenseitigen Beeinflussung der Einzelverbindugen, Aufspüren von Belegen, dass eine einfache Mittelung nicht ausreicht, und Nachweisen des Zugewinns durch Verwendung komplexerer Schätzmodelle. Als nächste Schritte für weitere Arbeiten bietet sich die Umsetzung der gewonnenen Erkenntnisse in technische Lösungen an. Dieses würde zunächst eine Nachbildung der Modellierung beinhalten, in der die perzeptiven Qualitätsurteile der Einzelverbindungen durch instrumentelle Qualitätsschätzungen ersetzt werden. Später könnten dann solche Modelle durch das Einbinden der kommunikativen Aspekte verbessert werden. Dieses wiederum erfordert die Entwicklung technischer Ansätze zur Schätzung derartiger kommunikativer Aspekte wie der hier untersuchten Komplexität der Kommunikationssituation oder der Anteilnahme am Gespräch.This thesis investigates quality perception of multiparty audio and video conferencing systems, in short telemeeting systems. It is built around two aspects that differentiate a multiparty telemeeting from a conventional two-party (video) telephony call. The first aspect is the special communicative situation, that is, having a group conversation over a telecommunication system. The second aspect is the possibility of encountering asymmetric connections, that is, participants are connected with different equipment or connection properties. This in turn leads to the possibility to perceive different levels of telemeeting quality, i.e. the quality of the whole telemeeting and the quality of the individual connections of participants. First, this thesis develops a conceptual model that serves as a theoretical foundation. Then it describes a methodology to conduct multiparty quality assessment tests. Next it analyzes three experiments on the impact of the communicative aspects (i.e. communication complexity and involvement) on telemeeting quality. Then it analyzes seven audio-only and audiovisual experiments on the impact of technical conditions on the different levels of telemeeting quality. And finally it develops models that predict overall telemeeting quality scores based on the quality scores of the individual connections. Since all considered scores are perceptual ratings and not estimations obtained from instrumental methods, these models are conceptual ones, which serve as the foundation for developing technical solutions. The main findings of the experimental chapters are: 1. An increased communication complexity can lead to lower quality ratings for the same technical conditions. 2. The effect of involvement in a quality assessment test can be larger than that due to the tested technical conditions. 3. There exists a mutual influence on the quality scores of individual connections, whereas this depends on the character of the actual technical conditions. 4. The overall telemeeting quality can be expressed as a simple mean of the individual connection quality scores. However, for some technical conditions, more complex models achieve better results. 5. With correlation coefficients up to 0.95 and root mean square errors down to 0.45 on the absolute category rating scale, it is possible to adequately model the overall telemeeting quality based on the individual connection quality scores. 6. No single modeling function is the winning function in terms of significantly outperforming all other functions. However, one advanced modeling function appeared to provide the best compromise between two fundamental trends: if the telemeeting quality score is high, then the mean of individual connection quality scores is close to that score, if the telemeeting quality score is low, then the minimum of the individual connection quality scores is close. Accordingly, the most promising modeling function is computed as the weighted combination of the mean and the minimum value of the individual connection quality scores, whereas this weighting depends again on the mean of the individual connection quality scores. 7. Specific design details of the experimental methods distinguished the achieved sensitivity of the experiments in terms of their ability to detect the mutual influence of individual connections, to provide evidence that a simple mean is not always sufficient, and to show the added value of using advanced modeling functions. The next steps will be to transfer the found knowledge to technical applications. Foremost, this requires to repeat the modeling work with replacing the perceptual quality ratings of the individual connections with instrumental estimations. Later on, such models could be further improved by including the impact of the communication aspects, which will require the development of technical approaches to estimate aspects such as communication complexity or involvement