Modelling the use of 3D video on the quality of experience

Последњих година, очигледан је брз развој различитих медија у различитим сферама као што су потрошачка електроника, аутомобилска инфо-забава (енгл. Infotainment), софтверa у сврху здравства итд. Због тога намеће се потреба за иновативним методама процене квалитета доживљаја (енгл. Quality of Experience - QoE) које корисници доживљавају као замену за задовољство потрошача таквих системима и услугама. Емоционално стање корисника игра кључну улогу у области QoE; стога га је неопходно узети у обзир приликом процене корисничког искуства и процеса дизајнирања 3Д видео садржаја. У овој докторској дисертацији представљено је моделовање проценитеља квалитета доживљава заснованог на повратној вишеслојној вештачкој неуронској мрежи као одговарајућој техници машинског учења за процену човековог емоционалног стања током гледања различитих типова 3Д видео садржаја. Циљ је дизајнирање проценитеља емоционалног стања на основу директних психо-физиолошких мерења. Разматрани психо- физиолошки сигнали укључују срчану фреквенцију (HR) израчунату на основу ехо-кардиограма (ECG), електро-дермалну активност (EDA) и активност мозга (BA) у електро-енцефалографским (EEG) сигналима. Експериментални део истраживања постављен је тако да су учесници гледали серију 3Д видео садржаја који се разликују у погледу визуелног квалитета и типа садржаја, док су поменути психо-физиолошки сигнали забележени помоћу специјалних сонди постављених у моменту гледања садржаја, а субјективно проживљене емоције пријављене помоћу упитника за самопроцену (SAM). Добијени резултати показују да је могуће конструисати тако високо прецизан процењивач емоционалних стања.Poslednjih godina, očigledan je brz razvoj različitih medija u različitim sferama kao što su potrošačka elektronika, automobilska info-zabava (engl. Infotainment), softvera u svrhu zdravstva itd. Zbog toga nameće se potreba za inovativnim metodama procene kvaliteta doživljaja (engl. Quality of Experience - QoE) koje korisnici doživljavaju kao zamenu za zadovoljstvo potrošača takvih sistemima i uslugama. Emocionalno stanje korisnika igra ključnu ulogu u oblasti QoE; stoga ga je neophodno uzeti u obzir prilikom procene korisničkog iskustva i procesa dizajniranja 3D video sadržaja. U ovoj doktorskoj disertaciji predstavljeno je modelovanje procenitelja kvaliteta doživljava zasnovanog na povratnoj višeslojnoj veštačkoj neuronskoj mreži kao odgovarajućoj tehnici mašinskog učenja za procenu čovekovog emocionalnog stanja tokom gledanja različitih tipova 3D video sadržaja. Cilj je dizajniranje procenitelja emocionalnog stanja na osnovu direktnih psiho-fizioloških merenja. Razmatrani psiho- fiziološki signali uključuju srčanu frekvenciju (HR) izračunatu na osnovu eho-kardiograma (ECG), elektro-dermalnu aktivnost (EDA) i aktivnost mozga (BA) u elektro-encefalografskim (EEG) signalima. Eksperimentalni deo istraživanja postavljen je tako da su učesnici gledali seriju 3D video sadržaja koji se razlikuju u pogledu vizuelnog kvaliteta i tipa sadržaja, dok su pomenuti psiho-fiziološki signali zabeleženi pomoću specijalnih sondi postavljenih u momentu gledanja sadržaja, a subjektivno proživljene emocije prijavljene pomoću upitnika za samoprocenu (SAM). Dobijeni rezultati pokazuju da je moguće konstruisati tako visoko precizan procenjivač emocionalnih stanja.In recent years, the rapid development of diverse media has been evident in disparate fields such as consumer electronics, automotive infotainment and healthcare software. There is a need for innovative methods to assess user perceived Quality of Experience (QoE), as a proxy for consumer satisfaction with such systems and services. Users emotional state plays a key role in QoE; thus, it is necessary to consider it in user experience evaluation and the design process of stereoscopic 3D video content. In the PhD thesis the use of a specially designed model based on a feedforward Multilayer Perception Artificial Neural Network as an appropriate Machine Learning technique for the estimation of human emotional state while viewing various categories of stereoscopic 3D video content is introduced. The goal is to design an emotional state estimator based on direct psychophysiological measurements. The considered psychophysiological signals include heart rate (HR) calculated from an echocardiogram (ECG), electro-dermal activity (EDA), and brain activity (BA) in EEG signals. In the experimental part of study, participants watched a series of 3D video contents varying in terms of visual quality and type of content, while the mentioned psychophysiological signals were recorded via specific equipment, and self-reported subjectively experienced emotions using a Self-Assessment Manikin (SAM) questionnaire. The obtained results show that it is possible to construct such a highly precise estimator of emotional state

Especificación, implementación y evaluación de soluciones de sincronización multimedia híbrida (broadcast/broadband) e inter-destinatario para posibilitar nuevas experiencias televisivas enriquecidas, personalizadas, inmersivas y compartidas.

[ES] Actualmente, existe una gran variedad de tecnologías de distribución de contenidos multimedia, de dispositivos de consumo, así como de tipos de contenidos. En cuanto a tecnologías de distribución, dichos contenidos se pueden enviar bien a través de redes broadcast, como las redes DVB, o bien a través de redes broadband, como las redes IP (por ejemplo, a través de Internet). La coordinación y convergencia entre los dos tipos de tecnologías para distribuir contenidos relacionados ofrece un gran potencial a los proveedores de contenidos, así como grandes beneficios a los consumidores (una prueba de ello es el estándar Hybrid Broadcast Broadband TV o HbbTV). Sin embargo, la recepción de contenidos relacionados procedentes de diferentes redes híbridas (broadcast/broadband) conlleva una variabilidad de retardos significativa, por lo que se deben superar una serie de retos importantes, como, por ejemplo, la necesidad de mecanismos que garanticen un consumo sincronizado de dichos contenidos, bien en un mismo dispositivo o bien en distintos dispositivos (locales o remotos). Se han especificado, implementado y evaluado soluciones de sincronización de los procesos de reproducción de contenidos híbridos (prevenientes de redes broadcast y/o broadband) tanto en entornos multidispositivo, entre dispositivos locales (Inter-Device Synchronization o IDES), como en entornos multiusuario, entre destinatarios distribuidos en red (Inter-Destination Media Synchronization o IDMS), incluyendo la sincronización de efectos multisensoriales. Se ha diseñado e implementado una plataforma extremo-a-extremo para la generación, distribución (adaptativa) y consumo de contenidos híbridos relacionados, tanto en un mismo dispositivo como en múltiples dispositivos locales (por ejemplo, escenario multipantalla) o remotos (por ejemplo, TV Social). Se han generado y preparado contenidos multimedia tradicionales (2D) y omnidireccionales (360), enriquecidos con efectos multisensoriales que mejoran el grado de realismo y la inmersividad de los usuarios. La plataforma es compatible con el estándar HbbTV y, además, incluye soluciones eficientes para aspectos clave que no están especificados en dicho estándar, pero que son necesarios para la implementación satisfactoria de servicios de TV híbridos y multidispositivo en la misma, como, por ejemplo: la necesidad de un buffer para el contenido broadcast (existente y opcional hasta la especificación HbbTV 2.0.2); mecanismos de señalización, asociación y descripción de contenido disponible y relacionado con el contenido principal; mecanismos de coordinación e interacción entre los dispositivos de consumo; o soluciones de sincronización para alinear en el tiempo el consumo de contenidos de forma satisfactoria. Los resultados obtenidos en la evaluación realizada muestran que el nivel de sincronización adquirido entre los procesos de reproducción de los diversos tipos de contenido disponibles a través de distintas tecnologías de transmisión alcanza unos valores suficientes para proporcionar al usuario un consumo con un nivel de asincronías imperceptible. Dicha precisión alcanzada ha resultado en una QoE para el consumidor muy satisfactoria, ofreciéndole al mismo un completo ecosistema de consumo de contenidos que incluye tanto contenido multimedia tradicional, como contenido omnidireccional y mulsemedia.[CA] Actualment, hi ha una gran varietat de tecnologies de distribució de contingut multimèdia, dispositius de consum, així com tipus de contingut. Pel que fa a les tecnologies de distribució, aquest contingut es pot lliurar a través de xarxes de difusió, com ara xarxes DVB, o a través de xarxes de banda ampla, com les xarxes IP (per exemple, a través d'Internet). La coordinació i convergència entre els dos tipus de tecnologies per distribuir continguts relacionats ofereix un gran potencial als proveïdors de continguts, així com grans beneficis per als consumidors (una prova d'això és l'estàndard Hybrid Broadcast Broadband TV o HbbTV). Tanmateix, la recepció de continguts relacionats des de diferents xarxes híbrides (emissió/banda ampla) comporta una important variabilitat de retard, per la qual cosa s'han de superar una sèrie de reptes importants, com la necessitat de mecanismes que garanteixin el consum sincronitzat d'aquests continguts, ja siga en el mateix dispositiu. o en diferents dispositius (locals o remots). S'han especificat, implementat i evaluat solucions de sincronització per a processos de reproducció de continguts híbrids (xarxes de broadcast i/o de banda ampla) tant en entorns multidispositiu, entre dispositius locals (Inter-Device Synchronization o IDES), com en entorns IDMS (Inter-Destination Media Synchronization o IDMS), incloent la sincronització d'efectes multisensorials. S'ha dissenyat i implementat una plataforma d'extrem a extrem per a la generació, distribució (adaptativa) i consum de contingut híbrid relacionat, tant en un sol dispositiu com en múltiples locals (p. ex., escenari multipantalla) o remots (p. ex., Social TV). dispositius. S'han generat i preparat contingut multimèdia tradicional (2D) i omnidireccional (360), enriquit amb efectes multisensorials que milloren el grau de realisme i immersivitat dels usuaris. La plataforma és compatible amb l'estàndard HbbTV i, a més, inclou solucions eficients per a aspectes clau que no s'especifiquen en aquest estàndard, però que són necessaris per a la implantació amb èxit de serveis de televisió híbrids i multidispositiu en el mateix, com ara: la necessitat per a un buffer per a continguts de difusió (existent i opcional fins a HbbTV 2. 0.2); mecanismes de senyalització, associació i descripció dels continguts disponibles i relacionats amb el contingut principal; mecanismes de coordinació i interacció entre dispositius de consum; o solucions de sincronització per alinear en el temps el consum de continguts de manera satisfactòria. Els resultats obtinguts en l'avaluació realitzada mostren que el nivell de sincronització adquirit entre els processos de reproducció dels diferents tipus de continguts disponibles a través de diferents tecnologies de transmissió assoleix valors suficients per proporcionar a l'usuari un consum amb un nivell d'asincronies imperceptibles. La precisió aconseguida ha donat com a resultat una QoE molt satisfactòria per al consumidor, oferint-li un ecosistema complet de consum de continguts que inclou tant contingut multimèdia tradicional com contingut omnidireccional i mulsemedia.[EN] Currently, there is a wide variety of multimedia content distribution technologies, consumer devices, as well as types of content. In terms of distribution technologies, such content can be delivered either over broadcast networks, such as DVB networks, or over broadband networks, such as IP networks (e.g. over the Internet). The coordination and convergence between the two types of technologies to distribute related content offers great potential to content providers, as well as great benefits to consumers (a proof of this is the Hybrid Broadcast Broadband TV or HbbTV standard). However, the reception of related content from different hybrid networks (broadcast/broadband) entails significant delay variability, so a number of important challenges must be overcome, such as the need for mechanisms to ensure synchronized consumption of such content, either on the same device or on different devices (local or remote). We have specified, implemented and evaluated synchronization solutions for hybrid content playback processes (broadcast and/or broadband networks) both in multi-device environments, between local devices (Inter-Device Synchronization or IDES), and in multi-user environments, between distributed network recipients (Inter-Destination Media Synchronization or IDMS), including the synchronization of multi-sensory effects. An end-to-end platform has been designed and implemented for the generation, distribution (adaptive) and consumption of related hybrid content, both on a single device and on multiple local (e.g., multiscreen scenario) or remote (e.g., Social TV) devices. Traditional (2D) and omnidirectional (360) multimedia content has been generated and prepared, enriched with multisensory effects that enhance the degree of realism and immersiveness for users. The platform is compatible with the HbbTV standard and, in addition, includes efficient solutions for key aspects that are not specified in that standard, but are necessary for the successful implementation of hybrid and multi-device TV services on it, such as: the need for a buffer for broadcast content (existing and optional up to the HbbTV 2. 0.2); mechanisms for signaling, association and description of content available and related to the main content; coordination and interaction mechanisms between consumption devices; or synchronization solutions to align in time the consumption of content in a satisfactory way. The results obtained in the evaluation carried out show that the level of synchronization acquired between the reproduction processes of the different types of content available through different transmission technologies reaches sufficient values to provide the user with a consumption with an imperceptible level of asynchronies. The accuracy achieved has resulted in a very satisfactory QoE for the consumer, offering him a complete content consumption ecosystem that includes traditional multimedia content as well as omnidirectional and mulsemedia content.Marfil Reguero, D. (2022). Especificación, implementación y evaluación de soluciones de sincronización multimedia híbrida (broadcast/broadband) e inter-destinatario para posibilitar nuevas experiencias televisivas enriquecidas, personalizadas, inmersivas y compartidas [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/18574