Disruptive approaches for subtitling in immersive environments

The Immersive Accessibility Project (ImAc) explores how accessibility services can be integrated with 360o video as well as new methods for enabling universal access to immersive content. ImAc is focused on inclusivity and addresses the needs of all users, including those with sensory or learning disabilities, of all ages and considers language and user preferences. The project focuses on moving away from the constraints of existing technologies and explores new methods for creating a personal experience for each consumer. It is not good enough to simply retrofit subtitles into immersive content: this paper attempts to disrupt the industry with new and often controversial methods. This paper provides an overview of the ImAc project and proposes guiding methods for subtitling in immersive environments. We discuss the current state-of-the-art for subtitling in immersive environments and the rendering of subtitles in the user interface within the ImAc project. We then discuss new experimental rendering modes that have been implemented including a responsive subtitle approach, which dynamically re-blocks subtitles to fit the available space and explore alternative rendering techniques where the subtitles are attached to the scene

Evaluating subtitle readability in media immersive environments

The advances in VR technology has led to immersive videos rapidly gaining popularity. Accessibility to immersive media should be offered and subtitles are the most popular accessibility service. Research on subtitle readability has led to guidelines and standards (W3C, ISO/IEC/ITU 20071-23:2018). More research into subtitle presentation modes in 360º is needed in order to move towards understanding optimum readability. Evaluating readability for subtitles in immersive media environments requires a flexible and user-friendly framework for both creating the subtitles and presenting the generated subtitle file in a fully functional immersive video player, in order to understand the final view in the environment and assess its quality. This article starts by looking at the readability recommendations in W3C and ISO/IEC/ITU. The second part will describe the new features required in immersive subtitle presentations. The final section will describe the new web-based framework that allows the generation of immersive subtitles where readability may be tested. The framework has adopted a contrast and comparison approach towards instant readability evaluation

Immersive captioning : developing a framework for evaluating user needs

This article focuses on captioning for immersive environments and the research aims to identify how to display them for an optimal viewing experience. This work began four years ago with some partial findings. This second stage of research, built from the lessons learnt, focuses on the design requirements cornerstone: prototyping. A tool has been developed towards quick and realistic prototyping and testing. The framework integrates methods used in existing solutions. Given how easy it is to contrast and compare, the need to further the first framework was obvious. A second improved solution was developed, almost as a showcase on how ideas can quickly be implemented for user testing. After an overview on captions in immersive environments, the article describes its implementation, based on web technologies opening for any device with a web browser. This includes desktop computers, mobile devices and head mounted displays. The article finishes with a description of the new caption modes leading to improved methods, hoping to be a useful tool towards testing and standardisation

Subtitles in VR 360° video. Results from an eye-tracking experiment

Virtual and Augmented Reality, collectively known as eXtended Reality, are key technologies for the next generation of human?computer?human interaction. In this context, 360° videos are becoming ubiquitous and especially suitable for providing immersive experiences thanks to the proliferation of affordable devices. This new medium has an untapped potential for the inclusion of modern subtitles to foster media content accessibility (Gejrot et al., 2021), e.g., for the deaf or hard-of-hearing people, and to also promote cultural inclusivity via language translation (Orero, 2022). Prior research on the presentation of subtitles in 360° videos relied on subjective methods and involved a small number of participants (Brown et al., 2018; Agulló, 2019; Oncins et al., 2020), leading to inconclusive results. The aim of this paper is to compare two conditions of subtitles in 360° videos: position (head-locked vs fixed) and colour (monochrome vs colour). Empirical analysis relies on novel triangulation of data from three complementary methods: psycho-physiological attentional process measures (eye movements), performance measures (media content comprehension), and subjective task-load and preferences (self-report measures). Results show that head-locked coloured subtitles are the preferred option

Konzepte und Guidelines für Applikationen in Cinematic Virtual Reality

Die meisten Menschen, die zum ersten Mal einen omnidirektionalen Film über ein Head-Mounted Display (HMD) sehen, sind fasziniert von der neuen Erlebniswelt. Das Gefühl, an einem anderen Ort zu sein, weit weg von der Realität, beeindruckt und lässt sie in eine andere Welt eintauchen. Die über Jahrzehnte entwickelte Filmsprache lässt sich nicht ohne Weiteres auf dieses neue Medium - Cinematic Virtual Reality (CVR) - übertragen. Der Betrachter kann die Blickrichtung und damit den sichtbaren Ausschnitt des Bildes frei wählen, und es ist deshalb nicht immer möglich, dem Zuschauer zu zeigen, was für die Geschichte wichtig ist. Herkömmliche Methoden für die Lenkung der Aufmerksamkeit - wie Nahaufnahmen oder Zooms - sind nicht ohne Weiteres verwendbar, andere – wie Bewegung und Farben – benötigen eine Evaluation und Anpassung. Um neue Konzepte und Methoden für CVR zu finden, sind neben den Forschungsergebnissen aus dem Filmbereich auch die anderer Forschungsgebiete, wie Virtual und Augmented Reality (VR und AR), relevant. Um geeignete Techniken der Aufmerksamkeitslenkung in CVR zu ergründen, werden in dieser Arbeit bekannte Methoden aus Film, VR und AR analysiert und eine einheitliche Taxonomie präsentiert. Dadurch ist es möglich, die verschiedenen Aspekte detaillierter zu untersuchen. Auch die Positionierung der Kamera kann nicht ohne Weiteres vom traditionellen Film auf CVR übertragen werden. Der Zuschauer nimmt bei der Betrachtung einer CVR-Anwendung in der virtuellen Welt die Position der Kamera ein. Dies kann zu Problemen führen, wenn die Kamerahöhe nicht seiner eigenen Körpergröße entspricht. Außerdem ist eine Auflösung einer Szene durch verschiedene Einstellungsgrößen nicht ohne Weiteres möglich, da dies für den Zuschauer ein Umherspringen in der virtuellen Welt bedeuten würde. In dieser Arbeit werden die Auswirkungen verschiedener Kamerapositionen auf den Zuschauer untersucht und Guidelines zur Kamerapositionierung vorgestellt. Die dazugewonnene Raumkomponente bietet neue Möglichkeiten. Schnitte müssen nicht unbedingt von der verstrichenen Zeit abhängen, sondern können auch auf der Blickrichtung des Betrachters basieren. In Übereinstimmung mit dem Begriff Timeline führen wir das Konzept der Spaceline für diese Methode der Story-Konstruktion ein. Während die Schnitte auf der Timeline vom Filmemacher festgelegt werden, bestimmt der Betrachter die Spaceline - innerhalb eines vom Filmemacher festgelegten Konstrukts. Durch diese individuelle Zuschauerführung ist es möglich, dass jeder seine eigene Geschichte in seinem eigenen Tempo und mit seinen eigenen Prioritäten entdeckt. Das Spaceline-Konzept bietet neue Interaktionsmöglichkeiten, die durch verschiedene Selektionstechniken umgesetzt werden können. Um Techniken zu finden, die für CVR geeignet sind, werden in dieser Arbeit blick- und kopfbasierte Ansätze untersucht. Auch wenn deren Wirksamkeit stark von den gewählten Parametern und physiologischen Faktoren abhängen, konnten wertvolle Erkenntnisse gewonnen werden, die in einen Design-Space für CVR-Konstrukte einfließen. Dieser Design-Space ermöglicht es beim Entwerfen einer CVR-Anwendung, die Attribute zu finden, die für die Anwendung am besten geeignet sind. Aber nicht nur die Entwicklung von CVR-Anwendungen stellt neue Herausforderungen. Durch das HMD ist ein Zuschauer von der restlichen Welt isoliert, und es bedarf neuer Methoden, um CVR als soziale Erfahrung erlebbar zu machen. Einige davon werden in dieser Arbeit vorgestellt und analysiert. Aus den gewonnenen Erfahrungen werden Empfehlungen für einen CVR-Movie-Player abgeleitet. Um die vorgestellten Konzepte und Guidelines zu entwickeln, wurden eine Reihe von Nutzerstudien durchgeführt, zum Teil mit Aufzeichnung der Kopf- und Blickrichtungen. Um diese Daten analysieren zu können, wurde ein Tool entwickelt, welches die Visualisierung der Daten auf dem Film ermöglicht. In dieser Arbeit werden Konzepte und Guidelines für verschiedene Felder in Cinematic Virtual Reality vorgestellt: Aufmerksamkeitslenkung, Kamerapositionierung, Montage, Zuschauererlebnis und Datenanalyse. Auf jedem dieser Gebiete konnten Erkenntnisse gewonnen werden, die auch für die andere Bereiche von Interesse sind. Oft hängen die Ergebnisse der einzelnen Fachgebiete zusammen und ergänzen sich gegenseitig. Ziel der Arbeit ist es, die verschiedenen Aspekte als Ganzes zu präsentieren.Most people who watch an omnidirectional film for the first time on a head-mounted display (HMD) are fascinated by the new world of experience. The feeling of being in a different place, right in the middle of the action, far from reality, impresses and gives the opportunity to immerse in another world. The film language developed over decades cannot simply be transferred to this new media, Cinematic Virtual Reality (CVR). The viewer can freely choose the direction of view and thus the visible section of the picture and it is therefore not always possible to show the viewer what is important for the story. Traditional methods for directing attention - such as close-ups or zooms - are not easy to use, others - such as movement and colors - needs to be assessed and adjusted. For finding new concepts and methods for CVR, in addition to the research results from the film area, other areas in the field of virtual and augmented reality (VR and AR) are relevant. In order to find suitable methods to draw attention in CVR, known methods from film, VR, and AR are analyzed in this work and a uniform taxonomy is presented. This makes it possible to investigate the various aspects of the methods in more detail. The positioning of the camera cannot simply be transferred from traditional film to CVR. When viewing a CVR application in the virtual world, the viewer takes the place of the camera in the real world. This can lead to problems if the camera height does not match the viewer’s height. In addition, a resolution of a scene due different setting sizes is not possible as this would mean that the viewer would jump around in the virtual world. In this work, the effects of different camera positions on the viewer are examined and guidelines for camera positioning are presented. The additional space component offers new possibilities. Cuts do not necessarily have to depend on the elapsed time, but can also be based on the viewer's gaze. In accordance with the term timeline, we introduce the concept of the spaceline for this method of story plot construction. While the cuts on the timeline are determined by the filmmaker, the viewer determines the spaceline - within a construct determined by the filmmaker. Through this individual guided tour, everyone can discover their own story at their own pace and with their own priorities. The spaceline concept offers new interaction options that can be implemented using various selection techniques. In order to find methods that are suitable for CVR, this work examines eye and head-based techniques. Even if the effectiveness of them strongly depends on the chosen parameters and physiological factors, valuable insights are gained, which are included in a design space for spaceline constructs. This design space allows one to find the attributes that best suits for the application when designing a CVR application. But not only the creation of CVR applications presents new challenges. The HMD isolates a viewer from the rest of the world and requires new techniques to experience CVR in a social way. Some of these are presented and analyzed in this work. Recommendations for a CVR movie player are derived from the experience gained. Several user studies were conducted to develop the concepts and guidelines, some of them by recording of the head and gaze directions. To be able to analyze this data, a tool was developed which enables us to visualize the data on the film. In this work, concepts and guidelines for various fields in Cinematic Virtual Reality are presented: attention guiding, camera positioning, montage, audience experience, and data analysis. In each of these areas, knowledge was gained that is also of interest to the other fields. The findings of the individual fields are often related and complement each other. This work aims to present the various aspects as a whole

Konzepte und Guidelines für Applikationen in Cinematic Virtual Reality

Die meisten Menschen, die zum ersten Mal einen omnidirektionalen Film über ein Head-Mounted Display (HMD) sehen, sind fasziniert von der neuen Erlebniswelt. Das Gefühl, an einem anderen Ort zu sein, weit weg von der Realität, beeindruckt und lässt sie in eine andere Welt eintauchen. Die über Jahrzehnte entwickelte Filmsprache lässt sich nicht ohne Weiteres auf dieses neue Medium - Cinematic Virtual Reality (CVR) - übertragen. Der Betrachter kann die Blickrichtung und damit den sichtbaren Ausschnitt des Bildes frei wählen, und es ist deshalb nicht immer möglich, dem Zuschauer zu zeigen, was für die Geschichte wichtig ist. Herkömmliche Methoden für die Lenkung der Aufmerksamkeit - wie Nahaufnahmen oder Zooms - sind nicht ohne Weiteres verwendbar, andere – wie Bewegung und Farben – benötigen eine Evaluation und Anpassung. Um neue Konzepte und Methoden für CVR zu finden, sind neben den Forschungsergebnissen aus dem Filmbereich auch die anderer Forschungsgebiete, wie Virtual und Augmented Reality (VR und AR), relevant. Um geeignete Techniken der Aufmerksamkeitslenkung in CVR zu ergründen, werden in dieser Arbeit bekannte Methoden aus Film, VR und AR analysiert und eine einheitliche Taxonomie präsentiert. Dadurch ist es möglich, die verschiedenen Aspekte detaillierter zu untersuchen. Auch die Positionierung der Kamera kann nicht ohne Weiteres vom traditionellen Film auf CVR übertragen werden. Der Zuschauer nimmt bei der Betrachtung einer CVR-Anwendung in der virtuellen Welt die Position der Kamera ein. Dies kann zu Problemen führen, wenn die Kamerahöhe nicht seiner eigenen Körpergröße entspricht. Außerdem ist eine Auflösung einer Szene durch verschiedene Einstellungsgrößen nicht ohne Weiteres möglich, da dies für den Zuschauer ein Umherspringen in der virtuellen Welt bedeuten würde. In dieser Arbeit werden die Auswirkungen verschiedener Kamerapositionen auf den Zuschauer untersucht und Guidelines zur Kamerapositionierung vorgestellt. Die dazugewonnene Raumkomponente bietet neue Möglichkeiten. Schnitte müssen nicht unbedingt von der verstrichenen Zeit abhängen, sondern können auch auf der Blickrichtung des Betrachters basieren. In Übereinstimmung mit dem Begriff Timeline führen wir das Konzept der Spaceline für diese Methode der Story-Konstruktion ein. Während die Schnitte auf der Timeline vom Filmemacher festgelegt werden, bestimmt der Betrachter die Spaceline - innerhalb eines vom Filmemacher festgelegten Konstrukts. Durch diese individuelle Zuschauerführung ist es möglich, dass jeder seine eigene Geschichte in seinem eigenen Tempo und mit seinen eigenen Prioritäten entdeckt. Das Spaceline-Konzept bietet neue Interaktionsmöglichkeiten, die durch verschiedene Selektionstechniken umgesetzt werden können. Um Techniken zu finden, die für CVR geeignet sind, werden in dieser Arbeit blick- und kopfbasierte Ansätze untersucht. Auch wenn deren Wirksamkeit stark von den gewählten Parametern und physiologischen Faktoren abhängen, konnten wertvolle Erkenntnisse gewonnen werden, die in einen Design-Space für CVR-Konstrukte einfließen. Dieser Design-Space ermöglicht es beim Entwerfen einer CVR-Anwendung, die Attribute zu finden, die für die Anwendung am besten geeignet sind. Aber nicht nur die Entwicklung von CVR-Anwendungen stellt neue Herausforderungen. Durch das HMD ist ein Zuschauer von der restlichen Welt isoliert, und es bedarf neuer Methoden, um CVR als soziale Erfahrung erlebbar zu machen. Einige davon werden in dieser Arbeit vorgestellt und analysiert. Aus den gewonnenen Erfahrungen werden Empfehlungen für einen CVR-Movie-Player abgeleitet. Um die vorgestellten Konzepte und Guidelines zu entwickeln, wurden eine Reihe von Nutzerstudien durchgeführt, zum Teil mit Aufzeichnung der Kopf- und Blickrichtungen. Um diese Daten analysieren zu können, wurde ein Tool entwickelt, welches die Visualisierung der Daten auf dem Film ermöglicht. In dieser Arbeit werden Konzepte und Guidelines für verschiedene Felder in Cinematic Virtual Reality vorgestellt: Aufmerksamkeitslenkung, Kamerapositionierung, Montage, Zuschauererlebnis und Datenanalyse. Auf jedem dieser Gebiete konnten Erkenntnisse gewonnen werden, die auch für die andere Bereiche von Interesse sind. Oft hängen die Ergebnisse der einzelnen Fachgebiete zusammen und ergänzen sich gegenseitig. Ziel der Arbeit ist es, die verschiedenen Aspekte als Ganzes zu präsentieren.Most people who watch an omnidirectional film for the first time on a head-mounted display (HMD) are fascinated by the new world of experience. The feeling of being in a different place, right in the middle of the action, far from reality, impresses and gives the opportunity to immerse in another world. The film language developed over decades cannot simply be transferred to this new media, Cinematic Virtual Reality (CVR). The viewer can freely choose the direction of view and thus the visible section of the picture and it is therefore not always possible to show the viewer what is important for the story. Traditional methods for directing attention - such as close-ups or zooms - are not easy to use, others - such as movement and colors - needs to be assessed and adjusted. For finding new concepts and methods for CVR, in addition to the research results from the film area, other areas in the field of virtual and augmented reality (VR and AR) are relevant. In order to find suitable methods to draw attention in CVR, known methods from film, VR, and AR are analyzed in this work and a uniform taxonomy is presented. This makes it possible to investigate the various aspects of the methods in more detail. The positioning of the camera cannot simply be transferred from traditional film to CVR. When viewing a CVR application in the virtual world, the viewer takes the place of the camera in the real world. This can lead to problems if the camera height does not match the viewer’s height. In addition, a resolution of a scene due different setting sizes is not possible as this would mean that the viewer would jump around in the virtual world. In this work, the effects of different camera positions on the viewer are examined and guidelines for camera positioning are presented. The additional space component offers new possibilities. Cuts do not necessarily have to depend on the elapsed time, but can also be based on the viewer's gaze. In accordance with the term timeline, we introduce the concept of the spaceline for this method of story plot construction. While the cuts on the timeline are determined by the filmmaker, the viewer determines the spaceline - within a construct determined by the filmmaker. Through this individual guided tour, everyone can discover their own story at their own pace and with their own priorities. The spaceline concept offers new interaction options that can be implemented using various selection techniques. In order to find methods that are suitable for CVR, this work examines eye and head-based techniques. Even if the effectiveness of them strongly depends on the chosen parameters and physiological factors, valuable insights are gained, which are included in a design space for spaceline constructs. This design space allows one to find the attributes that best suits for the application when designing a CVR application. But not only the creation of CVR applications presents new challenges. The HMD isolates a viewer from the rest of the world and requires new techniques to experience CVR in a social way. Some of these are presented and analyzed in this work. Recommendations for a CVR movie player are derived from the experience gained. Several user studies were conducted to develop the concepts and guidelines, some of them by recording of the head and gaze directions. To be able to analyze this data, a tool was developed which enables us to visualize the data on the film. In this work, concepts and guidelines for various fields in Cinematic Virtual Reality are presented: attention guiding, camera positioning, montage, audience experience, and data analysis. In each of these areas, knowledge was gained that is also of interest to the other fields. The findings of the individual fields are often related and complement each other. This work aims to present the various aspects as a whole