Leveraging eXtented Reality & Human-Computer Interaction for User Experi- ence in 360◦ Video

EXtended Reality systems have resurged as a medium for work and entertainment. While 360o video has been characterized as less immersive than computer-generated VR, its realism, ease of use and affordability mean it is in widespread commercial use. Based on the prevalence and potential of the 360o video format, this research is focused on improving and augmenting the user experience of watching 360o video. By leveraging knowledge from Extented Reality (XR) systems and Human-Computer Interaction (HCI), this research addresses two issues affecting user experience in 360o video: Attention Guidance and Visually Induced Motion Sickness (VIMS). This research work relies on the construction of multiple artifacts to answer the de- fined research questions: (1) IVRUX, a tool for analysis of immersive VR narrative expe- riences; (2) Cue Control, a tool for creation of spatial audio soundtracks for 360o video, as well as enabling the collection and analysis of captured metrics emerging from the user experience; and (3) VIMS mitigation pipeline, a linear sequence of modules (including optical flow and visual SLAM among others) that control parameters for visual modi- fications such as a restricted Field of View (FoV). These artifacts are accompanied by evaluation studies targeting the defined research questions. Through Cue Control, this research shows that non-diegetic music can be spatialized to act as orientation for users. A partial spatialization of music was deemed ineffective when used for orientation. Addi- tionally, our results also demonstrate that diegetic sounds are used for notification rather than orientation. Through VIMS mitigation pipeline, this research shows that dynamic restricted FoV is statistically significant in mitigating VIMS, while mantaining desired levels of Presence. Both Cue Control and the VIMS mitigation pipeline emerged from a Research through Design (RtD) approach, where the IVRUX artifact is the product of de- sign knowledge and gave direction to research. The research presented in this thesis is of interest to practitioners and researchers working on 360o video and helps delineate future directions in making 360o video a rich design space for interaction and narrative.Sistemas de Realidade EXtendida ressurgiram como um meio de comunicação para o tra- balho e entretenimento. Enquanto que o vídeo 360o tem sido caracterizado como sendo menos imersivo que a Realidade Virtual gerada por computador, o seu realismo, facili- dade de uso e acessibilidade significa que tem uso comercial generalizado. Baseado na prevalência e potencial do formato de vídeo 360o, esta pesquisa está focada em melhorar e aumentar a experiência de utilizador ao ver vídeos 360o. Impulsionado por conhecimento de sistemas de Realidade eXtendida (XR) e Interacção Humano-Computador (HCI), esta pesquisa aborda dois problemas que afetam a experiência de utilizador em vídeo 360o: Orientação de Atenção e Enjoo de Movimento Induzido Visualmente (VIMS). Este trabalho de pesquisa é apoiado na construção de múltiplos artefactos para res- ponder as perguntas de pesquisa definidas: (1) IVRUX, uma ferramenta para análise de experiências narrativas imersivas em VR; (2) Cue Control, uma ferramenta para a criação de bandas sonoras de áudio espacial, enquanto permite a recolha e análise de métricas capturadas emergentes da experiencia de utilizador; e (3) canal para a mitigação de VIMS, uma sequência linear de módulos (incluindo fluxo ótico e SLAM visual entre outros) que controla parâmetros para modificações visuais como o campo de visão restringido. Estes artefactos estão acompanhados por estudos de avaliação direcionados para às perguntas de pesquisa definidas. Através do Cue Control, esta pesquisa mostra que música não- diegética pode ser espacializada para servir como orientação para os utilizadores. Uma espacialização parcial da música foi considerada ineficaz quando usada para a orientação. Adicionalmente, os nossos resultados demonstram que sons diegéticos são usados para notificação em vez de orientação. Através do canal para a mitigação de VIMS, esta pesquisa mostra que o campo de visão restrito e dinâmico é estatisticamente significante ao mitigar VIMS, enquanto mantem níveis desejados de Presença. Ambos Cue Control e o canal para a mitigação de VIMS emergiram de uma abordagem de Pesquisa através do Design (RtD), onde o artefacto IVRUX é o produto de conhecimento de design e deu direcção à pesquisa. A pesquisa apresentada nesta tese é de interesse para profissionais e investigadores tra- balhando em vídeo 360o e ajuda a delinear futuras direções em tornar o vídeo 360o um espaço de design rico para a interação e narrativa

Open and commercial tools to generate a digital interactive story in journalism: systematic review and features analysis

This is an Accepted Manuscript version, accepted for publication in New Review of Hypermedia and Multimedia.The constant technological advances are transferred to the area of journalism with signi!cant contributions to the production of innovative formats adapted to the multimedia, interactive and multiplatform scenario. Since interactive narrative journalism is one of the trends of digital journalism, it is necessary to approach the o"er of services that facilitate the journalistic creation of dynamic and interactive journalistic contents. The main objective is to analyze web programs and applications for the creation and publication of interactive digital narratives. Based on the PRISMA systematic review methodology, a total of 15 programs and web applications were identi!ed after reading 28 articles and examination of 54 webpages with value in interactive digital journalism. Five are open-source applications, which invite the community to continue developing improvements that make these tools innovative and adaptable to future changes. Our study reveals the highly valued functionalities, such as the capacity for data analysis and teamwork, among others that allow the integration of 360° multimedia, the management of the interaction map, the preview in di"erent output formats, such as tablet or mobile. However, there is a lack of journalistic roles in these tools that let them coordinate and optimise the publication process to produce the !nal news.This article has been prepared within the framework of the project Digital-native media in Spain: Strategies, competencies, social involvement and (re)definition of practices in journalistic production and diffusion (PID2021-122534OB-C21), funded by the Spanish Ministry of Science and Innovation, the Spanish State Research Agency and the European Regional Development Fund (ERDF). The author Iván Otero-González is a beneficiary of predoctoral contracts for the training of doctors (PRE2019- 087367).S

D1.3 List of available solutions

This report has been submitted by Tempesta Media SL as deliverable D1.3 within the framework of H2020 project "SO-CLOSE: Enhancing Social Cohesion through Sharing the Cultural Heritage of Forced Migrations" Grant No. 870939.This report aims to conduct research on the specific topics and needs of the SO-CLOSE project, addressing the available solutions through a state-of-the-art digital tools analysis, applied in the cultural heritage and migration fields. More specifically the report's scope is:To define proper tools and proceedings for the interview needs -performing, recording, transcription, translation. To analyse potential content gathering tools for the co-creation workshops. To conduct a state-of-the-art sharing tools analysis, applied in the cultural heritage and migration fields, and propose a critically adjusted and innovative digital approach

Interactive Fiction in Cinematic Virtual Reality: Epistemology, Creation and Evaluation

This dissertation presents the Interactive Fiction in Cinematic Virtual Reality (IFcVR), an interactive digital narrative (IDN) that brings together the cinematic virtual reality (cVR) and the creation of virtual environments through 360\ub0 video within an interactive fiction (IF) structure. This work is structured in three components: an epistemological approach to this kind of narrative and media hybrid; the creation process of IFcVR, from development to postproduction; and user evaluation of IFcVR. In order to set the foundations for the creation of interactive VR fiction films, I dissect the IFcVR by investigating the aesthetics, narratological and interactive notions that converge and diverge in it, proposing a medium-conscious narratology for this kind of artefact. This analysis led to the production of an IFcVR functional prototype: \u201cZENA\u201d, the first interactive VR film shot in Genoa. ZENA\u2019s creation process is reported proposing some guidelines for interactive and immersive film-makers. In order to evaluate the effectiveness of the IFcVR as an entertaining narrative form and a vehicle for diverse types of messages, this study also proposes a methodology to measure User Experience (UX) on IFcVR. The full evaluation protocol gathers both qualitative and quantitative data through ad hoc instruments. The proposed protocol is illustrated through its pilot application on ZENA. Findings show interactors' positive acceptance of IFcVR as an entertaining experience

From Screenwriting to Space-Writing

In the past ten years, audiovisual creators have been working on the development of narrative experiences for extended reality (XR) technologies, especially virtual reality (VR). The evolution of this practice has led to the creation of a technical language and processes. The transfer of knowledge from cinematography and videography has been the basis for the creative practice of “immersive narratives,” very often carrying with it jargon and practices that do not fit entirely with XR’s spatial nature. In this essay, I ref lect on whether we are still writing for a screen or writing for space from a practitioner's perspective. Such a change of perspective starts with the recognition of the perceptual sphere and how to compose scenes in it. In this regard, a review of storyboarding for VR, followed by my own experience in creating an interactive VR movie, allowed me to ref lect on the concept of framing, camera positions, and authorial intentions. Finally, I argue that we can move from screen- writing to space-writing in relation to the technologies and immersive power of XR

The Impact of Social Media Marketing on Promoting the Cultural Heritage Tourism: A Case Study of Portugal

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Driven Marketing, specialization in Digital Marketing and AnalyticsThis research is the result of an exploratory and descriptive investigation that focuses on analyzing 21 social media profiles of entities related to the cultural and heritage tourism sectors in Portugal. The purpose is to gather concrete data and observe the most successful social media marketing strategies employed by these entities. The research aims to address two main research questions: “How can social media marketing contribute to the building and strengthening of Portuguese Cultural Heritage and Tourism?” and “How can marketers incorporate virtual reality into a marketing strategy in the cultural tourism and heritage sectors and derive value from it?”. Therefore, the intention is to explore how social media platforms can be leveraged to promote and attract visitors to Portuguese cultural heritage sites and tourism destinations. By analyzing the social media profiles of relevant entities, the research seeks to identify effective strategies that contribute to the overall promotion and enhancement of Portugal's cultural heritage and tourism offerings. The research also aims to investigate how virtual reality can be integrated into marketing strategies within the cultural tourism and heritage sectors. Virtual reality has the potential to provide immersive and interactive experiences, allowing potential visitors to engage with cultural and heritage sites virtually. The study seeks to explore how marketers can harness virtual reality technologies to create valuable and engaging content that entices visitors and enhances their overall experience. By examining the social media profiles and activities of these entities, the research aims to provide insights into successful social media marketing practices, as well as explore the potential of virtual reality in marketing strategies for cultural tourism and heritage sectors. The findings of this research can help tourism organizations understand the impact of consumers' behavior and preferences and guide them in making informed decisions about their marketing and promotional efforts

Exploring university students’ engagement in learning through gamification, transmedia and virtual reality

The advent of the 5th Internet generation and the evolution of university students’ behaviour leads professors, educators and researchers to search for and investigate new tools to engage students in course topics and content. The purpose of this thesis is to explore university students’ engagement for learning through gamification, transmedia and virtual reality. Although several studies have been conducted, as far as we know, the current thesis is the first to employ three tools to motivate and engage students: gamification, transmedia and virtual reality. Thus, the aims of the thesis are: (i) to comprehensively review relationship marketing and service marketing research fields, including gamification, virtual reality and education; (ii) to investigate gamification in higher education through a text mining approach; (iii) to explore transmedia effects in higher education using a mixed approach; (iv) to propose and validate a model portraying the influence of virtual reality experience on student engagement, extending the S-O-R framework. To develop this thesis and seeking to ensure its execution and results, we started with a comprehensive literature review followed by the development of three independent studies based on distinct research methodologies. From the comprehensive literature review, 115 scientific articles emerge, giving and understanding of the use of new technologies in education and, providing access to other relevant information on the topic. The first study reveals that through the application of the Kahoot! a gamification-based tool, students expressed positive emotions when asked about its use in the classroom as a learning tool. The results also show that gamification-based tools can be considered an important asset in the teaching-learning process, being able to motivate and engage students in their learning activities. The second study shows that use of Moodle as a complement to the traditional class allows students to go further in understanding the content of the course and be more engaged with the whole group of colleagues and professors. The level of student engagement and academic success seems to be higher as a result of activities based on information research, sharing and interaction through online discussion tools (such as the online forum), and analysis and discussion of case studies. The third study shows that memories are activated and stored through emotions and so, these are two key elements in virtual reality experiences that help students to become more engaged with course content. It also seems that less mindful students can benefit more than mindful ones from using virtual reality tools to become more creative and enhance their memories about the course content. Based on our findings, some theoretical contributions and managerial implications are also presented.O surgimento da 5ª geração da Internet e a evolução do comportamento dos estudantes universitários leva professores, educadores e investigadores a pesquisar e investigar novas ferramentas para envolver os alunos nos tópicos e no conteúdo dos cursos. O objetivo desta tese é explorar o envolvimento de estudantes universitários na aprendizagem através da gamificação, transmedia e realidade virtual. Embora vários estudos tenham já sido realizados, segundo sabemos, a tese atual é a primeira a utilizar três ferramentas para motivar e envolver os alunos: gamificação, transmedia e realidade virtual. Assim, os objetivos da tese são: (i) rever de forma abrangente a investigação nas áreas de marketing de relacionamento e marketing de serviços, incluindo gamificação, realidade virtual e educação; (ii) investigar a gamificação no ensino superior por meio de uma abordagem de mineração de texto; (iii) explorar efeitos transmedia no ensino superior usando uma abordagem mista; (iv) propor e validar um modelo que retrate a influência da experiência em realidade virtual no envolvimento dos alunos, alargando a estrutura S-O-R. Para desenvolver esta tese e procurar garantir a sua execução e resultados, iniciamos com uma revisão abrangente da literatura, seguida pelo desenvolvimento de três estudos independentes, baseados em metodologias distintas de pesquisa. Da revisão abrangente da literatura, emergem 115 artigos científicos, que permitem entender o uso de novas tecnologias na educação, obter acesso a outras informações relevantes sobre o tema e realizar a revisão da literatura. O primeiro estudo revela que, através da aplicação do Kahoot!, ferramenta baseada na gamificação, os alunos expressaram emoções positivas, quando questionados sobre o seu uso na sala de aula, como uma ferramenta de aprendizagem. Os resultados também mostram que as ferramentas baseadas na gamificação podem ser consideradas um ativo importante no processo de ensino-aprendizagem, podendo motivar e envolver os alunos nas suas atividades de aprendizagem. O segundo estudo mostra que o uso do Moodle, como um complemento da aula tradicional, permite que os alunos compreendam o conteúdo do curso e se envolvam com o seu grupo de colegas e professores. O nível de envolvimento e sucesso académico dos alunos parece ser maior face à realização de atividades baseadas em pesquisa de informações, partilha e interação por meio de ferramentas de discussão on-line (como o fórum on-line) e análise e discussão de estudos de caso. O terceiro estudo mostra que as memórias são ativadas e armazenadas através das emoções, logo esses são dois elementos-chave nas experiências de realidade virtual que contribuem para aprimorar e ajudar os alunos a envolverem-se mais com o conteúdo dos cursos. Parece também que os alunos menos atentos podem beneficiar mais do que os atentos, ao usar ferramentas de realidade virtual, para se tornarem mais criativos e melhorar as suas memórias sobre o conteúdo dos cursos. Com base nos nossos resultados, também são apresentadas algumas contribuições teóricas e implicações para a gestão

Collaborative interaction in immersive 360º experiences

Os sistemas de reprodução de vídeo tornaram-se, a cada dia, mais habituais e utilizados. Consequentemente, foram criadas extensões desta tecnologia permitindo colaboração multipessoal de modo a poder assistir remotamente e sincronamente. Exemplos conhecidos são o Watch2gether, Sync Video e Netflix Party, que nos permitem assistir vídeos síncrona e remotamente com amigos. Estas aplicações de visualização conjunta, apesar de bem desenvolvidas, estão limitadas ao típico formato, não se estendendo a vídeos 360. O principal objetivo deste projeto é então expandir a pesquisa nesta área ao desenvolver um sistema colaborativo para vídeos 360. Já foram direcionados vários esforços na área de vídeos 360o, um deles sendo o projeto AV360, aplicação que permite ao utilizador visualizar e editar este tipo de vídeos com anotações e guias. O sistema que se pretende integrar é um seguimento ao AV360, utilizando parte das tecnologias já implementadas. De maneira a compartimentalizar e facilitar a pesquisa são considerados os seguintes temas de forma individual: a visualização de vídeos 360o, a generalidade dos sistemas colaborativos, a aplicação de colaboração em ambientes virtuais e os sistemas de vídeo colaborativos. É importante ter noção das vantagens e desvantagens de assistir a um vídeo 360o, conseguir retirar o que é a essência nestes vídeos e mantê-la, integrando também a inclusão de outros utilizadores. Na escolha das atividades colaborativas a aplicar, é imprescindível analisar o estado em que os sistemas colaborativos se encontram hoje em dia e posteriormente afunilar a pesquisa para a colaboração em ambientes virtuais e em vídeos. Dentro de todos os métodos analisados só os adaptáveis a ambientes imersivos e a vídeos são escolhidos e desenvolvidos neste projeto. Com base numa pesquisa aprofundada sobre o assunto, é criado um sistema de colaboração em vídeos 360o. O software permite que os utilizadores assistam em simultâneo a um vídeo enquanto comunicam de uma forma verbal e não verbal para se expressarem e partilharem a experiência do momento. Este trabalho tem em mente que parte das ideias implementadas possam ser reutilizáveis para outros projetos de experiências imersivas

Comunicação mutimédia de inovação de ciência e tecnologia em contexto empresarial

The need to communicate science and technology is increasing. In Research and Development (R&D) projects, which encompass the creation of novel technologies and paradigms, the adequate dissemination of representative content plays a pivotal role to establish such technologies within their target audiences, including the scientific community and project partners. Within the scope of this dissertation, multimedia artifacts were produced for the communication of complex scientific and technological content. This was made in the context of the MOG Technologies company, and its need to communicate with partners, clients, and other stakeholders, the characteristics of their innovation-based services and products. The produced multimedia artifacts were videos and broadcast events. A social media dissemination plan was also created and implemented. The challenge of these concrete outputs was supported by the knowledge and understanding of the MOG projects, products, and target audiences, and by the theoretical framework of science and technology communication using multimedia. The artifacts were implemented and used, obtaining good feedback.A necessidade de comunicar ciência e tecnologia é cada vez maior. Em projetos de Investigação e Desenvolvimento, que incluem a criação de novas tecnologias e paradigmas, a disseminação adequada de conteúdos representativos desempenha um papel fundamental para estabelecer essas tecnologias junto dos seus públicos-alvo, incluindo a comunidade científica e parceiros de projeto. No âmbito desta dissertação, foram produzidos artefactos multimédia para a comunicação de conteúdos científicos e tecnológicos complexos. Isto foi feito no contexto da empresa MOG Technologies, e partindo da sua necessidade de comunicar com parceiros, clientes e outros intervenientes, as características dos seus serviços e produtos baseados em inovação. Os artefactos multimédia produzidos foram vídeos e eventos de broadcasting. Foi também criado e implementado um plano de disseminação nas redes sociais. O desafio de obter estes resultados concretos é apoiado pelo conhecimento e compreensão dos projetos, produtos e públicos-alvo da MOG e pelo enquadramento teórico de comunicação de ciência e tecnologia usando multimédia. Os artefactos foram implementados e utilizados, obtendo-se um bom feedback.Mestrado em Comunicação Multimédi