360º hypervideo

Tese de mestrado em Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011Nesta dissertação descrevemos uma abordagem para o design e desenvolvimento de uma interface imersiva e interactiva para a visualização e navegação de hipervídeos em 360º através da internet. Estes tipos de hipervídeos permite aos utilizadores movimentarem-se em torno de um eixo para visualizar os conteúdos dos vídeos em diferentes ângulos e acedê los de forma eficiente através de hiperligações. Desafios para a apresentação deste tipo de hipervídeos incluem: proporcionar aos utilizadores uma interface adequada que seja capaz de explorar conteúdos em 360º num ecrã normal, onde o vídeo deve mudar de perspectiva para que os utilizadores sintam que estão a olhar ao redor, e formas de navegação adequadas para compreenderem facilmente a estrutura do hipervídeo, mesmo quando as hiperligações estejam fora do alcance do campo de visão. Os dispositivos para a captura de vídeo em 360º, bem como as formas de os disponibilizar na Web, são cada vez mais comuns e acessíveis ao público em geral. Neste contexto, é pertinente explorar formas e técnicas de navegação para visualizar e interagir com hipervídeos em 360º. Tradicionalmente, para visualizar o conteúdo de um vídeo, o utilizador fica limitado à região para onde a câmara estava apontada durante a sua captura, o que significa que o vídeo resultante terá limites laterais. Com a gravação de vídeo em 360º, já não há estes limites: abrindo novas direcções a explorar. Um player de hipervídeo em 360º vai permitir aos utilizadores movimentarem-se à volta para visualizar o resto do conteúdo e aceder de forma fácil às informações fornecidas pelas hiperligações. O vídeo é um tipo de informação muito rico que apresenta uma enorme quantidade de informação que muda ao longo do tempo. Um vídeo em 360º apresenta ainda mais informações ao mesmo tempo e acrescenta desafios, pois nem tudo está dentro do nosso campo de visão. No entanto, proporciona ao utilizador uma nova experiência de visualização potencialmente imersiva. Exploramos técnicas de navegação para ajudar os utilizadores a compreenderem e navegarem facilmente um espaço de hipervídeo a 360º e proporcionar uma experiência de visualização a outro nível, através dum espaço hipermédia imersivo. As hiperligações levam o utilizador para outros conteúdos hipermédia relacionados, tais como textos, imagens e vídeos ou outras páginas na Web. Depois de terminar a reprodução ou visualização dos conteúdos relacionados, o utilizador poderá retornar à posição anterior no vídeo. Através da utilização de técnicas de sumarização, podemos ainda fornecer aos utilizadores um sumário de todo o conteúdo do vídeo para que possam visualizá-lo e compreendê-lo duma forma mais eficiente e flexível, sem necessitar de visualizar o vídeo todo em sequência. O vídeo tem provado ser uma das formas mais eficientes de comunicação, permitindo a apresentação de um leque enorme e variado de informação num curto período de tempo. Os vídeos em 360º podem fornecer ainda mais informação, podendo ser mapeados sobre projecções cilíndricas ou esféricas. A projecção cilíndrica foi inventada em 1796 pelo pintor Robert Barker de Edimburgo que obteve a sua patente. A utilização de vídeo na Web tem consistido essencialmente na sua inclusão nas páginas, onde são visualizados de forma linear, e com interacções em geral limitadas às acções de play e pause, fast forward e reverse. Nos últimos anos, os avanços mais promissores no sentido do vídeo interactivo parecem ser através de hipervídeo, proporcionando uma verdadeira integração do vídeo em espaços hipermédia, onde o conteúdo pode ser estruturado e navegado através de hiperligações definidas no espaço e no tempo e de mecanismos de navegação interactivos flexíveis. Ao estender o conceito de hipervídeo para 360º, surgem novos desafios, principalmente porque grande parte do conteúdo está fora do campo de visão. O player de hipervídeo a 360º tem que fornecer aos utilizadores mecanismos apropriados para facilitar a percepção da estrutura do hipervídeo, para navegar de forma eficiente no espaço hipervídeo a 360º e idealmente proporcionar uma experiência imersiva. Para poder navegar num espaço hipervídeo a 360º, necessitamos de novos mecanismos de navegação. Apresentamos os principais mecanismos concebidos para visualização deste tipo de hipervídeo e soluções para os principais desafios em hipermédia: desorientação e sobrecarga cognitiva, agora no contexto de 360º. Focamos, essencialmente, os mecanismos de navegação que ajudam o utilizador a orientar-se no espaço de 360º. Desenvolvemos uma interface que funciona por arrastamento para a navegação no vídeo em 360º. Esta interface permite que o utilizador movimente o vídeo para visualizar o conteúdo em diferentes ângulos. O utilizador só precisa de arrastar o cursor para a esquerda ou para a direita para movimentar o campo de visão. Pode no entanto movimentar-se apenas para um dos lados para dar a volta sem qualquer tipo de limitação. A percepção da localização e do ângulo de visualização actual tornou-se um problema devido à falta de limites laterais. Durante os nossos testes, muitos utilizadores sentiram-se perdidos no espaço de 360º, sem saber que ângulos é que estavam a visualizar. Em hipervídeo, a percepção de hiperligações é mais desafiante do que em hipermédia tradicional porque as hiperligações podem ter duração, podem coexistir no tempo e no espaço e o vídeo muda ao longo do tempo. Assim, são precisos mecanismos especiais, para torná-las perceptíveis aos utilizadores. Em hipervídeo em 360º, grande parte do conteúdo é invisível ao utilizador por não estar no campo de visão, logo será necessário estudar novas abordagens e mecanismos para indicar a existência de hiperligações. Criámos os Hotspots Availability e Location Indicators para permitir aos utilizadores saberem a existência e a localização de cada uma das hiperligações. O posicionamento dos indicadores de hotspots availabity no eixo da ordenada, nas margens laterais do vídeo, serve para indicar em que posição vertical está cada uma das hiperligações. O tamanho do indicador serve para indicar a distância do hotspot em relação ao ângulo de visualização. Quanto mais perto fica o hotspot, maior é o indicador. Os indicadores são semi-transparentes e estão posicionados nas margens laterais para minimizar o impacto que têm sobre o conteúdo do vídeo. O Mini Map também fornece informações acerca da existência e localização de hotspots, que deverão conter alguma informação do conteúdo de destino, para que o utilizador possa ter alguma expectativa acerca do que vai visualizar depois de seguir a hiperligação. Uma caixa de texto com aspecto de balão de banda desenhada permite acomodar várias informações relevantes. Quando os utilizadores seleccionam o hotspot, poderão ser redireccionados para um tempo pré-definido do vídeo ou uma página com informação adicional ou a selecção pode ser memorizada pelo sistema e o seu conteúdo ser mostrado apenas quando o utilizador desejar, dependendo do tipo de aplicação. Por exemplo, se a finalidade do vídeo for o apoio à aprendizagem (e-learning), pode fazer mais sentido abrir logo o conteúdo da hiperligação, pois os utilizadores estão habituados a ver aquele tipo de informação passo a passo. Se o vídeo for de entretenimento, os utilizadores provavelmente não gostam de ser interrompidos pela abertura do novo conteúdo, podendo optar pela memorização da hiperligação, e pelo seu acesso posterior, quando quiserem. Para além do título e da descrição do vídeo, o modo Image Map fornece uma visualização global do conteúdo do vídeo. As pré-visualizações (thumbnails) referem-se às cenas do vídeo e são representadas através duma projecção cilíndrica, para que todo o conteúdo ao longo do tempo possa ser visualizado. Permite também, de forma sincronizada, saber a cena actual e oferece ao utilizador a possibilidade de navegar para outras cenas. Toda a área de pré-visualização é sensível ao clique e determina as coordenadas da pré-visualização que o utilizador seleccionou. Uma versão mais condensada disponibiliza apenas a pré-visualização da parte central de cada uma das cenas. Permite a apresentação simultânea de um maior número de cenas, mas limita a visualização e a flexibilidade para navegar para o ângulo desejado de forma mais directa. Algumas funcionalidades também foram adicionadas à linha de tempo (timeline), ou Barra de Progresso. Para além dos tradicionais botões de Play, Pause e Tempo de Vídeo, estendemos a barra para adaptar a algumas características de uma página Web. Como é um Player desenvolvido para funcionar na internet, precisamos de ter em conta que é preciso tempo para carregar o vídeo. A barra de bytes loaded indica ao utilizador o progresso do carregamento do vídeo e não permite que o utilizador aceda às informações que ainda não foram carregadas. O hiperespaço é navegado em contextos espácio-temporais que a história recorda. A barra de memória, Memory Bar, fornece informação ao utilizador acerca das partes do vídeo que já foram visualizadas. O botão Toogle Full Screen alterna o modo de visualização do vídeo entre full e standard screen . O modo full screen leva o utilizador para fora das limitações do browser e maximiza o conteúdo do vídeo para o tamanho do ecrã. É mais um passo para um modo de visualização imersiva, por exemplo numa projecção 360º dentro duma Cave, como estamos a considerar explorar em trabalho futuro. Nesta dissertação, apresentamos uma abordagem para a visualização e interacção de vídeos em 360º. A navegação num espaço de vídeo em 360º apresenta uma nova experiência para grande parte das pessoas e não existem ainda intuições consistentes sobre o comportamento deste tipo de navegação. Os utilizadores, muito provavelmente, vão sentir o problema que inicialmente houve com o hipertexto, em que o utilizador se sentia perdido no hiperespaço. Por isso, o Player de Hipervídeo a 360º tem que ser o mais claro e eficaz possível para que os utilizadores possam interagir facilmente. O teste de usabilidade foi feito com base no questionário USE e entrevistas aos utilizadores de modo a determinar a usabilidade e experiência de acordo com os seus comentários, sugestões e preocupações sobre as funcionalidades, mecanismos de acesso ou de representação de informação fornecidos. Os resultados dos testes e comentários obtidos, permitiu-nos obter mais informação sobre a usabilidade do player e identificar as possíveis melhorias. Em resumo, os comentários dos utilizadores foram muito positivos e úteis que nos ajudará a continuar a trabalhar na investigação do Hipervídeo 360º. O trabalho futuro consiste na realização de mais testes de usabilidade e desenvolvimento de diferentes versões do Player de Hipervídeo em 360º, com mecanismos de navegação revistos e estendidos, com base nos resultados das avaliações. O Player de Hipervídeo em 360º não deverá ser apenas uma aplicação para Web, deverá poder integrar com quiosques multimédia ou outras instalações imersivas. Provavelmente serão necessárias novas funcionalidades e tipos de navegação para adaptar a diferentes contextos. O exemplo do Player de Hipervídeo em 360º apresentado neste artigo utiliza um Web browser e um rato como meio de apresentação e interacção. Com o crescimento das tecnologias de vídeo 3D, multi-toque e eye-tracking, podem surgir novas formas de visualização e de interacção com o espaço 360º. Estas novas formas trazem novos desafios mas também um potencial acrescido de novas experiências a explorar.In traditional video, the user is locked to the angle where the camera was pointing to during the capture of the video. With 360º video recording, there are no longer these boundaries, and 360º video capturing devices are becoming more common and affordable to the general public. Hypervideo stretches boundaries even further, allowing to explore the video and to navigate to related information. By extending the hypervideo concept into the 360º video, which we call 360º hypervideo, new challenges arise. Challenges for presenting this type of hypervideo include: providing users with an appropriate interface capable to explore 360º contents, where the video should change perspective so that the users actually get the feeling of looking around; and providing the appropriate affordances to understand the hypervideo structure and to navigate it effectively in a 360º hypervideo space, even when link opportunities arise in places outside the current viewport. In this thesis, we describe an approach to the design and development of an immersive and interactive interface for the visualization and navigation of 360º hypervideos. Such interface allow users to pan around to view the contents in different angles and effectively access related information through the hyperlinks. Then a user study was conducted to evaluate the 360º Hypervideo Player’s user interface and functionalities. By collecting specific and global comments, concerns and suggestions for functionalities and access mechanisms that would allow us to gain more awareness about the player usability and identify directions for improvements and finally we draw some conclusions and opens perspectives for future work

Utilization of viewer location based projection effects on ODV video display in CAVE like environments

The thesis work provides an overview of the CAVE-like virtual environments by describing and comparing different kinds of virtual environments and the technologies behind them. It provides through information about presence, immersion and user experience of a virtual environment. It also explains the concept of omni directional videos, which are used in CAVE virtual environment. The study involves a CAVE-like virtual environment hardware setup situated at University of Tampere. The system is evaluated by conducting an experiment where the participants are viewing objects in omni directional (360-degree) videos (ODV). The participants were asked to perform certain tasks within virtual environments. The study objective is to understand how adjusting virtual camera parameters based on the user’s physical head location effects the user experience of viewing 360-degree videos in a CAVE-like environment. Three conditions are tested which are termed as scaling conditions. In each scaling condition, the virtual camera moved differently based on the user’s head movements. The results are collected through questionnaires, observations and interviews. The questionnaire data is compiled using statistical analysis. The results describe the overall user experience of CAVE-like virtual environment, the level of immersion and presence felt by the user and any possible cyber-sickness. The study conducted paves way to explore different dimensions of CAVE-based ODV viewing and how to improve it

Vídeos interativos e imersivos no sight surfers

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012Tradicionalmente, para visualizar o conteúdo de um vídeo, o utilizador encontra-se limitado à região para onde a câmara está apontada durante a sua captura, o que significa que o vídeo resultante terá limites laterais, ou seja, estará limitado a uma certa abertura de ângulo de visualização. Com a possibilidade de gravação de vídeos em 360º, ultrapassamos esse limite, abrindo assim novas direções a explorar, tais como a visualização e navegação em hipervídeos imersivos. Com o desenvolvimento tecnológico, o acesso a conteúdos audiovisuais através de várias plataformas tem vindo a crescer muito a nível global. Paralelamente, são cada vez mais comuns e acessíveis ao púbico em geral o dispositivo para a captura de vídeo em 360º, o registo de referência geográfica (GPS) e as formas de os aceder na internet. Neste contexto, é interessante e pertinente explorar formas e técnicas de navegação para visualizar e interagir com hipervídeos imersivos 360º sincronizados com um mapa. Este tipo de hipervídeos permite aos utilizadores movimentarem-se em torno de um eixo para visualizarem os conteúdos do vídeo a partir de diferentes ângulos, em qualquer instante do vídeo e acedê-los de forma flexível e eficiente através de hiperligações, permitindo assim ao utilizador ter uma experiência mais imersiva e acesso a informação sincronizada com um mapa. Desafios para a apresentação deste tipo de hipervídeos incluem: proporcionar aos utilizadores uma interface adequada que seja capaz de explorar conteúdos em 360º num ecrã normal e ambientes de visualização mais imersivos, onde o vídeo deve mudar de perspetiva para que os utilizadores sintam que estão a olhar ao redor, formas de navegação adequadas para compreenderem facilmente a estrutura do hipervídeo e sincronização com um mapa com referências geográficas. Nesta dissertação descrevemos uma abordagem para o design e desenvolvimento da interface interativa e imersiva, para a visualização e navegação de vídeos interativos no Sight Surfers, com base em hipervídeo 360º, e sincronização com os respetivos percursos através da web e potencialmente da TV interativa.Traditionally, to visualize video contents, the user is limited to a region where camera was pointing during its capture, meaning that the resulting video will have lateral limits, that is, will be limited to a certain open visualization angle. With the possibility of recording videos in 360º, we go beyond that limit. Thereby, opening new directions to explore, such as, visualization and navigation in immersive hypervideos. Due to technologic development, the access to audiovisual contents through many platforms is increasing worldwide. At the same time devices to capture videos in 360º, capture geographic references (GPS) and ways to access them in internet, are much more common and accessible to general public. In this context, it is interesting and pertinent to explore ways and techniques of navigation to visualize and interact with 360º immersive hypervideos synchronized with a map. This kind of hypervideos let the user move around an axis to visualize the contents of videos in different angles, in any video instance and access them in a flexible and efficient way, through hyperlinks, and provide the user with an experience more immersive and access the information synchronized with a map. Challenges for presentation of this kind of hypervideos include: provide the users with an adequate interface capable to explore 360º contents in a normal monitor and viewing environments more immersive, where the video should change perspective so users feel that they are looking around, navigation in a way appropriate to easily understand the hypervideo structure and synchronization with a map with geographic references

Design and evaluation of guiding methods for 360° videos

360° video is an emerging trend which is gaining popularity due to immersive nature. These videos can be watched on conventional displays as well as the Head Mounted displays (HMD). In contrast to the traditional 2D videos, in which entire video is displayed within the user’s field of view, 360° videos always have content that is outside the user’s field of view. Viewing 360° content on HMD gives the user an immersive feeling, the user feels like being in the recorded situation. This is a key feature of 360° videos. The content outside the current field of view can be viewed on HMD by turning head or body. However, there is always a possibility of getting disoriented as the content is present all around. Disorientation disrupts the user’s immersion and some interesting event or object can be missed. This problem can be solved by giving guidance to the user to navigate in a 360° video. Several studies have proposed solutions to the problem of missing the interesting content and getting disoriented. This thesis proposes a novel solution using a research through design approach to design a set of guiding methods. These guiding methods use visual and audio cues such as an arrow marker, a bull’s eye mark, and speech synthesizer audio to guide the user while navigating in a 360° video. A software prototype has been developed which uses different combinations of the designed guiding methods with different videos from YouTube. A novel concept of using 3D audio cues with treble and bass elements is introduced as audio guidance for navigation in a 360° video. The software prototype was tested with 22 users with a two-phase approach, where guiding methods were redesigned with changes suggested by users from the first phase and in the second phase the revised version was tested again with users. The thesis presents design recommendations for implementing guidance methods with focus on overall experience, usefulness and distraction. The choice of the guidance method depends on the content of the video. The guidance should be subtle, unobtrusive and non-repetitive. The audio guidance should be distinct from the content audio