Decoupled hybrid 360◦ panoramic stereo video

A new medium, virtual reality (VR) and 360◦ videos, enhanced an audience’s sense of presence to a new level. This increased attention to not only adding VR support on game engines and other auxiliary hardware but also to video stitching technology to create more immersive 360◦ videos. Head-mounted-display (HMD) is used to view such contents and it can provide a sense of depth by showing slightly different image on the left eye and the right eye. This format is known as stereoscopy and the opposite, where identical content is displayed for both the left and the right eye, is known as a monoscopic format.In this thesis, we present hardware and software to create decoupled hybrid 360◦ video. Our custom camera rig is 3D printed to have traditional fronto-parallel stereo camera pair at the front as well as surrounding cameras all around to achieve 360◦ field-of-view (FOV) horizontally. This unique design enables hybrid video format which has both stereoscopic and monoscopic regions. Decoupling removes yaw rotation from the source video stream, minimizing cybersickness risk of the audience.Our camera is meant to be used similarly to a conventional camera: track subject of interest. In our case, it is equivalent to keeping it within the FOV of stereo cameras. This reduces motion blur around the subject, which can serve film directors as an additional artistic and narrative tool. Another advantage of having a traditional stereo camera is that professional skills, both production and post-production, regarding the stereo camera are easily transferred to our hybrid medium. The computation overhead is minimal compared to stitching monoscopic 360◦ video because our design only has one additional camera at the front.We evaluated the stitching and decoupling performance on three different settings where camera rig went through: no motion, yaw rotation, and any motion. The results were satisfactory but the common issues are flickering and wobbling of stitched videos and drifting of decoupling algo- rithm. Using more state-of-the-art methods on each component of our software pipe or exploring deep learning based methods would be an interesting future direction.Une nouvelle forme de média, la réalité virtuelle (RV) et les vidéos 360◦ , ont renforcé l’immersion du public. L’attrait accru pour cette technologie a non seulement encouragé la prise en charge de la RV par les moteurs de jeu vidéo et d’autres plateformes matérielles, mais également le développement de technologies d’assemblage pour créer des vidéos 360◦ plus immersives. Un casque de réalité virtuelle est utilisé pour afficher un tel contenu et rendre possible une impression du relief en affichant une image légèrement différente à l’œil gauche et à l’œil droit. Ce format est connu sous le nom de stéréoscopie et le contraire, où un contenu identique est affiché pour les yeux gauche et droit, est appelé format monoscopique.Dans cette thèse, les outils matériels et logiciels permettant de créer une vidéo 360◦ hybride découplée sont présentés. Notre plateforme caméra est conçue sur mesure par impression 3D et possède une paire de caméras fronto-parallèles à l’avant ainsi que des caméras individuelles tout autour pour obtenir un champ de vision de 360◦ horizontalement. Cette conception unique permet le format vidéo hybride comportant à la fois des régions stéréoscopiques et monoscopiques. Le découplage supprime la rotation en lacet du flux vidéo source, minimisant ainsi le risque d’éprouver le « mal du virtuel ».Notre caméra est conçue pour être utilisée de la même manière qu’une caméra conventionnelle: en poursuivant le sujet d’intérêt. Dans notre cas, cela équivaut à le garder dans le champ de vision de la paire de caméras stéréoscopique. Cette technique réduit le flou de mouvement dans l’image du sujet, ce qui peut servir aux réalisateurs de films comme un outil artistique et narratif supplémentaire. Un autre avantage d’avoir une caméra stéréo traditionnelle est que les compétences professionnelles, à la fois en production et en postproduction, en ce qui concerne la caméra stéréo, sont facilement transférées sur notre support hybride. Les temps de calcul pour l’assemblage des images sont comparables à la vidéo monoscopique 360◦ car notre conception ne comporte qu’une caméra supplémentaire à l’avant.Les performances de l’algorithme d’assemblage et de découplage ont été évaluées pour trois conditions différentes de tournage: aucun mouvement, pour un mouvement de rotation en lacet et pour mouvement dans tous les axes. Les résultats observés ont été jugés satisfaisants. Toutefois, certains problèmes sont couramment observés: le scintillement et le vacillement des images vidéo assemblées et la dérive de l’algorithme de découplage. Utiliser des méthodes plus avancées pour chaque composante de notre logiciel ou encore explorer les méthodes issues de l’apprentissage profond sont deux directions intéressantes pour la poursuite des travaux