View and depth preprocessing for view synthesis enhancement

In the paper, two preprocessing methods for virtual view synthesis are presented. In the first approach, both horizontal and vertical resolutions of the real views and the corresponding depth maps are doubled in order to perform view synthesis on images with densely arranged points. In the second method, real views are filtered in order to eliminate blurred or improperly shifted edges of the objects. Both methods are performed prior to synthesis, thus they may be applied to different Depth-Image-Based Rendering algorithms. In the paper, for both proposed methods, the achieved quality gains are presented

Segmentation-based Method of Increasing The Depth Maps Temporal Consistency

In this paper, a modification of the graph-based depth estimation is presented. The purpose of proposed modification is to increase the quality of estimated depth maps, reduce the time of the estimation, and increase the temporal consistency of depth maps. The modification is based on the image segmentation using superpixels, therefore in the first step of the proposed modification a segmentation of previous frames is used in the currently processed frame in order to reduce the overall time of the depth estimation. In the next step, a depth map from the previous frame is used in the depth map optimization as the initial values of a depth map estimated for the current frame. It results in the better representation of silhouettes of objects in depth maps and in the reduced computational complexity of the depth estimation process. In order to evaluate the performance of the proposed modification the authors performed the experiment for a set of multiview test sequences that varied in their content and an arrangement of cameras. The results of the experiments confirmed the increase of the depth maps quality — the quality of depth maps calculated with the proposed modification is higher than for the unmodified depth estimation method, apart from the number of the performed optimization cycles. Therefore, use of the proposed modification allows to estimate a depth of the better quality with almost 40% reduction of the estimation time. Moreover, the temporal consistency, measured through the reduction of the bitrate of encoded virtual views, was also considerably increased

Light field image coding with flexible viewpoint scalability and random access

This paper proposes a novel light field image compression approach with viewpoint scalability and random access functionalities. Although current state-of-the-art image coding algorithms for light fields already achieve high compression ratios, there is a lack of support for such functionalities, which are important for ensuring compatibility with different displays/capturing devices, enhanced user interaction and low decoding delay. The proposed solution enables various encoding profiles with different flexible viewpoint scalability and random access capabilities, depending on the application scenario. When compared to other state-of-the-art methods, the proposed approach consistently presents higher bitrate savings (44% on average), namely when compared to pseudo-video sequence coding approach based on HEVC. Moreover, the proposed scalable codec also outperforms MuLE and WaSP verification models, achieving average bitrate saving gains of 37% and 47%, respectively. The various flexible encoding profiles proposed add fine control to the image prediction dependencies, which allow to exploit the tradeoff between coding efficiency and the viewpoint random access, consequently, decreasing the maximum random access penalties that range from 0.60 to 0.15, for lenslet and HDCA light fields.info:eu-repo/semantics/acceptedVersio

A Stackable 3D Light Field System for Free Viewpoint Virtual Reality

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·정보공학부, 2020. 8. 이혁재.기존의 촬영된 이미지를 기반으로 하는 가상현실 (VR: Virtual Reality) 시스템은 3-degree-of-freedom (3-DoF)을 만족하며, roll, yaw, pitch의 회전 변환만을 지원하였다. DoF는 사용자가 움직일 수 있는 방향을 의미하며, 최대 6-DoF가 있다. roll, yaw, pitch의 세 가지 회전 변환과 더불어 x, y, z 축을 따라 이동하는 수평 변환을 포함한다. 즉, 기존의 촬영된 이미지 기반의 가상현실 기술은 제한적인 움직임 만을 지원하고 있으며, 이는 마치 머리가 고정된 상태에서 고개만 움직이는 것과 같다. 결과적으로 사용자의 몰입도를 크게 낮추는 요인으로 작용한다. 라이트 필드(LF: Light Field)는 자유 공간을 통과하는 빛의 조합을 통해 새로운 시점에서의 뷰를 구성하는 기법으로, 이를 바탕으로 촬영된 이미지 기반의 가상현실보다 DoF를 향상하기 위한 연구가 진행되어 왔다. LF는 가정하는 면을 따라 획득한 light ray의 조합을 통해 임의의 viewpoint에서의 새로운 뷰(view)를 구성한다. 2D 평면 또는 구면을 가정하는 LF가 있으며, 특히 구면을 가정하는 LF 시스템은 360도 방향에서 입사되는 light ray의 조합을 통해 360도 뷰를 만든다. 또한 구 내부에서 viewpoint는 자유롭게 선택될 수 있으며 6-DoF를 만족한다. 하지만 위와 같이 평면이나 구면을 가정하는 LF 구조는 light ray의 획득이 어렵다는 문제가 있다. 특히 구면을 가정한 시스템의 경우 구면의 따라 light ray을 획득하기 위해 아치 모양으로 배치된 다중 카메라를 원으로 회전시키는 특수 장비를 별도로 개발하여 사용한다. 보다 넓은 공간을 커버하기 위해서는 더 큰 평면, 구면을 가정해야 하는데, 큰 면을 가정할수록 light ray 획득 난이도는 더욱 증가한다. 3D LF는 기존의 LF가 면을 가정하는 것과 달리 선을 따라 획득하는 light ray로 구성된다. 평면 대신 직선, 구면 대신 원 구조가 가정되어 LF를 구성한다. 면 대신 선을 가정함으로써 하나의 변수가 고정되고, 4개 변수 대신 3개 변수로 light ray를 표현된다. 이에 따라 획득할 수 있는 light ray의 수가 제한적이며, 특히 vertically 하나의 점에서 획득한 light ray를 사용하기 때문에 vertical parallax를 표현하지 못하는 문제가 있다. 반면, 선을 따라 light ray를 획득하는 과정은 슬라이더나 달리(dolly) 장비와 같은 접하기 쉬운 장비로도 가능하며, 슬라이더, dolly 장비에 장착된 카메라를 이동하면서 간편하게 light ray를 획득할 수 있다. 특히 더 넓은 범위를 움직이기 위해 더 큰 구조를 가정하더라도 획득의 난이도가 크게 증가하지 않는다. 하지만 구조가 커질 경우 vertical parallax를 표현하지 못하는 문제로 인한 뷰가 왜곡되는 에러가 크게 증가한다. 본 논문은 3D LF를 기반으로 보다 넓은 공간을 자유롭게 움직일 수 있는 가상현실 시스템의 개발을 목표로 한다. 기존의 방법에서 넓은 구조를 커버하기 위해 구조 자체를 확장하는 것이 아니라 3D LF를 여러 개 쌓은 형태인 3D LF Stack 구조를 가정하고 이를 통해 커버할 수 있는 범위를 넓힌다. 위의 제안 방안을 바탕으로 여전히 light ray 획득 방식을 간편하게 하면서 동시에 3D LF의 vertical parallax로 인한 에러를 일정 수준으로 제한한다. 또한 제안하는 시스템에서는 3D LF Stack 구조를 수직 방향으로 두 개 배치함으로써 임의의 viewpoint에 대한 360도 뷰를 구성한다. 제안 시스템은 여전히 3D LF의 vertical parallax를 표현하지 못하는 에러를 포함하고 있으며, 이는 특히, viewpoint가 이동하고, 3D LF Stack 상에서 다른 3D LF를 넘어갈 때 두드러지게 나타난다. 이를 개선하기 위해 앞, 뒤로 배치된 두 개의 3D LF를 사용한 뷰 구성 방안을 제안한다. 그리고 제안된 시스템에서 임의의 viewpoint의 뷰는 기존의 LF 기반의 접근 방법과 달리 다수의 LF를 동시에 사용해서 하나의 뷰를 구성한다. 따라서 서로 다른 3D LF의 연결 방안을 제안하고, 다양한 시스템 구현 환경에 따른 적절한 적용 방안을 소개한다.Conventional captured-image-based virtual reality (VR) systems only support rotational view direction changes, roll, yaw, and pitch. It is 3-degree-of-freedom (3-DoF). DoF represents the users movements, and the highest DoF is 6, which includes three rotational view direction changes, roll, yaw, and pitch, as well as three translational viewpoint movements along the x, y, and z axes. The limited DoF of the conventional captured-image-based VR lowers users sense of reality. Light field (LF), which can generate a view at a free viewpoint through a combination of light rays, is a suitable approach to support the freedom to change viewpoints. LF assumes a planar or spherical surface, and generates a view by combing light rays passing through the surface. In particular, the spherical LF system creates a 360-degree view through light rays incident from 360-degree direction. In the spherical LF, a viewpoint freely moves along the x, y, and z axes inside the sphere and changes view direction, and thus 6-DoF is supported. However, it is difficult to acquire light rays for LF assuming a planar or spherical surface. In the case of spherical LF, a special equipment for rotating multiple cameras arranged in an arch shape is used to acquire light rays along a spherical surface. In order to cover a larger space, it is necessary to assume a larger plane or spherical surface. The larger the surface, the more difficult the light ray acquisition is. 3D LF consists of light rays acquired along the line, unlike conventional LF that assumes surfaces. A line instead of a plane and a circular structure instead of a spherical surface are used to construct 3D LF. It is easy to acquire light rays, which is acquired by moving the camera mounted on a camera slider and a dolly along the line. However, 3D LF cannot acquire vertical parallax because it obtains light rays at only one vertical point, and it causes distortion of the generated views. Assuming a larger structure does not significantly increase the difficulty of acquisition, but it increases the distortion of 3D LF view generation. This paper aims to develop a free viewpoint VR system for large space based on 3D LF. In contrast to extending the structure in the existing method, it assumes a 3D LF Stack in which multiple 3D LFs are stacked in front and back. The proposed system is simple to obtain light rays and limits the distortion to a certain range. In addition, two 3D LF Stacks are arranged orthogonally to generate a 360-degree view at a free viewpoint. There are two challenges for the proposed system. First is the need to connect independent 3D LFs. The existing LF-based approach creates a view using a single LF, while the proposed system generates a view using four 3D LFs. This paper proposes two 3D LF connection methods and introduces appropriate usage methods according to various implementation environments. Another is that 3D LF Stack still contains distortion, and the error is particularly noticeable as the viewpoint moves and the 3D LF that generates a view changes. This paper proposes a view generation method using a light ray set with epipolar geometry relationship in 3D LF stack.제 １ 장 서 론 1 1.1 연구 배경 1 1.2 연구 내용 6 1.3 논문 구성 7 제 ２ 장 관련 연구 8 2.1 3D 스캐닝 및 렌더링 8 2.2 라이트 필드 (Light Field) 13 2.2.1 Light Field Representation 13 2.2.2 Light Ray Acquisition 15 2.2.3 View Generation in LF 19 2.2.4 평면을 가정하는 LF 기반의 자유 시점 변환 시스템 20 2.2.5 구면을 가정하는 LF 기반의 자유 시점 변환 시스템 21 2.3 3D 라이트 필드 (3D LF) 23 제 ３ 장 Stackable 3D LF 기반의 자유시점 변환 가상현실 시스템 28 3.1 Stackable 3D LF의 구조적 특징 29 3.1.1 다중 3D LF의 적층형 배치 29 3.1.2 양 방향으로 통과하는 light ray를 이용한 3D LF 구성 30 3.1.3 두 개의 3D LF Stack을 수직 방향으로 배치 32 3.2 Stackable 3D LF 시스템에서의 자유 시점 변환 33 3.3 Light Field Unit (LFU)와 다중 LFU 구조 34 3.4 제안 시스템의 간략한 동작 과정 설명 35 3.5 제안 시스템의 두 가지 해결 과제 38 제 ４ 장 3D LF Connection 40 4.1 Physical Connection 40 4.2 Physical Connection in LFU 42 4.3 Non-physical Connection 44 4.4 Non-physical Connection in LFU 46 4.5 일반 카메라를 사용하는 3D LF 구성 환경에서의 3D LF Connection 51 4.6 360도 카메라를 사용하는 3D LF 구성 환경에서의 3D LF Connection 59 4.6.1 수평, 수직 입사 각도가 큰 light ray를 이용한 3D LF 뷰 구성에서 발생하는 에러 59 4.6.2 Hybrid 3D LF Connection 63 제 ５ 장 View generation in 3D LF Stack 69 5.1 3D LF Stack 구조에서 뷰가 급격히 바뀌는 문제 69 5.2 앞, 뒤로 배치된 3D LF 사이의 light ray 공유 71 5.3 Epipolar geometry 관계를 가지는 light ray 세트를 이용한 View Generation 77 5.4 Epipolar geometry 관계의 light ray 세트 기반의 뷰 구성 결과 비교 81 제 ６ 장 제안 시스템 구현 91 6.1 일반 카메라 + 슬라이더를 이용한 구성 91 6.2 일반 카메라 + 슬라이더를 이용한 구조 결과 93 6.2.1 자유시점 변화에 대한 뷰 구성 결과 비교 93 6.2.2 Blending을 이용한 3D LF 연결 부분 보정 98 6.2.3 제안 구조와 원 구조 3D LF의 구성 뷰 비교 100 6.2.4 Physical connection과 Non-physical connection의 효율성 비교 102 6.3 360도 카메라 + dolly를 이용한 구성 106 6.4 360도 카메라 + dolly를 이용한 구조 결과 109 6.4.1 Hybrid 3D LF Connection Result 109 6.4.2 구성한 구조 및 임의의 viewpoint에 따른 뷰 구성 결과 117 6.4.3 다른 자유 시점 변화 시스템과의 비교 124 제 ７ 장 결 론 128 참고문헌 130 Abstract 135Docto