A Stackable 3D Light Field System for Free Viewpoint Virtual Reality

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·정보공학부, 2020. 8. 이혁재.기존의 촬영된 이미지를 기반으로 하는 가상현실 (VR: Virtual Reality) 시스템은 3-degree-of-freedom (3-DoF)을 만족하며, roll, yaw, pitch의 회전 변환만을 지원하였다. DoF는 사용자가 움직일 수 있는 방향을 의미하며, 최대 6-DoF가 있다. roll, yaw, pitch의 세 가지 회전 변환과 더불어 x, y, z 축을 따라 이동하는 수평 변환을 포함한다. 즉, 기존의 촬영된 이미지 기반의 가상현실 기술은 제한적인 움직임 만을 지원하고 있으며, 이는 마치 머리가 고정된 상태에서 고개만 움직이는 것과 같다. 결과적으로 사용자의 몰입도를 크게 낮추는 요인으로 작용한다. 라이트 필드(LF: Light Field)는 자유 공간을 통과하는 빛의 조합을 통해 새로운 시점에서의 뷰를 구성하는 기법으로, 이를 바탕으로 촬영된 이미지 기반의 가상현실보다 DoF를 향상하기 위한 연구가 진행되어 왔다. LF는 가정하는 면을 따라 획득한 light ray의 조합을 통해 임의의 viewpoint에서의 새로운 뷰(view)를 구성한다. 2D 평면 또는 구면을 가정하는 LF가 있으며, 특히 구면을 가정하는 LF 시스템은 360도 방향에서 입사되는 light ray의 조합을 통해 360도 뷰를 만든다. 또한 구 내부에서 viewpoint는 자유롭게 선택될 수 있으며 6-DoF를 만족한다. 하지만 위와 같이 평면이나 구면을 가정하는 LF 구조는 light ray의 획득이 어렵다는 문제가 있다. 특히 구면을 가정한 시스템의 경우 구면의 따라 light ray을 획득하기 위해 아치 모양으로 배치된 다중 카메라를 원으로 회전시키는 특수 장비를 별도로 개발하여 사용한다. 보다 넓은 공간을 커버하기 위해서는 더 큰 평면, 구면을 가정해야 하는데, 큰 면을 가정할수록 light ray 획득 난이도는 더욱 증가한다. 3D LF는 기존의 LF가 면을 가정하는 것과 달리 선을 따라 획득하는 light ray로 구성된다. 평면 대신 직선, 구면 대신 원 구조가 가정되어 LF를 구성한다. 면 대신 선을 가정함으로써 하나의 변수가 고정되고, 4개 변수 대신 3개 변수로 light ray를 표현된다. 이에 따라 획득할 수 있는 light ray의 수가 제한적이며, 특히 vertically 하나의 점에서 획득한 light ray를 사용하기 때문에 vertical parallax를 표현하지 못하는 문제가 있다. 반면, 선을 따라 light ray를 획득하는 과정은 슬라이더나 달리(dolly) 장비와 같은 접하기 쉬운 장비로도 가능하며, 슬라이더, dolly 장비에 장착된 카메라를 이동하면서 간편하게 light ray를 획득할 수 있다. 특히 더 넓은 범위를 움직이기 위해 더 큰 구조를 가정하더라도 획득의 난이도가 크게 증가하지 않는다. 하지만 구조가 커질 경우 vertical parallax를 표현하지 못하는 문제로 인한 뷰가 왜곡되는 에러가 크게 증가한다. 본 논문은 3D LF를 기반으로 보다 넓은 공간을 자유롭게 움직일 수 있는 가상현실 시스템의 개발을 목표로 한다. 기존의 방법에서 넓은 구조를 커버하기 위해 구조 자체를 확장하는 것이 아니라 3D LF를 여러 개 쌓은 형태인 3D LF Stack 구조를 가정하고 이를 통해 커버할 수 있는 범위를 넓힌다. 위의 제안 방안을 바탕으로 여전히 light ray 획득 방식을 간편하게 하면서 동시에 3D LF의 vertical parallax로 인한 에러를 일정 수준으로 제한한다. 또한 제안하는 시스템에서는 3D LF Stack 구조를 수직 방향으로 두 개 배치함으로써 임의의 viewpoint에 대한 360도 뷰를 구성한다. 제안 시스템은 여전히 3D LF의 vertical parallax를 표현하지 못하는 에러를 포함하고 있으며, 이는 특히, viewpoint가 이동하고, 3D LF Stack 상에서 다른 3D LF를 넘어갈 때 두드러지게 나타난다. 이를 개선하기 위해 앞, 뒤로 배치된 두 개의 3D LF를 사용한 뷰 구성 방안을 제안한다. 그리고 제안된 시스템에서 임의의 viewpoint의 뷰는 기존의 LF 기반의 접근 방법과 달리 다수의 LF를 동시에 사용해서 하나의 뷰를 구성한다. 따라서 서로 다른 3D LF의 연결 방안을 제안하고, 다양한 시스템 구현 환경에 따른 적절한 적용 방안을 소개한다.Conventional captured-image-based virtual reality (VR) systems only support rotational view direction changes, roll, yaw, and pitch. It is 3-degree-of-freedom (3-DoF). DoF represents the users movements, and the highest DoF is 6, which includes three rotational view direction changes, roll, yaw, and pitch, as well as three translational viewpoint movements along the x, y, and z axes. The limited DoF of the conventional captured-image-based VR lowers users sense of reality. Light field (LF), which can generate a view at a free viewpoint through a combination of light rays, is a suitable approach to support the freedom to change viewpoints. LF assumes a planar or spherical surface, and generates a view by combing light rays passing through the surface. In particular, the spherical LF system creates a 360-degree view through light rays incident from 360-degree direction. In the spherical LF, a viewpoint freely moves along the x, y, and z axes inside the sphere and changes view direction, and thus 6-DoF is supported. However, it is difficult to acquire light rays for LF assuming a planar or spherical surface. In the case of spherical LF, a special equipment for rotating multiple cameras arranged in an arch shape is used to acquire light rays along a spherical surface. In order to cover a larger space, it is necessary to assume a larger plane or spherical surface. The larger the surface, the more difficult the light ray acquisition is. 3D LF consists of light rays acquired along the line, unlike conventional LF that assumes surfaces. A line instead of a plane and a circular structure instead of a spherical surface are used to construct 3D LF. It is easy to acquire light rays, which is acquired by moving the camera mounted on a camera slider and a dolly along the line. However, 3D LF cannot acquire vertical parallax because it obtains light rays at only one vertical point, and it causes distortion of the generated views. Assuming a larger structure does not significantly increase the difficulty of acquisition, but it increases the distortion of 3D LF view generation. This paper aims to develop a free viewpoint VR system for large space based on 3D LF. In contrast to extending the structure in the existing method, it assumes a 3D LF Stack in which multiple 3D LFs are stacked in front and back. The proposed system is simple to obtain light rays and limits the distortion to a certain range. In addition, two 3D LF Stacks are arranged orthogonally to generate a 360-degree view at a free viewpoint. There are two challenges for the proposed system. First is the need to connect independent 3D LFs. The existing LF-based approach creates a view using a single LF, while the proposed system generates a view using four 3D LFs. This paper proposes two 3D LF connection methods and introduces appropriate usage methods according to various implementation environments. Another is that 3D LF Stack still contains distortion, and the error is particularly noticeable as the viewpoint moves and the 3D LF that generates a view changes. This paper proposes a view generation method using a light ray set with epipolar geometry relationship in 3D LF stack.제 １ 장 서 론 1 1.1 연구 배경 1 1.2 연구 내용 6 1.3 논문 구성 7 제 ２ 장 관련 연구 8 2.1 3D 스캐닝 및 렌더링 8 2.2 라이트 필드 (Light Field) 13 2.2.1 Light Field Representation 13 2.2.2 Light Ray Acquisition 15 2.2.3 View Generation in LF 19 2.2.4 평면을 가정하는 LF 기반의 자유 시점 변환 시스템 20 2.2.5 구면을 가정하는 LF 기반의 자유 시점 변환 시스템 21 2.3 3D 라이트 필드 (3D LF) 23 제 ３ 장 Stackable 3D LF 기반의 자유시점 변환 가상현실 시스템 28 3.1 Stackable 3D LF의 구조적 특징 29 3.1.1 다중 3D LF의 적층형 배치 29 3.1.2 양 방향으로 통과하는 light ray를 이용한 3D LF 구성 30 3.1.3 두 개의 3D LF Stack을 수직 방향으로 배치 32 3.2 Stackable 3D LF 시스템에서의 자유 시점 변환 33 3.3 Light Field Unit (LFU)와 다중 LFU 구조 34 3.4 제안 시스템의 간략한 동작 과정 설명 35 3.5 제안 시스템의 두 가지 해결 과제 38 제 ４ 장 3D LF Connection 40 4.1 Physical Connection 40 4.2 Physical Connection in LFU 42 4.3 Non-physical Connection 44 4.4 Non-physical Connection in LFU 46 4.5 일반 카메라를 사용하는 3D LF 구성 환경에서의 3D LF Connection 51 4.6 360도 카메라를 사용하는 3D LF 구성 환경에서의 3D LF Connection 59 4.6.1 수평, 수직 입사 각도가 큰 light ray를 이용한 3D LF 뷰 구성에서 발생하는 에러 59 4.6.2 Hybrid 3D LF Connection 63 제 ５ 장 View generation in 3D LF Stack 69 5.1 3D LF Stack 구조에서 뷰가 급격히 바뀌는 문제 69 5.2 앞, 뒤로 배치된 3D LF 사이의 light ray 공유 71 5.3 Epipolar geometry 관계를 가지는 light ray 세트를 이용한 View Generation 77 5.4 Epipolar geometry 관계의 light ray 세트 기반의 뷰 구성 결과 비교 81 제 ６ 장 제안 시스템 구현 91 6.1 일반 카메라 + 슬라이더를 이용한 구성 91 6.2 일반 카메라 + 슬라이더를 이용한 구조 결과 93 6.2.1 자유시점 변화에 대한 뷰 구성 결과 비교 93 6.2.2 Blending을 이용한 3D LF 연결 부분 보정 98 6.2.3 제안 구조와 원 구조 3D LF의 구성 뷰 비교 100 6.2.4 Physical connection과 Non-physical connection의 효율성 비교 102 6.3 360도 카메라 + dolly를 이용한 구성 106 6.4 360도 카메라 + dolly를 이용한 구조 결과 109 6.4.1 Hybrid 3D LF Connection Result 109 6.4.2 구성한 구조 및 임의의 viewpoint에 따른 뷰 구성 결과 117 6.4.3 다른 자유 시점 변화 시스템과의 비교 124 제 ７ 장 결 론 128 참고문헌 130 Abstract 135Docto

Observation method for threadlike structures inside blood and lymph vessels, and on organ surfaces : study on extra-curriculum teaching model of biophysics

학위논문(박사)--서울대학교 대학원 :과학교육과 물리전공,2005.Docto

Synthesisof Bimetallic Biscarbene Complexes through the Reaction of Fischer-type Ethoxycarbene Complexes with Diamines

Maste

Ge-Ga-S 계 유리의 구조 분석을 통한 희토류 용융 현상 규명

Maste

Metal Complex / Lipase-Catalyzed Asymmetric Transformations to Chiral Acetate

Docto

자기닮음 계량을 갖는 쪽거리우주론 모형의 고안

학위논문(석사)--서울대학교 대학원 :과학교육과 물리전공,1997.Maste

이끼에서의 DNA 탈메틸화에 의한 영양 생장 중 발달상 전환의 조절

학위논문 (석사) -- 서울대학교 대학원 : 농업생명과학대학 협동과정농생명유전체학전공, 2021. 2. 허진회.DNA 메틸화 현상은 식물과 동물을 포함한 다양한 진핵 생물에서 유전자의 발현을 후성유전학적으로 조절하는데 중요한 역할을 하고 있다. 애기장대의 DEMETER (DME)와 상동 단백질들은 5-메틸시토신을 직접적으로 인지 및 제거할 수 있는 단백질이며, 식물에만 특이적으로 존재한다고 알려져 있다. DME 유전자가 식물의 진화 과정 중 나타난 시점과 변화 과정을 알아보기 위하여 최초로 분화된 육상식물 중 하나인 이끼를 대상으로 연구를 진행하였다. 풍경이끼 과의 Physcomitrella patens 에서 3개의 상동 유전자를 발견하였고, 애기장대의 단백질과 비교해보았을 때 주요한 아미노산 서열들이 보존되어 있을 것으로 기대되었다. PpDME2 유전자 제거 돌연변이체는 영양 생장 중 발달상의 전이가 지연되나, 영양 조직의 발달에는 문제가 없음을 확인하였다. 더 나아가, 옥신 및 사이토키닌 처리 시 돌연변이체는 야생형과 다르게 다능성을 가지는 side branch initial cell이 형성되지 않음을 발견하였다. 이를 토대로 식물 특이적인 DNA 탈메틸화 효소의 기능이 육상 식물에 보존되어 있으며, 이끼에서 호르몬 관련 유전자를 통해 발달을 조절한다고 추측할 수 있다.DNA methylation plays a pivotal role in diverse developmental processes in higher eukaryotes. 5-methylcytosine (5mC) generated by DNA methyltransferases is a stable epigenetic mark that enables cells to inherit information through generations. In contrast to conserved DNA methylation machineries across the kingdom, plants possess a lineage-specific DNA glycosylases, known as DEMETER (DME) family in Arabidopsis thaliana, to catalyze active DNA demethylation. Precise DNA demethylation by DME is critical to reproductive development not only in A. thaliana, but also several angiosperms. However, origin of the DME family in the lineage is still largely unknown. In this study, three DNA glycosylase genes were identified in a moss, Physcomitrella patens. The genes, named PpDME1-3, share structural features with members of DME family proteins that they have a glycosylase domain and two additional domains flanking the glycosylase domain. Knock-out (KO) mutant lines of PpDME2 were generated via homologous recombination and showed developmental defects in phase transition during vegetative growth. ΔPpDME2 mutants developed fewer mature gametophytes in larger colonies than wild type (WT) despite no abnormality was observed in vegetative organs. Notably, young and filamentous gametophyte tissues, protonemata, produced less pluripotent side branch initials which will develop into foliate gametophytes. The mutants failed to produce side branch cells under proper auxin and cytokinin treatment. These observations suggest that DNA demethylation by PpDME2 is important for the regulation of phase transition during vegetative growth via hormone-related genes in P. patens.ABSTRACT ···························································· i CONTENTS ··························································· iii LIST OF TABLES ····················································· v LIST OF FIGURES ··················································· vi LIST OF ABBREVIATIONS ······································· vii INTRODUCTION ···················································· 1 LITERATURE REVIEWS ········································· 6 1. DNA methylation in eukaryotes 2. Plant-specific DNA glycosylase 3. Evolution of body plan in plants MATERIAL AND METHODS ···································17 Plant materials and growth conditions Identification of DME homolog in P. patens and homology analysis Construction of plasmids for KO mutation Generation of P. patens KO mutant lines Screening of ΔPpDME2 plants Microscopy RESULTS ·····························································23 Three DME homologs exist in P. patens genome The catalytic activity is conserved in the moss DME proteins. Loss-of-function mutation of PpDME2 causes aberrant developmental transition in protonema DISCUSSION·························································34 REFERENCES ······················································38 ABSTRACT IN KOREAN ········································48Maste

철 알킨일(에톡시)카르벤 착물 유도체와 아민의 반응

2