Structured light-based stereo camera system for accurate 3D reconstruction

학위논문(석사) - 한국과학기술원 : 전기및전자공학과, 2012.2, [ vi, 45 p. ]우리 주변의 물리 공간은 3차원이지만, 전통적인 카메라와 이미징 센서들로는 깊이 정보가 결여된 2차원 영상 밖에 얻지 못한다. 이런 기초적인 한계는 물체의 복잡성을 이해하는 우리의 능력을 제한한다. 이러한 한계를 극복하기 위해 다양한 삼차원 복원 기술이 발달해왔다. 특히, 정적 물체의 복원은 연구, 개발 또는 상업적 적용과 같은 다양한 분야에 활용될 수 있다는 측면에서 가치가 높다. 그 중에서도 구조광을 사용한 복원 방식이 정밀도 측면에서 주로 사용되고 있다. 이 논문에서 우리는 정적 물체의 정밀한 삼차원 정보를 얻기 위한 새로운 구조광 기반의 다시점 스테레오 시스템을 제안한다. 우리 시스템은 세 가지 주요 요소로 구성되어 있다: (i) 반복적인 최근접점(ICP) 기반의 움직임 추정, (ii) 다시점 스테레오(MVS) 기반의 삼차원 개선, (iii) 광도 측정 스테레오(PS) 기반의 삼차원 노멀 개선이 그것이다. 첫째, 우리는 ICP를 사용하여 카메라의 움직임을 추정한다. 복원된 삼차원이 매우 조밀하고 정확하기 때문에 이 방법은 잘 적용된다. 둘째, 다시점 스테레오 알고리즘과 같이 다른 시점의 패턴 영상들을 이용하여 삼차원 구조를 개선한다. 마지막으로, 광도 측정 스테레오의 선형 방정식 I=NL 을 풀어서 삼차원 노멀을 개선한다. 이때 각각의 삼차원 점들이 각 시점의 영상에 투사된 좌표를 이용하여 I 를 구하고, L 은 미리 캘리브레이션(Calibration)된 카메라와 프로젝터의 관계로부터 쉽게 구할 수 있다. 이제 이러한 방식의 퓨전을 통해 구조의 고정밀도와 상세한 노멀을 동시에 성취할 수 있다. 그리고 우리는 이 알고리즘을 적용하기 위하여 구조광 기반의 스테레오 카메라 시스템도 구현하였다. 실험에서는, 복원 결과의 정밀도를 분석하고 복원된 작은 물체의 미세한 구조의 세세함을 확인하였다.한국과학기술원 : 전기및전자공학과

APPARATUS AND METHOD FOR DEPTH MAP GENERATION

깊이 지도 생성 장치로서, 입력 영상에 포함된 특징점들 중 움직임이 기준값 이하인 특징점들을 기준 특징점들로 결정하는 특징점 추출부, 상기 기준 특징점들의 깊이 정보를 계산하는 희소 깊이 정보 획득부, 그리고 상기 기준 특징점들의 깊이 정보를 기초로 상기 입력 영상에서 비어있는 깊이 정보를 추정하여 조밀한 깊이 정보를 획득하는 조밀 깊이 정보 획득부를 포함한다

DEPTH MAP ACQUISITION DEVICE AND DEPTH MAP ACQUISITION METHOD

깊이 정보 획득 장치는, 복수의 시점에 따른 복수의 영상 정보를 이용하여 깊이 정보를 획득하는 깊이 정보 획득 장치로서, 기준 영상 정보로부터 복수의 특징점을 추출하고, 비기준 영상 정보들 각각으로부터 상기 복수의 특징점에 대응하는 복수의 대응점을 추출하는 특징점 및 대응점 추출부 및 비왜곡 특징점 및 비왜곡 대응점 획득부 및 추정된 비왜곡 대응점 획득부를 포함하는 카메라 파라미터 획득부를 포함하고, 상기 비왜곡 특징점 및 비왜곡 대응점 획득부는 상기 복수의 특징점 및 상기 복수의 대응점을 각각 왜곡(distorted) 영상 좌표계에서 비왜곡(undistorted) 영상 좌표계로 매핑(mapping)하여, 복수의 비왜곡 특징점 및 복수의 비왜곡 대응점을 획득하고, 상기 추정된 비왜곡 대응점 획득부는 상기 복수의 비왜곡 특징점의 추정된 삼차원 좌표를 획득하고, 상기 추정된 삼차원 좌표를 상기 비기준 영상 정보들 각각에 투사(project)하여, 복수의 추정된 비왜곡 대응점을 획득하고, 상기 카메라 파라미터 획득부는 상기 복수의 비왜곡 대응점과 상기 복수의 추정된 비왜곡 대응점의 차이를 최소화하는 카메라 파라미터를 획득한다