RemoteAR : Reconstruction d'environnement pour la collaboration en Réalité Augmentée

NE PAS DEPOSER SUR HAL (déjà déposé par ailleurs)La restitution d’environnements réels au sein d’un espace virtuel partagé est un enjeu majeur pour la collaboration en réalité étendue. L’objectif de cette recherche est de proposer un système de captation d’un environnement réel grâce aux seuls capteurs d’un casque de réalité augmentée, afin de le transmettre et de le restituer au sein d’un espace virtuel partagé. Dans cet article, nous explorons différentes méthodes de captation et de restitution de l’environnement, afin d’établir un système simple, mais de qualité suffisante pour faciliter les échanges. Nous avons réalisé une pré-expérience dans le but d’identifier les axes d’amélioration importants, avec pour objectif une future expérience utilisateur centrée sur les interactions entre les collaborateurs

Large-Scale Textured 3D Scene Reconstruction

Die Erstellung dreidimensionaler Umgebungsmodelle ist eine fundamentale Aufgabe im Bereich des maschinellen Sehens. Rekonstruktionen sind für eine Reihe von Anwendungen von Nutzen, wie bei der Vermessung, dem Erhalt von Kulturgütern oder der Erstellung virtueller Welten in der Unterhaltungsindustrie. Im Bereich des automatischen Fahrens helfen sie bei der Bewältigung einer Vielzahl an Herausforderungen. Dazu gehören Lokalisierung, das Annotieren großer Datensätze oder die vollautomatische Erstellung von Simulationsszenarien. Die Herausforderung bei der 3D Rekonstruktion ist die gemeinsame Schätzung von Sensorposen und einem Umgebunsmodell. Redundante und potenziell fehlerbehaftete Messungen verschiedener Sensoren müssen in eine gemeinsame Repräsentation der Welt integriert werden, um ein metrisch und photometrisch korrektes Modell zu erhalten. Gleichzeitig muss die Methode effizient Ressourcen nutzen, um Laufzeiten zu erreichen, welche die praktische Nutzung ermöglichen. In dieser Arbeit stellen wir ein Verfahren zur Rekonstruktion vor, das fähig ist, photorealistische 3D Rekonstruktionen großer Areale zu erstellen, die sich über mehrere Kilometer erstrecken. Entfernungsmessungen aus Laserscannern und Stereokamerasystemen werden zusammen mit Hilfe eines volumetrischen Rekonstruktionsverfahrens fusioniert. Ringschlüsse werden erkannt und als zusätzliche Bedingungen eingebracht, um eine global konsistente Karte zu erhalten. Das resultierende Gitternetz wird aus Kamerabildern texturiert, wobei die einzelnen Beobachtungen mit ihrer Güte gewichtet werden. Für eine nahtlose Erscheinung werden die unbekannten Belichtungszeiten und Parameter des optischen Systems mitgeschätzt und die Bilder entsprechend korrigiert. Wir evaluieren unsere Methode auf synthetischen Daten, realen Sensordaten unseres Versuchsfahrzeugs und öffentlich verfügbaren Datensätzen. Wir zeigen qualitative Ergebnisse großer innerstädtischer Bereiche, sowie quantitative Auswertungen der Fahrzeugtrajektorie und der Rekonstruktionsqualität. Zuletzt präsentieren wir mehrere Anwendungen und zeigen somit den Nutzen unserer Methode für Anwendungen im Bereich des automatischen Fahrens

Texture Map Generation for 3D Reconstructed Scenes

We present a novel method for generating texture maps for 3D geometric models reconstructed using consumer RGB-D sensors. Our method generates a texture map for a simplified 3D mesh of the reconstructed scene using spatially and temporally sub-sampled key frames of the input RGB stream. We acquire an accurate texture map by optimizing the texture coordinates of the 3D model to maximize the photometric consistency among multiple key frames. We show that the optimization can be performed efficiently using GPU by exploiting the locality of texture coordinate manipulation. Experimental results demonstrate that our method can generate a texture map in a few tens of seconds for a large 3D model, such as a whole room.1153sciescopu

Color and 3D Semantic Reconstruction of Indoor Scenes from RGB-D Streams

Doctor최근 3D 복원 기술의 발전에도 불구하고 대부분의 연구는 기하 정보만을 복원하는 것에 집중해왔다. 많은 컴퓨터 그래픽스 어플리케이션들이 기하 정보 외에도 환경의 조명, 물체 표면의 재질, 의미론적 분류 등 다양한 보조 정보를 요구하지만 기존의 3D 복원 기술은 이러한 보조 정보 복원을 고려하지 않는다는 한계점이 있었다. 그럼에도 불구하고 이러한 보조 정보를 복원하는 것은 최근 각광받고 있는 가상현실이나 증강현실 등에 풍부한 사용자 경험을 제공해준다는 점에서 연구할만한 가치가 있다. 본 학위논문에서는 기하 정보 이외의 보조 정보를 복원하는 세 가지 기술인 본질 영상 분리, 3D 복원을 위한 텍스쳐 맵 생성, 3D 의미론적 복원을 제안한다. 첫 번째로 색상-깊이 영상을 입력으로 한 본질 영상 분리 시에 영상의 텍스쳐 무늬 분리를 통해 간단한 최적화로 좋은 성능을 얻을 수 있는 기술을 제안한다. 또한 노멀 맵을 바탕으로 한 기하 정보 기반의 새로운 음영 영상 제약 방법을 제시해 결과 음영 영상에서의 국소적, 전반적 일관성을 향상시키는 방법을 제안한다. 제안된 기술은 기존 기술에 비해 매우 뛰어난 성능을 보여준다. 두 번째로 3D 복원 모델을 위한 선명한 텍스쳐 맵 생성 기술을 새롭게 제안한다. 본 논문에서 제안하는 방식은 3D 복원을 위한 색상 표현 방식으로써 기존 정점의 색을 이용하던 방식을 벗어나 컴퓨터 그래픽스에서 주로 사용되는 텍스쳐 맵을 이용한다. 보다 선명한 텍스쳐 맵을 얻기 위해 시공간적 샘플링을 통해 텍스쳐 맵 생성에 사용되는 영상의 품질을 높이며, 색상 일관성을 최대화시키는 부 텍스쳐 맵을 GPU를 이용해 병렬적으로 최적화한다. 제안된 기술을 통해 방 하나 정도의 대규모 3D 복원 모델을 위한 텍스쳐 맵을 수 초 이내에 생성할 수 있다. 마지막으로 3D 복원 모델의 의미론적 분리를 위한 의미론적 복원 기술을 제안한다. 본 논문에서 제시한 알고리즘은 3D 복원 도중 딥러닝 네트워크를 통해 입력 색상-깊이 프레임으로부터 의미론적 2D 맵을 얻고, 이를 3D 복원에 사용되는 균일한 복셀 격자에 누적시키는 의미론적 공간 병합 기술을 이용한다. 영상 신뢰도 기반의 가변적 병합과 조건부 임의 필드를 이용한 최적화를 통해 3D 복원 모델의 깔끔한 의미론적 분리가 가능하며, 기존 기술에 비해 정성적, 정량적으로 높은 성능을 보인다.Despite recent successes of 3D reconstruction, the majority of researches mainly focus on acquiring the precise geometric representation. Even though many computer graphics applications need more than just scene geometry such as lighting condition, surface materials and semantic labels of the scene, existing 3D reconstruction algorithms leave such auxiliary information behind their consideration. Nevertheless, investigating the reconstruction of such auxiliary information can provide richer user experience to the virtual/augmented reality applications. In this thesis, we present three auxiliary reconstruction techniques: intrinsic image decomposition, texture map generation for 3D reconstruction, and semantic reconstruction. First, we present a novel image model for handling textures in intrinsic image decomposition, which enables us to produce high-quality results even with simple constraints. We also propose a novel constraint based on surface normals obtained from an RGB-D image to promote local and global consistency on the shading image. As a result, the proposed method can produce superior decomposition results to existing approaches. We also present a novel texture map generation for 3D reconstructed scenes. To represent the color information of 3D reconstruction, the proposed method uses texture mapping with simplified mesh instead of millions of vertex colors. We acquire an accurate texture map by optimizing the texture coordinates of the 3D model to maximize the photometric consistency among multiple keyframes. Our method can generate a texture map in a few tens of seconds for a large 3D model, such as a whole room. Lastly, we present a 3D semantic reconstruction technique for generating semantically segmented triangular meshes of reconstructed 3D indoor scenes. During dense surface reconstruction, our framework predicts 2D CNN-based semantic segmentation of multiple frames and integrates them into an uniform voxel grid via volumetric semantic fusion. The proposed framework equipped with a structure-aware adaptive integration and CRF-based regularization can easily generate a high-quality 3D scene model with precise and dense (i.e., per-vertex) semantic labels