SEMI – GLOBAL MERGING OF DIGITAL SURFACE MODELS FROM MULTIPLE STEREOPAIRS

The semi-global optimization algorithm, which approximates a global 2D smoothness constraint by combining several 1D constraints, has been widely used in the field of image dense matching for digital surface model (DSM) generation. However, due to occlusion, shadow and textureless area of the matching images, some inconsistency may exist in the overlapping areas of different DSMs. To address this problem, based on the DSMs generated by semi-global matching from multiple stereopairs, a novel semi-global merging algorithm is proposed to generate a reliable and consistent DSM in this paper. Two datasets, each covering 1 km2, are used to validate the proposed method. Experimental results show that the optimal DSM after merging can effectively eliminate the inconsistency and reduce redundancy in the overlapping areas

A Critical Analysis of NeRF-Based 3D Reconstruction

This paper presents a critical analysis of image-based 3D reconstruction using neural radiance fields (NeRFs), with a focus on quantitative comparisons with respect to traditional photogrammetry. The aim is, therefore, to objectively evaluate the strengths and weaknesses of NeRFs and provide insights into their applicability to different real-life scenarios, from small objects to heritage and industrial scenes. After a comprehensive overview of photogrammetry and NeRF methods, highlighting their respective advantages and disadvantages, various NeRF methods are compared using diverse objects with varying sizes and surface characteristics, including texture-less, metallic, translucent, and transparent surfaces. We evaluated the quality of the resulting 3D reconstructions using multiple criteria, such as noise level, geometric accuracy, and the number of required images (i.e., image baselines). The results show that NeRFs exhibit superior performance over photogrammetry in terms of non-collaborative objects with texture-less, reflective, and refractive surfaces. Conversely, photogrammetry outperforms NeRFs in cases where the object’s surface possesses cooperative texture. Such complementarity should be further exploited in future works

Dense Point-Cloud Representation of a Scene using Monocular Vision

We present a three-dimensional (3-D) reconstruction system designed to support various autonomous navigation applications. The system presented focuses on the 3-D reconstruction of a scene using only a single moving camera. Utilizing video frames captured at different points in time allows us to determine the depths of a scene. In this way, the system can be used to construct a point-cloud model of its unknown surroundings. We present the step-by-step methodology and analysis used in developing the 3-D reconstruction technique. We present a reconstruction framework that generates a primitive point cloud, which is computed based on feature matching and depth triangulation analysis. To populate the reconstruction, we utilized optical flow features to create an extremely dense representation model. With the third algorithmic modification, we introduce the addition of the preprocessing step of nonlinear single-image super resolution. With this addition, the depth accuracy of the point cloud, which relies on precise disparity measurement, has significantly increased. Our final contribution is an additional postprocessing step designed to filter noise points and mismatched features unveiling the complete dense point-cloud representation (DPR) technique. We measure the success of DPR by evaluating the visual appeal, density, accuracy, and computational expense and compare with two state-of-the-art techniques

Étude de la géométrie dans la synthèse de vue

La recherche effectuée dans cette thèse porte sur le problème de la synthèse de vue c'est-à-dire, comment, d'un ensemble de photographies calibrées d'un objet, générer l'image de cet objet d'un point de vue non photographié. On s'intéresse plus particulièrement au rôle que joue la géométrie dans ce problème. Pour explorer cette question, on analyse les deux approches proposées dans la littérature, soit l'approche géométrique et l'approche par images. L'approche géométrique est basée sur la physique et requiert d'inférer la forme de l'objet, sous l'hypothèse de ses propriétés de réflectance et des conditions d'éclairage, en optimisant une mesure de photo-cohérence. La synthèse de vue s'effectue ensuite par la projection de la forme obtenue selon le point de vue et l'éclairage désirés. Le rôle de la géométrie dans cette approche est donc de définir la surface de l'objet pour permettre le calcul de son interaction avec la lumière. L'approche par images propose quant à elle d'effectuer la synthèse de vue directement par interpolation. La fonction à interpoler est le champ de lumière, qui décrit la couleur de tous les rayons de lumière issus de l'objet. Les pixels de chaque photographie constituent les échantillons à utiliser pour calculer l'approximation du champ de lumière. La synthèse de vue s'effectue en évaluant cette approximation en chacun des rayons qui traversent les pixels de l'image à synthétiser pour en obtenir la couleur. En théorie, la forme de l'objet n'est pas nécessaire dans ce cas, ce qui a l'avantage d'éviter l'inférence de cette forme et les hypothèses que son obtention requiert. En contrepartie, l'approche par images nécessite un nombre plus élevé de photographies que l'approche géométrique pour produire une image de qualité visuellement équivalente. Pour mitiger ce défaut, plusieurs chercheurs ont montré comment exploiter la forme de l'objet ou encore une approximation de celle-ci, obtenue par une approche géométrique, pour améliorer la qualité de l'interpolation. Cette forme permet un meilleur choix des rayons à utiliser pour interpoler un rayon inconnu puisque ce choix est maintenant basé sur la géométrie de l'objet. Ils arrivent ainsi à une diminution significative Résumé iii des artefacts autrement visibles lors de la synthèse. Une telle forme utilisée dans le but d'améliorer l'interpolation porte le nom de proxy, pour la distinguer de la forme de l'objet à laquelle elle n'a pas nécessairement à correspondre. L'utilisation d'un proxy correspond à une approche hybride, dès lors que l'obtention du proxy nécessite les hypothèses de l'approche géométrique. De ce fait, l'approche hybride limite malheureusement la portée de l'approche par images, qui autrement s'applique directement sans supposition au sujet de l'objet. L'idée principale de cette thèse vise remédier à cette situation en montrant que l'obtention d'un proxy n'a pas à s'appuyer sur l'approche géométrique et en partager les hypothèses. Plutôt que tenter d'obtenir un proxy qui approxime la forme de l'objet, on propose un proxy qui améliore directement la qualité de l'interpolation. La caractérisation de la forme recherchée viendra de l'analyse de la borne de l'erreur d'interpolation, issue de la théorie de l'approximation. Il deviendra clair qu'un proxy correspond à une reparamétrisation du domaine du champ de lumière qui en influence la régularité. Un proxy adapté mène à un champ de lumière régulier, ce qui diminue l'erreur d'interpolation et explique la diminution des artefacts visibles lors de la synthèse. On clarifie ainsi le rôle de la géométrie dans l'approche par images. Cette analyse suggère donc d'opter pour un proxy dont la forme maximise la régularité du champ de lumière correspondant, ce que l'on proposera de faire ensuite. Pour permettre cette recherche, on développe une mesure de régularité, appelée le contenu fréquentiel. Cette mesure possède plusieurs avantages comparativement aux mesures existantes dans l'approche géométrique, ce que l'on mettra en évidence. On utilisera le contenu fréquentiel pour obtenir des points de la surface qui maximise la régularité du champ de lumière, que l'on appellera surface de paramétrisation optimale. En cherchant à obtenir la surface de paramétrisation optimale, on rencontre divers problèmes d'ordre pratique. Le premier est la sensibilité du contenu fréquentiel aux erreurs de visibilité, ce qui nuit à sa minimisation. On résout ce problème en proposant une approche de minimisation robuste à ces erreurs. Une autre difficulté est que l'ensemble des points obtenus possède des profondeurs aberrantes, issues d'ambiguïtés quant aux profondeurs qui optimisent le contenu fréquentiel. On proposera une procédure de reconstruction de surface robuste basée sur les fonctions de base radiales combinées aux M-estimateurs. Cette procédure sera utilisée pour reconstruire la surface de paramétrisation optimale. Résumé iv La synthèse de vue d'objets divers à l'aide de la surface de paramétrisation optimale montrera qu'il est possible d'obtenir des résultats de qualité visuellement comparable à ceux que l'on obtient en utilisant la surface de l'objet. On explorera davantage les liens entre la surface de paramétrisation optimale et la surface de l'objet. On montre que les deux ne correspondent pas nécessairement, sauf dans le cas d'un objet lambertien texture, où la surface de l'objet atteint le maximum théorique de régularité. Dans ce cas, on évaluera les performances de l'approche proposée en comparant la surface de paramétrisation optimale à celle de l'objet, obtenue par un capteur télémétrique. Dans les autres cas, on montrera que la surface de paramétrisation optimale possède une forme qui tient compte des reflets dans l'objet. Elle mène ainsi à une géométrie originale qui constitue un meilleur proxy que la surface de l'objet elle-même. La surface de paramétrisation optimale est donc un candidat nouveau pour l'étude de la géométrie multi-vues