Reconstructing Surfaces Using Anisotropic Basis Functions

Point sets obtained from computer vision techniques are often noisy and non-uniform. We present a new method of surface reconstruction that can handle such data sets using anisotropic basis functions. Our reconstruction algorithm draws upon the work in variational implicit surfaces for constructing smooth and seamless 3D surfaces. Implicit functions are often formulated as a sum of weighted basis functions that are radially symmetric. Using radially symmetric basis functions inherently assumes, however that the surface to be reconstructed is, everywhere, locally symmetric. Such an assumption is true only at planar regions, and hence, reconstruction using isotropic basis is insufficient to recover objects that exhibit sharp features. We preserve sharp features using anisotropic basis that allow the surface to vary locally. The reconstructed surface is sharper along edges and at corner points. We determine the direction of anisotropy at a point by performing principal component analysis of the data points in a small neighborhood. The resulting field of principle directions across the surface is smoothed through tensor filtering. We have applied the anisotropic basis functions to reconstruct surfaces from noisy synthetic 3D data and from real range data obtained from space carving

Heritage Reproduction in the Age of High-Resolution Scanning:A Critical Evaluation of Digital Infilling Methods for Historic Preservation

High-definition digital scanning has established itself as a useful tool for documenting cultural heritage in the twenty-first century. Proponents of surveying technology are hailing the use of digital fact-based 3D models as valuable tools for recording, analyzing and safeguarding items of cultural importance. Methods for digitally filling holes have not yet been considered through the lens of historic preservation. No modeling technique is error-free and understanding how heritage professionals are addressing lacunae is vital for understanding digital heritage objects resulting from 3D scanning hardware. Frameworks exist for working with scanned data, but they define general principles for a broad range of applications and do not provide any guidelines or strategies of how to comply with them practically. This thesis is a comparative evaluation of current practices of in-filling digital lacunae that attempts to establish which methods are best suited to the following historic preservation practices: documentation, Interpretation graphics, Long-term monitoring, digital restoration, physical fabrication

Fast Algorithms for Surface Reconstruction from Point Cloud

We consider constructing a surface from a given set of point cloud data. We explore two fast algorithms to minimize the weighted minimum surface energy in [Zhao, Osher, Merriman and Kang, Comp.Vision and Image Under., 80(3):295-319, 2000]. An approach using Semi-Implicit Method (SIM) improves the computational efficiency through relaxation on the time-step constraint. An approach based on Augmented Lagrangian Method (ALM) reduces the run-time via an Alternating Direction Method of Multipliers-type algorithm, where each sub-problem is solved efficiently. We analyze the effects of the parameters on the level-set evolution and explore the connection between these two approaches. We present numerical examples to validate our algorithms in terms of their accuracy and efficiency

Data-driven quasi-interpolant spline surfaces for point cloud approximation

In this paper we investigate a local surface approximation, the Weighted Quasi Interpolant Spline Approximation (wQISA), specifically designed for large and noisy point clouds. We briefly describe the properties of the wQISA representation and introduce a novel data-driven implementation, which combines prediction capability and complexity efficiency. We provide an extended comparative analysis with other continuous approximations on real data, including different types of surfaces and levels of noise, such as 3D models, terrain data and digital environmental data

On Geometric Variational Models for Inpainting Surface Holes

Geometric approaches for filling-in surface holes are introduced and studied in this paper. The basic idea is to represent the surface of interest in implicit form, and fill-in the holes with a scalar, or systems of, geometric partial differential equations, often derived from optimization principles. These equations include a system for the joint interpolation of scalar and vector fields, a Laplacian-based minimization, a mean curvature diffusion flow, and an absolutely minimizing Lipschitz extension. The theoretical and computational framework, as well as examples with synthetic and real data, are presented in this paper

A comparison of hole-filling methods in 3D

This paper presents a review of the most relevant current techniques that deal with hole-filling in 3D models. Contrary to earlier reports, which approach mesh repairing in a sparse and global manner, the objective of this review is twofold. First, a specific and comprehensive review of hole-filling techniques (as a relevant part in the field of mesh repairing) is carried out. We present a brief summary of each technique with attention paid to its algorithmic essence, main contributions and limitations. Second, a solid comparison between 34 methods is established. To do this, we define 19 possible meaningful features and properties that can be found in a generic hole-filling process. Then, we use these features to assess the virtues and deficiencies of the method and to build comparative tables. The purpose of this review is to make a comparative hole-filling state-of-the-art available to researchers, showing pros and cons in a common framework.• Ministerio de Economía y Competitividad: Proyecto DPI2013-43344-R (I+D+i) • Gobierno de Castilla-La Mancha: Proyecto PEII-2014-017-PpeerReviewe

How to build a 2d and 3d aerial multispectral map?—all steps deeply explained

UIDB/04111/2020 PCIF/SSI/0102/2017 IF/00325/2015 UIDB/00066/2020The increased development of camera resolution, processing power, and aerial platforms helped to create more cost-efficient approaches to capture and generate point clouds to assist in scientific fields. The continuous development of methods to produce three-dimensional models based on two-dimensional images such as Structure from Motion (SfM) and Multi-View Stereopsis (MVS) allowed to improve the resolution of the produced models by a significant amount. By taking inspiration from the free and accessible workflow made available by OpenDroneMap, a detailed analysis of the processes is displayed in this paper. As of the writing of this paper, no literature was found that described in detail the necessary steps and processes that would allow the creation of digital models in two or three dimensions based on aerial images. With this, and based on the workflow of OpenDroneMap, a detailed study was performed. The digital model reconstruction process takes the initial aerial images obtained from the field survey and passes them through a series of stages. From each stage, a product is acquired and used for the following stage, for example, at the end of the initial stage a sparse reconstruction is produced, obtained by extracting features of the images and matching them, which is used in the following step, to increase its resolution. Additionally, from the analysis of the workflow, adaptations were made to the standard workflow in order to increase the compatibility of the developed system to different types of image sets. Particularly, adaptations focused on thermal imagery were made. Due to the low presence of strong features and therefore difficulty to match features across thermal images, a modification was implemented, so thermal models could be produced alongside the already implemented processes for multispectral and RGB image sets.publishersversionpublishe

Étude de la géométrie dans la synthèse de vue

La recherche effectuée dans cette thèse porte sur le problème de la synthèse de vue c'est-à-dire, comment, d'un ensemble de photographies calibrées d'un objet, générer l'image de cet objet d'un point de vue non photographié. On s'intéresse plus particulièrement au rôle que joue la géométrie dans ce problème. Pour explorer cette question, on analyse les deux approches proposées dans la littérature, soit l'approche géométrique et l'approche par images. L'approche géométrique est basée sur la physique et requiert d'inférer la forme de l'objet, sous l'hypothèse de ses propriétés de réflectance et des conditions d'éclairage, en optimisant une mesure de photo-cohérence. La synthèse de vue s'effectue ensuite par la projection de la forme obtenue selon le point de vue et l'éclairage désirés. Le rôle de la géométrie dans cette approche est donc de définir la surface de l'objet pour permettre le calcul de son interaction avec la lumière. L'approche par images propose quant à elle d'effectuer la synthèse de vue directement par interpolation. La fonction à interpoler est le champ de lumière, qui décrit la couleur de tous les rayons de lumière issus de l'objet. Les pixels de chaque photographie constituent les échantillons à utiliser pour calculer l'approximation du champ de lumière. La synthèse de vue s'effectue en évaluant cette approximation en chacun des rayons qui traversent les pixels de l'image à synthétiser pour en obtenir la couleur. En théorie, la forme de l'objet n'est pas nécessaire dans ce cas, ce qui a l'avantage d'éviter l'inférence de cette forme et les hypothèses que son obtention requiert. En contrepartie, l'approche par images nécessite un nombre plus élevé de photographies que l'approche géométrique pour produire une image de qualité visuellement équivalente. Pour mitiger ce défaut, plusieurs chercheurs ont montré comment exploiter la forme de l'objet ou encore une approximation de celle-ci, obtenue par une approche géométrique, pour améliorer la qualité de l'interpolation. Cette forme permet un meilleur choix des rayons à utiliser pour interpoler un rayon inconnu puisque ce choix est maintenant basé sur la géométrie de l'objet. Ils arrivent ainsi à une diminution significative Résumé iii des artefacts autrement visibles lors de la synthèse. Une telle forme utilisée dans le but d'améliorer l'interpolation porte le nom de proxy, pour la distinguer de la forme de l'objet à laquelle elle n'a pas nécessairement à correspondre. L'utilisation d'un proxy correspond à une approche hybride, dès lors que l'obtention du proxy nécessite les hypothèses de l'approche géométrique. De ce fait, l'approche hybride limite malheureusement la portée de l'approche par images, qui autrement s'applique directement sans supposition au sujet de l'objet. L'idée principale de cette thèse vise remédier à cette situation en montrant que l'obtention d'un proxy n'a pas à s'appuyer sur l'approche géométrique et en partager les hypothèses. Plutôt que tenter d'obtenir un proxy qui approxime la forme de l'objet, on propose un proxy qui améliore directement la qualité de l'interpolation. La caractérisation de la forme recherchée viendra de l'analyse de la borne de l'erreur d'interpolation, issue de la théorie de l'approximation. Il deviendra clair qu'un proxy correspond à une reparamétrisation du domaine du champ de lumière qui en influence la régularité. Un proxy adapté mène à un champ de lumière régulier, ce qui diminue l'erreur d'interpolation et explique la diminution des artefacts visibles lors de la synthèse. On clarifie ainsi le rôle de la géométrie dans l'approche par images. Cette analyse suggère donc d'opter pour un proxy dont la forme maximise la régularité du champ de lumière correspondant, ce que l'on proposera de faire ensuite. Pour permettre cette recherche, on développe une mesure de régularité, appelée le contenu fréquentiel. Cette mesure possède plusieurs avantages comparativement aux mesures existantes dans l'approche géométrique, ce que l'on mettra en évidence. On utilisera le contenu fréquentiel pour obtenir des points de la surface qui maximise la régularité du champ de lumière, que l'on appellera surface de paramétrisation optimale. En cherchant à obtenir la surface de paramétrisation optimale, on rencontre divers problèmes d'ordre pratique. Le premier est la sensibilité du contenu fréquentiel aux erreurs de visibilité, ce qui nuit à sa minimisation. On résout ce problème en proposant une approche de minimisation robuste à ces erreurs. Une autre difficulté est que l'ensemble des points obtenus possède des profondeurs aberrantes, issues d'ambiguïtés quant aux profondeurs qui optimisent le contenu fréquentiel. On proposera une procédure de reconstruction de surface robuste basée sur les fonctions de base radiales combinées aux M-estimateurs. Cette procédure sera utilisée pour reconstruire la surface de paramétrisation optimale. Résumé iv La synthèse de vue d'objets divers à l'aide de la surface de paramétrisation optimale montrera qu'il est possible d'obtenir des résultats de qualité visuellement comparable à ceux que l'on obtient en utilisant la surface de l'objet. On explorera davantage les liens entre la surface de paramétrisation optimale et la surface de l'objet. On montre que les deux ne correspondent pas nécessairement, sauf dans le cas d'un objet lambertien texture, où la surface de l'objet atteint le maximum théorique de régularité. Dans ce cas, on évaluera les performances de l'approche proposée en comparant la surface de paramétrisation optimale à celle de l'objet, obtenue par un capteur télémétrique. Dans les autres cas, on montrera que la surface de paramétrisation optimale possède une forme qui tient compte des reflets dans l'objet. Elle mène ainsi à une géométrie originale qui constitue un meilleur proxy que la surface de l'objet elle-même. La surface de paramétrisation optimale est donc un candidat nouveau pour l'étude de la géométrie multi-vues