Practical surface light fields

The rendering of photorealistic surface appearance is one of the main challenges facing modern computer graphics. Image-based approaches have become increasingly important because they can capture the appearance of a wide variety of physical surfaces with complex reflectance behavior. In this dissertation, I focus on surface light fields, an image-based representation of view-dependent and spatially-varying appearance. Constructing a surface light field can be a time-consuming and tedious process. The data sizes are quite large, often requiring multiple gigabytes to represent complex reflectance properties. The result can only be viewed after a lengthy post-process is complete, so it can be difficult to determine when the light field is sufficiently sampled. Often, uncertainty about the sampling density leads users to capture many more images than necessary in order to guarantee adequate coverage. To address these problems, I present several approaches to simplify the capture of surface light fields. The first is a “human-in-the-loop” interactive feedback system based on the online svd. As each image is captured, it is incorporated into the representation in a streaming fashion and displayed to the user. In this way, the user receives direct feedback about the capture process, and can use this feedback to improve the sampling. To avoid the problems of discretization and resampling, I used incremental weighted least squares, a subset of radial basis function which allows for incremental local construction and fast rendering on graphics hardware. Lastly, I address the limitation of fixed lighting by describing a system that captures the surface light field of an object under synthetic lighting

Towards Predictive Rendering in Virtual Reality

The strive for generating predictive images, i.e., images representing radiometrically correct renditions of reality, has been a longstanding problem in computer graphics. The exactness of such images is extremely important for Virtual Reality applications like Virtual Prototyping, where users need to make decisions impacting large investments based on the simulated images. Unfortunately, generation of predictive imagery is still an unsolved problem due to manifold reasons, especially if real-time restrictions apply. First, existing scenes used for rendering are not modeled accurately enough to create predictive images. Second, even with huge computational efforts existing rendering algorithms are not able to produce radiometrically correct images. Third, current display devices need to convert rendered images into some low-dimensional color space, which prohibits display of radiometrically correct images. Overcoming these limitations is the focus of current state-of-the-art research. This thesis also contributes to this task. First, it briefly introduces the necessary background and identifies the steps required for real-time predictive image generation. Then, existing techniques targeting these steps are presented and their limitations are pointed out. To solve some of the remaining problems, novel techniques are proposed. They cover various steps in the predictive image generation process, ranging from accurate scene modeling over efficient data representation to high-quality, real-time rendering. A special focus of this thesis lays on real-time generation of predictive images using bidirectional texture functions (BTFs), i.e., very accurate representations for spatially varying surface materials. The techniques proposed by this thesis enable efficient handling of BTFs by compressing the huge amount of data contained in this material representation, applying them to geometric surfaces using texture and BTF synthesis techniques, and rendering BTF covered objects in real-time. Further approaches proposed in this thesis target inclusion of real-time global illumination effects or more efficient rendering using novel level-of-detail representations for geometric objects. Finally, this thesis assesses the rendering quality achievable with BTF materials, indicating a significant increase in realism but also confirming the remainder of problems to be solved to achieve truly predictive image generation

Étude de la géométrie dans la synthèse de vue

La recherche effectuée dans cette thèse porte sur le problème de la synthèse de vue c'est-à-dire, comment, d'un ensemble de photographies calibrées d'un objet, générer l'image de cet objet d'un point de vue non photographié. On s'intéresse plus particulièrement au rôle que joue la géométrie dans ce problème. Pour explorer cette question, on analyse les deux approches proposées dans la littérature, soit l'approche géométrique et l'approche par images. L'approche géométrique est basée sur la physique et requiert d'inférer la forme de l'objet, sous l'hypothèse de ses propriétés de réflectance et des conditions d'éclairage, en optimisant une mesure de photo-cohérence. La synthèse de vue s'effectue ensuite par la projection de la forme obtenue selon le point de vue et l'éclairage désirés. Le rôle de la géométrie dans cette approche est donc de définir la surface de l'objet pour permettre le calcul de son interaction avec la lumière. L'approche par images propose quant à elle d'effectuer la synthèse de vue directement par interpolation. La fonction à interpoler est le champ de lumière, qui décrit la couleur de tous les rayons de lumière issus de l'objet. Les pixels de chaque photographie constituent les échantillons à utiliser pour calculer l'approximation du champ de lumière. La synthèse de vue s'effectue en évaluant cette approximation en chacun des rayons qui traversent les pixels de l'image à synthétiser pour en obtenir la couleur. En théorie, la forme de l'objet n'est pas nécessaire dans ce cas, ce qui a l'avantage d'éviter l'inférence de cette forme et les hypothèses que son obtention requiert. En contrepartie, l'approche par images nécessite un nombre plus élevé de photographies que l'approche géométrique pour produire une image de qualité visuellement équivalente. Pour mitiger ce défaut, plusieurs chercheurs ont montré comment exploiter la forme de l'objet ou encore une approximation de celle-ci, obtenue par une approche géométrique, pour améliorer la qualité de l'interpolation. Cette forme permet un meilleur choix des rayons à utiliser pour interpoler un rayon inconnu puisque ce choix est maintenant basé sur la géométrie de l'objet. Ils arrivent ainsi à une diminution significative Résumé iii des artefacts autrement visibles lors de la synthèse. Une telle forme utilisée dans le but d'améliorer l'interpolation porte le nom de proxy, pour la distinguer de la forme de l'objet à laquelle elle n'a pas nécessairement à correspondre. L'utilisation d'un proxy correspond à une approche hybride, dès lors que l'obtention du proxy nécessite les hypothèses de l'approche géométrique. De ce fait, l'approche hybride limite malheureusement la portée de l'approche par images, qui autrement s'applique directement sans supposition au sujet de l'objet. L'idée principale de cette thèse vise remédier à cette situation en montrant que l'obtention d'un proxy n'a pas à s'appuyer sur l'approche géométrique et en partager les hypothèses. Plutôt que tenter d'obtenir un proxy qui approxime la forme de l'objet, on propose un proxy qui améliore directement la qualité de l'interpolation. La caractérisation de la forme recherchée viendra de l'analyse de la borne de l'erreur d'interpolation, issue de la théorie de l'approximation. Il deviendra clair qu'un proxy correspond à une reparamétrisation du domaine du champ de lumière qui en influence la régularité. Un proxy adapté mène à un champ de lumière régulier, ce qui diminue l'erreur d'interpolation et explique la diminution des artefacts visibles lors de la synthèse. On clarifie ainsi le rôle de la géométrie dans l'approche par images. Cette analyse suggère donc d'opter pour un proxy dont la forme maximise la régularité du champ de lumière correspondant, ce que l'on proposera de faire ensuite. Pour permettre cette recherche, on développe une mesure de régularité, appelée le contenu fréquentiel. Cette mesure possède plusieurs avantages comparativement aux mesures existantes dans l'approche géométrique, ce que l'on mettra en évidence. On utilisera le contenu fréquentiel pour obtenir des points de la surface qui maximise la régularité du champ de lumière, que l'on appellera surface de paramétrisation optimale. En cherchant à obtenir la surface de paramétrisation optimale, on rencontre divers problèmes d'ordre pratique. Le premier est la sensibilité du contenu fréquentiel aux erreurs de visibilité, ce qui nuit à sa minimisation. On résout ce problème en proposant une approche de minimisation robuste à ces erreurs. Une autre difficulté est que l'ensemble des points obtenus possède des profondeurs aberrantes, issues d'ambiguïtés quant aux profondeurs qui optimisent le contenu fréquentiel. On proposera une procédure de reconstruction de surface robuste basée sur les fonctions de base radiales combinées aux M-estimateurs. Cette procédure sera utilisée pour reconstruire la surface de paramétrisation optimale. Résumé iv La synthèse de vue d'objets divers à l'aide de la surface de paramétrisation optimale montrera qu'il est possible d'obtenir des résultats de qualité visuellement comparable à ceux que l'on obtient en utilisant la surface de l'objet. On explorera davantage les liens entre la surface de paramétrisation optimale et la surface de l'objet. On montre que les deux ne correspondent pas nécessairement, sauf dans le cas d'un objet lambertien texture, où la surface de l'objet atteint le maximum théorique de régularité. Dans ce cas, on évaluera les performances de l'approche proposée en comparant la surface de paramétrisation optimale à celle de l'objet, obtenue par un capteur télémétrique. Dans les autres cas, on montrera que la surface de paramétrisation optimale possède une forme qui tient compte des reflets dans l'objet. Elle mène ainsi à une géométrie originale qui constitue un meilleur proxy que la surface de l'objet elle-même. La surface de paramétrisation optimale est donc un candidat nouveau pour l'étude de la géométrie multi-vues

Advanced methods for relightable scene representations in image space

The realistic reproduction of visual appearance of real-world objects requires accurate computer graphics models that describe the optical interaction of a scene with its surroundings. Data-driven approaches that model the scene globally as a reflectance field function in eight parameters deliver high quality and work for most material combinations, but are costly to acquire and store. Image-space relighting, which constrains the application to create photos with a virtual, fix camera in freely chosen illumination, requires only a 4D data structure to provide full fidelity. This thesis contributes to image-space relighting on four accounts: (1) We investigate the acquisition of 4D reflectance fields in the context of sampling and propose a practical setup for pre-filtering of reflectance data during recording, and apply it in an adaptive sampling scheme. (2) We introduce a feature-driven image synthesis algorithm for the interpolation of coarsely sampled reflectance data in software to achieve highly realistic images. (3) We propose an implicit reflectance data representation, which uses a Bayesian approach to relight complex scenes from the example of much simpler reference objects. (4) Finally, we construct novel, passive devices out of optical components that render reflectance field data in real-time, shaping the incident illumination into the desired imageDie realistische Wiedergabe der visuellen Erscheinung einer realen Szene setzt genaue Modelle aus der Computergraphik für die Interaktion der Szene mit ihrer Umgebung voraus. Globale Ansätze, die das Verhalten der Szene insgesamt als Reflektanzfeldfunktion in acht Parametern modellieren, liefern hohe Qualität für viele Materialtypen, sind aber teuer aufzuzeichnen und zu speichern. Verfahren zur Neubeleuchtung im Bildraum schränken die Anwendbarkeit auf fest gewählte Kameras ein, ermöglichen aber die freie Wahl der Beleuchtung, und erfordern dadurch lediglich eine 4D - Datenstruktur für volle Wiedergabetreue. Diese Arbeit enthält vier Beiträge zu diesem Thema: (1) wir untersuchen die Aufzeichnung von 4D Reflektanzfeldern im Kontext der Abtasttheorie und schlagen einen praktischen Aufbau vor, der Reflektanzdaten bereits während der Messung vorfiltert. Wir verwenden ihn in einem adaptiven Abtastschema. (2) Wir führen einen merkmalgesteuerten Bildsynthesealgorithmus für die Interpolation von grob abgetasteten Reflektanzdaten ein. (3) Wir schlagen eine implizite Beschreibung von Reflektanzdaten vor, die mit einem Bayesschen Ansatz komplexe Szenen anhand des Beispiels eines viel einfacheren Referenzobjektes neu beleuchtet. (4) Unter der Verwendung optischer Komponenten schaffen wir passive Aufbauten zur Darstellung von Reflektanzfeldern in Echtzeit, indem wir einfallende Beleuchtung direkt in das gewünschte Bild umwandeln