Progressive Transient Photon Beams

In this work we introduce a novel algorithm for transient rendering in participating media. Our method is consistent, robust, and is able to generate animations of time-resolved light transport featuring complex caustic light paths in media. We base our method on the observation that the spatial continuity provides an increased coverage of the temporal domain, and generalize photon beams to transient-state. We extend the beam steady-state radiance estimates to include the temporal domain. Then, we develop a progressive version of spatio-temporal density estimations, that converges to the correct solution with finite memory requirements by iteratively averaging several realizations of independent renders with a progressively reduced kernel bandwidth. We derive the optimal convergence rates accounting for space and time kernels, and demonstrate our method against previous consistent transient rendering methods for participating media

Progressive Transient Photon Beams

In this work, we introduce a novel algorithm for transient rendering in participating media. Our method is consistent, robust and is able to generate animations of time-resolved light transport featuring complex caustic light paths in media. We base our method on the observation that the spatial continuity provides an increased coverage of the temporal domain, and generalize photon beams to transient-state. We extend stead-state photon beam radiance estimates to include the temporal domain. Then, we develop a progressive variant of our approach which provably converges to the correct solution using finite memory by averaging independent realizations of the estimates with progressively reduced kernel bandwidths. We derive the optimal convergence rates accounting for space and time kernels, and demonstrate our method against previous consistent transient rendering methods for participating media

Recent advances in transient imaging: A computer graphics and vision perspective

Transient imaging has recently made a huge impact in the computer graphics and computer vision fields. By capturing, reconstructing, or simulating light transport at extreme temporal resolutions, researchers have proposed novel techniques to show movies of light in motion, see around corners, detect objects in highly-scattering media, or infer material properties from a distance, to name a few. The key idea is to leverage the wealth of information in the temporal domain at the pico or nanosecond resolution, information usually lost during the capture-time temporal integration. This paper presents recent advances in this field of transient imaging from a graphics and vision perspective, including capture techniques, analysis, applications and simulation

Recent advances in transient imaging: A computer graphics and vision perspective

Transient imaging has recently made a huge impact in the computer graphics and computer vision fields. By capturing, reconstructing, or simulating light transport at extreme temporal resolutions, researchers have proposed novel techniques to show movies of light in motion, see around corners, detect objects in highly-scattering media, or infer material properties from a distance, to name a few. The key idea is to leverage the wealth of information in the temporal domain at the pico or nanosecond resolution, information usually lost during the capture-time temporal integration. This paper presents recent advances in this field of transient imaging from a graphics and vision perspective, including capture techniques, analysis, applications and simulation

Appearance-design interfaces and tools for computer cinematography: Evaluation and application

We define appearance design as the creation and editing of scene content such as lighting and surface materials in computer graphics. The appearance design process takes a significant amount of time relative to other production tasks and poses difficult artistic challenges. Many user interfaces have been proposed to make appearance design faster, easier, and more expressive, but no formal validation of these interfaces had been published prior to our body of work. With a focus on novice users, we present a series of investigations into the strengths and weaknesses of various appearance design user interfaces. In particular, we develop an experimental methodology for the evaluation of representative user interface paradigms in the areas of lighting and material design. We conduct three user studies having subjects perform design tasks under controlled conditions. In these studies, we discover new insight into the effectiveness of each paradigm for novices measured by objective performance as well as subjective feedback. We also offer observations on common workflow and capabilities of novice users in these domains. We use the results of our lighting study to develop a new representation for artistic control of lighting, where light travels along nonlinear paths

Computational Light Transport for Forward and Inverse Problems.

El transporte de luz computacional comprende todas las técnicas usadas para calcular el flujo de luz en una escena virtual. Su uso es ubicuo en distintas aplicaciones, desde entretenimiento y publicidad, hasta diseño de producto, ingeniería y arquitectura, incluyendo el generar datos validados para técnicas basadas en imagen por ordenador. Sin embargo, simular el transporte de luz de manera precisa es un proceso costoso. Como consecuencia, hay que establecer un balance entre la fidelidad de la simulación física y su coste computacional. Por ejemplo, es común asumir óptica geométrica o una velocidad de propagación de la luz infinita, o simplificar los modelos de reflectancia ignorando ciertos fenómenos. En esta tesis introducimos varias contribuciones a la simulación del transporte de luz, dirigidas tanto a mejorar la eficiencia del cálculo de la misma, como a expandir el rango de sus aplicaciones prácticas. Prestamos especial atención a remover la asunción de una velocidad de propagación infinita, generalizando el transporte de luz a su estado transitorio. Respecto a la mejora de eficiencia, presentamos un método para calcular el flujo de luz que incide directamente desde luminarias en un sistema de generación de imágenes por Monte Carlo, reduciendo significativamente la variancia de las imágenes resultantes usando el mismo tiempo de ejecución. Asimismo, introducimos una técnica basada en estimación de densidad en el estado transitorio, que permite reusar mejor las muestras temporales en un medio parcipativo. En el dominio de las aplicaciones, también introducimos dos nuevos usos del transporte de luz: Un modelo para simular un tipo especial de pigmentos gonicromáticos que exhiben apariencia perlescente, con el objetivo de proveer una forma de edición intuitiva para manufactura, y una técnica de imagen sin línea de visión directa usando información del tiempo de vuelo de la luz, construida sobre un modelo de propagación de la luz basado en ondas.<br /

Efficient image-based rendering

Recent advancements in real-time ray tracing and deep learning have significantly enhanced the realism of computer-generated images. However, conventional 3D computer graphics (CG) can still be time-consuming and resource-intensive, particularly when creating photo-realistic simulations of complex or animated scenes. Image-based rendering (IBR) has emerged as an alternative approach that utilizes pre-captured images from the real world to generate realistic images in real-time, eliminating the need for extensive modeling. Although IBR has its advantages, it faces challenges in providing the same level of control over scene attributes as traditional CG pipelines and accurately reproducing complex scenes and objects with different materials, such as transparent objects. This thesis endeavors to address these issues by harnessing the power of deep learning and incorporating the fundamental principles of graphics and physical-based rendering. It offers an efficient solution that enables interactive manipulation of real-world dynamic scenes captured from sparse views, lighting positions, and times, as well as a physically-based approach that facilitates accurate reproduction of the view dependency effect resulting from the interaction between transparent objects and their surrounding environment. Additionally, this thesis develops a visibility metric that can identify artifacts in the reconstructed IBR images without observing the reference image, thereby contributing to the design of an effective IBR acquisition pipeline. Lastly, a perception-driven rendering technique is developed to provide high-fidelity visual content in virtual reality displays while retaining computational efficiency.Jüngste Fortschritte im Bereich Echtzeit-Raytracing und Deep Learning haben den Realismus computergenerierter Bilder erheblich verbessert. Konventionelle 3DComputergrafik (CG) kann jedoch nach wie vor zeit- und ressourcenintensiv sein, insbesondere bei der Erstellung fotorealistischer Simulationen von komplexen oder animierten Szenen. Das bildbasierte Rendering (IBR) hat sich als alternativer Ansatz herauskristallisiert, bei dem vorab aufgenommene Bilder aus der realen Welt verwendet werden, um realistische Bilder in Echtzeit zu erzeugen, so dass keine umfangreiche Modellierung erforderlich ist. Obwohl IBR seine Vorteile hat, ist es eine Herausforderung, das gleiche Maß an Kontrolle über Szenenattribute zu bieten wie traditionelle CG-Pipelines und komplexe Szenen und Objekte mit unterschiedlichen Materialien, wie z.B. transparente Objekte, akkurat wiederzugeben. In dieser Arbeit wird versucht, diese Probleme zu lösen, indem die Möglichkeiten des Deep Learning genutzt und die grundlegenden Prinzipien der Grafik und des physikalisch basierten Renderings einbezogen werden. Sie bietet eine effiziente Lösung, die eine interaktive Manipulation von dynamischen Szenen aus der realen Welt ermöglicht, die aus spärlichen Ansichten, Beleuchtungspositionen und Zeiten erfasst wurden, sowie einen physikalisch basierten Ansatz, der eine genaue Reproduktion des Effekts der Sichtabhängigkeit ermöglicht, der sich aus der Interaktion zwischen transparenten Objekten und ihrer Umgebung ergibt. Darüber hinaus wird in dieser Arbeit eine Sichtbarkeitsmetrik entwickelt, mit der Artefakte in den rekonstruierten IBR-Bildern identifiziert werden können, ohne das Referenzbild zu betrachten, und die somit zur Entwicklung einer effektiven IBR-Erfassungspipeline beiträgt. Schließlich wird ein wahrnehmungsgesteuertes Rendering-Verfahren entwickelt, um visuelle Inhalte in Virtual-Reality-Displays mit hoherWiedergabetreue zu liefern und gleichzeitig die Rechenleistung zu erhalten

Efficient Methods for Computational Light Transport

En esta tesis presentamos contribuciones sobre distintos retos computacionales relacionados con transporte de luz. Los algoritmos que utilizan información sobre el transporte de luz están presentes en muchas aplicaciones de hoy en día, desde la generación de efectos visuales, a la detección de objetos en tiempo real. La luz es una valiosa fuente de información que nos permite entender y representar nuestro entorno, pero obtener y procesar esta información presenta muchos desafíos debido a la complejidad de las interacciones entre la luz y la materia. Esta tesis aporta contribuciones en este tema desde dos puntos de vista diferentes: algoritmos en estado estacionario, en los que se asume que la velocidad de la luz es infinita; y algoritmos en estado transitorio, que tratan la luz no solo en el dominio espacial, sino también en el temporal. Nuestras contribuciones en algoritmos estacionarios abordan problemas tanto en renderizado offline como en tiempo real. Nos enfocamos en la reducción de varianza para métodos offline,proponiendo un nuevo método para renderizado eficiente de medios participativos. En renderizado en tiempo real, abordamos las limitacionesde consumo de batería en dispositivos móviles proponiendo un sistema de renderizado que incrementa la eficiencia energética en aplicaciones gráficas en tiempo real. En el transporte de luz transitorio, formalizamos la simulación de este tipo transporte en este nuevo dominio, y presentamos nuevos algoritmos y métodos para muestreo eficiente para render transitorio. Finalmente, demostramos la utilidad de generar datos en este dominio, presentando un nuevo método para corregir interferencia multi-caminos en camaras Timeof- Flight, un problema patológico en el procesamiento de imágenes transitorias.n this thesis we present contributions to different challenges of computational light transport. Light transport algorithms are present in many modern applications, from image generation for visual effects to real-time object detection. Light is a rich source of information that allows us to understand and represent our surroundings, but obtaining and processing this information presents many challenges due to its complex interactions with matter. This thesis provides advances in this subject from two different perspectives: steady-state algorithms, where the speed of light is assumed infinite, and transient-state algorithms, which deal with light as it travels not only through space but also time. Our steady-state contributions address problems in both offline and real-time rendering. We target variance reduction in offline rendering by proposing a new efficient method for participating media rendering. In real-time rendering, we target energy constraints of mobile devices by proposing a power-efficient rendering framework for real-time graphics applications. In transient-state we first formalize light transport simulation under this domain, and present new efficient sampling methods and algorithms for transient rendering. We finally demonstrate the potential of simulated data to correct multipath interference in Time-of-Flight cameras, one of the pathological problems in transient imaging.<br /

Transporte de luz transitorio en medios participativos

La simulación del transporte de luz en una escena mediante un ordenador es conocido como renderizado. Simular las interacciones físicas de la luz con la materia es una de las tareas más desafiantes en la informática gráfica. Medios participativos cotidianos como la niebla o la piel, interaccionan con la luz produciendo efectos muy interesantes. Para renderizar el transporte de luz en una escena según las propiedades de la materia, es necesario basarse en los modelos físicos que las definen, conllevando el uso de costosos algoritmos que los aproximan. El estudio del transporte de luz es un elemento clave a la hora de mejorar los algoritmos existentes. Los recientes avances en captura ultrarrápida de imágenes nos permiten observar luz en movimiento a escalas macroscópicas, permitiéndonos ver cómo se propaga e interacciona con la materia y dando lugar a numerosas aplicaciones. Esto demuestra que existe información de utilidad en el dominio temporal que hasta ahora no se había tenido en cuenta. En el campo del render, esta información temporal normalmente es descartada, asumiendo que la luz tiene velocidad infinita, y produciendo imágenes en las que la luz está propagada por toda la escena. Romper esta asunción y considerar la velocidad de la luz finita implica la definición de un modelo de transporte de luz transitorio, es decir, teniendo en cuenta el tiempo de propagación de la luz. Este proyecto se centra en renderizar el transporte de luz transitorio tanto en el vacío como en medios participativos, incluyendo el tiempo en los modelos tradicionales de transporte de luz. Para ello se ha implementado uno de los últimos avances en render de medios participativos, el algoritmo Photon Beams, y se ha modificado para incluir el tiempo de propagación de la luz considerando los efectos que tiene la inclusión del tiempo en las propiedades de los medios. Analizar el transporte de luz transitorio aumenta la complejidad del render, dado que estamos añadiendo una dimensión más al problema. Reducir la dimensionalidad de un problema es una estrategia apropiada para analizarlo, ya que simplifica los modelos matemáticos, reduce los costes de cálculo y permite representar la información de manera más intuitiva. Aplicado al transporte de luz, reducir la dimensionalidad espacial a 2D requiere reconsiderar su formulación. En este proyecto redefinimos las propiedades de los medios participativos para el transporte de luz en 2D y realizamos una adaptación 2D del algoritmo Photon Beams. Basados en este enfoque, analizamos el transporte de luz en el tiempo variando las características de los medios y observando los perfiles temporales de la propagación de la luz dentro de medios participativos. Estos análisis nos han permitido detectar limitaciones sobre algoritmos ya existentes, así como observar las desventajas de las técnicas de muestreo utilizadas en los algoritmos estacionario cuando intentamos aplicarlas al transporte de luz transitorio. Finalmente hemos podido comprobar cómo los distintos sistemas de representación y las propiedades de los medios afectan a cómo interpretamos el transporte de luz en una escena. Este trabajo se ha realizado dentro de un proyecto de investigación en el Graphics and Imaging Lab y en colaboración con Wojciech Jarosz, investigador jefe del grupo de rendering en Disney Research, Zürich. Los resultados de este proyecto serán sometidos a la conferencia internacional SIGGRAPH 2014. Adicionalmente resultados previos de este trabajo se presentaron en la Congreso Español de Informática Gráfica 2013

Realistic rendering and reconstruction of astronomical objects and an augmented reality application for astronomy

These days, there is an ever increasing need for realistic models, renderings and visualization of astronomical objects to be used in planetarium and as a tool in modern astrophysical research. One of the major goals of this dissertation is to develop novel algorithms for recovering and rendering 3D models of a specific set of astronomical objects. We first present a method to render the color and shape of the solar disc in different climate conditions as well as for different height to temperature atmospheric profiles. We then present a method to render and reconstruct the 3D distribution of reflection nebulae. The rendering model takes into account scattering and absorption to generate physically realistic visualization of reflection nebulae. Further, we propose a reconstruction method for another type of astronomical objects, planetary nebulae. We also present a novel augmented reality application called the augmented astronomical telescope, tailored for educational astronomy. The real-time application augments the view through a telescope by projecting additional information such as images, text and video related to the currently observed object during observation. All methods previously proposed for rendering and reconstructing astronomical objects can be used to create novel content for the presented augmented reality application.Realistische Modelle, Visualisierungen und Renderings von astronomischen Objekten gewinnen heuzutage in Planetarium Shows oder als Werkzeug für die Astrophysikalische Forschung immer mehr an Bedeutung. Eines der Hauptziele dieser Dissertation ist es, neue Algorithmen zum Rendering und zur Rekonstruktion von Astronomischen Objekten zu entwickeln. Wir beschreiben zuerst ein Verfahren zum Rendering von Farbe und Form der Sonnenscheibe für verschiedene Klimate und gegebenen Höhe zu Temperatur Profilen. Im weiterem wird eine Methode zum Rendering und zur Rekonstruktion von 3D Modellen von Reflexionsnebeln präsentiert. Das Renderingmodell berücksichtigt Streuung und Absorption, um physikalisch realistische Visualisierungen von Reflexionsnebeln zu erzeugen. Weiter, wird ein Rekonstruktionsalgorithmus für eine andere Art astronomischer Objekte, Planetarische Nebel, vorgeschlagen. Wir stellen eine neuartige Erweiterte Realität Anwendung vor, welche für die astronomische Bildung zugeschnitten ist. Die Anwedung erweitert die Sicht durch das Okular des Teleskopes und projiziert zusätzliche Informationen wie Bilder, Text und Video online, während des Betrachtens. Alle vorher erwähnten Verfahren zum Rendering und zur Rekonstruktion von Astronomischen Objekten können verwendet werden, um Inhalte für die vorgestellte Erweiterte Realität Anwendung zu entwerfen