Deep-learning the Latent Space of Light Transport

We suggest a method to directly deep‐learn light transport, i. e., the mapping from a 3D geometry‐illumination‐material configuration to a shaded 2D image. While many previous learning methods have employed 2D convolutional neural networks applied to images, we show for the first time that light transport can be learned directly in 3D. The benefit of 3D over 2D is, that the former can also correctly capture illumination effects related to occluded and/or semi‐transparent geometry. To learn 3D light transport, we represent the 3D scene as an unstructured 3D point cloud, which is later, during rendering, projected to the 2D output image. Thus, we suggest a two‐stage operator comprising a 3D network that first transforms the point cloud into a latent representation, which is later on projected to the 2D output image using a dedicated 3D‐2D network in a second step. We will show that our approach results in improved quality in terms of temporal coherence while retaining most of the computational efficiency of common 2D methods. As a consequence, the proposed two stage‐operator serves as a valuable extension to modern deferred shading approaches

Hash-based hierarchical caching and layered filtering for interactive previews in global illumination rendering

Copyright © 2020 by the authors. Modern Monte-Carlo-based rendering systems still suffer from the computational complexity involved in the generation of noise-free images, making it challenging to synthesize interactive previews. We present a framework suited for rendering such previews of static scenes using a caching technique that builds upon a linkless octree. Our approach allows for memory-efficient storage and constant-time lookup to cache diffuse illumination at multiple hitpoints along the traced paths. Non-diffuse surfaces are dealt with in a hybrid way in order to reconstruct view-dependent illumination while maintaining interactive frame rates. By evaluating the visual fidelity against ground truth sequences and by benchmarking, we show that our approach compares well to low-noise path-traced results, but with a greatly reduced computational complexity, allowing for interactive frame rates. This way, our caching technique provides a useful tool for global illumination previews and multi-view rendering.German Federal Ministry for Economic Affairs and Energy (BMWi), funding the MoVISO ZIM-project under Grant No.: ZF4120902

Data-driven approaches for interactive appearance editing

This thesis proposes several techniques for interactive editing of digital content and fast rendering of virtual 3D scenes. Editing of digital content - such as images or 3D scenes - is difficult, requires artistic talent and technical expertise. To alleviate these difficulties, we exploit data-driven approaches that use the easily accessible Internet data (e. g., images, videos, materials) to develop new tools for digital content manipulation. Our proposed techniques allow casual users to achieve high-quality editing by interactively exploring the manipulations without the need to understand the underlying physical models of appearance. First, the thesis presents a fast algorithm for realistic image synthesis of virtual 3D scenes. This serves as the core framework for a new method that allows artists to fine tune the appearance of a rendered 3D scene. Here, artists directly paint the final appearance and the system automatically solves for the material parameters that best match the desired look. Along this line, an example-based material assignment approach is proposed, where the 3D models of a virtual scene can be "materialized" simply by giving a guidance source (image/video). Next, the thesis proposes shape and color subspaces of an object that are learned from a collection of exemplar images. These subspaces can be used to constrain image manipulations to valid shapes and colors, or provide suggestions for manipulations. Finally, data-driven color manifolds which contain colors of a specific context are proposed. Such color manifolds can be used to improve color picking performance, color stylization, compression or white balancing.Diese Dissertation stellt Techniken zum interaktiven Editieren von digitalen Inhalten und zum schnellen Rendering von virtuellen 3D Szenen vor. Digitales Editieren - seien es Bilder oder dreidimensionale Szenen - ist kompliziert, benötigt künstlerisches Talent und technische Expertise. Um diese Schwierigkeiten zu relativieren, nutzen wir datengesteuerte Ansätze, die einfach zugängliche Internetdaten, wie Bilder, Videos und Materialeigenschaften, nutzen um neue Werkzeuge zur Manipulation von digitalen Inhalten zu entwickeln. Die von uns vorgestellten Techniken erlauben Gelegenheitsnutzern das Editieren in hoher Qualität, indem Manipulationsmöglichkeiten interaktiv exploriert werden können ohne die zugrundeliegenden physikalischen Modelle der Bildentstehung verstehen zu müssen. Zunächst stellen wir einen effizienten Algorithmus zur realistischen Bildsynthese von virtuellen 3D Szenen vor. Dieser dient als Kerngerüst einer Methode, die Nutzern die Feinabstimmung des finalen Aussehens einer gerenderten dreidimensionalen Szene erlaubt. Hierbei malt der Künstler direkt das beabsichtigte Aussehen und das System errechnet automatisch die zugrundeliegenden Materialeigenschaften, die den beabsichtigten Eigenschaften am nahesten kommen. Zu diesem Zweck wird ein auf Beispielen basierender Materialzuordnungsansatz vorgestellt, für den das 3D Model einer virtuellen Szene durch das simple Anführen einer Leitquelle (Bild, Video) in Materialien aufgeteilt werden kann. Als Nächstes schlagen wir Form- und Farbunterräume von Objektklassen vor, die aus einer Sammlung von Beispielbildern gelernt werden. Diese Unterräume können genutzt werden um Bildmanipulationen auf valide Formen und Farben einzuschränken oder Manipulationsvorschläge zu liefern. Schließlich werden datenbasierte Farbmannigfaltigkeiten vorgestellt, die Farben eines spezifischen Kontexts enthalten. Diese Mannigfaltigkeiten ermöglichen eine Leistungssteigerung bei Farbauswahl, Farbstilisierung, Komprimierung und Weißabgleich

Efficient Many-Light Rendering of Scenes with Participating Media

We present several approaches based on virtual lights that aim at capturing the light transport without compromising quality, and while preserving the elegance and efficiency of many-light rendering. By reformulating the integration scheme, we obtain two numerically efficient techniques; one tailored specifically for interactive, high-quality lighting on surfaces, and one for handling scenes with participating media

LightSkin: Globale Echtzeitbeleuchtung für Virtual und Augmented Reality

In nature, each interaction of light is bound to a global context. Thus, each observable natural light phenomenon is the result of global illumination. It is based on manifold laws of absorption, reflection, and refraction, which are mostly too complex to simulate given the real-time constraints of interactive applications. Therefore, many interactive applications do not support the simulation of those global illumination phenomena yet, which results in unrealistic and synthetic-looking renderings. This unrealistic rendering becomes especially a problem in the context of virtual reality and augmented reality applications, where the user should experience the simulation as realistic as possible. In this thesis we present a novel approach called LightSkin that calculates global illumination phenomena in real-time. The approach was especially developed for virtual reality and augmented reality applications satisfying several constraints coming along with those applications. As part of the approach we introduce a novel interpolation scheme, which is capable to calculate realistic indirect illumination results based on a few number of supporting points, distributed on model surfaces. Each supporting point creates its own proxy light sources, which are used to represent the whole indirect illumination for this point in a compact manner. These proxy light sources are then linearly interpolated to obtain dense results for the entire visible scene. Due to an efficient implementation on GPU, the method is very fast supporting complex and dynamic scenes. Based on the approach, it is possible to simulate diffuse and glossy indirect reflections, soft shadows, and multiple subsurface scattering phenomena without neglecting filigree surface details. Furthermore, the method can be adapted to augmented reality applications providing mutual global illumination effects between dynamic real and virtual objects using an active RGB-D sensor device. In contrast to existing interactive global illumination approaches, our approach supports all kinds of animations, handling them more efficient, not requiring extra calculations or leading to disturbing temporal artifacts. This thesis contains all information needed to understand, implement, and evaluate the novel LightSkin approach and also provides a comprehensive overview of the related field of research.In der Natur ist jede Interaktion des Lichts mit Materie in einen globalen Kontext eingebunden, weswegen alle natürlichen Beleuchtungsphänomene in unserer Umwelt das Resultat globaler Beleuchtung sind. Diese basiert auf der Anwendung mannigfaltiger Absorptions-, Reflexions- und Brechungsgesetze, deren Simulation so komplex ist, dass interaktive Anwendungen diese nicht in wenigen Millisekunden berechnen können. Deshalb wurde bisher in vielen interaktiven Systemen auf die Abbildung von solchen globalen Beleuchtungsphänomenen verzichtet, was jedoch zu einer unrealistischen und synthetisch-wirkenden Darstellung führte. Diese unrealistische Darstellung ist besonders für die Anwendungsfelder Virtual Reality und Augmented Reality, bei denen der Nutzer eine möglichst realitätsnahe Simulation erfahren soll, ein gewichtiger Nachteil. In dieser Arbeit wird das LightSkin-Verfahren vorgestellt, das es erlaubt, globale Beleuchtungsphänomene in einer Echtzeitanwendung darzustellen. Das Verfahren wurde speziell für die Anwendungsfelder Virtual Reality und Augmented Reality entwickelt und erfüllt spezifische Anforderungen, die diese an eine Echtzeitanwendung stellen. Bei dem Verfahren wird das indirekte Licht durch eine geringe Anzahl von Punktlichtquellen (Proxy-Lichtquellen) repräsentiert, die für eine lose Menge von Oberflächenpunkten (Caches) berechnet und anschließend über die komplette sichtbare Szene interpoliert werden. Diese neue Form der Repräsentation der indirekten Beleuchtung erlaubt eine effiziente Berechnung von diffusen und glänzenden indirekten Reflexionen, die Abbildung von weichen Schatten und die Simulation von Multiple-Subsurface-Scattering-Effekten in Echtzeit für komplexe und voll dynamische Szenen. Ferner wird gezeigt, wie das Verfahren modifiziert werden kann, um globale Lichtwechselwirkungen zwischen realen und virtuellen Objekten in einer Augmented-Reality-Anwendung zu simulieren. Im Gegensatz zu den meisten existierenden Echtzeitverfahren zur Simulation von globalen Beleuchtungseffekten benötigt der hier vorgestellte Ansatz keine aufwändigen zusätzlichen Berechnungen bei Animationen und erzeugt darüber hinaus für diese keine visuellen Artefakte. Diese Arbeit enthält alle Informationen, die zum Verständnis, zur Implementierung und zur Evaluation des LightSkin-Verfahrens benötigt werden und gibt darüber hinaus einen umfassenden Über- blick über das Forschungsfeld

基于点缓存全局光照技术的研究

As the development of animation industry, there are more and more requirements for the realistic rendering. Global illumination (GI) is an significant part of realistic rendering, and it has been focused by researchers for many years. Not only the lighting directly from the light sources but also the lighting reflected by other objects in the scene is required to be computed, so it's complicated to solve the GI problem that can be described as the rendering equation. Several algorithms can be used to solve this problem, such as Monte Carlo based ray tracing, photon mapping, many lights based approaches, point based global illumination and so on. This thesis is about Point Based Global Illumination (PBGI). PBGI is a popular rendering algorithm in movie and motion picture productions. This algorithm provides a diffuse global illumination solution by caching radiance in a mesh-less hierarchical data structure during a pre-process, while solving for the visibility over this cache, at rendering time, for each receiver, using a microbuffer, which is a localized depth and color buffer inspired from real time rendering environments. As a result, noise free ambient occlusion, indirect soft shadows and color bleeding effects are computed efficiently for high resolution image output and in a temporally coherent fashion. PBGI has attracted increasing attention nowadays because of its efficiency and noise free quality. However, there are still some problems, such as it can not simulation non-diffuse light transport, that makes it have limited applications. My thesis aims to solve these issues in PBGI and extend it to support more light transport path. Based on the spatial coherency, we propose a factorized solution of PBGI to make it more efficient by reusing the tree cut and the microbuffers. In PBGI, each receiver traverse the point cloud tree independently, but we observe that the similar receivers have the similar tree cut, that means there is redundancy during the traversal process. A similar model of the receivers is proposed at first, and then it is used to cluster the receivers. The point cloud tree is traversed for a cluster instead of for each receiver, and a cluster tree cut is obtained. The far nodes in the cluster tree cut are shared directly by all the receivers in this cluster without further traversing, while the near nodes are traversed for each receiver independently. A cluster microbuffer is proposed to solve for the visibility of the far nodes, while the receiver specific microbuffer is used to solve for the visibility of the near nodes and the refined nodes. The final microbuffer by combining these two microbuffers is convolved with the bidirectional reflection distribution funcion (BRDF) of the receiver to get the final indirect illumination. Our algorithm offers a significant rendering speed-up for a negligible and controllable approximation error and it inherits the temporal coherence of PBGI. We also propose a wavelet based solution to PBGI to compute the non-diffuse light transport.As only the diffuse lighting of the point is baked in PBGI, it can not simulate the non-diffuse light transport, such as caustics. PBGI tree nodes uses spherical harmonics (SH) to represent outgoing radiance. Unfortunately, even using a larger number of coefficients, SH are not able to capture high frequencies efficiently, which translates in our case to non-diffuse reflections or refractions. Consequently, caustics stemming from metals, plastics, glass and other reflective or refractive materials are not handled with classical PBGI frameworks. Even when ignoring the performance issue induced by a larger number of SH coefficients, ringing artifacts quickly appear. Compared with SH, haar wavelets support non-linear approximation, so the the representation is compact. So we propose to represent the outgoing radiance of the non-diffuse point with wavelet coefficients by sampling according to a cube map firstly and wavelet transforming each face of this cube map. The coefficients are further encoded hierarchically in the point cloud tree to decrease the memory usage, that means the coefficients themselves are wavelet transformed, generating two kinds of coefficients: node approximation coefficients and node detail coefficients. The node approximation coefficients are stored for the low level nodes (close to the root), and the node detail coefficients are stored for the high level nodes. To avoid storing the entire list of nodes vectors at any intermediate state, we compute this compressed representation during a post-order depth-first traversal of the PBGI tree. Further more, according to the artifacts problem that appears when there is high frequency BRDF or lighting in the scene, we propose to use the importance driven microbuffer. The importance function that includes the incoming lighting importance and the BRDF importance is used to drive the microbuffer, that means when one pixel has high frequency information (lighting or BRDF), it will be subdivided. Finally, our rendering algorithm allows to handle non-diffuse light transport, reproducing caustics with a similar quality to bidirectional path tracing for only a fraction of the computation time, with an intuitive control on the approximation error. Based on the previous two algorithms, we propose a view-tree based approach to compute the multiple bounces reflection. In PBGI, the indirect illumination of each point in the point cloud needs to be evaluated by traversing the point cloud tree and splatting the nodes in the tree-cut, so each point is treated a receiver. We propose to organize all the receivers into a view tree, and the point cloud tree is traversed for the view tree instead of for each receiver. The view tree approach is based on the observation some nodes in the point cloud tree contribute similarly to all the points in other nodes, that means we don¡¯t need to traverse for these points respectively but only for the node that contains these points. This is an extension to the factorized PGBI from one level (cluster) to a hierarchical structure (tree). Another problem for multiple bounces computation is how to evaluate the outgoing radiance from the incoming radiance efficiently. As the outgoing radiance needs to be computed for each sampling direction, the time complexity is $O(n^4)$, where $n\times n$ represents the resolution of the hemisphere or square according to which the incoming direction and the outgoing direction are sampled. The wavelet representation is sparse that improves the performance, so we decide to wavelet transform the incoming radiance and the BRDF and multiply them in the frequency domain. We propose a novel outgoing radiance computation model by doing product between 4D BRDF wavelet coefficients and 2D incoming radiance wavelet coefficients.Finally, the point cloud tree with multiple bounces reflection stored is used to offer a preview rendering of the scene by utilizing the GPU computing efficiently. We can support scenes that include diffuse materials and all frequency glossy materials with a changing camera. My thesis improves and extends the PGBI algorithm so that it can be used in more applications.Comme le développement de l'industrie de l'animation, il ya de plus en plus d'exigences pour le rendu réaliste. L'illumination globale (IG) est une partie importante de rendu réaliste, et il a été porté par les chercheurs depuis de nombreuses années. Non seulement la lumière directement à partir des sources de lumière, mais aussi l'éclairage réfléchi par les autres objets de la scène doit être calculé, de sorte qu'il est compliqué de résoudre le problème de l'IG qui peut être décrit par l'équation de rendu. Plusieurs algorithmes peuvent être utilisés pour résoudre ce problème, comme le traçage basé Monte Carlo ray, le photon mapping, beaucoup de lumières approches fondées, le point sur la base de l'illumination globale et ainsi de suite. Cette thèse est basé sur des points sur Global Illumination (PBGI). PBGI est un algorithme de rendu populaire en cinéma et productions cinématographiques. Cet algorithme fournit une solution d'illumination globale diffuse en mettant en cache l'éclat dans une structure de données hiérarchique maille moins lors d'un pré-traitement, tout en résolvant pour la visibilité sur ce cache, au moment du rendu, pour chaque récepteur, en utilisant un microbuffer, qui est un localisée profondeur et tampon de couleurs inspirée des environnements de rendu en temps réel. En conséquence, le bruit ambiant sans occlusion, ombres douces indirects et des saignements de couleur effets sont calculés de manière efficace pour la sortie image haute résolution et d'une manière temporellement cohérente. PBGI a attiré une attention croissante de nos jours, en raison de sa qualité, sans l'efficacité et le bruit. Cependant, il ya encore quelques problèmes, comme il ne peut pas la simulation de transport de lumière non diffuse, ce fait avoir des applications limitées. Ma thèse vise à résoudre ces questions dans PBGI et l'étendre à soutenir chemin de transport de plus de lumière.Basé sur la cohérence spatiale, nous proposons une solution factorisée de PBGI à faire plus efficace en réutilisant la coupe des arbres et les microbuffers. Dans PBGI, chaque récepteur parcourir l'arborescence point de trouble indépendamment, mais nous observons que les récepteurs semblables ont la coupe d'arbre similaire, cela signifie qu'il ya une redondance au cours du processus de traversée. Un modèle similaire de récepteurs est proposé dans un premier temps, puis il est utilisé pour regrouper les récepteurs. L'arbre de nuage de points est traversé d'un cluster au lieu de pour chaque récepteur, et un arbre coupé de cluster est obtenu. Les nœuds loin dans l'arbre coupé du cluster sont partagés directement par tous les récepteurs de ce groupe sans autre déplacement, tandis que les nœuds proches sont traversés pour chaque récepteur indépendamment. Un microbuffer de cluster est proposé à résoudre pour la visibilité des nœuds loin, tandis que le microbuffer spécifique récepteur est utilisé à résoudre pour la visibilité des près de noeuds et les noeuds raffinés. Le microbuffer finale en combinant ces deux microbuffers est convoluée avec le funcion de distribution de réflexion bidirectionnelle (BRDF) du récepteur pour obtenir l'éclairage indirect finale. Notre algorithme offre un rendu accélération significative pour une erreur d'approximation négligeable et contrôlable et il hérite de la cohérence temporelle de PBGI.Nous proposons également une solution d'ondelettes basée à PBGI pour calculer les transport.As lumineuses non diffuses que l'éclairage diffus du point est cuit dans PBGI, il ne peut pas simuler la non-diffus transport léger, comme les caustiques. Nœuds d'arbre PBGI utilise des harmoniques sphériques (SH) pour représenter le rayonnement sortant. Malheureusement, même en utilisant un plus grand nombre de coefficients, SH ne sont pas en mesure de capturer efficacement les hautes fréquences, ce qui se traduit dans notre cas à des réflexions ou réfractions non-diffuses. Par conséquent, caustiques découlant de métaux, les plastiques, le verre et d'autres matériaux réfléchissants ou de réfraction ne sont pas traitées avec des cadres de PBGI classiques. Même lorsque ignorant la question de la performance induite par un plus grand nombre de coefficients SH, sonner artefacts apparaissent rapidement. Par rapport aux SH, les ondelettes de Haar supportent approximation non linéaire, de sorte que la représentation est compact. Donc, nous proposons de représenter le rayonnement sortant du point de non-diffuse avec des coefficients d'ondelettes par échantillonnage selon un cube map abord et ondelettes transformer chaque face de ce cube map. Les coefficients sont en outre codées hiérarchiquement dans l'arbre de nuages ​​de points pour réduire l'utilisation de mémoire, cela signifie que les coefficients sont eux-mêmes transformés en ondelettes, générer deux types de coefficients: noeud coefficients d'approximation et coefficients de détail de noeud. Les coefficients d'approximation noeud sont stockées pour les nœuds de bas niveau (à proximité de la racine), et les coefficients de détail de noeud sont stockées pour les nœuds de haut niveau. Pour éviter de stocker la liste complète des noeuds vecteurs à tout état intermédiaire, nous calculons cette représentation comprimé lors d'un post-order profondeur d'abord la traversée de l'arbre de PBGI. De plus, selon le problème des artefacts qui apparaît quand il ya BRDF haute fréquence ou de l'éclairage de la scène, nous proposons d'utiliser l'importance entraîné microbuffer. La fonction d'importance qui comprend l'importance de l'éclairage entrant et l'importance BRDF est utilisé pour entraîner le microbuffer, cela signifie quand un pixel dispose d'informations à haute fréquence (éclairage ou BRDF), elle sera découpée. Enfin, notre algorithme de rendu permet de gérer le transport de la lumière non diffuse, la reproduction caustiques avec une qualité similaire à la trajectoire bidirectionnelle traçage pour seulement une fraction du temps de calcul, avec un contrôle intuitif sur l'erreur d'approximation.Basé sur les deux algorithmes précédents, nous proposons une approche basée vue arbre pour calculer la rebonds réflexion multiple. Dans PBGI, l'éclairage indirect de chaque point dans le nuage de points doit être évaluée en parcourant l'arborescence point de trouble et splatting les nœuds de l'arbre-coupe, de sorte que chaque point est traité un récepteur. Nous proposons d'organiser tous les récepteurs dans un arbre de la vue, et l'arbre de nuage de points est traversée pour l'arbre de vue au lieu de pour chaque récepteur. L'approche de l'arbre de la vue est basée sur l'observation des noeuds de l'arbre de nuage de points contribuent de manière similaire à tous les points dans d'autres nœuds, cela signifie que nous ¡¯ t besoin de traverser pour ces points, respectivement, mais seulement pour le nœud qui contient ces points. Ceci est une extension de la PGBI factorisée d'un niveau (cluster) à une structure hiérarchique (arbre). Un autre problème pour de multiples rebonds calcul est comment évaluer le rayonnement sortant du rayonnement entrant efficacement. Comme le rayonnement sortant doit être calculé pour chaque direction d'échantillonnage, la complexité est en O $(n ^ 4)$, où n $\ times n$ représente la résolution de l'hémisphère ou carré selon laquelle le sens entrant et sortant direction sont échantillonnés. La représentation en ondelettes est clairsemée qui améliore la performance, donc nous avons décidé de la transformée en ondelettes le rayonnement entrant et la BRDF et les multiplier dans le domaine de fréquence. Nous proposons un modèle roman de calcul de rayonnement sortant en faisant produit entre 4D BRDF coefficients d'ondelettes et 2D radiance entrant coefficients d'ondelettes.Enfin, l'arbre de nuage de points avec de multiples rebonds réflexion stockée est utilisée pour offrir un rendu d'aperçu de la scène en utilisant efficacement le GPU computing. Nous pouvons soutenir scènes qui comprennent des matériaux diffuses et toutes les fréquences matériaux brillants avec une caméra changer. Ma thèse améliore et prolonge la PGBI algorithme de sorte qu'il peut être utilisé dans plusieurs applications

Filtering Techniques for Low-Noise Previews of Interactive Stochastic Ray Tracing

Progressive stochastic ray tracing is increasingly used in interactive applications. Examples of such applications are interactive design reviews and digital content creation. This dissertation aims at advancing this development. For one thing, two filtering techniques are presented, which can generate fast and reliable previews of global illumination solutions. For another thing, a system architecture is presented, which supports exchangeable rendering back-ends in distributed rendering systems

Fast and interactive ray-based rendering

This thesis was submitted for the award of Doctor of Philosophy and was awarded by Brunel University LondonDespite their age, ray-based rendering methods are still a very active field of research with many challenges when it comes to interactive visualization. In this thesis, we present our work on Guided High-Quality Rendering, Foveated Ray Tracing for Head Mounted Displays and Hash-based Hierarchical Caching and Layered Filtering. Our system for Guided High-Quality Rendering allows for guiding the sampling rate of ray-based rendering methods by a user-specified Region of Interest (RoI). We propose two interaction methods for setting such an RoI when using a large display system and a desktop display, respectively. This makes it possible to compute images with a heterogeneous sample distribution across the image plane. Using such a non-uniform sample distribution, the rendering performance inside the RoI can be significantly improved in order to judge specific image features. However, a modified scheduling method is required to achieve sufficient performance. To solve this issue, we developed a scheduling method based on sparse matrix compression, which has shown significant improvements in our benchmarks. By filtering the sparsely sampled image appropriately, large brightness variations in areas outside the RoI are avoided and the overall image brightness is similar to the ground truth early in the rendering process. When using ray-based methods in a VR environment on head-mounted display de vices, it is crucial to provide sufficient frame rates in order to reduce motion sickness. This is a challenging task when moving through highly complex environments and the full image has to be rendered for each frame. With our foveated rendering sys tem, we provide a perception-based method for adjusting the sample density to the user’s gaze, measured with an eye tracker integrated into the HMD. In order to avoid disturbances through visual artifacts from low sampling rates, we introduce a reprojection-based rendering pipeline that allows for fast rendering and temporal accumulation of the sparsely placed samples. In our user study, we analyse the im pact our system has on visual quality. We then take a closer look at the recorded eye tracking data in order to determine tracking accuracy and connections between different fixation modes and perceived quality, leading to surprising insights. For previewing global illumination of a scene interactively by allowing for free scene exploration, we present a hash-based caching system. Building upon the concept of linkless octrees, which allow for constant-time queries of spatial data, our frame work is suited for rendering such previews of static scenes. Non-diffuse surfaces are supported by our hybrid reconstruction approach that allows for the visualization of view-dependent effects. In addition to our caching and reconstruction technique, we introduce a novel layered filtering framework, acting as a hybrid method between path space and image space filtering, that allows for the high-quality denoising of non-diffuse materials. Also, being designed as a framework instead of a concrete filtering method, it is possible to adapt most available denoising methods to our layered approach instead of relying only on the filtering of primary hitpoints