36 research outputs found
Towards a filmic look and feel in real time computer graphics
Film footage has a distinct look and feel that audience can instantly recognize, making its replication desirable for computer generated graphics. This thesis presents methods capable of replicating significant portions of the film look and feel while being able to fit within the constraints imposed by real-time computer generated graphics on consumer hardware
Propuesta de arquitectura y circuitos para la mejora del rango dinámico de sistemas de visión en un chip diseñados en tecnologías CMOS profundamente submicrométrica
El trabajo presentado en esta tesis trata de proponer nuevas técnicas para la expansión
del rango dinámico en sensores electrónicos de imagen. En este caso, hemos dirigido nuestros
estudios hacia la posibilidad de proveer dicha funcionalidad en un solo chip. Esto es, sin
necesitar ningún soporte externo de hardware o software, formando un tipo de sistema
denominado Sistema de Visión en un Chip (VSoC). El rango dinámico de los sensores
electrónicos de imagen se define como el cociente entre la máxima y la mínima iluminación
medible. Para mejorar este factor surgen dos opciones. La primera, reducir la mínima luz
medible mediante la disminución del ruido en el sensor de imagen. La segunda, incrementar la
máxima luz medible mediante la extensión del límite de saturación del sensor.
Cronológicamente, nuestra primera opción para mejorar el rango dinámico se basó en
reducir el ruido. Varias opciones se pueden tomar para mejorar la figura de mérito de ruido del
sistema: reducir el ruido usando una tecnología CIS o usar circuitos dedicados, tales como
calibración o auto cero. Sin embargo, el uso de técnicas de circuitos implica limitaciones, las
cuales sólo pueden ser resueltas mediante el uso de tecnologías no estándar que están
especialmente diseñadas para este propósito. La tecnología CIS utilizada está dirigida a la
mejora de la calidad y las posibilidades del proceso de fotosensado, tales como sensibilidad,
ruido, permitir imagen a color, etcétera. Para estudiar las características de la tecnología en más
detalle, se diseñó un chip de test, lo cual permite extraer las mejores opciones para futuros
píxeles. No obstante, a pesar de un satisfactorio comportamiento general, las medidas referentes
al rango dinámico indicaron que la mejora de este mediante sólo tecnología CIS es muy
limitada. Es decir, la mejora de la corriente oscura del sensor no es suficiente para nuestro
propósito. Para una mayor mejora del rango dinámico se deben incluir circuitos dentro del píxel.
No obstante, las tecnologías CIS usualmente no permiten nada más que transistores NMOS al
lado del fotosensor, lo cual implica una seria restricción en el circuito a usar. Como resultado, el
diseño de un sensor de imagen con mejora del rango dinámico en tecnologías CIS fue
desestimado en favor del uso de una tecnología estándar, la cual da más flexibilidad al diseño
del píxel.
En tecnologías estándar, es posible introducir una alta funcionalidad usando circuitos
dentro del píxel, lo cual permite técnicas avanzadas para extender el límite de saturación de los
sensores de imagen. Para este objetivo surgen dos opciones: adquisición lineal o compresiva. Si
se realiza una adquisición lineal, se generarán una gran cantidad de datos por cada píxel. Como
ejemplo, si el rango dinámico de la escena es de 120dB al menos se necesitarían 20-bits/píxel,
log2(10120/20)=19.93, para la representación binaria de este rango dinámico. Esto necesitaría de
amplios recursos para procesar esta gran cantidad de datos, y un gran ancho de banda para
moverlos al circuito de procesamiento. Para evitar estos problemas, los sensores de imagen de
alto rango dinámico usualmente optan por utilizar una adquisición compresiva de la luz. Por lo
tanto, esto implica dos tareas a realizar: la captura y la compresión de la imagen. La captura de
la imagen se realiza a nivel de píxel, en el dispositivo fotosensor, mientras que la compresión de
la imagen puede ser realizada a nivel de píxel, de sistema, o mediante postprocesado externo.
Usando el postprocesado, existe un campo de investigación que estudia la compresión de
escenas de alto rango dinámico mientras se mantienen los detalles, produciendo un resultado
apropiado para la percepción humana en monitores convencionales de bajo rango dinámico.
Esto se denomina Mapeo de Tonos (Tone Mapping) y usualmente emplea solo 8-bits/píxel para
las representaciones de imágenes, ya que éste es el estándar para las imágenes de bajo rango
dinámico.
Los píxeles de adquisición compresiva, por su parte, realizan una compresión que no es
dependiente de la escena de alto rango dinámico a capturar, lo cual implica una baja compresión
o pérdida de detalles y contraste. Para evitar estas desventajas, en este trabajo, se presenta un
píxel de adquisición compresiva que aplica una técnica de mapeo de tonos que permite la
captura de imágenes ya comprimidas de una forma optimizada para mantener los detalles y el
contraste, produciendo una cantidad muy reducida de datos. Las técnicas de mapeo de tonos
ejecutan normalmente postprocesamiento mediante software en un ordenador sobre imágenes
capturadas sin compresión, las cuales contienen una gran cantidad de datos. Estas técnicas han
pertenecido tradicionalmente al campo de los gráficos por ordenador debido a la gran cantidad
de esfuerzo computacional que requieren. Sin embargo, hemos desarrollado un nuevo algoritmo
de mapeo de tonos especialmente adaptado para aprovechar los circuitos dentro del píxel y que
requiere un reducido esfuerzo de computación fuera de la matriz de píxeles, lo cual permite el
desarrollo de un sistema de visión en un solo chip. El nuevo algoritmo de mapeo de tonos, el
cual es un concepto matemático que puede ser simulado mediante software, se ha implementado
también en un chip. Sin embargo, para esta implementación hardware en un chip son necesarias
algunas adaptaciones y técnicas avanzadas de diseño, que constituyen en sí mismas otra de las
contribuciones de este trabajo. Más aún, debido a la nueva funcionalidad, se han desarrollado
modificaciones de los típicos métodos a usar para la caracterización y captura de imágenes
GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild
Most in-the-wild images are stored in Low Dynamic Range (LDR) form, servingas a partial observation of the High Dynamic Range (HDR) visual world. Despitelimited dynamic range, these LDR images are often captured with differentexposures, implicitly containing information about the underlying HDR imagedistribution. Inspired by this intuition, in this work we present, to the bestof our knowledge, the first method for learning a generative model of HDRimages from in-the-wild LDR image collections in a fully unsupervised manner.The key idea is to train a generative adversarial network (GAN) to generate HDRimages which, when projected to LDR under various exposures, areindistinguishable from real LDR images. The projection from HDR to LDR isachieved via a camera model that captures the stochasticity in exposure andcamera response function. Experiments show that our method GlowGAN cansynthesize photorealistic HDR images in many challenging cases such aslandscapes, lightning, or windows, where previous supervised generative modelsproduce overexposed images. We further demonstrate the new application ofunsupervised inverse tone mapping (ITM) enabled by GlowGAN. Our ITM method doesnot need HDR images or paired multi-exposure images for training, yet itreconstructs more plausible information for overexposed regions thanstate-of-the-art supervised learning models trained on such data.<br
GlowGAN: Unsupervised Learning of HDR Images from LDR Images in the Wild
Most in-the-wild images are stored in Low Dynamic Range (LDR) form, serving
as a partial observation of the High Dynamic Range (HDR) visual world. Despite
limited dynamic range, these LDR images are often captured with different
exposures, implicitly containing information about the underlying HDR image
distribution. Inspired by this intuition, in this work we present, to the best
of our knowledge, the first method for learning a generative model of HDR
images from in-the-wild LDR image collections in a fully unsupervised manner.
The key idea is to train a generative adversarial network (GAN) to generate HDR
images which, when projected to LDR under various exposures, are
indistinguishable from real LDR images. The projection from HDR to LDR is
achieved via a camera model that captures the stochasticity in exposure and
camera response function. Experiments show that our method GlowGAN can
synthesize photorealistic HDR images in many challenging cases such as
landscapes, lightning, or windows, where previous supervised generative models
produce overexposed images. We further demonstrate the new application of
unsupervised inverse tone mapping (ITM) enabled by GlowGAN. Our ITM method does
not need HDR images or paired multi-exposure images for training, yet it
reconstructs more plausible information for overexposed regions than
state-of-the-art supervised learning models trained on such data
Interactive mixed reality rendering in a distributed ray tracing framework
The recent availability of interactive ray tracing opened the way for new applications and for improving existing ones in terms of quality. Since today CPUs are still too slow for this purpose, the necessary computing power is obtained by connecting a number of machines and using distributed algorithms. Mixed reality rendering - the realm of convincingly combining real and virtual parts to a new composite scene - needs a powerful rendering method to obtain a photorealistic result. The ray tracing algorithm thus provides an excellent basis for photorealistic rendering and also advantages over other methods. It is worth to explore its abilities for interactive mixed reality rendering. This thesis shows the applicability of interactive ray tracing for mixed (MR) and augmented reality (AR) applications on the basis of the OpenRT framework. Two extensions to the OpenRT system are introduced and serve as basic building blocks: streaming video textures and in-shader AR view compositing. Streaming video textures allow for inclusion of the real world into interactive applications in terms of imagery. The AR view compositing mechanism is needed to fully exploit the advantages of modular shading in a ray tracer. A number of example applications from the entire spectrum of the Milgram Reality-Virtuality continuum illustrate the practical implications. An implementation of a classic AR scenario, inserting a virtual object into live video, shows how a differential rendering method can be used in combination with a custom build real-time lightprobe device to capture the incident light and include it into the rendering process to achieve convincing shading and shadows. Another field of mixed reality rendering is the insertion of real actors into a virtual scene in real-time. Two methods - video billboards and a live 3D visual hull reconstruction - are discussed. The implementation of live mixed reality systems is based on a number of technologies beside rendering and a comprehensive understanding of related methods and hardware is necessary. Large parts of this thesis hence deal with the discussion of technical implementations and design alternatives. A final summary discusses the benefits and drawbacks of interactive ray tracing for mixed reality rendering.Die Verfügbarkeit von interaktivem Ray-Tracing ebnet den Weg für neue Anwendungen, aber auch für die Verbesserung der Qualität bestehener Methoden. Da die heute verfügbaren CPUs noch zu langsam sind, ist es notwendig, mehrere Maschinen zu verbinden und verteilte Algorithmen zu verwenden. Mixed Reality Rendering - die Technik der überzeugenden Kombination von realen und synthetischen Teilen zu einer neuen Szene - braucht eine leistungsfähige Rendering-Methode um photorealistische Ergebnisse zu erzielen. Der Ray-Tracing-Algorithmus bietet hierfür eine exzellente Basis, aber auch Vorteile gegenüber anderen Methoden. Es ist naheliegend, die Möglichkeiten von Ray-Tracing für Mixed-Reality-Anwendungen zu erforschen. Diese Arbeit zeigt die Anwendbarkeit von interaktivem Ray-Tracing für Mixed-Reality (MR) und Augmented-Reality (AR) Anwendungen anhand des OpenRT-Systems. Zwei Erweiterungen dienen als Grundbausteine: Videotexturen und In-Shader AR View Compositing. Videotexturen erlauben die reale Welt in Form von Bildern in den Rendering-Prozess mit einzubeziehen. Der View-Compositing-Mechanismus is notwendig um die Modularität einen Ray-Tracers voll auszunutzen. Eine Reihe von Beispielanwendungen von beiden Enden des Milgramschen Reality-Virtuality-Kontinuums verdeutlichen die praktischen Aspekte. Eine Implementierung des klassischen AR-Szenarios, das Einfügen eines virtuellen Objektes in eine Live-Übertragung zeigt, wie mittels einer Differential Rendering Methode und einem selbstgebauten Gerät zur Erfassung des einfallenden Lichts realistische Beleuchtung und Schatten erzielt werden können. Ein anderer Anwendungsbereich ist das Einfügen einer realen Person in eine künstliche Szene. Hierzu werden zwei Methoden besprochen: Video-Billboards und eine interaktive 3D Rekonstruktion. Da die Implementierung von Mixed-Reality-Anwendungen Kentnisse und Verständnis einer ganzen Reihe von Technologien nebem dem eigentlichen Rendering voraus setzt, ist eine Diskussion der technischen Grundlagen ein wesentlicher Bestandteil dieser Arbeit. Dies ist notwenig, um die Entscheidungen für bestimmte Designalternativen zu verstehen. Den Abschluss bildet eine Diskussion der Vor- und Nachteile von interaktivem Ray-Tracing für Mixed Reality Anwendungen
Interactive mixed reality rendering in a distributed ray tracing framework
The recent availability of interactive ray tracing opened the way for new applications and for improving existing ones in terms of quality. Since today CPUs are still too slow for this purpose, the necessary computing power is obtained by connecting a number of machines and using distributed algorithms. Mixed reality rendering - the realm of convincingly combining real and virtual parts to a new composite scene - needs a powerful rendering method to obtain a photorealistic result. The ray tracing algorithm thus provides an excellent basis for photorealistic rendering and also advantages over other methods. It is worth to explore its abilities for interactive mixed reality rendering. This thesis shows the applicability of interactive ray tracing for mixed (MR) and augmented reality (AR) applications on the basis of the OpenRT framework. Two extensions to the OpenRT system are introduced and serve as basic building blocks: streaming video textures and in-shader AR view compositing. Streaming video textures allow for inclusion of the real world into interactive applications in terms of imagery. The AR view compositing mechanism is needed to fully exploit the advantages of modular shading in a ray tracer. A number of example applications from the entire spectrum of the Milgram Reality-Virtuality continuum illustrate the practical implications. An implementation of a classic AR scenario, inserting a virtual object into live video, shows how a differential rendering method can be used in combination with a custom build real-time lightprobe device to capture the incident light and include it into the rendering process to achieve convincing shading and shadows. Another field of mixed reality rendering is the insertion of real actors into a virtual scene in real-time. Two methods - video billboards and a live 3D visual hull reconstruction - are discussed. The implementation of live mixed reality systems is based on a number of technologies beside rendering and a comprehensive understanding of related methods and hardware is necessary. Large parts of this thesis hence deal with the discussion of technical implementations and design alternatives. A final summary discusses the benefits and drawbacks of interactive ray tracing for mixed reality rendering.Die Verfügbarkeit von interaktivem Ray-Tracing ebnet den Weg für neue Anwendungen, aber auch für die Verbesserung der Qualität bestehener Methoden. Da die heute verfügbaren CPUs noch zu langsam sind, ist es notwendig, mehrere Maschinen zu verbinden und verteilte Algorithmen zu verwenden. Mixed Reality Rendering - die Technik der überzeugenden Kombination von realen und synthetischen Teilen zu einer neuen Szene - braucht eine leistungsfähige Rendering-Methode um photorealistische Ergebnisse zu erzielen. Der Ray-Tracing-Algorithmus bietet hierfür eine exzellente Basis, aber auch Vorteile gegenüber anderen Methoden. Es ist naheliegend, die Möglichkeiten von Ray-Tracing für Mixed-Reality-Anwendungen zu erforschen. Diese Arbeit zeigt die Anwendbarkeit von interaktivem Ray-Tracing für Mixed-Reality (MR) und Augmented-Reality (AR) Anwendungen anhand des OpenRT-Systems. Zwei Erweiterungen dienen als Grundbausteine: Videotexturen und In-Shader AR View Compositing. Videotexturen erlauben die reale Welt in Form von Bildern in den Rendering-Prozess mit einzubeziehen. Der View-Compositing-Mechanismus is notwendig um die Modularität einen Ray-Tracers voll auszunutzen. Eine Reihe von Beispielanwendungen von beiden Enden des Milgramschen Reality-Virtuality-Kontinuums verdeutlichen die praktischen Aspekte. Eine Implementierung des klassischen AR-Szenarios, das Einfügen eines virtuellen Objektes in eine Live-Übertragung zeigt, wie mittels einer Differential Rendering Methode und einem selbstgebauten Gerät zur Erfassung des einfallenden Lichts realistische Beleuchtung und Schatten erzielt werden können. Ein anderer Anwendungsbereich ist das Einfügen einer realen Person in eine künstliche Szene. Hierzu werden zwei Methoden besprochen: Video-Billboards und eine interaktive 3D Rekonstruktion. Da die Implementierung von Mixed-Reality-Anwendungen Kentnisse und Verständnis einer ganzen Reihe von Technologien nebem dem eigentlichen Rendering voraus setzt, ist eine Diskussion der technischen Grundlagen ein wesentlicher Bestandteil dieser Arbeit. Dies ist notwenig, um die Entscheidungen für bestimmte Designalternativen zu verstehen. Den Abschluss bildet eine Diskussion der Vor- und Nachteile von interaktivem Ray-Tracing für Mixed Reality Anwendungen
Dynamic Mesh-Aware Radiance Fields
Embedding polygonal mesh assets within photorealistic Neural Radience Fields
(NeRF) volumes, such that they can be rendered and their dynamics simulated in
a physically consistent manner with the NeRF, is under-explored from the system
perspective of integrating NeRF into the traditional graphics pipeline. This
paper designs a two-way coupling between mesh and NeRF during rendering and
simulation. We first review the light transport equations for both mesh and
NeRF, then distill them into an efficient algorithm for updating radiance and
throughput along a cast ray with an arbitrary number of bounces. To resolve the
discrepancy between the linear color space that the path tracer assumes and the
sRGB color space that standard NeRF uses, we train NeRF with High Dynamic Range
(HDR) images. We also present a strategy to estimate light sources and cast
shadows on the NeRF. Finally, we consider how the hybrid surface-volumetric
formulation can be efficiently integrated with a high-performance physics
simulator that supports cloth, rigid and soft bodies. The full rendering and
simulation system can be run on a GPU at interactive rates. We show that a
hybrid system approach outperforms alternatives in visual realism for mesh
insertion, because it allows realistic light transport from volumetric NeRF
media onto surfaces, which affects the appearance of reflective/refractive
surfaces and illumination of diffuse surfaces informed by the dynamic scene.Comment: ICCV 202
Photorealistic physically based render engines: a comparative study
Pérez Roig, F. (2012). Photorealistic physically based render engines: a comparative study. http://hdl.handle.net/10251/14797.Archivo delegad