733 research outputs found
Fully-automatic inverse tone mapping algorithm based on dynamic mid-level tone mapping
High Dynamic Range (HDR) displays can show images with higher color contrast levels and peak luminosities than the common Low Dynamic Range (LDR) displays. However, most existing video content is recorded and/or graded in LDR format. To show LDR content on HDR displays, it needs to be up-scaled using a so-called inverse tone mapping algorithm. Several techniques for inverse tone mapping have been proposed in the last years, going from simple approaches based on global and local operators to more advanced algorithms such as neural networks. Some of the drawbacks of existing techniques for inverse tone mapping are the need for human intervention, the high computation time for more advanced algorithms, limited low peak brightness, and the lack of the preservation of the artistic intentions. In this paper, we propose a fully-automatic inverse tone mapping operator based on mid-level mapping capable of real-time video processing. Our proposed algorithm allows expanding LDR images into HDR images with peak brightness over 1000 nits, preserving the artistic intentions inherent to the HDR domain. We assessed our results using the full-reference objective quality metrics HDR-VDP-2.2 and DRIM, and carrying out a subjective pair-wise comparison experiment. We compared our results with those obtained with the most recent methods found in the literature. Experimental results demonstrate that our proposed method outperforms the current state-of-the-art of simple inverse tone mapping methods and its performance is similar to other more complex and time-consuming advanced techniques
Recommended from our members
Efficient Debanding Filtering for Inverse Tone Mapped High Dynamic Range Videos
Reverse tone mapping for suboptimal exposure conditions
La mayor parte de las imágenes y videos existentes son de bajo rango dinámico (generalmente denominado LDR por las siglas del término en inglés, low dynamic range). Se denominan así porque, al utilizar sólo 8 bits por canal (R,G,B) para almacenarlas, sólo son capaces de reproducir dos órdenes de magnitud en luminancia (mientras que el sistema visual humano puede percibir hasta cinco órdenes de magnitud simultáneamente). En los últimos años hemos asistido al nacimiento y expansión de las tecnologías de alto rango dinámico (HDR por sus siglas en inglés), que utilizan hasta 32 bits/canal, permitiendo representar más fielmente el mundo que nos rodea. Paulatinamente el HDR se va haciendo más presente en los pipelines de adquisición, procesamiento y visualización de imágenes, y como con el advenimiento de cualquier nueva tecnología que sustituye a una anterior, surgen ciertos problemas de compatibilidad. En particular, el presente trabajo se centra en el problema denominado reverse tone mapping: dado un monitor de alto rango dinámico, cuál es la forma óptima de visualizar en él todo el material ya existente en bajo rango dinámico (imágenes, vídeos...). Lo que hace un operador de reverse tone mapping (rTMO) es tomar la imagen LDR como entrada y ajustar el contraste de forma inteligente para dar una imagen de salida que reproduzca lo más fielmente posible la escena original. Dado que hay información de la escena original que se ha perdido irreversiblemente al tomar la fotografía en LDR, el problema es intrínsecamente ill-posed o mal condicionado. En este trabajo, en primer lugar, se ha realizado una serie de experimentos psicofísicos utilizando un monitor HDR Brightside para evaluar el funcionamiento de los operadores de reverse tone mapping existentes. Los resultados obtenidos muestran que los actuales operadores fallan -o no ofrecen resultados convincentes- cuando las imágenes de entrada no están expuestas correctamente. Los rTMO existentes funcionan bien con imágenes bien expuestas o subexpuestas, pero la calidad percibida se degrada sustancialmente con la sobreexposición, hasta el punto de que en algunos casos los sujetos prefieren las imágenes originales en LDR a imágenes que han sido procesadas con rTMOs. Teniendo esto en cuenta, el segundo paso ha sido diseñar un rTMO para esos casos en los que los algoritmos existentes fallan. Para imágenes de entrada sobreexpuestas, proponemos un rTMO simple basado en una expansión gamma que evita los errores introducidos por otros métodos, así como un método para fijar automáticamente un valor de gamma para cada imagen basado en el key de la imagen y en datos empíricos. En tercer lugar se ha hecho la validación de los resultados, tanto mediante experimentos psicofísicos como utilizando una métrica objetiva de reciente publicación. Por otro lado, se ha realizado también otra serie de experimentos con el monitor HDR que sugieren que los artefactos espaciales introducidos por los operadores de reverse tone mapping son más determinantes de cara a la calidad final percibida por los sujetos que imprecisiones en las intensidades expandidas. Adicionalmente, como subproyecto menor, se ha explorado la posibilidad de abordar el problema desde un enfoque de más alto nivel, incluyendo información semántica y de saliencia. La mayor parte de este trabajo ha sido publicada en un artículo publicado en la revista Transactions on Graphics (índice JCR 2009 2/93 en la categoría de Computer Science, Software Engineering, con un índice de impacto a 5 años de 5.012, el más alto de su categoría). Además, el Transactions on Graphics está considerado como la mejor revista en el campo de informática gráfica. Otra publicación que cubre parte de este trabajo ha sido aceptada en el Congreso Español de Informática Gráfica 2010. Como medida adicional de la relevancia del trabajo aquí presentado, los dos libros existentes hasta la fecha (hasta donde sabemos) escritos por expertos en el campo de HDR dedican varias páginas a tratar el trabajo aquí expuesto (ver [2, 3]). Esta investigación ha sido realizada en colaboración con Roland Fleming, del Max Planck Institute for Biological Cybernetics, y Olga Sorkine, de New York University
SDRTV-to-HDRTV Conversion via Spatial-Temporal Feature Fusion
HDR(High Dynamic Range) video can reproduce realistic scenes more
realistically, with a wider gamut and broader brightness range. HDR video
resources are still scarce, and most videos are still stored in SDR (Standard
Dynamic Range) format. Therefore, SDRTV-to-HDRTV Conversion (SDR video to HDR
video) can significantly enhance the user's video viewing experience. Since the
correlation between adjacent video frames is very high, the method utilizing
the information of multiple frames can improve the quality of the converted
HDRTV. Therefore, we propose a multi-frame fusion neural network
\textbf{DSLNet} for SDRTV to HDRTV conversion. We first propose a dynamic
spatial-temporal feature alignment module \textbf{DMFA}, which can align and
fuse multi-frame. Then a novel spatial-temporal feature modulation module
\textbf{STFM}, STFM extracts spatial-temporal information of adjacent frames
for more accurate feature modulation. Finally, we design a quality enhancement
module \textbf{LKQE} with large kernels, which can enhance the quality of
generated HDR videos. To evaluate the performance of the proposed method, we
construct a corresponding multi-frame dataset using HDR video of the HDR10
standard to conduct a comprehensive evaluation of different methods. The
experimental results show that our method obtains state-of-the-art performance.
The dataset and code will be released.Comment: 8 page
Learning a Practical SDR-to-HDRTV Up-conversion using New Dataset and Degradation Models
In media industry, the demand of SDR-to-HDRTV up-conversion arises when users
possess HDR-WCG (high dynamic range-wide color gamut) TVs while most
off-the-shelf footage is still in SDR (standard dynamic range). The research
community has started tackling this low-level vision task by learning-based
approaches. When applied to real SDR, yet, current methods tend to produce dim
and desaturated result, making nearly no improvement on viewing experience.
Different from other network-oriented methods, we attribute such deficiency to
training set (HDR-SDR pair). Consequently, we propose new HDRTV dataset (dubbed
HDRTV4K) and new HDR-to-SDR degradation models. Then, it's used to train a
luminance-segmented network (LSN) consisting of a global mapping trunk, and two
Transformer branches on bright and dark luminance range. We also update
assessment criteria by tailored metrics and subjective experiment. Finally,
ablation studies are conducted to prove the effectiveness. Our work is
available at: https://github.com/AndreGuo/HDRTVDM.Comment: Accepted by CVPR202
RawHDR: High Dynamic Range Image Reconstruction from a Single Raw Image
High dynamic range (HDR) images capture much more intensity levels than
standard ones. Current methods predominantly generate HDR images from 8-bit low
dynamic range (LDR) sRGB images that have been degraded by the camera
processing pipeline. However, it becomes a formidable task to retrieve
extremely high dynamic range scenes from such limited bit-depth data. Unlike
existing methods, the core idea of this work is to incorporate more informative
Raw sensor data to generate HDR images, aiming to recover scene information in
hard regions (the darkest and brightest areas of an HDR scene). To this end, we
propose a model tailor-made for Raw images, harnessing the unique features of
Raw data to facilitate the Raw-to-HDR mapping. Specifically, we learn exposure
masks to separate the hard and easy regions of a high dynamic scene. Then, we
introduce two important guidances, dual intensity guidance, which guides less
informative channels with more informative ones, and global spatial guidance,
which extrapolates scene specifics over an extended spatial domain. To verify
our Raw-to-HDR approach, we collect a large Raw/HDR paired dataset for both
training and testing. Our empirical evaluations validate the superiority of the
proposed Raw-to-HDR reconstruction model, as well as our newly captured dataset
in the experiments.Comment: ICCV 202
Põhjalik uuring ülisuure dünaamilise ulatusega piltide toonivastendamisest koos subjektiivsete testidega
A high dynamic range (HDR) image has a very wide range of luminance levels that
traditional low dynamic range (LDR) displays cannot visualize. For this reason, HDR
images are usually transformed to 8-bit representations, so that the alpha channel for
each pixel is used as an exponent value, sometimes referred to as exponential notation
[43]. Tone mapping operators (TMOs) are used to transform high dynamic range to
low dynamic range domain by compressing pixels so that traditional LDR display can
visualize them. The purpose of this thesis is to identify and analyse differences and
similarities between the wide range of tone mapping operators that are available in the
literature. Each TMO has been analyzed using subjective studies considering different
conditions, which include environment, luminance, and colour. Also, several inverse
tone mapping operators, HDR mappings with exposure fusion, histogram adjustment,
and retinex have been analysed in this study. 19 different TMOs have been examined
using a variety of HDR images. Mean opinion score (MOS) is calculated on those selected
TMOs by asking the opinion of 25 independent people considering candidates’
age, vision, and colour blindness
- …