A Compressive Multi-Mode Superresolution Display

Compressive displays are an emerging technology exploring the co-design of new optical device configurations and compressive computation. Previously, research has shown how to improve the dynamic range of displays and facilitate high-quality light field or glasses-free 3D image synthesis. In this paper, we introduce a new multi-mode compressive display architecture that supports switching between 3D and high dynamic range (HDR) modes as well as a new super-resolution mode. The proposed hardware consists of readily-available components and is driven by a novel splitting algorithm that computes the pixel states from a target high-resolution image. In effect, the display pixels present a compressed representation of the target image that is perceived as a single, high resolution image.Comment: Technical repor

Text Enhancement in Projected Imagery

There is great interest in improving the visual quality of projectedimagery. In particular, for image enhancement, we would assertthat text and non-text regions should be enhanced differently inseeking to maximize perceived quality, since the spatial and statis-tical characteristics of text and non-text images are quite distinct.In this paper, we present a text enhancement scheme based on anovel local dynamic range statistical thresholding. Given an inputimage, text-like regions are obtained on the basis of computing thelocal statistics of regions having a high dynamic range, allowing apixel-wise classification into text-like or background classes. Theactual enhancement is obtained via class-dependent Wiener filter-ing, with text-like regions sharpened more than the background.Experimental results on four challenging images show that the pro- posed scheme offers a better visual quality than projection with- out enhancement as well as a recent state-of-the-art enhancementmethod

Optimizing Apparent Display Resolution Enhancement for Arbitrary Videos

Display resolution is frequently exceeded by available image resolution. Recently, apparent display resolution enhancement techniques (ADRE) have demonstrated how characteristics of the human visual system can be exploited to provide super-resolution on high refresh rate displays. In this paper we address the problem of generalizing the apparent display resolution enhancement technique to conventional videos of arbitrary content. We propose an optimization-based approach to continuously translate the video frames in such a way that the added motion enables apparent resolution enhancement for the salient image region. The optimization takes the optimal velocity, smoothness and similarity into account to compute an appropriate trajectory. Additionally, we provide an intuitive user interface which allows to guide the algorithm interactively and preserve important compositions within the video. We present a user study evaluating apparent rendering quality and demonstrate versatility of our method on a variety of general test scenes.Aktuelle Kameras sind in der Lage, Videos mit sehr hoher Auflösung aufzunehmen (> 4K Pixel). Monitore, Fernseher und Projektoren haben jedoch meist eine deutlich niedrigere Auflösung (FullHD). Bei der Darstellung hochaufgelöster Videos auf diesen Geräten gehen durch das nötige Herrunterrechnen der Videodaten feine Details verloren, z.B. Haare oder die Pigmentierung von Oberflächenmaterialien. Es wird ein Verfahren präsentiert, welches die Darstellung eines beliebigen Videos mit einer Auflösung ermöglicht, die perzeptuell höher ist als die Auflösung des Ausgabegerätes

Content-Adaptive Non-Stationary Projector Resolution Enhancement

For any projection system, one goal will surely be to maximize the quality of projected imagery at a minimized hardware cost, which is considered a challenging engineering problem. Experience in applying different image filters and enhancements to projected video suggests quite clearly that the quality of a projected enhanced video is very much a function of the content of the video itself. That is, to first order, whether the video contains content which is moving as opposed to still plays an important role in the video quality, since the human visual system tolerates much more blur in moving imagery but at the same time is significantly sensitive to the flickering and aliasing caused by moving sharp textures. Furthermore, the spatial and statistical characteristics of text and non-text images are quite distinct. We would, therefore, assert that the text-like, moving and background pixels of a given video stream should be enhanced differently using class-dependent video enhancement filters to achieve maximum visual quality. In this thesis, we present a novel text-dependent content enhancement scheme, a novel motion-dependent content enhancement scheme and a novel content-adaptive resolution enhancement scheme based on a text-like / non-text-like classification and a pixel-wise moving / non-moving classification, with the actual enhancement obtained via class--dependent Wiener deconvolution filtering. Given an input image, the text and motion detection methods are used to generate binary masks to indicate the location of the text and moving regions in the video stream. Then enhanced images are obtained by applying a plurality of class-dependent enhancement filters, with text-like regions sharpened more than the background and moving regions sharpened less than the background. Later, one or more resulting enhanced images are combined into a composite output image based on the corresponding mask of different features. Finally, a higher resolution projected video stream is conducted by controlling one or more projectors to project the plurality of output frame streams in a rapid overlapping way. Experimental results on the test images and videos show that the proposed schemes all offer improved visual quality over projection without enhancement as well as compared to a recent state-of-the-art enhancement method. Particularly, the proposed content-adaptive resolution enhancement scheme increases the PSNR value by at least 18.2% and decreases MSE value by at least 25%

Blickpunktabhängige Computergraphik

Contemporary digital displays feature multi-million pixels at ever-increasing refresh rates. Reality, on the other hand, provides us with a view of the world that is continuous in space and time. The discrepancy between viewing the physical world and its sampled depiction on digital displays gives rise to perceptual quality degradations. By measuring or estimating where we look, gaze-contingent algorithms aim at exploiting the way we visually perceive to remedy visible artifacts. This dissertation presents a variety of novel gaze-contingent algorithms and respective perceptual studies. Chapter 4 and 5 present methods to boost perceived visual quality of conventional video footage when viewed on commodity monitors or projectors. In Chapter 6 a novel head-mounted display with real-time gaze tracking is described. The device enables a large variety of applications in the context of Virtual Reality and Augmented Reality. Using the gaze-tracking VR headset, a novel gaze-contingent render method is described in Chapter 7. The gaze-aware approach greatly reduces computational efforts for shading virtual worlds. The described methods and studies show that gaze-contingent algorithms are able to improve the quality of displayed images and videos or reduce the computational effort for image generation, while display quality perceived by the user does not change.Moderne digitale Bildschirme ermöglichen immer höhere Auflösungen bei ebenfalls steigenden Bildwiederholraten. Die Realität hingegen ist in Raum und Zeit kontinuierlich. Diese Grundverschiedenheit führt beim Betrachter zu perzeptuellen Unterschieden. Die Verfolgung der Aug-Blickrichtung ermöglicht blickpunktabhängige Darstellungsmethoden, die sichtbare Artefakte verhindern können. Diese Dissertation trägt zu vier Bereichen blickpunktabhängiger und wahrnehmungstreuer Darstellungsmethoden bei. Die Verfahren in Kapitel 4 und 5 haben zum Ziel, die wahrgenommene visuelle Qualität von Videos für den Betrachter zu erhöhen, wobei die Videos auf gewöhnlicher Ausgabehardware wie z.B. einem Fernseher oder Projektor dargestellt werden. Kapitel 6 beschreibt die Entwicklung eines neuartigen Head-mounted Displays mit Unterstützung zur Erfassung der Blickrichtung in Echtzeit. Die Kombination der Funktionen ermöglicht eine Reihe interessanter Anwendungen in Bezug auf Virtuelle Realität (VR) und Erweiterte Realität (AR). Das vierte und abschließende Verfahren in Kapitel 7 dieser Dissertation beschreibt einen neuen Algorithmus, der das entwickelte Eye-Tracking Head-mounted Display zum blickpunktabhängigen Rendern nutzt. Die Qualität des Shadings wird hierbei auf Basis eines Wahrnehmungsmodells für jeden Bildpixel in Echtzeit analysiert und angepasst. Das Verfahren hat das Potenzial den Berechnungsaufwand für das Shading einer virtuellen Szene auf ein Bruchteil zu reduzieren. Die in dieser Dissertation beschriebenen Verfahren und Untersuchungen zeigen, dass blickpunktabhängige Algorithmen die Darstellungsqualität von Bildern und Videos wirksam verbessern können, beziehungsweise sich bei gleichbleibender Bildqualität der Berechnungsaufwand des bildgebenden Verfahrens erheblich verringern lässt

Estudio y mejora de la técnica en representación de información tridimensional y bidimensional sobre display

En esta tesis se abordan diferentes cuestiones relacionadas con el procesamiento digital de imágenes condicionadas a la representación y visualización de las mismas. En primer lugar, se ha estudiado la representación y análisis de la función de light-field sobre displays automultiscópicos. Esto se consigue presentando a cada ojo un conjunto de imágenes similares, pero diferenciables en tanto a la disparidad espacial obtenida en relación a la distancia real de los objetos presentes en la escena. Específicamente, esta parte del trabajo se ha elaborado sobre el concepto de display multicapa, siendo éste, esencialmente, un dispositivo compuesto por múltiples capas en las que es posible representar diferentes imágenes, y cuya superposición permite proyectar direccionalmente información que cumpla los requisitos anteriormente descritos. La contribución en este sentido es la mejora de los algoritmos ya existentes para la síntesis de la función de light-field. Los métodos numéricos comúnmente empleados son muy sensibles al mal condicionamiento del problema, y por tanto, dependen enormemente de la solución inicial del problema. Se analizan diferentes métodos, y se presentan dos alternativas que mejoran los resultados previos sobre el método. como generalización del algoritmo WNMF, en tomografía de la atmósfera. Además se ha estudiado un método que permite mejorar la resolución de las imágenes mostradas por encima del límite que el ancho de banda del dispositivo determina. Esto se ha conseguido aplicando un desenfoque artificial al sistema observado y pre-compensando la imagen representada teniendo en cuenta el diámetro del círculo de confusión. Finalmente, se presenta una técnica basada en la medida y caracterización de un display con microlentes para mejorar la percepción de un observador no emétrope

Estudio y Mejora de la Técnica en Representación de Información Tridimensional y Bidimensional sobre display.

La representación de imagen en displays ostenta en la actualidad una posición privilegiada en la literatura científica. Esto es debido primordialmente al interés comercial que estos sistemas despiertan y su aplicación a diferentes soportes, como son la realidad virtual o los terminales móviles. La obtención de métodos que permitan superar las barreras técnicas de los sistemas de visualización potencialmente puede reducir los costes de manufactura de estos, resultando crucial su investigación. Por tanto, en esta tesis se abordan diferentes cuestiones relacionadas con el procesamiento digital de imágenes condicionadas a la representación y visualización de las mismas. En primer lugar, se ha estudiado la representación y análisis de la función de light-field sobre displays automultiscópicos, esto es, sistemas de visualización capaces de ofrecer a un observador la sensación de profundidad sin necesidad de medios externos como son, por ejemplo, las gafas. Esto se consigue presentando a cada ojo un conjunto de imágenes similares, pero diferenciables en tanto a la disparidad espacial obtenida en relación a la distancia real de los objetos presentes en la escena. Específicamente, esta parte del trabajo se ha elaborado sobre el concepto de display multicapa, siendo éste, esencialmente, un dispositivo compuesto por múltiples capas en las que es posible representar diferentes imágenes, y cuya superposición permite proyectar direccionalmente información que cumpla los requisitos anteriormente descritos. La contribución en este sentido es la mejora de los algoritmos ya existentes para la síntesis de la función de light-field. Los métodos numéricos comúnmente empleados son muy sensibles al mal condicionamiento del problema, y por tanto, dependen enormemente de la solución inicial del problema. Se analizan diferentes métodos, y se presentan dos alternativas que mejoran los resultados previos sobre el método weighted non-negative matrix factorization (WNMF). Finalmente se ha elaborado un modelo funcional del dispositivo compuesto por tres capas. De forma paralela, se ha estudiado la viabilidad de este tipo de sistemas con el objetivo de discriminar observadores, esto es, evitar que el contenido representado pueda ser percibido en ciertas direcciones. Asimismo, se ha propuesto una metodología que permite optimizar el modelo, reduciendo enormemente los requisitos físicos del dispositivo y mejorando la calidad de las imágenes representadas, tanto para los observadores autorizados como para los que no. La representación de imagen tridimensional y los métodos empleados en el transcurso de este trabajo pueden ser entendidos como una tomografía de ángulo limitado. Es por ello que, de forma alternativa, se ha aplicado el weighted non-negative tensor factorization (WNTF), como generalización del algoritmo WNMF, en tomografía de la atmósfera en contraparte a otros métodos más tradicionales como el randomized Kaczmarz. Asimismo, en esta tesis, y en la línea de displays tradicionales, se ha propuesto y estudiado un método que permite mejorar la resolución de las imágenes mostradas por encima del límite que el ancho de banda del dispositivo determina. Esto se ha conseguido aplicando un desenfoque artificial al sistema observado y pre-compensando la imagen representada teniendo en cuenta el diámetro del círculo de confusión. Su aplicación fue demostrada a nivel experimental tanto en un sistema de realidad virtual, como en un proyector comercial. Finalmente, se presenta una técnica basada en la medida y caracterización de un display con microlentes para mejorar la percepción de un observador no emétrope. Esto consiste en evaluar la respuesta al impulso generada por cada uno de los píxeles del sistema, para posteriormente ser almacenada y empleada para pre-compensar la imagen mostrada. Se realizaron tanto pruebas en simulación, como a nivel experimental donde se demuestra la viabilidad de la técnica. Asimismo, se evalúa este método con el fin de introducir enfoque variable sobre la misma pantalla