Super Resolution of Wavelet-Encoded Images and Videos

In this dissertation, we address the multiframe super resolution reconstruction problem for wavelet-encoded images and videos. The goal of multiframe super resolution is to obtain one or more high resolution images by fusing a sequence of degraded or aliased low resolution images of the same scene. Since the low resolution images may be unaligned, a registration step is required before super resolution reconstruction. Therefore, we first explore in-band (i.e. in the wavelet-domain) image registration; then, investigate super resolution. Our motivation for analyzing the image registration and super resolution problems in the wavelet domain is the growing trend in wavelet-encoded imaging, and wavelet-encoding for image/video compression. Due to drawbacks of widely used discrete cosine transform in image and video compression, a considerable amount of literature is devoted to wavelet-based methods. However, since wavelets are shift-variant, existing methods cannot utilize wavelet subbands efficiently. In order to overcome this drawback, we establish and explore the direct relationship between the subbands under a translational shift, for image registration and super resolution. We then employ our devised in-band methodology, in a motion compensated video compression framework, to demonstrate the effective usage of wavelet subbands. Super resolution can also be used as a post-processing step in video compression in order to decrease the size of the video files to be compressed, with downsampling added as a pre-processing step. Therefore, we present a video compression scheme that utilizes super resolution to reconstruct the high frequency information lost during downsampling. In addition, super resolution is a crucial post-processing step for satellite imagery, due to the fact that it is hard to update imaging devices after a satellite is launched. Thus, we also demonstrate the usage of our devised methods in enhancing resolution of pansharpened multispectral images

JTEC panel on display technologies in Japan

This report is one in a series of reports that describes research and development efforts in Japan in the area of display technologies. The following are included in this report: flat panel displays (technical findings, liquid crystal display development and production, large flat panel displays (FPD's), electroluminescent displays and plasma panels, infrastructure in Japan's FPD industry, market and projected sales, and new a-Si active matrix liquid crystal display (AMLCD) factory); materials for flat panel displays (liquid crystal materials, and light-emissive display materials); manufacturing and infrastructure of active matrix liquid crystal displays (manufacturing logistics and equipment); passive matrix liquid crystal displays (LCD basics, twisted nematics LCD's, supertwisted nematic LCD's, ferroelectric LCD's, and a comparison of passive matrix LCD technology); active matrix technology (basic active matrix technology, investment environment, amorphous silicon, polysilicon, and commercial products and prototypes); and projection displays (comparison of Japanese and U.S. display research, and technical evaluation of work)

Imaging White Blood Cells using a Snapshot Hyper-Spectral Imaging System

Automated white blood cell (WBC) counting systems process an extracted whole blood sample and provide a cell count. A step that would not be ideal for onsite screening of individuals in triage or at a security gate. Snapshot Hyper-Spectral imaging systems are capable of capturing several spectral bands simultaneously, offering co-registered images of a target. With appropriate optics, these systems are potentially able to image blood cells in vivo as they flow through a vessel, eliminating the need for a blood draw and sample staining. Our group has evaluated the capability of a commercial Snapshot Hyper-Spectral imaging system, specifically the Arrow system from Rebellion Photonics, in differentiating between white and red blood cells on unstained and sealed blood smear slides. We evaluated the imaging capabilities of this hyperspectral camera as a platform to build an automated blood cell counting system. Hyperspectral data consisting of 25, 443x313 hyperspectral bands with ~3nm spacing were captured over the range of 419 to 494nm. Open-source hyperspectral datacube analysis tools, used primarily in Geographic Information Systems (GIS) applications, indicate that white blood cells\u27 features are most prominent in the 428-442nm band for blood samples viewed under 20x and 50x magnification over a varying range of illumination intensities. The system has shown to successfully segment blood cells based on their spectral-spatial information. These images could potentially be used in subsequent automated white blood cell segmentation and counting algorithms for performing in vivo white blood cell counting

Interpolation algorithms with image structure preservation

Predmet istraživanja ove doktorske disertacije je problem interpolacije slike. Glavni fokus disertacije je interpolacija slike uz očuvanje prirodnosti teksture i očuvanje ivica (oštrine) interpolirane slike. Dodatni izazov je da algoritam za interpolaciju slike bude pogodan za primenu u uređajima sa ograničenim resursima. Kvalitet rešenja se ocenjuje poređenjem sa algoritmima poznatim u dostupnoj literaturi korišćenjem odgovarajućih metrika.This PhD dissertation addresses the problem of image interpolation. The main focus of the dissertation is image interpolation algorithm which preserves edges and keeps a natural texture of interpolated images. Additional challenge for image interpolation algorithm is to be suitable for application on resourcelimited platforms. The quality of the proposed solution is benchmarked against known image interpolation algorithms using appropriate metrics

Perception of Color Break-Up

Hintergrund. Ein farbverfälschender Bildfehler namens Color Break-Up (CBU) wurde untersucht. Störende CBU-Effekte treten auf, wenn Augenbewegungen (z.B. Folgebewegungen oder Sakkaden) während der Content-Wiedergabe über sogenannte Field-Sequential Color (FSC) Displays oder Projektoren ausgeführt werden. Die Ursache für das Auftreten des CBU-Effektes ist die sequenzielle Anzeige der Primärfarben über das FSC-System. Methoden. Ein kombiniertes Design aus empirischer Forschung und theoretischer Modellierung wurde angewendet. Mittels empirischer Studien wurde der Einfluss von hardware-, content- und betrachterbasierten Faktoren auf die CBU-Wahrnehmung der Stichprobe untersucht. Hierzu wurden zunächst Sehleistung (u. a. Farbsehen), Kurzzeitzustand (u. a. Aufmerksamkeit) und Persönlichkeitsmerkmale (u. a. Technikaffinität) der Stichprobe erfasst. Anschließend wurden die Teilnehmenden gebeten, die wahrgenommene CBU-Intensität verschiedener Videosequenzen zu bewerten. Die Sequenzen wurden mit einem FSC-Projektor wiedergegeben. Das verwendete Setup ermöglichte die Untersuchung folgender Variablen: die Größe (1.0 bis 6.0°) und Leuchtdichte (10.0 bis 157.0 cd/m2) des CBU-provozierenden Contents, das Augenbewegungsmuster des Teilnehmenden (Geschwindigkeit der Folgebewegung: 18.0 bis 54.0 °/s; Amplitude der Sakkade: 3.6 bis 28.2°), die Position der Netzhautstimulation (0.0 bis 50.0°) und die Bildrate des Projektors (30.0 bis 420.0 Hz). Korrelationen zwischen den unabhängigen Variablen und der subjektiven CBU-Wahrnehmung wurden getestet. Das ergänzend entwickelte Modell prognostiziert die CBU-Wahrnehmung eines Betrachters auf theoretische Weise. Das Modell rekonstruiert die Intensitäts- und Farbeigenschaften von CBU-Effekten zunächst grafisch. Anschließend wird die visuelle CBU-Rekonstruktion zu repräsentativen Modellindizes komprimiert, um das modellierte Szenario mit einem handhabbaren Satz von Metriken zu quantifizieren. Die Modellergebnisse wurden abschließend mit den empirischen Daten verglichen. Ergebnisse. Die hohe interindividuelle CBU-Variabilität innerhalb der Stichprobe lässt sich nicht durch die Sehleistung, den Kurzzeitzustand oder die Persönlichkeitsmerkmale eines Teilnehmenden erklären. Eindeutig verstärkende Bedingungen der CBU-Wahrnehmung sind: (1) eine foveale Position des CBU-Stimulus, (2) eine reduzierte Stimulusgröße während Sakkaden, (3) eine hohe Bewegungsgeschwindigkeit des Auges und (4) eine niedrige Bildrate des Projektors (Korrelation durch Exponentialfunktion beschreibbar, r2 > .93). Die Leuchtdichte des Stimulus wirkt sich nur geringfügig auf die CBU-Wahrnehmung aus. Generell hilft das Modell, die grundlegenden Prozesse der CBU-Genese zu verstehen, den Einfluss von CBU-Determinanten zu untersuchen und ein Klassifizierungsschema für verschiedene CBU-Varianten zu erstellen. Das Modell prognostiziert die empirischen Daten innerhalb der angegebenen Toleranzbereiche. Schlussfolgerungen. Die Studienergebnisse ermöglichen die Festlegung von Bildraten und Eigenschaften des CBU-provozierenden Content (Größe und Position), die das Überschreiten vordefinierter, störender CBU-Grenzwerte vermeiden. Die abgeleiteten Hardwareanforderungen und Content-Empfehlungen ermöglichen ein praxisnahes und evidenzbasiertes CBU-Management. Für die Vorhersage von CBU kann die Modellgenauigkeit weiter verbessert werden, indem Merkmale der menschlichen Wahrnehmung berücksichtigt werden, z.B. die exzentrizitätsabhängige Netzhautempfindlichkeit oder Änderungen der visuellen Wahrnehmung bei unterschiedlichen Arten von Augenbewegungen. Zur Modellierung dieser Merkmale können teilnehmerbezogene Daten der empirischen Forschung herangezogen werden.Background. A color-distorting artifact called Color Break-Up (CBU) has been investigated. Disturbing CBU effects occur when eye movements (e.g., pursuits or saccades) are performed during the presentation of content on Field-Sequential Color (FSC) display or projection systems where the primary colors are displayed sequentially rather than simultaneously. Methods. A mixed design of empirical research and theoretical modeling was used to address the main research questions. Conducted studies evaluated the impact of hardware-based, content-based, and viewer-based factors on the sample’s CBU perception. In a first step, visual performance parameters (e.g., color vision), short-term state (e.g., attention level), and long-term personality traits (e.g., affinity to technology) of the sample were recorded. Participants were then asked to rate the perceived CBU intensity for different video sequences presented by a FSC-based projector. The applied setup allowed the size of the CBU-provoking content (1.0 to 6.0°), its luminance level (10.0 to 157.0 cd/m2), the participant’s eye movement pattern (pursuits: 18.0 to 54.0 deg/s; saccadic amplitudes: 3.6 to 28.2°), the position of retinal stimulation (0.0 to 50.0°), and the projector’s frame rate (30.0 to 420.0 Hz) to be varied. Correlations between independent variables and subjective CBU perception were tested. In contrast, the developed model predicts a viewer’s CBU perception on an objective basis. The model graphically reconstructs the intensity and color characteristics of CBU effects. The visual CBU reconstruction is then compressed into representative model indices to quantify the modeled scenario with a manageable set of metrics. Finally, the model output was compared to the empirical data. Results. High interindividual CBU variability within the sample cannot be explained by a participant’s visual performance, short-term state or long-term personality traits. Conditions that distinctly elevate the participant’s CBU perception are (1) a foveal stimulus position on the retina, (2) a small-sized stimulus during saccades, (3) a high eye movement velocity, and (4) a low frame rate of the projector (correlation expressed by exponential function, r2 > .93). The stimulus luminance, however, only slightly affects CBU perception. In general, the model helps to understand the fundamental processes of CBU genesis, to investigate the impact of CBU determinants, and to establish a classification scheme for different CBU variants. The model adequately predicts the empirical data within the specified tolerance ranges. Conclusions. The study results allow the determination of frame rates and content characteristics (size and position) that avoid exceeding predefined annoyance thresholds for CBU perception. The derived hardware requirements and content recommendations enable practical and evidence-based CBU management. For CBU prediction, model accuracy can be further improved by considering features of human perception, e.g., eccentricity-dependent retinal sensitivity or changes in visual perception with different types of eye movements. Participant-based data from the empirical research can be used to model these features

Gravitational Microlensing toward the Andromeda Galaxy

Aktuelle Forschungsergebnisse deuten darauf hin, dass das Universum insgesamt aus 72% Dunkler Energie, 23% nichtbaryonischer Materie und 4.5% baryonischer Materie besteht. Von dieser baryonischen Materie kann bisher nur ein neuntel sicher zugeordnet werden. Ferner laesst sich aus der Rotation von Spiralgalaxien ableiten, dass diese grosse Mengen an Dunkler Materie enthalten, die sich rein durch ihren gravitativen Einfluss auf sichtbare Objekte im Bulge und in der Scheibe der Galaxie zeigt. Dabei wird angenommen dass Bulge und Scheibe in den sog. dunklen Halo eingebettet sind, der diese unsichtbare Materie beinhaltet. Eine grundlegende Frage ist daher aus welcher Art die dunkle Materie im Halo von Spiralgalaxien besteht. Moegliche Kandidaten fuer solche Dunkle Materie sind neben schwach wechselwirkenden massiven Teilchen (WIMPs - Weakly Interacting Massive Particles) auch kompakte dunkle Objekte im Halo von Galaxien (Machos - MAssive Compact Halo Objects). Die vorliegende Doktorarbeit beschreibt die Suche nach solchen Machos im Halo unserer Nachbargalaxie Andromeda (M31). Im Falle von kompakten Objekten mit Massen im Bereich von einem milliardstel bis zum zehntausendfachen einer Sonnenmasse ermoeglicht der sogenannte Gravitationslinseneffekt deren direkten Nachweis. Dabei beeinflusst die gravitative Wirkung eines kompakten Objekts die Lichtstrahlen von im Hintergrund liegenden Sternen derart, dass das Licht durch die Relativbewegung kurzzeitig fokussiert und verstaerkt wird. Jedoch ist die Wahrscheinlichkeit, dass ein Stern eine messbare Verstaerkung aufweist, weniger als 1 : 1000000. Durch Messungen von Millionen von Sternen konnten derartige charakteristische Lichtkurven im letzten Jahrzehnt sehr zahlreich in Richtung zum Zentrum unserer Milchstrasse nachgewiesen werden. Eine noch groessere Herausforderung stellt der Nachweis von Machos in der hundertmal weiter entfernten Andromeda-Galaxie (M31) dar. Zwar erreicht uns von einzelnen Sternen von dort im Vergleich zum Milchstrassenzentrum nur ein zehntausendstel an Strahlung, jedoch lassen sich mit einer einzigen Aufnahme Millionen von Sternen gleichzeitig auf Helligkeitsaenderungen ueberpruefen. Da die Sichtlinie zum Zentrum von M31 die Halos der Milchstrasse und von M31 durchdringt, gestattet dies Rueckschluesse auf den Anteil der Machos in beiden Galaxien. Wegen der deutlich groesseren Entfernung und der damit verbundenen geringeren scheinbaren Helligkeit der Hintergrundobjekte sind die Anforderungen an die Datenanalyse ungleich hoeher. In der vorliegenden Doktorarbeit wurden daher neue Methoden entwickelt und aufgezeigt, um systematische Fehler bei der Aufnahme von Bildern zu kontrollieren und das Rauschen bei der Bildbearbeitung zu minimieren. Da die Zeitdauer eines Gravitationslinsenereignisses sehr kurz ist, mussten am Wendelstein-0.8-m-Teleskop, und waehrend einer 3-jaehrigen Phase am Calar-Alto-1.23-m-Teleskop, zehntausende Aufnahmen waehrend des Zeitraums von 1997 - 2005 gewonnen und ausgewertet werden. In dieser bezueglich der Zeitueberdeckung einmaligen Datenbasis konnten in 4 Mio. Lichtkurven insgesamt 13 Ereignisse nachgewiesen werden, die die typischen Helligkeitsaenderungen des Gravitationslinseneffekts aufweisen. Die Analyse der Lichtkurven zeigt mit den in dieser Arbeit gewonnenen theoretischen Erkenntnissen bezueglich der endlichen Groesse der Hintergrundsterne, dass alle Gravitationslinsenkandidaten mit einem Halo aus dunklen Objekten von 0.2 Sonnenmassen vereinbar sind. Waehrend die Anzahl der Detektionen im Vergleich zu frueheren theoretischen Vorhersagen deutlich geringer ausfiel, zeigten die im Rahmen dieser Doktorarbeit entwickelten theoretischen Vorhersagen eine sehr gute uebereinstimmung. Ob sich die beobachteten Gravitationslinsenereignisse wirklich durch Machos im Halo oder eventuell durch Sterne in Bulge oder Scheibe hervorgerufen wurden, soll durch weiterfuehrende Arbeiten mittels Monte-Carlo-Simulationen bezueglich der Detektionseffizienz geklaert werden. Daraus lassen sich dann quantitative Aussagen ueber die Art der dunklen Materie und den Anteil von Machos im Halo der M31 Galaxie gewinnen

Doctor of Philosophy

dissertationOptics is an old topic in physical science and engineering. Historically, bulky materials and components were dominantly used to manipulate light. A new hope arrived when Maxwell unveiled the essence of electromagnetic waves in a micro perspective. On the other side, our world recently embraced a revolutionary technology, metasurface, which modifies the properties of matter-interfaces in subwavelength scale. To complete this story, diffractive optic fills right in the gap. It enables ultrathin flat devices without invoking the concept of nanostructured metasurfaces when only scalar diffraction comes into play. This dissertation contributes to developing a new type of digital diffractive optic, called a polychromat. It consists of uniform pixels and multilevel profile in micrometer scale. Essentially, it modulates the phase of a wavefront to generate certain spatial and spectral responses. Firstly, a complete numerical model based on scalar diffraction theory was developed. In order to functionalize the optic, a nonlinear algorithm was then successfully implemented to optimize its topography. The optic can be patterned in transparent dielectric thin film by single-step grayscale lithography and it is replicable for mass production. The microstructures are 3?m wide and no more than 3?m thick, thus do not require slow and expensive nanopatterning techniques, as opposed to metasurfaces. Polychromat is also less demanding in terms of fabrication and scalability. The next theme is focused on demonstrating unprecedented performances of the diffractive optic when applied to address critical issues in modern society. Photovoltaic efficiency can be significantly enhanced using this optic to split and concentrate the solar spectrum. Focusing through a lens is no news, but we transformed our optic into a flat lens that corrects broadband chromatic aberrations. It can also serve as a phase mask for microlithography on oblique and multiplane surfaces. By introducing the powerful tool of computation, we devised two imaging prototypes, replacing the conventional Bayer filter with the diffractive optic. One system increases light sensitivity by 3 times compared to commercial color sensors. The other one renders the monochrome sensor a new function of high-resolution multispectral video-imaging

Organic Light-Emitting Diodes: Development of Electrode and Multilayer Deposition Processes

Organische Leuchtdioden weisen, verglichen mit anorganischen Leuchtdioden, viele Vorteile auf. So sind sie nicht nur energiesparender, sondern können auch in neuen flexiblen Technologien verwendet werden. Um ihr volles Potenzial auszuschöpfen, können zusätzliche Schichten und neue Materialien hinzugefügt werden. Der Ersatz spröder Elektroden durch dünne Metallschichten kann OLEDs flexibler machen, Zwischenschichten verbessern den Ladungstransport und neuartige Materialien können die Lösungsprozessierung von OLEDs vereinfachen. In den Kapiteln dieser Arbeit wurden je ein Ansatz zur Steigerung der Leistung von OLEDs untersucht. Es wurden dünne Silberschichten aus einer partikelfreien Silbertinte mittels Tintenstrahldruck hergestellt und ihre optischen sowie elektrischen charakterisiert. Die gedruckten Elektroden zeigen eine hohe Biegefestigkeit, bei gleichbleibend guten elektrischen Eigenschaften. Die damit hergestellten Leuchtdioden übertreffen in ihrer Effizienz Referenzdioden mit Indium Zinn Oxid Elektroden. Um die Effizienz organischer Leuchtdioden weiter steigern zu können wurden anschließend Zwischenschichten untersucht. Mittels einer gemischten Schicht aus Zinkoxid und einem Polymer konnte die Effizienz von invertierten Leuchtdioden signifikant gesteigert werden. Weiterhin wurden zwei neu synthetisierte Moleküle dazu verwendet, um die Benetzung von Perowskiten auf Elektroden zu verbessern und somit ihre Herstellbarkeit mittels Tintenstrahldruck zu ermöglichen. Abschließend wurde das Quervernetzen von Polymeren zur Herstellung von Mehrschichtsystemen erforscht. Hierbei wird ein die Löslichkeit eines Polymers durch verschiedene Ansätze verringert. Anhand des lichtemittierenden Polymers Super Yellow wurde dies demonstriert. Die Beständigkeit einer Schicht aus Super Yellow gegenüber Toluol konnte erfolgreich stark erhöht werden. Somit wurde eine nachfolgende Prozessierung einer zusätzlichen Schicht aus demselben Lösungsmittel ermöglicht.Organic light-emitting diodes have many advantages compared to their inorganic counterparts. Not only can they be used more energy-efficiently, but they can also be used in new, flexible technologies. To reach their full potential, additional layers and new materials can be added. Replacing brittle electrodes with thin metal layers can make OLEDs more flexible, intermediate layers improve charge transport, and novel materials can simplify solution processing of OLEDs. In each of the chapters of this thesis, an approach to increasing the performance of OLEDs was examined. Thin silver layers were produced from a particle-free silver ink using inkjet. Their optical and electrical properties were characterized. The printed electrodes show a high flexural strength while retaining good electrical properties. The efficacy of the light-emitting diodes produced in this way exceeds that of reference diodes. To be able to further increase the efficiency of organic light-emitting diodes, intermediate layers made of new material combinations were subsequently investigated. The efficiency of inverted light-emitting diodes could be significantly increased by means of a blend intermediate layer made of zinc oxide and a polymer. Furthermore, two newly synthesized molecules were used to improve the wetting of perovskites on electrodes and thus enable their manufacturability using inkjet printing. Finally, crosslinking of polymers to fabricate multilayer devices was investigated. Here, the solubility of a polymer is reduced by various approaches. This principle was demonstrated using the light-emitting polymer Super Yellow. The resistance of a layer of Super Yellow against toluene was successfully reduced significantly. Thus, subsequent processing of an additional layer from the same solvent was made possible