Real-Time Diffraction Field Calculation Methods for Computer-Generated Holograms

Holographic three-dimensional television systems provide a natural 3D visualization. Fast calculation of the diffraction field from a three-dimensional object is essential to achieve video rate. In the literature, there are myriads of fast algorithms for diffraction field calculation from three-dimensional objects, but most of them omit the pixelated structure of the dynamic display devices which are used in the reconstruction process. In this chapter, the look-up table-based fast algorithm for diffraction field calculation from a three-dimensional object for a pixelated dynamic display device is presented. Real-time diffraction field calculations are obtained by running the algorithm in parallel on a graphical processing unit. Performance of the algorithm is evaluated in terms of computation time of the diffraction field and the normalized mean square error on the reconstructed object. To have optimization on the required memory space for the look-up table, two different sampling policies along the longitudinal axis are implemented. Uniform sampling policy along the longitudinal axis provides better error performance than nonuniform sampling policy. Furthermore, optical experiments are performed, and it is observed that both numerical and optical reconstructions are similar to each other. Hence, the proposed method provides successful results

Coherent and Holographic Imaging Methods for Immersive Near-Eye Displays

Lähinäytöt on suunniteltu tarjoamaan realistisia kolmiulotteisia katselukokemuksia, joille on merkittävää tarvetta esimerkiksi työkoneiden etäkäytössä ja 3D-suunnittelussa. Nykyaikaiset lähinäytöt tuottavat kuitenkin edelleen ristiriitaisia visuaalisia vihjeitä, jotka heikentävät immersiivistä kokemusta ja haittaavat niiden miellyttävää käyttöä. Merkittävänä ratkaisuvaihtoehtona pidetään koherentin valon, kuten laservalon, käyttöä näytön valaistukseen, millä voidaan korjata nykyisten lähinäyttöjen puutteita. Erityisesti koherentti valaistus mahdollistaa holografisen kuvantamisen, jota käyttävät holografiset näytöt voivat tarkasti jäljitellä kolmiulotteisten mallien todellisia valoaaltoja. Koherentin valon käyttäminen näyttöjen valaisemiseen aiheuttaa kuitenkin huomiota vaativaa korkean kontrastin häiriötä pilkkukuvioiden muodossa. Lisäksi holografisten näyttöjen laskentamenetelmät ovat laskennallisesti vaativia ja asettavat uusia haasteita analyysin, pilkkuhäiriön ja valon mallintamisen suhteen. Tässä väitöskirjassa tutkitaan laskennallisia menetelmiä lähinäytöille koherentissa kuvantamisjärjestelmässä käyttäen signaalinkäsittelyä, koneoppimista sekä geometrista (säde) ja fysikaalista (aalto) optiikan mallintamista. Työn ensimmäisessä osassa keskitytään holografisten kuvantamismuotojen analysointiin sekä kehitetään hologrammien laskennallisia menetelmiä. Holografian korkeiden laskentavaatimusten ratkaisemiseksi otamme käyttöön holografiset stereogrammit holografisen datan likimääräisenä esitysmuotona. Tarkastelemme kyseisen esitysmuodon visuaalista oikeellisuutta kehittämällä analyysikehyksen holografisen stereogrammin tarjoamien visuaalisten vihjeiden tarkkuudelle akkommodaatiota varten suhteessa sen suunnitteluparametreihin. Lisäksi ehdotamme signaalinkäsittelyratkaisua pilkkuhäiriön vähentämiseksi, ratkaistaksemme nykyisten menetelmien valon mallintamiseen liittyvät visuaalisia artefakteja aiheuttavat ongelmat. Kehitämme myös uudenlaisen holografisen kuvantamismenetelmän, jolla voidaan mallintaa tarkasti valon käyttäytymistä haastavissa olosuhteissa, kuten peiliheijastuksissa. Väitöskirjan toisessa osassa lähestytään koherentin näyttökuvantamisen laskennallista taakkaa koneoppimisen avulla. Kehitämme koherentin akkommodaatioinvariantin lähinäytön suunnittelukehyksen, jossa optimoidaan yhtäaikaisesti näytön staattista optiikka ja näytön kuvan esikäsittelyverkkoa. Lopuksi nopeutamme ehdottamaamme uutta holografista kuvantamismenetelmää koneoppimisen avulla reaaliaikaisia sovelluksia varten. Kyseiseen ratkaisuun sisältyy myös tehokkaan menettelyn kehittäminen funktionaalisten satunnais-3D-ympäristöjen tuottamiseksi. Kehittämämme menetelmä mahdollistaa suurten synteettisten moninäkökulmaisten kuvien datasettien tuottamisen, joilla voidaan kouluttaa sopivia neuroverkkoja mallintamaan holografista kuvantamismenetelmäämme reaaliajassa. Kaiken kaikkiaan tässä työssä kehitettyjen menetelmien osoitetaan olevan erittäin kilpailukykyisiä uusimpien koherentin valon lähinäyttöjen laskentamenetelmien kanssa. Työn tuloksena nähdään kaksi vaihtoehtoista lähestymistapaa ristiriitaisten visuaalisten vihjeiden aiheuttamien nykyisten lähinäyttöongelmien ratkaisemiseksi joko staattisella tai dynaamisella optiikalla ja reaaliaikaiseen käyttöön soveltuvilla laskentamenetelmillä. Esitetyt tulokset ovat näin ollen tärkeitä seuraavan sukupolven immersiivisille lähinäytöille.Near-eye displays have been designed to provide realistic 3D viewing experience, strongly demanded in applications, such as remote machine operation, entertainment, and 3D design. However, contemporary near-eye displays still generate conflicting visual cues which degrade the immersive experience and hinders their comfortable use. Approaches using coherent, e.g., laser light for display illumination have been considered prominent for tackling the current near-eye display deficiencies. Coherent illumination enables holographic imaging whereas holographic displays are expected to accurately recreate the true light waves of a desired 3D scene. However, the use of coherent light for driving displays introduces additional high contrast noise in the form of speckle patterns, which has to be taken care of. Furthermore, imaging methods for holographic displays are computationally demanding and impose new challenges in analysis, speckle noise and light modelling. This thesis examines computational methods for near-eye displays in the coherent imaging regime using signal processing, machine learning, and geometrical (ray) and physical (wave) optics modeling. In the first part of the thesis, we concentrate on analysis of holographic imaging modalities and develop corresponding computational methods. To tackle the high computational demands of holography, we adopt holographic stereograms as an approximative holographic data representation. We address the visual correctness of such representation by developing a framework for analyzing the accuracy of accommodation visual cues provided by a holographic stereogram in relation to its design parameters. Additionally, we propose a signal processing solution for speckle noise reduction to overcome existing issues in light modelling causing visual artefacts. We also develop a novel holographic imaging method to accurately model lighting effects in challenging conditions, such as mirror reflections. In the second part of the thesis, we approach the computational complexity aspects of coherent display imaging through deep learning. We develop a coherent accommodation-invariant near-eye display framework to jointly optimize static display optics and a display image pre-processing network. Finally, we accelerate the corresponding novel holographic imaging method via deep learning aimed at real-time applications. This includes developing an efficient procedure for generating functional random 3D scenes for forming a large synthetic data set of multiperspective images, and training a neural network to approximate the holographic imaging method under the real-time processing constraints. Altogether, the methods developed in this thesis are shown to be highly competitive with the state-of-the-art computational methods for coherent-light near-eye displays. The results of the work demonstrate two alternative approaches for resolving the existing near-eye display problems of conflicting visual cues using either static or dynamic optics and computational methods suitable for real-time use. The presented results are therefore instrumental for the next-generation immersive near-eye displays

Modeling, design and optimization of computer-generated holograms with binary phases

L’hologramme généré par ordinateur (HGO) a été démontré à jouer un rôle important depuis son invention par Lohmann dans les années 1960 dans de nombreuses applications telles que l’ingénierie du front d'onde, l’éclairage structuré et l’affichage optique, etc. Dans le travail de thèse ci-présent, la modélisation, la conception et l’optimisation d’HGO avec des phases binaires sont étudiées. Nous avons examiné un système pratique de projection d’image avec certaines spécifications de travail, par exemple, une distance de travail de 40 cm, une profondeur de champ de 10 cm et un angle de diffraction de 53 degré pour une longueur d’onde de travail de 632 nm, et ensuite conçu et optimisé un hologramme de phase binaire en passant par une recherche directe binaire pour ce système d’image. L’hologramme a été fabriqué par la lithographie à faisceau d’électrons. Pour atteindre l’angle de diffraction requis, nous avons discuté de l’architecture optique dans le système de projection d’image holographique. L’HGO conçu et le système de projection d’image holographique ont été validés expérimentalement par reconstruction optique. Étant donné que les pixels finiront par se regrouper pour former des ouvertures polygonales en hologramme, qui peut être vu clairement dans le processus de recherche directe binaire, nous avons proposé une nouvelle approche pour la conception directe des ouvertures polygonales basée sur la disposition triangulaire en HGO de grande taille en pixels. La diffraction de l’ouverture a été calculée par la transformation analytique d’Abbe. L’image reconstruite peut être exprimée comme une addition cohérente de motifs de diffraction à partir de tous les bords droits d’orientations et de longueurs différentes. Une optimisation en deux étapes comprenant l’algorithme génétique avec la recherche locale de codage des phases binaires des ouvertures, suivie par la recherche directe de co-sommets flottants des ouvertures triangulaires élémentaires a été développée. Nous avons en outre proposé une disposition d’ouverture quadrilatérale, qui fournit plus de degrés de liberté et peut former des ouvertures polygonales plus diverses en hologrammes. L’algorithme génétique parallèle avec la recherche locale a été adopté dans une première étape pour assigner des phases binaires, et la recherche directe a ensuite été utilisée pour optimiser des emplacements de co-sommets d'ouvertures quadrilatérales lors de la deuxième étape. Trois schémas différents pour l'algorithme en deux étapes ont été discutés pour fournir des moyens flexibles afin d’équilibrer la performance de l’optimisation et la durée nécessaire.The computer-generated hologram (CGH) has been demonstrated to play an important role, since its invention by Lohmann in 1960s, in many applications such as wavefront engineering, structured illumination and optical display, etc. In this thesis, the modeling, design and optimization of CGH with binary phases are studied. We considered a practical projection image system with certain working specification, e.g. working distance of 40 cm, depth of field of 10 cm and a diffraction angle of 53 degree for 632 nm working wavelength, and then designed and optimized a binary-phase hologram by direct binary search for this image system. The hologram was fabricated by E-beam lithography. To achieve the required diffraction angle, we discussed the optical architecture in holographic projection image system. The designed CGH and holographic projection image system were validated experimentally by optical reconstruction. Since the pixels will eventually cluster to form polygonal apertures in hologram, which can be seen clearly during the process of direct binary search, we proposed a new approach to directly design polygonal apertures based on triangular layout in CGH of a large number of pixels. The diffraction of aperture was calculated by analytical Abbe transform. The reconstructed image can be expressed as a coherent addition of diffraction patterns from all the straight edges of different orientations and lengths. A two-step optimization including genetic algorithm with local search for encoding binary phases of apertures, followed by direct search for floating covertices of the elementary triangular apertures was developed. We further proposed a quadrilateral aperture layout, which provides more degrees of freedom and can form more diverse polygonal apertures in holograms. The parallel genetic algorithm with local search was adopted to assign binary phases in the first step, and direct search was then used to optimize of locations of covertices of quadrilateral apertures in the second step. Three different schemes for the two-step algorithm were discussed to provide flexible ways to balance the optimization performance and time cost.Résumé en espagno

Eurodisplay 2019

The collection includes abstracts of reports selected by the program by the conference committee