Widefield light sheet microscopy using an Airy beam combined with deep-learning super-resolution

Imaging across length scales and in depth has been an important pursuit of widefield optical imaging. This promises to reveal fine cellular detail within a widefield snapshot of a tissue sample. Current advances often sacrifice resolution through selective sub-sampling to provide a wide field of view in a reasonable time scale. We demonstrate a new avenue for recovering high-resolution images from sub-sampled data in light sheet microscopy using deep-learning super-resolution. We combine this with the use of a widefield Airy beam to achieve high-resolution imaging over extended fields of view and depths. We characterise our method on fluorescent beads as test targets. We then demonstrate improvements in imaging amyloid plaques in a cleared brain from a mouse model of Alzheimer’s disease, and in excised healthy and cancerous colon and breast tissues. This development can be widely applied in all forms of light sheet microscopy to provide a two-fold increase in the dynamic range of the imaged length scale. It has the potential to provide further insight into neuroscience, developmental biology, and histopathology

Experimentally unsupervised deconvolution for light-sheet microscopy with propagation-invariant beams

This project was funded by the UK Engineering and Physical Sciences Research Council (grants EP/P030017/1 and EP/R004854/1), and has received funding from the European Union’s Horizon 2020 research and innovation programme under grant agreement (EC-GA 871212) and H2020 FETOPEN project "Dynamic” (EC-GA 863203). P.W. was supported by the 1851 Research Fellowship from the Royal Commission. KRD was supported by a Mid-Career Fellowship from the Hospital Research Foundation (C-MCF-58-2019). K.D. acknowledges support from the Australian Research Council through a Laureate Fellowship. S.S. was funded by BBSRC (BB/M00905X/1).Deconvolution is a challenging inverse problem, particularly in techniques that employ complex engineered point-spread functions, such as microscopy with propagation-invariant beams. Here, we present a deep-learning method for deconvolution that, in lieu of end-to-end training with ground truths, is trained using known physics of the imaging system. Specifically, we train a generative adversarial network with images generated with the known point-spread function of the system, and combine this with unpaired experimental data that preserve perceptual content. Our method rapidly and robustly deconvolves and super-resolves microscopy images, demonstrating a two-fold improvement in image contrast to conventional deconvolution methods. In contrast to common end-to-end networks that often require 1000–10,000s paired images, our method is experimentally unsupervised and can be trained solely on a few hundred regions of interest. We demonstrate its performance on light-sheet microscopy with propagation-invariant Airy beams in oocytes, preimplantation embryos and excised brain tissue, as well as illustrate its utility for Bessel-beam LSM. This method aims to democratise learned methods for deconvolution, as it does not require data acquisition outwith the conventional imaging protocol.Publisher PDFPeer reviewe

Computational Framework For Neuro-Optics Simulation And Deep Learning Denoising

The application of machine learning techniques in microscopic image restoration has shown superior performance. However, the development of such techniques has been hindered by the demand for large datasets and the lack of ground truth. To address these challenges, this study introduces a computer simulation model that accurately captures the neural anatomic volume, fluorescence light transportation within the tissue volume, and the photon collection process of microscopic imaging sensors. The primary goal of this simulation is to generate realistic image data for training and validating machine learning models. One notable aspect of this study is the incorporation of a machine learning denoiser into the simulation, which accelerates the computational efficiency of the entire process. By reducing noise levels in the generated images, the denoiser significantly enhances the simulation\u27s performance, allowing for faster and more accurate modeling and analysis of microscopy images. This approach addresses the limitations of data availability and ground truth annotation, offering a practical and efficient solution for microscopic image restoration. The integration of a machine learning denoiser within the simulation significantly accelerates the overall simulation process, while improving the quality of the generated images. This advancement opens new possibilities for training and validating machine learning models in microscopic image restoration, overcoming the challenges of large datasets and the lack of ground truth

Remote refocusing light-sheet fluorescence microscopy for high-speed 2D and 3D imaging of calcium dynamics in cardiomyocytes

The high prevalence and poor prognosis of heart failure are two key drivers for research into cardiac electrophysiology and regeneration. Dyssynchrony in calcium release and loss of structural organization within individual cardiomyocytes (CM) has been linked to reduced contractile strength and arrhythmia. Correlating calcium dynamics and cell microstructure requires multidimensional imaging with high spatiotemporal resolution. In light-sheet fluorescence microscopy (LSFM), selective plane illumination enables fast optically sectioned imaging with lower phototoxicity, making it suitable for imaging subcellular dynamics. In this work, a custom remote refocusing LSFM system is applied to studying calcium dynamics in isolated CM, cardiac cell cultures and tissue slices. The spatial resolution of the LSFM system was modelled and experimentally characterized. Simulation of the illumination path in Zemax was used to estimate the light-sheet beam waist and confocal parameter. Automated MATLAB-based image analysis was used to quantify the optical sectioning and the 3D point spread function using Gaussian fitting of bead image intensity distributions. The results demonstrated improved and more uniform axial resolution and optical sectioning with the tighter focused beam used for axially swept light-sheet microscopy. High-speed dual-channel LSFM was used for 2D imaging of calcium dynamics in correlation with the t-tubule structure in left and right ventricle cardiomyocytes at 395 fps. The high spatio-temporal resolution enabled the characterization of calcium sparks. The use of para-nitro-blebbistatin (NBleb), a non-phototoxic, low fluorescence contraction uncoupler, allowed 2D-mapping of the spatial dyssynchrony of calcium transient development across the cell. Finally, aberration-free remote refocusing was used for high-speed volumetric imaging of calcium dynamics in human induced pluripotent stem-cell derived cardiomyocytes (hiPSC-CM) and their co-culture with adult-CM. 3D-imaging at up to 8 Hz demonstrated the synchronization of calcium transients in co-culture, with increased coupling with longer co-culture duration, uninhibited by motion uncoupling with NBleb.Open Acces

Data-driven microscopy: placing high-fidelity data in a population-wide context

Mikroskopi är idag ett fundamentalt verktyg inom forskning, där det tillåter oss att skåda in och utforska våra prover i hög detalj. Mycket utav utvecklingen av nya mikroskopimetoder har strävat efter att öka den detaljnivå vi kan uppnå. Samtidigt har utvecklingen inom hårdvara, med tillgång till bättre och mer kraftfulla instrument, lett till utveckligen av metoder där fokuset är att studera en hel population av celler. Till skillnad från när vi studerar ett fåtal celler i hög detalj, tillåter det oss att sätta perspektiv på det vi ser. Det ger oss en förmåga att säga vad det normala beteendet som man kan förvänta sig är, och vilka celler som sticker ut i en population. Med andra ord, vad som är intressant.Samtidigt finns det ett stort intresse av att veta hur varje individuell cell beter sig. Varje cell är, precis som oss människor, unik. De har olika historia, olika ålder och befinner sig i olika tillstånd. Precis som våra celler i kroppen är unika, är även de cellerna som kan orsaka sjukdom unika. För att förstå varför vissa personer är mer känsliga mot sjukdom, och hur en infektion svarar på våra behandlingar behövs en förståelse och an förmåga att studera celler på individuell nivå, samtidigt som vi bibehåller ett perspektiv utifrån populations-nivå.Denna brist på perspektiv har länge varit ett problem inom mikroskopi. Den vanliga lösningen på detta problem är att vi, som människor, kan tolka en bild och peka på vad det är som är intressant eller inte. Vi är, trots allt, extremt duktiga på att tolka visuell information. Men detta är inte en helt felfri lösning. Som människor kan vi vara relativt okonsekventa, vi tolkar oftast utifrån hur vi vill att datan ser ut. Med andra ord, vi saknar förmågan att vara objektiva i vår metodik för att samla in bilder i hög detalj.Min avhandling har till stor del handlat om att utveckla ett verktyg som tillåter oss att sätta perspektiv på det vi studerar med mikroskopi. Detta har lett till Arbete 1, där vi presenterar en allmän strategi (data-styrd mikroskopi) för hur vi kan arbeta med mikroskopi för att samla in data på en hel population, samtidigt som vi kan samla in data med hög detalj på relevanta fynd i populationen. Vi presenterar även här en teknisk lösning, och utför metoden i tre olika scenarion: ett för att studera en population av celler mer allmänt, ett för att fånga det ögonblick som bakterier infekterar mänskliga celler, och ett där vi studerar och fångar in data på relevanta (från ett populations-kontext) cancerceller och följer dem över tid. Denna metod tillåter oss att samla in data i hög detalj på ett objektivt sätt, och att sätta perspektiv på det vi studerar.I Arbete 2 har vi vidare utvecklat på vår metod, där vi försöker lösa problemet att hitta en och samma cell i flera olika mikroskop. Eftersom vi, genom mikroskopi, jobbar på en så ofantligt liten skala, är det oftast väldigt svårt att orientera sig och hitta rätt inom ett prov. Det är lite som att spela På spåret och gissa vart man är, fast utan alla ledtrådar man får på varje nivå. Eftersom vi har tillgång till data på en hel population, så utgick vi från att det borde finnas samband mellan celler och deras grannar i ett prov som är unika för just dem. Genom att använda sig av dessa unika samband kom vi fram med en lösning där vi snabbt kan kalibrera ett prov på ett nytt mikroskop. Det öppnar dörrarna för oss forskare att återanvända prov, att lättare justera provet med nya markörer (för det vi vill visualisera inom cellerna), och att kunna tolka ett prov med data insamlat från flera system.COVID-19 pandemin var en stor omställning för samhället och vården. Likväl var det en stor omställning för många forskningslabb, där en kapplöpning startade för att så snabbt som möjligt förstå sig på hur viruset fungerar och hur vårt immunförsvar svarar på dess infektion. Det var i detta kontext som mitt tredje arbete utfördes. Genom den erfarenhet jag samlat på mig inom mikroskopi och att analysera bilder på stora dataset, bidrog jag med hjälp för att studera hur framtagna antikroppar kan förhindra bindningen av virus-lika partiklar till celler. Antikroppar är ett protein som immunförsvaret producerar i respons mot en patogen. En bättre förståelse kring hur antikroppar verkar, och vad skillnaden mellan en bra och en dålig antikropp är kan leda till framtagningen av bättre vaccin-program och behandlingar inom sjukvården.I Arbete 4 medverkade jag i ett arbete där bakterien Streptococcus pyogenes var i fokus. S. pyogenes enda värd är människor, och ansvarar för över 600 miljoner infektionsfall per år globalt. På bakteriens yta dominerar ett protein, M-proteinet, ett multi-funktionellt protein som bakterien (bland annat) använder sig för att binda till ytor och förhindra immunförsvarets förmåga att göra sig av med bakterien. I arbetet upptäckte vi att fibronektin binder till bakterien (specifikt M-proteinet) olika mycket beroende på mängden antikroppar som finns i miljön. Fibronektin är ett protein som vi människor producerar, och bidrar (bland annat) till att skapa den miljön som celler befinner sig i. Mängden fibronektin varierar beroende på var i kroppen man kollar. Till exempel, i saliv har du en relativt låg mängd fibronektin jämfört med i blodet. Detta ledde till hypotesen att bakterien är special-anpassad för olika miljöer i dess förmåga att undkomma immunförsvaret. En bättre förståelse kring hur bakterien är anpassad till våra olika miljöer och dess infektionsförlopp kan leda till bättre och mer anpassade behandlingar inom sjukvården

Super-resolution imaging with metamaterials

The key area of investigation of this research project was the application of metamaterials to super-resolution optical imaging. Specifically, an optical microscope was proposed to emulate a TIRF-SIM microscope, but using metamaterials to create a structured evanescent field. A metamaterial unit cell design of two ‘H’ shape nano-holes at ±45° to the normal in a gold film, with 50nm feature size was developed and simulated in CST Microwave Studio, able to produce structured evanescent illumination patterns. Although this original design proved unsuccessful, both in terms of fabrication and image reconstruction, an alternative design was developed. Alongside this, in MATLAB an algorithm for SIM image reconstruction using the typical sinusoidal masks was created successfully. Then to accommodate atypical SIM masks, such as those produced by the metamaterials, new approaches to SIM image reconstruction were also developed. These approaches modelled the masks as the sum of sinusoids and as the product of sinusoids. These reconstruction approaches were unsuccessful when using the original metamaterial masks, but were successfully able to reconstruct image with improved resolution, compared to standard SIM, using the alternative metamaterial masks. Moreover, resolution enhancement was demonstrated using six masks instead of the nine or more typically used

Light sheet fluorescence microscopy for neuroscience

We thank the UK Engineering and Physical Sciences Research Council for funding through grants EP/R004854/1 and EP/P030017/1.Background:  The functions of the central nervous system (CNS) rely on the interaction between large populations of neurons across different areas. Therefore, to comprehend CNS functions there is a need for imaging techniques providing access to the neuronal activity of large networks of neurons with very high spatiotemporal resolution. New method:  Light sheet fluorescence microscopy (LSFM) is a very promising optical sectioning technique that allows volumetric imaging over many length scales while retaining high spatial resolution and minimizing photobleaching and phototoxicity. Results:  The application of LSFM in neuroscience opened up the possibility of imaging in-vivo the development of the CNS and acquiring morphological images of whole cleared mammalian brains with sub-cellular resolution. The use of propagation invariant Bessel and Airy beams has shown potential for increasing the penetration depth in turbid neural tissues. Comparison with existing methods:  The lack of temporal and/or spatial resolution of traditional neuroscience imaging techniques call attention to a need for a technique capable of providing high spatio temporal resolution. LSFM, which is capable of acquiring high resolution volumetric images is increasingly becoming an interesting imaging technique for neuroscience. Conclusions:  The use of different LSFM geometries has shown the potential of this technique in acquiring in-vivo functional images of the CNS and morphological images of entire cleared mammalian brains. Further development of single objective LSFM implementations and fibre based LSFM combined with the use of propagation invariant beams could allow this technique to be used for in depth in-vivo imaging.PostprintPeer reviewe

Extending the application range of optical nanoscopy

Diekmann R. Extending the application range of optical nanoscopy. Bielefeld: Universität Bielefeld; 2017