Deep Eyes: Binocular Depth-from-Focus on Focal Stack Pairs

Human visual system relies on both binocular stereo cues and monocular focusness cues to gain effective 3D perception. In computer vision, the two problems are traditionally solved in separate tracks. In this paper, we present a unified learning-based technique that simultaneously uses both types of cues for depth inference. Specifically, we use a pair of focal stacks as input to emulate human perception. We first construct a comprehensive focal stack training dataset synthesized by depth-guided light field rendering. We then construct three individual networks: a Focus-Net to extract depth from a single focal stack, a EDoF-Net to obtain the extended depth of field (EDoF) image from the focal stack, and a Stereo-Net to conduct stereo matching. We show how to integrate them into a unified BDfF-Net to obtain high-quality depth maps. Comprehensive experiments show that our approach outperforms the state-of-the-art in both accuracy and speed and effectively emulates human vision systems

Detection and evaluation of distorted frames in retinal image data

Diplomová práca sa zaoberá detekciou a hodnotením skreslených snímok v retinálnych obrazových dátach. Teoretická časť obsahuje stručné zhrnutie anatómie oka a metód hodnotenia kvality obrazov všeobecne, ako aj konkrétne hodnotenie retinálnych obrazov. Praktická časť bola vypracovaná v programovacom jazyku Python. Obsahuje predspracovanie dostupných retinálnych obrazov za účelom vytvorenia vhodného datasetu. Ďalej je navrhnutá metóda hodnotenia troch typov šumu v skreslených retinálnych obrazoch, presnejšie pomocou Inception-ResNet-v2 modelu. Táto metóda nebola prijateľná a navrhnutá bola teda iná metóda pozostávajúca z dvoch krokov - klasifikácie typu šumu a následného hodnotenia úrovne daného šumu. Pre klasifikáciu typu šumu bolo využité filtrované Fourierove spektrum a na hodnotenie obrazu boli využité príznaky extrahované pomocou ResNet50, ktoré vstupovali do regresného modelu. Táto metóda bola ďalej rozšírená ešte o krok detekcie zašumených snímok v retinálnych sekvenciách.The master's thesis deals with detection and evaluation of distorted frames in retinal image data. The theoretical part contains brief summary of eye anatomy and methods for image quality assessment generally, and also particularly on retinal images. The practical part is carried out in programming language Python. It contains preprocessing of the available retinal images in order to create an appropriate dataset. Further a method for evaluation of three types of blur in distorted retinal images is proposed, specifically Inception-ResNet-v2 model. This method is not feasible and thus another method consisting of two steps is designed - classification of the type of blur and subsequently evaluation of the particular blur level. Filtered Fourier spectrum is used to classify the type of blur and features extracted by ResNet50 serve as the input for regression model. This method is further extended with initial step of detection of blurred frames in retinal sequences.

A COMPUTATIONAL FRAMEWORK FOR NEONATAL BRAIN MRI STRUCTURE SEGMENTATION AND CLASSIFICATION

Deep Learning is increasingly being used in both supervised and unsupervised learning to derive complex patterns from data. However, the successful implementation of deep learning using medical imaging requires careful consideration for the quality and availability of data. Infants diagnosed with CHD are at a higher risk for neurodevelopmental impairment. Many of these deficits may be attenuated by early detection and intervention. However, we currently lack effective diagnostic tools for the reliable detection of these disorders at the neonatal period. We believe that the structural correlates of the cognitive deficits associated with developmental abnormalities can be measured within the first few months of life. Based on this assumption, we hypothesize that we can use an atlas registration based structural segmentation pipeline to sufficiently reduce the search space of neonatal structural brain MRI to viably implement convolutional neural networks for dysplasia classification. Secondly, we hypothesize that convolutional neural networks can successfully identify morphological biomarkers capable of detecting structurally abnormal brain substructures. In this study, we develop a computational framework for the automated classification of dysplastic substructures from neonatal MRI. We validate our implementation on a dataset of neonates born with CHD, as this is a vulnerable population for structural dysmaturation. We chose the cerebellum as the initial test substructure because of its relatively simple structure and known vulnerability to structural dysplasia in infants born with CHD. We then apply the same method to the hippocampus, a more challenging substructure due to its complex morphological properties. We attempt to overcome the limited availability of clinical data in neonatal populations by first extracting each brain substructure of interest and individually registering them into a standard space. This greatly reduces the search space required to learn the subtle abnormalities associated with a given pathology, making it feasible to implement a 3-D CNN as the classification algorithm. We achieved excellent classification accuracy in detecting dysplastic cerebelli, and demonstrate a viable computational framework for search space reduction using limited clinical datasets. All methods developed in this work are designed to be extensible, reproducible, and generalizable diagnostic tools for future neuroimaging problems

An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Objectivation of Visual Perception

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

An Objectivation of Visual Perception using Virtual Reality, Brain-Computer Interfaces and Deep Learning

Der Sehsinn ermöglicht eine detailgenaue Wahrnehmung der Welt. Virtual Reality (VR), Brain-Computer Interfaces (BCI) und Deep Learning sind neue Technologien, die uns hierbei neue Möglichkeiten für die Erforschung der visuellen Wahrnehmung geben. In dieser Dissertation wird ein System für die Augenheilkunde vorgestellt, das Augenkrankheiten in VR simulieren kann und durch Hinzufügen von BCI und KI eine objektive Diagnostik von Gesichtsfeldausfällen ermöglicht. Für ein besseres Verständnis der Arbeit wird das menschliche Sehen mit Modellen der Computer Vision verglichen und basierend hierauf ein allgemeines vierstufiges Seh-Modell eingeführt. Innerhalb des Modells werden Schnittstellen zwischen der biologisch-realen und der technologisch-virtuellen Welt evaluiert. Besteht heutzutage bei einem Patienten der Verdacht auf einen Gesichtsfeldausfall (Skotom), so werden ophthalmologische Geräte wie das Perimeter zur Ausmessung des Gesichtsfeldes eingesetzt. Das dem Stand der Technik entsprechende Verfahren liegt dem subjektiven Feedback des Patienten zugrunde. Entsprechend können Lerneffekte beim Patienten das Ergebnis nicht unwesentlich beeinflussen. Um diese Problematiken zu umgehen, wurde in dieser Dissertation ein objektives Perimetriesystem auf Basis von VR, BCI und Deep Learning erfolgreich implementiert und evaluiert. Ein weiterer Vorteil des neuen Systems ist die Möglichkeit zur Einsetzung bei Menschen mit Schwerbehinderung, Kindern und Tieren. Der Lösungsansatz dieser Dissertation ist die Simulation (pathologischer/eingeschränkter) Sehzustände. Hierfür wurde der Zustand von Glaukompatienten mit Hilfe von VR-Technologien virtuell abgebildet. Die resultierende VR-Anwendung bildet individuelle Glaukomverläufe immersiv in VR ab. Evaluiert wurde die Simulationsumgebung mit medizinischem Fachpersonal und Glaukompatienten an der Augenklinik des Universitätsklinikums Heidelberg (\textit{N}=22). Hierbei wurde gezeigt, dass VR eine geeignete Maßnahme zur Simulation von Sehbedingungen ist und zum Verständnis des Patientenzustandes einen Beitrag leisten kann. Ausgehend von dieser Simulationsumgebung wurden weitere Software- und Hardwaremodule hinzugefügt. Erzeugte stationäre visuelle Stimuli wurden hierbei eingesetzt, um (simulierte) Sehfehler durch ein Elektroenzephalographie (EEG)-basiertes BCI zu erkennen. Das System wurde in einer internationalen Laborstudie (\textit{N}=15) in Zusammenarbeit mit dem Massachusetts Institute of Technology getestet und validiert. Die gesammelten Daten deuten darauf hin, dass das System für die Klassifizierung des zentralen (88\% Genauigkeit pro 2,5 Sekunden EEG-Daten) und peripheren Gesichtsfeldes (63-81\% Genauigkeit) geeignet ist, während es für periphere Positionen aufgrund der Technologiesensitivität zu Einschränkungen (50-57\% Genauigkeit) kommt. Entsprechend sollte das System für Skotome eingesetzt werden, sofern der Sehausfall das zentrale Sehen oder ganze Quadranten des Gesichtsfelds betrifft. Aufgrund der Notwendigkeit für einen besseren ambulanten EEG-Messaufbau werden modulare, plattformübergreifende Softwareimplementierungen und neuartige, zum Patent angemeldete, EEG-Elektroden vorgestellt. Die neuartigen Elektroden bieten ein besseres Signal-zu-Rausch-Verhältnis als herkömmliche Trockenelektroden (\SI{1,35}{dB} Verbesserung), sind schnell anzulegen, wiederverwendbar und hinterlassen kaum bis keine unerwünschten Rückstände im Haar des Patienten. Diese Dissertation legt den Grundstein für ein VR, BCI und KI-basiertes Perimetrie-Messsystem, welches insbesondere im ambulanten Setting oder bei Patienten mit Einschränkungen zum Einsatz kommen könnte

Investigating centriole orientation in the Drosophila embryo

Centrioles are barrel shaped organelles that are known to nucleate microtubules (MT) contributing to the mitotic spindle and act as basal bodies during ciliogenesis. Mammalian centrioles possess distal appendage proteins (DAPs) which allow them to anchor to the cell cortex via their distal end. This distal ended orientation often plays a functional role within the cell. In many other cell types, centrioles are specifically positioned close to the cell cortex. However, we do not yet understand how centrioles may be oriented in these systems. Our lab has long observed that in Drosophila embryos, which do not possess DAPs or make cilia, that most centrioles appear upright. Using a fixed assay and differential fluorescence labelling, I show that most centrioles have a preference to be upright with their distal end pointing towards the cell cortex, much like in mammalian cell types where centriole orientation is known. In collaboration with a statistician, we develop an assay to image embryos in real-time using super-resolution microscopy and analyse spatiotemporal aspects of their orientation using a neural network. Initial analysis further showed that centrioles have a preferential upright, “Ring” oriented state that is mostly stable over S-phase. Using a combination of drug- and candidate-based approaches, my data suggests that centrioles may indirectly be pushed and pulled into different orientations gradually by a balance of surrounding forces from microtubules and the centriole’s surrounding pericentriolar material. However, I also uncover a possible role for scaffold protein Centrosomin (Cnn) and distal cap proteins, most strikingly distal cap protein Cep97, which may be instrumental in maintaining the distal ended orientation of centrioles. My data strongly suggests that distally oriented centrioles are the default state in Drosophila embryos and there is an active mechanism maintaining this orientation

The multi‐scale architecture of mammalian sperm flagella and implications for ciliary motility

Motile cilia are molecular machines used by a myriad of eukaryotic cells to swim through fluid environments. However, available molecular structures represent only a handful of cell types, limiting our understanding of how cilia are modified to support motility in diverse media. Here, we use cryo-focused ion beam milling-enabled cryo-electron tomography to image sperm flagella from three mammalian species. We resolve in-cell structures of centrioles, axonemal doublets, central pair apparatus, and endpiece singlets, revealing novel protofilament-bridging microtubule inner proteins throughout the flagellum. We present native structures of the flagellar base, which is crucial for shaping the flagellar beat. We show that outer dense fibers are directly coupled to microtubule doublets in the principal piece but not in the midpiece. Thus, mammalian sperm flagella are ornamented across scales, from protofilament-bracing structures reinforcing microtubules at the nano-scale to accessory structures that impose micron-scale asymmetries on the entire assembly. Our structures provide vital foundations for linking molecular structure to ciliary motility and evolution