Modeling Disease Progression In Retinal OCTs With Longitudinal Self-Supervised Learning

Longitudinal imaging is capable of capturing the static ana\-to\-mi\-cal structures and the dynamic changes of the morphology resulting from aging or disease progression. Self-supervised learning allows to learn new representation from available large unlabelled data without any expert knowledge. We propose a deep learning self-supervised approach to model disease progression from longitudinal retinal optical coherence tomography (OCT). Our self-supervised model takes benefit from a generic time-related task, by learning to estimate the time interval between pairs of scans acquired from the same patient. This task is (i) easy to implement, (ii) allows to use irregularly sampled data, (iii) is tolerant to poor registration, and (iv) does not rely on additional annotations. This novel method learns a representation that focuses on progression specific information only, which can be transferred to other types of longitudinal problems. We transfer the learnt representation to a clinically highly relevant task of predicting the onset of an advanced stage of age-related macular degeneration within a given time interval based on a single OCT scan. The boost in prediction accuracy, in comparison to a network learned from scratch or transferred from traditional tasks, demonstrates that our pretrained self-supervised representation learns a clinically meaningful information.Comment: Accepted for publication in the MICCAI 2019 PRIME worksho

Automatic segmentation and classification of breast lesions using a novel multimodal imaging approach

Zsfassung in dt. SpracheEin wesentlicher Bestandteil für die Erkennung und Diagnose von Brustkrebs sind medizinische Bildgebungsverfahren. Moderne Bildgebungsverfahren wie Dynamische Kontrasterweiterte Magnetresonanztomographie (DCE-MRI), Positronemissionstomographie (PET) und Diffusionsgewichtetes MRT (DWI) liefern eine Vielzahl an Informationen über die Tumorbiologie und ermöglichen somit eine genauere und sicherere Diagnose von Brustkrebs. Eine systematische Analyse und Kategorisierung der Bilddaten ist ein essentieller Bestandteil einer präzisen Diagnose. Computerunterstützte Diagnosesysteme (CAD) unterstützen Radiologen bei der Analyse der Bilddaten durch den Einsatz von digitalen Bildanalysemethoden und Maschinenlernalgorithmen.In dieser Arbeit wird ein neuartiges multimodales CAD System beschrieben, welches eine automatische Kombination der Bildmodalitäten DCE-MRI, PET und DWI, sowie eine automatische Lokalisierung und Segmentierung von Brustkrebsgewebe, und eine automatische Klassifizierung der Läsionen in benign und malign ermöglicht. Das CAD System besteht aus drei Hauptteilen: die Registrierung der Bildmodalitäten, der Detektion und Segmentierung der Läsion, und der Unterscheidung von benignen und malignen Läsionen. Im Validierungsprozess konnte anhand von 16 Patientendaten gezeigt werden, dass der multimodale Ansatz sowohl die Segmentierung als auch die Klassifizierung verbessert, verglichen mit einem Ansatz basierend auf der DCE-MRI Modalität. Die Ergebnisse der Validierung zeigen auch, dass dieser Ansatz vergleichbare Resultate zu aktuellen unimodalen CAD Systemen bietet.Medical imaging has become crucial in detection and diagnosis of breast cancer. Advanced image modalities like Dynamic Contrast Enhanced Magnetic Resonance Imaging (DCE-MRI), Diffusion Weighted Magnetic Resonance Imaging (DWI), and Positron Emission Tomography (PET) provide complementary information about the lesion biology and increase the precision and certainty of cancer diagnosis. A systematic analysis and categorization of the image data is essential for an accurate diagnosis.Computer Aided Diagnosis (CAD) systems aid radiologists in this task by using digital image analysis methods and machine learning algorithms. The aim of this thesis is the development of a novel multimodal breast lesion CAD system with a fully automatic combination of DCE-MRI, DWI and PET image modalities, the fully automatic detection and segmentation of cancerous regions, and the fully automatic classification of the lesions into benign and malign ones. The CAD system consists of three main elements: the registration of the image modalities, the detection and segmentation of the lesion, and the classification of the lesions into benign and malign. In the validation process it is qualitatively and quantitatively demonstrated on 16 breast studies that a multimodal approach improves the segmentation and classification performance in comparison to a single-modal DCE-MRI approach. The results of the validation also demonstrate that the proposed method provides a comparable performance to state-of-the-art single-modality CAD systems.11

Methods to model and predict disease progression from longitudinal medical images

Longitudinale medizinische Bilddaten erfassen morphologische, funktionelle und physiologische Änderungen über die Zeit, und ermöglichen das Überwachen und die Quantifizierung des Krankheits- und Behandlungsverlaufes. Eine systematische Analyse dieser Bildserien einer Population zeigt verschiedene Strukturen des Krankheitsverlaufes und Ansprechen auf die Behandlung auf. Diese Strukturen ermöglichen Einblicke in Krankheitsmechanismen und dienen als Grundlage für individuelle Prognosen. In dieser Arbeit entwickeln und evaluieren wir datengestützte (statistische) Methoden des maschinellen Lernens, welche Krankehitsverläufe räumlich und zeitlich erfassen und modellieren können, sowie individuelle Krankheitsverläufe anhand der Longitudinaldaten vorhersagen können. Wir verwenden zwei Datensätze mit Krankheitsverläufen, ein Computertomografie (CT) Lungen Datensatz von Patienten mit Subtypen von interstitiellen Lungenfibrosen (FILD), sowie ein optischer Koheränztomografie (OCT) Datensatz von Patienten mit retinalen Venenverschlüssen (RVO). In einem ersten Schritt entwickeln wir einen normativen Referenzraum durch paarweise und gruppenweise Registrierung, sodass wir Korrespondenzen von räumlichen anatomischen Strukturen in den Folgeaufnahmen und zwischen Patienten erhalten. In der Folge beschreiben wir drei Methoden, die verschiedene Aspekte der Krankheits- und Behandlungsverläufe abdecken. Die erste Methode erstellt ein populationsweites normatives Krankheitsverlaufsmodell durch temporales Ausrichten der Bildaufnahmen in einem Optimierungsprozesses, basierend auf dem Erscheinungsbild der Krankheit. Wir zeigen, dass dieses Modell zur Klassifizierung von FILD Subgruppen mit verschiedenen Krankheitsverläufen verwendet werden kann, sowie dass die Klassifizierungsperformance durch das temporale Ausrichten zunimmt. Die zweite Methode bietet ein Vorhersagemodell für einen individuellen Behandlungsausgang von Patienten mit RVO, welches anhand von Bildfeatures von den Erstaufnahmen mit Hilfe von Sparse und Random Forests Regressionsmodellen generiert werden. Diese Methode identifiziert die für den Ausgang prediktiven anatomischen Bereiche in der Retina und ermöglicht eine Vorhersage, ob die Krankheit innerhalb eines Jahres wieder auftritt. Die dritte Methode modelliert und prognostiziert den Verlauf der Sehschärfe (Visus) anhand von longitudinalen Mixed-Effects Modellen für Patienten, die eine Behandlung wegen RVO erhalten. Die Methode ermittelt den Einfluss von morphologischen Änderungen durch Retinalflüssigkeit auf den Visus, welche in den OCT Bildern erkennbar sind, und ermöglicht eine Vorhersage des Visusverlaufs. Die Ergebnisse zeigen, dass foveale Flüssigkeit den Visus stärker beeinflusst, als parafoveale Flüssigkeit, sowie intraretinale Flüssigkeit einen höheren Einfluss hat als subretinale Flüssigkeit. Jedoch erklären die Flüssigkeitsänderungen in der Retina nur einen kleinen Teil der Varianz in den gemessenen Visusdaten. Wir zeigen, dass die präsentierten Methoden für longitudinale medizinische Bilddaten zur Modellierung und Vorhersage von Krankheitsverläufen geeignet sind, und dass sie weiteren Einblick in den Verlauf von Krankheiten bieten.Longitudinal medical imaging captures morphological, functional and physiological changes over time and allows to monitor and quantify individual disease progression and treatment response. A systematic analysis of these image series within a population reveals different patterns of disease progression and treatment response. These patterns provide insight into disease mechanisms and serve as a base for prediction of individual disease progression. In this thesis we aim in developing and evaluating data-driven (statistical) machine learning methods that assess and model spatial and temporal courses of disease progression, and that predict individual disease progression and treatment outcomes from longitudinal data. We include two datasets of progressing diseases, a computed tomography (CT) lung dataset of patients with entities of fibrosing interstitial lung disease (FILD) and an optical coherence tomography (OCT) dataset of patients with retinal vein occlusion (RVO). First, we establish a normative common reference space by pairwise and group-wise registration, to obtain correspondences of spatial anatomical locations within the follow-up acquisitions and patients. Then, we describe three methods that cover different aspects of disease progression and treatment response. The first method creates a population-wide normative disease progression model by aligning observations in time based on disease patterns identified in the images using an optimization process. We demonstrate that the model can be used to classify instances of FILD with different spatio-temporal disease progressions and that classification performance is improved by longitudinal alignment. The second method predicts individual future treatment outcome of RVO patients from features extracted from initial observations using sparse and Random Forests based regression methods. The method identifies the predictive anatomical areas within the pool of features and predicts whether a patient will suffer from disease recurrence within one year. The third method models and predicts visual acuity (VA) development under treatment for patients with RVO using longitudinal mixed effects models. It assesses the influence of morphologic changes caused by retinal fluid on VA as observed in the OCT, and provides a prediction of VA development under treatment. Results show that foveal fluid has more influence on VA than parafoveal fluid, and intraretinal fluid affects VA more than subretinal fluid. However, fluid changes explain only a small proportion of the measured variation in VA. We demonstrate that the proposed methods for longitudinal medical imaging are suitable to model disease progression, predict disease outcome and to obtain further insight in disease development.submitted by Wolf-Dieter VoglAbweichender Titel laut Übersetzung der Verfasserin/des VerfassersMedizinische Universität Wien, Dissertation, 2017OeBB(VLID)251211

Analyzing and Predicting Visual Acuity Outcomes of Anti-VEGF Therapy by a Longitudinal Mixed Effects Model of Imaging and Clinical Data

Purpose: We develop a longitudinal statistical model describing best-corrected visual acuity (BCVA) changes in anti-VEGF therapy in relation to imaging data, and predict the future BCVA outcome for individual patients by combining population-wide trends and initial subject-specific time points. Methods: Automatic segmentation algorithms were used to measure intraretinal (IRF) and subretinal (SRF) fluid volume on monthly spectral-domain optical coherence tomography scans of eyes with central retinal vein occlusion (CRVO) receiving standardized anti-VEGF treatment. The trajectory of BCVA over time was modeled as a multivariable repeated-measure mixed-effects regression model including fluid volumes as covariates. Subject-specific BCVA trajectories and final treatment outcomes were predicted using a population-wide model and individual observations from early follow-up. Results: A total of 193 eyes (one per patient, 12-month follow-up, 2420 visits) were analyzed. The population-wide mixed model revealed that the impact of fluid on BCVA is highest for IRF in the central millimeter around the fovea, with 31.17 letters/mm (95% confidence interval [CI], 39.70 to 23.32), followed by SRF in the central millimeter, with 17.50 letters/mm (31.17 to 4.60) and by IRF in the parafovea, with 2.87 letters/mm (4.71 to 0.44). The influence of SRF in the parafoveal area was 1.24 letters/mm (3.371.05). The conditional R2 of the model, including subject-specific deviations, was 0.887. The marginal R2 considering the population-wide trend and fluid changes was 0.109. BCVA at 1 year could be predicted for an individual patient after three visits with a mean absolute error of six letters and a predicted R2 of 0.658 using imaging information. Conclusions: The mixed-effects model revealed that retinal fluid volumes and population-wide trend only explains a small proportion of the variation in BCVA. Individual BCVA outcomes after 1 year could be predicted from initial BCVA and fluid measurements combined with the population-wide model. Accounting for fluid in the predictive model increased prediction accuracy.(VLID)484330

Multichannel optogenetic stimulation of the auditory pathway using microfabricated LED cochlear implants in rodents

When hearing fails, electrical cochlear implants (eCIs) provide the brain with auditory information. One important bottleneck of CIs is the poor spectral selectivity that results from the wide current spread from each of the electrode contacts. Optical CIs (oCIs) promise to make better use of the tonotopic order of spiral ganglion neurons (SGNs) inside the cochlea by spatially confined stimulation. Here, we established multichannel oCIs based on light-emitting diode (LED) arrays and used them for optical stimulation of channelrhodopsin (ChR)−expressing SGNs in rodents. Power-efficient blue LED chips were integrated onto microfabricated 15-μm-thin polyimide-based carriers comprising interconnecting lines to address individual LEDs by a stationary or mobile driver circuitry. We extensively characterized the optoelectronic, thermal, and mechanical properties of the oCIs and demonstrated stability over weeks in vitro. We then implanted the oCIs into ChR-expressing rats and gerbils, and characterized multichannel optogenetic SGN stimulation by electrophysiological and behavioral experiments. Improved spectral selectivity was directly demonstrated by recordings from the auditory midbrain. Long-term experiments in deafened ChR-expressing rats and in nontreated control animals demonstrated specificity of optogenetic stimulation. Behavioral studies on animals carrying a wireless oCI sound processor revealed auditory percepts. This study demonstrates hearing restoration with improved spectral selectivity by an LED-based multichannel oCI system