Automatic Detection and Characterization of Pathological Fluid Regions in Optical Coherence Tomography Images

Programa Oficial de Doutoramento en Computación. 5009V01[Abstract] Intraretinal fluid accumulation is both the common symptom and culprit of the main causes of blindness in developed countries: Age-related Macular Degeneration and Diabetic Macular Edema. For its diagnosis, experts of the domain employ Optical Coherence Tomography images (OCT), providing non-invasive cross-sectional representations of the retinal structures. However, like any medical imaging modality, OCT is influenced by multiple factors that impact its quality and subsequent interpretation. Coupled with the subjectiveness of the human experts, these factors can significantly affect the diagnostic process, treatment and quality of life for the affected individuals (particularly in these pathologies where early detection is crucial). To address these challenges, Computer-Aided Diagnosis (CAD) methodologies are developed, offering a layer of abstraction of the information present in the images. Still, in the particular scenario of these pathological fluid accumulations, the development of these methodologies is specially difficult due to their diffuse nature without defined boundaries. In this thesis, we proposed different CAD methodologies with the objective of helping expert clinicians to better detect and understand these pathologies. Furthermore, we expand the developed methodologies to other medical imaging modalities and conditions, such as macular neovascularizations in OCT Angiographies and COVID-19 diagnosis through the analysis of lung chest radiographs.[Resumen] La acumulación de líquido intrarretiniano es tanto síntoma común como culpable de las principales causas de ceguera en los países desarrollados: la degeneración macular asociada a la edad y el edema macular diabético. Para su diagnóstico, los expertos en el campo emplean imágenes de Tomografía de Coherencia Óptica (OCT), que proporcionan representaciones transversales no invasivas de las estructuras retinianas. Sin embargo, al igual que cualquier modalidad de imagen médica, OCT se ve influenciado por múltiples factores que afectan a su calidad y posterior interpretación. Junto con la subjetividad de los expertos humanos, estos factores pueden afectar significativamente el proceso diagnóstico, tratamiento y calidad de vida de las personas afectadas (particularmente en estas patologías donde una detección temprana es crucial). Para abordar estos desafíos, se desarrollan metodologías de diagnóstico asistido por ordenador (CAD), que ofrecen una capa de abstracción de la información presente en las imágenes. Sin embargo, en el escenario particular de estas acumulaciones patológicas de fluido, el desarrollo de estas metodologías es especialmente difícil debido a su naturaleza difusa, sin bordes definidos. En esta tesis doctoral proponemos diferentes metodologías CAD con el objetivo de ayudar a las personas expertas del dominio a detectar y comprender mejor estas patologías. Además, expandimos las metodologías desarrolladas a otras modalidades de imagen médica y afecciones, como al análisis de neovascularizaciones maculares en Angiografía OCT y al diagnóstico de COVID-19 mediante radiografías torácicas.[Resumo] A acumulación de líquido intrarretiniano é tanto o síntoma común como culpable das principais causas de cegueira nos países desenvolvidos: a dexeneración macular asociada á idade e o edema macular diabético. Para o seu diagnóstico, os expertos no campo empregan imaxes de tomografía de coherencia óptica (OCT), que proporcionan representacións transversais non invasivas das estruturas retinianas. Non obstante, ao igual que calquera modalidade de imaxe médica, a OCT vese influenciada por múltiples factores que afectan a s´ua calidade e a súa posterior interpretación. Xunto coa subxectividade dos expertos humanos, estes factores poden afectar significativamente ao proceso diagn´ostico, ao tratamento e á calidade de vida das persoas afectadas (particularmente nestas patoloxías onde unha detección precoz é crucial). Para abordar estes desafíos, desenvólvense metodoloxías de diagnóstico asistido por ordenador (CAD), que ofrecen unha capa de abstracción da información presente nas imaxes. Non obstante, no escenario particular das acumulacións patolóxicas de líquido, o desenvolvemento destas metodoloxías é especialmente difícil debido a súa natureza difusa, sen bordes definidos. Nesta tese de doutoramento propoñemos diferentes metodoloxías de CAD co obxectivo de axudar ás persoas expertas do campo a detectar e comprender mellor estas patoloxías. Ademais, expandimos as metodoloxías desenvoltas a outras modalidades de imaxe médica e patoloxías, como a an´alise de neovascularizacións maculares en Anxiografía OCT e ao diagnóstico da COVID-19 mediante a análise de radiografías torácicas

Image Processing and Analysis for Preclinical and Clinical Applications

Radiomics is one of the most successful branches of research in the field of image processing and analysis, as it provides valuable quantitative information for the personalized medicine. It has the potential to discover features of the disease that cannot be appreciated with the naked eye in both preclinical and clinical studies. In general, all quantitative approaches based on biomedical images, such as positron emission tomography (PET), computed tomography (CT) and magnetic resonance imaging (MRI), have a positive clinical impact in the detection of biological processes and diseases as well as in predicting response to treatment. This Special Issue, “Image Processing and Analysis for Preclinical and Clinical Applications”, addresses some gaps in this field to improve the quality of research in the clinical and preclinical environment. It consists of fourteen peer-reviewed papers covering a range of topics and applications related to biomedical image processing and analysis

Deep Learning in Medical Image Analysis

The accelerating power of deep learning in diagnosing diseases will empower physicians and speed up decision making in clinical environments. Applications of modern medical instruments and digitalization of medical care have generated enormous amounts of medical images in recent years. In this big data arena, new deep learning methods and computational models for efficient data processing, analysis, and modeling of the generated data are crucially important for clinical applications and understanding the underlying biological process. This book presents and highlights novel algorithms, architectures, techniques, and applications of deep learning for medical image analysis

An in vivo investigation of choroidal vasculature in age-related macular degeneration

Age-related macular degeneration (AMD) is the leading cause of visual impairment in the developed world. Whilst the pathogenesis is complex and not fully understood, changes to the choroidal vasculature in AMD have been demonstrated using histology. Advances in imaging technology, particularly long-wavelength optical coherence tomography (OCT), allow in vivo visualisation and investigation of this structure. The aim of this work is to determine whether changes to the choroidal vasculature are detectable in AMD using in vivo imaging. This was achieved through the evaluation of parameters for quantifying the structure, and the application of a machine learning approach to automated disease severity classification, based on choroidal appearance. Participants with early AMD (n=25), neovascular AMD (nAMD; n=25), and healthy controls (n=25) underwent imaging with a non-commercial long-wavelength (λc=1040 nm) OCT device. Subfoveal choroidal thickness, choroidal area, and luminal area were significantly lower in the nAMD group than the healthy and early AMD groups, whilst vessel ratio was significantly greater (P<0.05 in all cases). There was no significant difference in visible vessel diameter, choroidal vascularity index, luminal area ratio, or luminal perimeter ratio between the groups. No significant differences were found between the healthy and early AMD groups for any of the eight vascular parameters assessed. Classification of the disease groups based on choroidal OCT images was demonstrated using machine learning techniques. Textural features within the images were extracted using Gabor filters, and K-nearest neighbour, support vector machine, and random forest classifiers were assessed for this classification task. Textural changes were most pronounced in late-stage disease, although attribution to pathology or pharmacological intervention (anti-VEGF treatment) was not possible. Changes were also discernible in the early AMD group, suggesting sensitivity of this approach to detecting vascular involvement in early disease. In conclusion, structural changes to the choroidal vasculature in AMD are detectable in vivo using OCT imaging, demonstrated with both manual and automated analysis techniques. Whilst changes were most prominent in late-stage disease, subtle structural changes in early AMD were identified with texture analysis, warranting further investigation to improve our understanding of choroidal involvement in the pathogenesis of early AMD

Evaluation of automated organ segmentation for total-body PET-CT

The ability to diagnose rapidly and accurately and treat patients is substantially facilitated by medical images. Radiologists' visual assessment of medical images is crucial to their study. Segmenting images for diagnostic purposes is a crucial step in the medical imaging process. The purpose of medical image segmentation is to locate and isolate ‘Regions of Interest’ (ROI) within a medical image. Several medical uses rely on this procedure, including diagnosis, patient management, and medical study. Medical image segmentation has applications beyond just diagnosis and treatment planning. Quantitative information from medical images can be extracted by image segmentation and employed in the research of new diagnostic and treatment procedures. In addition, image segmentation is a critical procedure in several programs for image processing, including image fusion and registration. In order to construct a single, high-resolution, high-contrast image of an item or organ from several images, a process called "image registration" is used. A more complete picture of the patient's anatomy can be obtained through image fusion, which entails integrating numerous images from different modalities such as computed tomography (CT) and Magnetic resonance imaging (MRI). Once images are obtained using imaging technologies, they go through post-processing procedures before being analyzed. One of the primary and essential steps in post-processing is image segmentation, which involves dividing the images into parts and utilizing only the relevant sections for analysis. This project explores various imaging technologies and tools that can be utilized for image segmentation. Many open-source imaging tools are available for segmenting medical images across various applications. The objective of this study is to use the Jaccard index to evaluate the degree of similarity between the segmentations produced by various medical image visualization and analysis programs

Deep Multimodality Image-Guided System for Assisting Neurosurgery

Intrakranielle Hirntumoren gehören zu den zehn häufigsten bösartigen Krebsarten und sind für eine erhebliche Morbidität und Mortalität verantwortlich. Die größte histologische Kategorie der primären Hirntumoren sind die Gliome, die ein äußerst heterogenes Erschei-nungsbild aufweisen und radiologisch schwer von anderen Hirnläsionen zu unterscheiden sind. Die Neurochirurgie ist meist die Standardbehandlung für neu diagnostizierte Gliom-Patienten und kann von einer Strahlentherapie und einer adjuvanten Temozolomid-Chemotherapie gefolgt werden. Die Hirntumorchirurgie steht jedoch vor großen Herausforderungen, wenn es darum geht, eine maximale Tumorentfernung zu erreichen und gleichzeitig postoperative neurologische Defizite zu vermeiden. Zwei dieser neurochirurgischen Herausforderungen werden im Folgenden vorgestellt. Erstens ist die manuelle Abgrenzung des Glioms einschließlich seiner Unterregionen aufgrund seines infiltrativen Charakters und des Vorhandenseins einer heterogenen Kontrastverstärkung schwierig. Zweitens verformt das Gehirn seine Form ̶ die so genannte "Hirnverschiebung" ̶ als Reaktion auf chirurgische Manipulationen, Schwellungen durch osmotische Medikamente und Anästhesie, was den Nutzen präopera-tiver Bilddaten für die Steuerung des Eingriffs einschränkt. Bildgesteuerte Systeme bieten Ärzten einen unschätzbaren Einblick in anatomische oder pathologische Ziele auf der Grundlage moderner Bildgebungsmodalitäten wie Magnetreso-nanztomographie (MRT) und Ultraschall (US). Bei den bildgesteuerten Instrumenten handelt es sich hauptsächlich um computergestützte Systeme, die mit Hilfe von Computer-Vision-Methoden die Durchführung perioperativer chirurgischer Eingriffe erleichtern. Die Chirurgen müssen jedoch immer noch den Operationsplan aus präoperativen Bildern gedanklich mit Echtzeitinformationen zusammenführen, während sie die chirurgischen Instrumente im Körper manipulieren und die Zielerreichung überwachen. Daher war die Notwendigkeit einer Bildführung während neurochirurgischer Eingriffe schon immer ein wichtiges Anliegen der Ärzte. Ziel dieser Forschungsarbeit ist die Entwicklung eines neuartigen Systems für die peri-operative bildgeführte Neurochirurgie (IGN), nämlich DeepIGN, mit dem die erwarteten Ergebnisse der Hirntumorchirurgie erzielt werden können, wodurch die Gesamtüberle-bensrate maximiert und die postoperative neurologische Morbidität minimiert wird. Im Rahmen dieser Arbeit werden zunächst neuartige Methoden für die Kernbestandteile des DeepIGN-Systems der Hirntumor-Segmentierung im MRT und der multimodalen präope-rativen MRT zur intraoperativen US-Bildregistrierung (iUS) unter Verwendung der jüngs-ten Entwicklungen im Deep Learning vorgeschlagen. Anschließend wird die Ergebnisvor-hersage der verwendeten Deep-Learning-Netze weiter interpretiert und untersucht, indem für den Menschen verständliche, erklärbare Karten erstellt werden. Schließlich wurden Open-Source-Pakete entwickelt und in weithin anerkannte Software integriert, die für die Integration von Informationen aus Tracking-Systemen, die Bildvisualisierung und -fusion sowie die Anzeige von Echtzeit-Updates der Instrumente in Bezug auf den Patientenbe-reich zuständig ist. Die Komponenten von DeepIGN wurden im Labor validiert und in einem simulierten Operationssaal evaluiert. Für das Segmentierungsmodul erreichte DeepSeg, ein generisches entkoppeltes Deep-Learning-Framework für die automatische Abgrenzung von Gliomen in der MRT des Gehirns, eine Genauigkeit von 0,84 in Bezug auf den Würfelkoeffizienten für das Bruttotumorvolumen. Leistungsverbesserungen wurden bei der Anwendung fort-schrittlicher Deep-Learning-Ansätze wie 3D-Faltungen über alle Schichten, regionenbasier-tes Training, fliegende Datenerweiterungstechniken und Ensemble-Methoden beobachtet. Um Hirnverschiebungen zu kompensieren, wird ein automatisierter, schneller und genauer deformierbarer Ansatz, iRegNet, für die Registrierung präoperativer MRT zu iUS-Volumen als Teil des multimodalen Registrierungsmoduls vorgeschlagen. Es wurden umfangreiche Experimente mit zwei Multi-Location-Datenbanken durchgeführt: BITE und RESECT. Zwei erfahrene Neurochirurgen führten eine zusätzliche qualitative Validierung dieser Studie durch, indem sie MRT-iUS-Paare vor und nach der deformierbaren Registrierung überlagerten. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene iRegNet schnell ist und die besten Genauigkeiten erreicht. Darüber hinaus kann das vorgeschlagene iRegNet selbst bei nicht trainierten Bildern konkurrenzfähige Ergebnisse liefern, was seine Allgemeingültigkeit unter Beweis stellt und daher für die intraoperative neurochirurgische Führung von Nutzen sein kann. Für das Modul "Erklärbarkeit" wird das NeuroXAI-Framework vorgeschlagen, um das Vertrauen medizinischer Experten in die Anwendung von KI-Techniken und tiefen neuro-nalen Netzen zu erhöhen. Die NeuroXAI umfasst sieben Erklärungsmethoden, die Visuali-sierungskarten bereitstellen, um tiefe Lernmodelle transparent zu machen. Die experimen-tellen Ergebnisse zeigen, dass der vorgeschlagene XAI-Rahmen eine gute Leistung bei der Extraktion lokaler und globaler Kontexte sowie bei der Erstellung erklärbarer Salienzkar-ten erzielt, um die Vorhersage des tiefen Netzwerks zu verstehen. Darüber hinaus werden Visualisierungskarten erstellt, um den Informationsfluss in den internen Schichten des Encoder-Decoder-Netzwerks zu erkennen und den Beitrag der MRI-Modalitäten zur end-gültigen Vorhersage zu verstehen. Der Erklärungsprozess könnte medizinischen Fachleu-ten zusätzliche Informationen über die Ergebnisse der Tumorsegmentierung liefern und somit helfen zu verstehen, wie das Deep-Learning-Modell MRT-Daten erfolgreich verar-beiten kann. Außerdem wurde ein interaktives neurochirurgisches Display für die Eingriffsführung entwickelt, das die verfügbare kommerzielle Hardware wie iUS-Navigationsgeräte und Instrumentenverfolgungssysteme unterstützt. Das klinische Umfeld und die technischen Anforderungen des integrierten multimodalen DeepIGN-Systems wurden mit der Fähigkeit zur Integration von (1) präoperativen MRT-Daten und zugehörigen 3D-Volumenrekonstruktionen, (2) Echtzeit-iUS-Daten und (3) positioneller Instrumentenver-folgung geschaffen. Die Genauigkeit dieses Systems wurde anhand eines benutzerdefi-nierten Agar-Phantom-Modells getestet, und sein Einsatz in einem vorklinischen Operati-onssaal wurde simuliert. Die Ergebnisse der klinischen Simulation bestätigten, dass die Montage des Systems einfach ist, in einer klinisch akzeptablen Zeit von 15 Minuten durchgeführt werden kann und mit einer klinisch akzeptablen Genauigkeit erfolgt. In dieser Arbeit wurde ein multimodales IGN-System entwickelt, das die jüngsten Fort-schritte im Bereich des Deep Learning nutzt, um Neurochirurgen präzise zu führen und prä- und intraoperative Patientenbilddaten sowie interventionelle Geräte in das chirurgi-sche Verfahren einzubeziehen. DeepIGN wurde als Open-Source-Forschungssoftware entwickelt, um die Forschung auf diesem Gebiet zu beschleunigen, die gemeinsame Nut-zung durch mehrere Forschungsgruppen zu erleichtern und eine kontinuierliche Weiter-entwicklung durch die Gemeinschaft zu ermöglichen. Die experimentellen Ergebnisse sind sehr vielversprechend für die Anwendung von Deep-Learning-Modellen zur Unterstützung interventioneller Verfahren - ein entscheidender Schritt zur Verbesserung der chirurgi-schen Behandlung von Hirntumoren und der entsprechenden langfristigen postoperativen Ergebnisse

When the machine does not know measuring uncertainty in deep learning models of medical images

This thesis was submitted for the award of Doctor of Philosophy and was awarded by Brunel University LondonRecently, Deep learning (DL), which involves powerful black box predictors, has outperformed human experts in several medical diagnostic problems. However, these methods focus exclusively on improving the accuracy of point predictions without assessing their outputs’ quality and ignore the asymmetric cost involved in different types of misclassification errors. Neural networks also do not deliver confidence in predictions and suffer from over and under confidence, i.e. are not well calibrated. Knowing how much confidence there is in a prediction is essential for gaining clinicians’ trust in the technology. Calibrated uncertainty quantification is a challenging problem as no ground truth is available. To address this, we make two observations: (i) cost-sensitive deep neural networks with Dropweights models better quantify calibrated predictive uncertainty, and (ii) estimated uncertainty with point predictions in Deep Ensembles Bayesian Neural Networks with DropWeights can lead to a more informed decision and improve prediction quality. This dissertation focuses on quantifying uncertainty using concepts from cost-sensitive neural networks, calibration of confidence, and Dropweights ensemble method. First, we show how to improve predictive uncertainty by deep ensembles of neural networks with Dropweights learning an approximate distribution over its weights in medical image segmentation and its application in active learning. Second, we use the Jackknife resampling technique to correct bias in quantified uncertainty in image classification and propose metrics to measure uncertainty performance. The third part of the thesis is motivated by the discrepancy between the model predictive error and the objective in quantified uncertainty when costs for misclassification errors or unbalanced datasets are asymmetric. We develop cost-sensitive modifications of the neural networks in disease detection and propose metrics to measure the quality of quantified uncertainty. Finally, we leverage an adaptive binning strategy to measure uncertainty calibration error that directly corresponds to estimated uncertainty performance and address problematic evaluation methods. We evaluate the effectiveness of the tools on nuclei images segmentation, multi-class Brain MRI image classification, multi-level cell type-specific protein expression prediction in ImmunoHistoChemistry (IHC) images and cost-sensitive classification for Covid-19 detection from X-Rays and CT image dataset. Our approach is thoroughly validated by measuring the quality of uncertainty. It produces an equally good or better result and paves the way for the future that addresses the practical problems at the intersection of deep learning and Bayesian decision theory. In conclusion, our study highlights the opportunities and challenges of the application of estimated uncertainty in deep learning models of medical images, representing the confidence of the model’s prediction, and the uncertainty quality metrics show a significant improvement when using Deep Ensembles Bayesian Neural Networks with DropWeights

On Improving Generalization of CNN-Based Image Classification with Delineation Maps Using the CORF Push-Pull Inhibition Operator

Deployed image classification pipelines are typically dependent on the images captured in real-world environments. This means that images might be affected by different sources of perturbations (e.g. sensor noise in low-light environments). The main challenge arises by the fact that image quality directly impacts the reliability and consistency of classification tasks. This challenge has, hence, attracted wide interest within the computer vision communities. We propose a transformation step that attempts to enhance the generalization ability of CNN models in the presence of unseen noise in the test set. Concretely, the delineation maps of given images are determined using the CORF push-pull inhibition operator. Such an operation transforms an input image into a space that is more robust to noise before being processed by a CNN. We evaluated our approach on the Fashion MNIST data set with an AlexNet model. It turned out that the proposed CORF-augmented pipeline achieved comparable results on noise-free images to those of a conventional AlexNet classification model without CORF delineation maps, but it consistently achieved significantly superior performance on test images perturbed with different levels of Gaussian and uniform noise