88 research outputs found

    Automatic analysis of retinal images to aid in the diagnosis and grading of diabetic retinopathy

    Get PDF
    Diabetic retinopathy (DR) is the most common complication of diabetes mellitus and one of the leading causes of preventable blindness in the adult working population. Visual loss can be prevented from the early stages of DR, when the treatments are effective. Therefore, early diagnosis is paramount. However, DR may be clinically asymptomatic until the advanced stage, when vision is already affected and treatment may become difficult. For this reason, diabetic patients should undergo regular eye examinations through screening programs. Traditionally, DR screening programs are run by trained specialists through visual inspection of the retinal images. However, this manual analysis is time consuming and expensive. With the increasing incidence of diabetes and the limited number of clinicians and sanitary resources, the early detection of DR becomes non-viable. For this reason, computed-aided diagnosis (CAD) systems are required to assist specialists for a fast, reliable diagnosis, allowing to reduce the workload and the associated costs. We hypothesize that the application of novel, automatic algorithms for fundus image analysis could contribute to the early diagnosis of DR. Consequently, the main objective of the present Doctoral Thesis is to study, design and develop novel methods based on the automatic analysis of fundus images to aid in the screening, diagnosis, and treatment of DR. In order to achieve the main goal, we built a private database and used five retinal public databases: DRIMDB, DIARETDB1, DRIVE, Messidor and Kaggle. The stages of fundus image processing covered in this Thesis are: retinal image quality assessment (RIQA), the location of the optic disc (OD) and the fovea, the segmentation of RLs and EXs, and the DR severity grading. RIQA was studied with two different approaches. The first approach was based on the combination of novel, global features. Results achieved 91.46% accuracy, 92.04% sensitivity, and 87.92% specificity using the private database. We developed a second approach aimed at RIQA based on deep learning. We achieved 95.29% accuracy with the private database and 99.48% accuracy with the DRIMDB database. The location of the OD and the fovea was performed using a combination of saliency maps. The proposed methods were evaluated over the private database and the public databases DRIVE, DIARETDB1 and Messidor. For the OD, we achieved 100% accuracy for all databases except Messidor (99.50%). As for the fovea location, we also reached 100% accuracy for all databases except Messidor (99.67%). The joint segmentation of RLs and EXs was accomplished by decomposing the fundus image into layers. Results were computed per pixel and per image. Using the private database, 88.34% per-image accuracy (ACCi) was reached for the RL detection and 95.41% ACCi for EX detection. An additional method was proposed for the segmentation of RLs based on superpixels. Evaluating this method with the private database, we obtained 84.45% ACCi. Results were validated using the DIARETDB1 database. Finally, we proposed a deep learning framework for the automatic DR severity grading. The method was based on a novel attention mechanism which performs a separate attention of the dark and the bright structures of the retina. The Kaggle DR detection dataset was used for development and validation. The International Clinical DR Scale was considered, which is made up of 5 DR severity levels. Classification results for all classes achieved 83.70% accuracy and a Quadratic Weighted Kappa of 0.78. The methods proposed in this Doctoral Thesis form a complete, automatic DR screening system, contributing to aid in the early detection of DR. In this way, diabetic patients could receive better attention for their ocular health avoiding vision loss. In addition, the workload of specialists could be relieved while healthcare costs are reduced.La retinopatía diabética (RD) es la complicación más común de la diabetes mellitus y una de las principales causas de ceguera prevenible en la población activa adulta. El diagnóstico precoz es primordial para prevenir la pérdida visual. Sin embargo, la RD es clínicamente asintomática hasta etapas avanzadas, cuando la visión ya está afectada. Por eso, los pacientes diabéticos deben someterse a exámenes oftalmológicos periódicos a través de programas de cribado. Tradicionalmente, estos programas están a cargo de especialistas y se basan de la inspección visual de retinografías. Sin embargo, este análisis manual requiere mucho tiempo y es costoso. Con la creciente incidencia de la diabetes y la escasez de recursos sanitarios, la detección precoz de la RD se hace inviable. Por esta razón, se necesitan sistemas de diagnóstico asistido por ordenador (CAD) que ayuden a los especialistas a realizar un diagnóstico rápido y fiable, que permita reducir la carga de trabajo y los costes asociados. El objetivo principal de la presente Tesis Doctoral es estudiar, diseñar y desarrollar nuevos métodos basados en el análisis automático de retinografías para ayudar en el cribado, diagnóstico y tratamiento de la RD. Las etapas estudiadas fueron: la evaluación de la calidad de la imagen retiniana (RIQA), la localización del disco óptico (OD) y la fóvea, la segmentación de RL y EX y la graduación de la severidad de la RD. RIQA se estudió con dos enfoques diferentes. El primer enfoque se basó en la combinación de características globales. Los resultados lograron una precisión del 91,46% utilizando la base de datos privada. El segundo enfoque se basó en aprendizaje profundo. Logramos un 95,29% de precisión con la base de datos privada y un 99,48% con la base de datos DRIMDB. La localización del OD y la fóvea se realizó mediante una combinación de mapas de saliencia. Los métodos propuestos fueron evaluados sobre la base de datos privada y las bases de datos públicas DRIVE, DIARETDB1 y Messidor. Para el OD, logramos una precisión del 100% para todas las bases de datos excepto Messidor (99,50%). En cuanto a la ubicación de la fóvea, también alcanzamos un 100% de precisión para todas las bases de datos excepto Messidor (99,67%). La segmentación conjunta de RL y EX se logró descomponiendo la imagen del fondo de ojo en capas. Utilizando la base de datos privada, se alcanzó un 88,34% de precisión por imagen (ACCi) para la detección de RL y un 95,41% de ACCi para la detección de EX. Se propuso un método adicional para la segmentación de RL basado en superpíxeles. Evaluando este método con la base de datos privada, obtuvimos 84.45% ACCi. Los resultados se validaron utilizando la base de datos DIARETDB1. Finalmente, propusimos un método de aprendizaje profundo para la graduación automática de la gravedad de la DR. El método se basó en un mecanismo de atención. Se utilizó la base de datos Kaggle y la Escala Clínica Internacional de RD (5 niveles de severidad). Los resultados de clasificación para todas las clases alcanzaron una precisión del 83,70% y un Kappa ponderado cuadrático de 0,78. Los métodos propuestos en esta Tesis Doctoral forman un sistema completo y automático de cribado de RD, contribuyendo a ayudar en la detección precoz de la RD. De esta forma, los pacientes diabéticos podrían recibir una mejor atención para su salud ocular evitando la pérdida de visión. Además, se podría aliviar la carga de trabajo de los especialistas al mismo tiempo que se reducen los costes sanitarios.Escuela de DoctoradoDoctorado en Tecnologías de la Información y las Telecomunicacione

    Semi-Weakly Supervised Learning for Label-efficient Semantic Segmentation in Expert-driven Domains

    Get PDF
    Unter Zuhilfenahme von Deep Learning haben semantische Segmentierungssysteme beeindruckende Ergebnisse erzielt, allerdings auf der Grundlage von überwachtem Lernen, das durch die Verfügbarkeit kostspieliger, pixelweise annotierter Bilder limitiert ist. Bei der Untersuchung der Performance dieser Segmentierungssysteme in Kontexten, in denen kaum Annotationen vorhanden sind, bleiben sie hinter den hohen Erwartungen, die durch die Performance in annotationsreichen Szenarien geschürt werden, zurück. Dieses Dilemma wiegt besonders schwer, wenn die Annotationen von lange geschultem Personal, z.B. Medizinern, Prozessexperten oder Wissenschaftlern, erstellt werden müssen. Um gut funktionierende Segmentierungsmodelle in diese annotationsarmen, Experten-angetriebenen Domänen zu bringen, sind neue Lösungen nötig. Zu diesem Zweck untersuchen wir zunächst, wie schlecht aktuelle Segmentierungsmodelle mit extrem annotationsarmen Szenarien in Experten-angetriebenen Bildgebungsdomänen zurechtkommen. Daran schließt sich direkt die Frage an, ob die kostspielige pixelweise Annotation, mit der Segmentierungsmodelle in der Regel trainiert werden, gänzlich umgangen werden kann, oder ob sie umgekehrt ein Kosten-effektiver Anstoß sein kann, um die Segmentierung in Gang zu bringen, wenn sie sparsam eingestetzt wird. Danach gehen wir auf die Frage ein, ob verschiedene Arten von Annotationen, schwache- und pixelweise Annotationen mit unterschiedlich hohen Kosten, gemeinsam genutzt werden können, um den Annotationsprozess flexibler zu gestalten. Experten-angetriebene Domänen haben oft nicht nur einen Annotationsmangel, sondern auch völlig andere Bildeigenschaften, beispielsweise volumetrische Bild-Daten. Der Übergang von der 2D- zur 3D-semantischen Segmentierung führt zu voxelweisen Annotationsprozessen, was den nötigen Zeitaufwand für die Annotierung mit der zusätzlichen Dimension multipliziert. Um zu einer handlicheren Annotation zu gelangen, untersuchen wir Trainingsstrategien für Segmentierungsmodelle, die nur preiswertere, partielle Annotationen oder rohe, nicht annotierte Volumina benötigen. Dieser Wechsel in der Art der Überwachung im Training macht die Anwendung der Volumensegmentierung in Experten-angetriebenen Domänen realistischer, da die Annotationskosten drastisch gesenkt werden und die Annotatoren von Volumina-Annotationen befreit werden, welche naturgemäß auch eine Menge visuell redundanter Regionen enthalten würden. Schließlich stellen wir die Frage, ob es möglich ist, die Annotations-Experten von der strikten Anforderung zu befreien, einen einzigen, spezifischen Annotationstyp liefern zu müssen, und eine Trainingsstrategie zu entwickeln, die mit einer breiten Vielfalt semantischer Information funktioniert. Eine solche Methode wurde hierzu entwickelt und in unserer umfangreichen experimentellen Evaluierung kommen interessante Eigenschaften verschiedener Annotationstypen-Mixe in Bezug auf deren Segmentierungsperformance ans Licht. Unsere Untersuchungen führten zu neuen Forschungsrichtungen in der semi-weakly überwachten Segmentierung, zu neuartigen, annotationseffizienteren Methoden und Trainingsstrategien sowie zu experimentellen Erkenntnissen, zur Verbesserung von Annotationsprozessen, indem diese annotationseffizient, expertenzentriert und flexibel gestaltet werden

    Advanced MRI methods for probing disease severity and functional decline in multiple sclerosis

    Get PDF
    Multiple sclerosis (MS) is a chronic and severe disease of the central nervous system characterized by complex pathology including inflammatory demyelination and neurodegeneration. MS impacts >2.8 million people worldwide, with most starting with a relapsing-remitting form (RRMS) in young adulthood, and many of them worsening to a secondary-progressive course (SPMS) despite treatment. So, there is a clear need for improved disease characterization. MRI is an ideal tool for non-invasive assessment of MS pathology, but there is still no established measure of disease activity and functional consequences. This project aims to overcome the challenge by developing novel imaging measures based on brain diffusion MRI and phase congruency texture analysis of conventional MRI. Through advanced modeling and analysis of clinically feasible brain MRI, this thesis investigates whether and how the derived measures differentiate MS pathology types and disease severity and predict functional outcomes in MS. The overall process has led to important technical innovations in several aspects. These include: innovative modeling of simple diffusion acquisitions to generate high angular resolution diffusion imaging (HARDI) measures; new optimization and harmonization techniques for diffusion MRI; innovative neural network models to create new diffusion data for comprehensive HARDI modeling; and novel methods and a graphic user interface for optimizing phase congruency analyses. Assisted by different machine learning methods, collective findings show that advanced measures from both diffusion MRI and phase congruency are highly sensitive to subtle differences in MS pathology, which differentiate disease severity between RRMS and SPMS through multi-dimensional analyses including chronic active lesions, and predict functional outcomes especially in physical and neurocognitive domains. These results are clinically translational and the new measures and techniques can help improve the evaluation and management of both MS and similar diseases

    Deep Learning in Medical Image Analysis

    Get PDF
    The accelerating power of deep learning in diagnosing diseases will empower physicians and speed up decision making in clinical environments. Applications of modern medical instruments and digitalization of medical care have generated enormous amounts of medical images in recent years. In this big data arena, new deep learning methods and computational models for efficient data processing, analysis, and modeling of the generated data are crucially important for clinical applications and understanding the underlying biological process. This book presents and highlights novel algorithms, architectures, techniques, and applications of deep learning for medical image analysis

    Das MYCN-Onkogen als Marker für minimale Resterkrankung und therapeutisches Ziel beim Neuroblastom

    Get PDF
    Neuroblastoma, the most common extracranial solid childhood cancer, arises from precursors of the developing sympathetic nervous system. MYCN oncogene amplification is a determinant of high risk and occurs in ~25% of neuroblastomas. Despite intensive treatment, more than half these patients succumb to their disease, implying persistence of therapy-resistant MYCN-amplified minimal residual neuroblastoma cells. This thesis proposes a comprehensive concept for the specific diagnostic detection of the MYCN amplicon and evaluates new treatment options for MYCN-amplified neuroblastoma. Disease-relevant nucleotide changes, structural gene rearrangements and copy number alterations were detected in tumor material by next-generation sequencing of a customized hybrid capture-based targeted panel. Unique MYCN amplicon breakpoints in the rearranged gene constitute a target sequence for a personalized minimal residual disease (MRD) PCR diagnostic. MYCN amplicon breakpoints in neuroblastoma cell lines and tumors were identified and recovered by individual, semi-quantitative PCR assays and Sanger sequencing. The assay was further developed for highly sensitive, real-time quantitative and droplet digital PCR detection for selected MYCN breakpoints in cell lines. MRD level detected in bone marrow aspirates collected during therapy outlined different disease courses in patients, including MRD persistence until relapse and good response to the first treatment course. Combining multi-agent chemotherapy in current high-risk protocols with indirect MYCN inhibitors provides a potential route to improve poor cure rates for MYCN-amplified neuroblastomas. Different hyperactive biological networks in MYCN-amplified neuroblastoma were tackled using small molecule inhibitors of the bromodomain and extra-terminal (BET) domain-containing protein BRD4, phosphoinositide 3-kinase (PI3K) and polo-like kinase 1 (PLK1). BET (JQ1, OTX015 and TEN-010) and kinase (alpelisib, volasertib and rigosertib) inhibitors demonstrated anti-cancer activity by diminishing viability in cell line-based drug screens at nanomolar to low micromolar concentrations. Rigosertib treatment altered PLK1 and PI3K signaling and strongly impaired the cellular ability for wound healing and colony formation. In line with in vitro observations, rigosertib reduced tumor growth in patient-derived neuroblastoma xenografts in mice. Combining OTX015 and volasertib produced synergistic anti-tumor responses in two MYCN-amplified neuroblastoma cell lines. To prevent MYCN-driven proliferation of tumor cells, further indirect MYCN targets are also being considered. This is exemplified by a substrate of PLK1, ASPM, which is elevated in MYCN-amplified primary neuroblastomas. Knockdown of ASPM, a microtubule-associated protein involved in mitotic spindle assembly, in MYCN-amplified neuroblastoma cell lines reduced viability and proliferation, accompanying a neuronal differentiation phenotype with neurite-like outgrowth, cytoskeletal changes and increased expression of differentiation markers. This study presents clinical implementable molecular diagnostics to pinpoint unique MYCN-amplified neuroblastoma cells within non-invasively accessible biopsy material, and proposes indirect small molecule-based MYCN therapies and potentially new drug targets for a personalized treatment.Das Neuroblastom, der häufigste extrakranielle solide Krebs im Kindesalter, entsteht aus Vorläuferzellen des sich entwickelnden sympathischen Nervensystems. Eine Amplifikation des MYCN-Onkogens ist ein bestimmender Faktor für ein hohes Risiko und tritt bei ~25% der Neuroblastome auf. Trotz intensiver Behandlung erliegt mehr als die Hälfte dieser Patienten ihrer Krankheit, was die Persistenz therapieresistenter, MYCN-amplifizierter minimaler Restneuroblastomzellen impliziert. Diese Arbeit stellt ein umfassendes Konzept für den spezifischen, diagnostischen Nachweis des MYCN-Amplikons vor und evaluiert neue Behandlungsoptionen für MYCN-amplifizierte Neuroblastome. Krankheitsrelevante Nukleotidveränderungen, strukturelle Genrearrangements und Kopienzahl-veränderungen wurden im Tumormaterial mit Hilfe eines maßgeschneiderten, zielgerichteten hybrid-capture-basierten Next Generation Sequencing (NGS) Assays nachgewiesen. Einzigartige MYCN-Amplikon-Bruchpunkte im rearrangierten Gen stellen eine Zielsequenz für eine personalisierte PCR-Diagnostik der minimalen Resterkrankung (MRD) dar. MYCN-Amplikon-Bruchpunkte in Neuroblastom-Zelllinien und Tumoren wurden durch individuelle, semi-quantitative PCR-Assays und Sanger Sequenzierung identifiziert und wiedererkannt. Der Assay wurde für den hochsensitiven, quantitativen Echtzeit- und digitalen Tröpfchen-PCR-Nachweis für ausgewählte MYCN-Bruchpunkte in Zelllinien weiterentwickelt. Die MRD Level, die in den während der Therapie gesammelten Knochenmarkaspiraten nachgewiesen wurden, skizzierten die verschiedenen Krankheitsverläufe bei den Patienten, einschließlich der MRD-Persistenz bis zum Rezidiv und des guten Ansprechens auf den ersten Behandlungsabschnitt. Die Kombination der Multi-Wirkstoff-Chemotherapie in den aktuellen Hochrisikoprotokollen mit indirekten MYCN-Inhibitoren stellt einen möglichen Weg dar, die schlechten Heilungsraten für MYCN-amplifizierte Neuroblastome zu verbessern. Verschiedene, hyperaktive biologische Netzwerke in MYCN-amplifizierten Neuroblastomen wurden mit niedermolekularen Inhibitoren der Bromdomäne und des extra-terminalen (BET) domänenhaltigen Proteins BRD4, der Phosphoinositid-3-Kinase (PI3K) und der polo-ähnlichen Kinase 1 (PLK1) behandelt. BET (JQ1, OTX015 und TEN-010) und Kinase-Inhibitoren (Alpelisib, Volasertib und Rigosertib) zeigten eine krebshemmende Wirkung, indem sie die Viabilität in zelllinienbasierten Wirkstoff-Screens bei nanomolaren bis niedrigen mikromolaren Konzentrationen verminderten. Die Behandlung mit Rigosertib veränderte die PLK1- und PI3K-Signalübertragung und beeinträchtigte die zelluläre Fähigkeit zur Wundheilung und Koloniebildung stark. In Übereinstimmung mit In-vitro-Beobachtungen reduzierte Rigosertib das Tumorwachstum in von Patienten stammenden Neuroblastom-Xenografts bei Mäusen. Die Kombination von OTX015 und Rigosertib erzeugte synergistische antitumorale Aktivität in zwei MYCN-amplifizierten Neuroblastom-Zelllinien. Um die MYCN-gesteuerte Proliferation von Tumorzellen zu verhindern, werden weitere indirekte MYCN-Targets in Betracht gezogen. Ein Beispiel hierfür ist ein Substrat von PLK1, ASPM, das in MYCN-amplifizierten, primären Neuroblastomen erhöht ist. Das Herunterregulieren von ASPM, einem Mikrotubuli-assoziierten Protein, das an der mitotischen Spindelanordnung beteiligt ist, führte in MYCN-amplifizierten Neuroblastom-Zelllinien zu einer verminderten Viabilität und Proliferation, was mit einem neuronalen Differenzierungsphänotyp mit neuritenartigem Auswuchs, zytoskelettalen Veränderungen und erhöhter Expression von Differenzierungsmarkern einherging. Diese Studie stellt eine klinisch umsetzbare, molekulare Diagnostik vor, um einzigartige MYCN-amplifizierte Neuroblastomzellen in nicht-invasiv zugänglichem Biopsiematerial zu detektieren, und schlägt indirekte, niedermolekular-basierende MYCN-Therapien und potenziell neue Zielmoleküle für eine personalisierte Krebsbehandlung vor
    corecore