Deep learning for an improved diagnostic pathway of prostate cancer in a small multi-parametric magnetic resonance data regime

Prostate Cancer (PCa) is the second most commonly diagnosed cancer among men, with an estimated incidence of 1.3 million new cases worldwide in 2018. The current diagnostic pathway of PCa relies on prostate-specific antigen (PSA) levels in serum. Nevertheless, PSA testing comes at the cost of under-detection of malignant lesions and a substantial over-diagnosis of indolent ones, leading to unnecessary invasive testing such biopsies and treatment in indolent PCa lesions. Magnetic Resonance Imaging (MRI) is a non-invasive technique that has emerged as a valuable tool for PCa detection, staging, early screening, treatment planning and intervention. However, analysis of MRI relies on expertise, can be time-consuming, requires specialized training and in its absence suffers from inter and intra-reader variability and sub-optimal interpretations. Deep Learning (DL) techniques have the ability to recognize complex patterns in imaging data and are able to automatize certain assessments or tasks while offering a lesser degree of subjectiveness, providing a tool that can help clinicians in their daily tasks. In spite of it, DL success has traditionally relied on the availability of large amounts of labelled data, which are rarely available in the medical field and are costly and hard to obtain due to privacy regulations of patients’ data and required specialized training, among others. This work investigates DL algorithms specially tailored to work in a limited data regime with the final objective of improving the current prostate cancer diagnostic pathway by improving the performance of DL algorithms for PCa MRI applications in a limited data regime scenario. In particular, this thesis starts by exploring Generative Adversarial Networks (GAN) to generate synthetic samples and their effect on tasks such as prostate capsule segmentation and PCa lesion significance classification (triage). Following, we explore the use of Auto-encoders (AEs) to exploit the data imbalance that is usually present in medical imaging datasets. Specifically, we propose a framework based on AEs to detect the presence of prostate lesions (tumours) by uniquely learning from control (healthy) data in an outlier detection-like fashion. This thesis also explores more recent DL paradigms that have shown promising results in natural images: generative and contrastive self-supervised learning (SSL). In both cases, we propose specific prostate MRI image manipulations for a PCa lesion classification downstream task and show the improvements offered by the techniques when compared with other initialization methods such as ImageNet pre-training. Finally, we explore data fusion techniques in order to leverage different data sources in the form of MRI sequences (orthogonal views) acquired by default during patient examinations and that are commonly ignored in DL systems. We show improvements in a PCa lesion significance classification when compared to a single input system (axial view)

A Survey on Deep Learning in Medical Image Analysis

Deep learning algorithms, in particular convolutional networks, have rapidly become a methodology of choice for analyzing medical images. This paper reviews the major deep learning concepts pertinent to medical image analysis and summarizes over 300 contributions to the field, most of which appeared in the last year. We survey the use of deep learning for image classification, object detection, segmentation, registration, and other tasks and provide concise overviews of studies per application area. Open challenges and directions for future research are discussed.Comment: Revised survey includes expanded discussion section and reworked introductory section on common deep architectures. Added missed papers from before Feb 1st 201

Enhancing Prostate Cancer Diagnosis with Deep Learning: A Study using mpMRI Segmentation and Classification

Prostate cancer (PCa) is a severe disease among men globally. It is important to identify PCa early and make a precise diagnosis for effective treatment. For PCa diagnosis, Multi-parametric magnetic resonance imaging (mpMRI) emerged as an invaluable imaging modality that offers a precise anatomical view of the prostate gland and its tissue structure. Deep learning (DL) models can enhance existing clinical systems and improve patient care by locating regions of interest for physicians. Recently, DL techniques have been employed to develop a pipeline for segmenting and classifying different cancer types. These studies show that DL can be used to increase diagnostic precision and give objective results without variability. This work uses well-known DL models for the classification and segmentation of mpMRI images to detect PCa. Our implementation involves four pipelines; Semantic DeepSegNet with ResNet50, DeepSegNet with recurrent neural network (RNN), U-Net with RNN, and U-Net with a long short-term memory (LSTM). Each segmentation model is paired with a different classifier to evaluate the performance using different metrics. The results of our experiments show that the pipeline that uses the combination of U-Net and the LSTM model outperforms all other combinations, excelling in both segmentation and classification tasks.Comment: Accepted at CISCON-202

Prostate lesion segmentation with convolutional neural networks

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), Universidade de Lisboa, Faculdade de Ciências, 2020O cancro da próstata é o segundo tipo de cancro não cutâneo com maior incidência nos homens em todo o mundo, a seguir ao cancro do pulmão. Em Portugal, de acordo com a Associação Portuguesa de Urologia, esta doença representa, aproximadamente, 3,5% de todas as mortes nacionais, assim como 10% das mortes relacionadas com cancro. Para além destes dados, o Global Cancer Observatory, estima que a probabilidade de um homem ocidental ser diagnosticado ao longo da sua vida com cancro da próstata é de 8,1%. As causas diretas que levam ao aparecimento deste tipo de cancro ainda não estão totalmente clarificadas, no entanto, os hábitos alimentares, o estilo de vida e o ambiente em redor desempenham um fator preponderante no desencadeamento desta patologia. A deteção inicial deste cancro ocorre, normalmente, através de exames retais de rotina, ou através de alterações significativas do antigénio prostático específico detetáveis em análises ao sangue. De seguida, para confirmação e localização do possível tumor, podem ser adotados três procedimentos: ecografia transrectal, colheita de uma biópsia local ou análise de imagem prostática através de ressonância magnética. Por ser o procedimento menos invasivo, a ressonância magnética é a ferramenta mais utilizada para deteção e localização de lesões na próstata. No Hospital da Luz de Lisboa, a análise de imagens provenientes de ressonância magnética multi-paramétrica é o procedimento padrão para a localização de lesões prostáticas. Neste exame, geralmente, são adquiridas três sequências em T2, uma em cada um dos planos axial, coronal e sagital, duas sequências com difusão e uma sequência emT1. Cada exame demora, aproximadamente, 45minutos a ser analisado corretamente pelo radiologista. Após a análise, é atribuída uma classificação ao estado do paciente, de T1 a T4, sendo que até T2 o tumor ainda se encontra exclusivamente no interior da próstata e em T4 apresenta os maiores índices de disseminação em redor da próstata. Esta classificação é preponderante para o planeamento da cirurgia de remoção do tumor. Nesta avaliação, é normalmente identificada a lesão ”índex” da próstata, que corresponde à lesão com maior índice cancerígenae, por isso, a mais visível. No entanto, podem em certos casos existir lesões de menor dimensão ou de menor relevância, lesões ”não-índex”, que em determinadas circunstâncias levam à alteração da classificação do estado do paciente. Este tipo de lesões, por vezes, não é facilmente localizado e o procedimento cirúrgico resultante acaba por não ser o mais indicado e gerar, no futuro, reincidências. Até T2, a prostatectomia deve ser realizada com o intuito de remover apenas a lesão ou a próstata por completo, no entanto, em T3 e em T4, a abordagem deve ser um pouco mais severa, sendo necessário também remover camadas celulares fora da próstata como margem de segurança para evitar uma reincidência. A introdução de algoritmos de inteligência artificial no ramo da medicina, com o propósito de realizar tarefas como segmentação, classificação e deteção de artefactos em imagens digitais, tem sido cada vez mais preponderante na evolução tecnológica da saúde. No panorama geral da medicina, os métodos de avaliação automatizada permitem executar tarefas com maior rapidez, precisão e assertividade face à capacidade humana, sendo possível explorar numa imagem, por exemplo, texturas, formas, estruturas e até mesmo orientações nucleares de certos artefactos. Relativamente ao cancro da próstata, para além de algoritmos que visam auxiliar as avaliações promovidas pela anatomia patológica, o grande foco centra-se em melhorar os métodos de análise de imagem de ressonância, por forma a tornar os diagnósticos mais precisos. Assim sendo, a criação de algoritmos que permitam a segmentação das lesões prostáticas, assim como respetiva ponderação da classificação do estado do paciente, revela-se como a tarefa principal na evolução do diagnóstico do cancro da próstata. Desta forma, como objetivo de otimizar a deteção e localização das lesões prostáticas, esta dissertação apresenta um conjunto de algoritmos que visam a segmentação de lesões da próstata em imagens de ressonância magnética. O projeto foi desenvolvido no centro de formação e investigação LearningHealth, no Hospital da Luz de Lisboa, e apresenta duas etapas principais: a criação do modelo de segmentação da próstata e a elaboração do modelo de segmentação das lesões prostáticas. Na fase inicial desta dissertação, a criação de um modelo que segmentasse a zona da próstata, por forma a aumentar, posteriormente, a área de deteção das lesões, foi identificado como o primeiro passo. Com base em modelos de deep learning, mais especificamente através de convolutional neuralnetworks, foi desenvolvida uma arquitetura para o propósito anteriormente descrito. Esta arquitetura, baseada numa rede já previamente construída, a U-Net, apresenta características específicas que permitem a entrada de imagens de ressonância magnética da próstata, slice a slice, a gestão da informação que essas imagens apresentam e, por fim, a criação de máscaras binárias da zona da próstata consoante a slice de entrada. Com as máscaras da zona prostática, foi possível delinear um contorno e promover uma sub-seleção dessa zona na imagem original, criando volumes onde a área de deteção das lesões da próstata é isolada. Na segunda fase deste projeto, foi criado um modelo para segmentar diretamente as lesões da próstata. Para tal, foram utilizadas as imagens adquiridas após a primeira parte do projeto, assim como a rede identificada para localizar a próstata. Contudo, esta arquitetura sofreu alterações estruturais, por forma a otimizar o rendimento do modelo. Ao contrário da rede anterior, esta arquitetura permite a entrada de duas imagens na mesma instância, a original T2 e a respetiva original ADC. No final, o output é, igualmente, uma máscara binária, desta vez localizando as lesões da próstata em imagens de ressonância. Em ambos os modelos, foram utilizadas como imagens de input, casos de ressonância magnética adquiridos no Hospital da Luz de Lisboa. Para este processo final, foi necessário segmentar manualmente tanto a próstata, como as respetivas lesões, nas imagens do hospital. Para tal, utilizou-se um software hospitalar, o Multi-Parametric Analysis, que permite o registo das imagens originais e a elaboração das máscaras manualmente. Este processo de identificação e elaboração manual das máscaras da próstata e das lesões foi realizado por uma radiologista do Hospital da Luz de Lisboa, a Dra. Adalgisa Guerra. O modelo desenvolvido na primeira etapa, para a segmentação da próstata, apresentou um valor de Dice Similarity Coefficient, a principal métrica de avaliação em projetos de segmentação, de 0,88. Este valor é semelhante aos valores de referência destacados no state oftheart. Após a conclusão desta etapa, criaram-se cinco modelos para segmentar as lesões da próstata, sendo que o modelo que apresentou melhores resultados foi o que tinha como input as imagens ampliadas da próstata em T2 e ADC e as respetivas máscaras das lesões criadas em imagensT2. O resultado final deste modelo em termos de Dice Similarity Coefficient foi de 0,76, Hausdorff Distance de 20,2mm e Mean Square Distance de 2,1 mm. Este resultado realça o impacto que a informação combinada de duas sequências consegue ter no processo de segmentação de lesões da próstata. Concluindo, a medicina, em consonância com as restantes áreas da sociedade, está a evoluir e a inteligência artificial terá um papel preponderante nessa transição. Neste caso, esta dissertação pretende otimizar a metodologia utilizada num hospital local, conferindo aos profissionais de saúde cada vez mais e melhores condições para realizarem as suas tarefas

Knowledge-Informed Machine Learning for Cancer Diagnosis and Prognosis: A review

Cancer remains one of the most challenging diseases to treat in the medical field. Machine learning has enabled in-depth analysis of rich multi-omics profiles and medical imaging for cancer diagnosis and prognosis. Despite these advancements, machine learning models face challenges stemming from limited labeled sample sizes, the intricate interplay of high-dimensionality data types, the inherent heterogeneity observed among patients and within tumors, and concerns about interpretability and consistency with existing biomedical knowledge. One approach to surmount these challenges is to integrate biomedical knowledge into data-driven models, which has proven potential to improve the accuracy, robustness, and interpretability of model results. Here, we review the state-of-the-art machine learning studies that adopted the fusion of biomedical knowledge and data, termed knowledge-informed machine learning, for cancer diagnosis and prognosis. Emphasizing the properties inherent in four primary data types including clinical, imaging, molecular, and treatment data, we highlight modeling considerations relevant to these contexts. We provide an overview of diverse forms of knowledge representation and current strategies of knowledge integration into machine learning pipelines with concrete examples. We conclude the review article by discussing future directions to advance cancer research through knowledge-informed machine learning.Comment: 41 pages, 4 figures, 2 table

Cross-Modality Image Registration using a Training-Time Privileged Third Modality

— In this work, we consider the task of pairwise cross-modality image registration, which may benefit from exploiting additional images available only at training time from an additional modality that is different to those being registered. As an example, we focus on aligning intra-subject multiparametric Magnetic Resonance (mpMR) images, between T2-weighted (T2w) scans and diffusionweighted scans with high b-value (DWI_{high−b}). For the application of localising tumours in mpMR images, diffusion scans with zero b-value (DWI_{b=0}) are considered easier to register to T2w due to the availability of corresponding features. We propose a learning from privileged modality algorithm, using a training-only imaging modality DWIb=0, to support the challenging multi-modality registration problems. We present experimental results based on 369 sets of 3D multiparametric MRI images from 356 prostate cancer patients and report, with statistical significance, a lowered median target registration error of 4.34 mm, when registering the holdout DWI_{high−b} and T2w image pairs, compared with that of 7.96 mm before registration. Results also show that the proposed learning-based registration networks enabled efficient registration with comparable or better accuracy, compared with a classical iterative algorithm and other tested learning-based methods with/without the additional modality. These compared algorithms also failed to produce any significantly improved alignment between DWI_{high−b} and T2w in this challenging application

Comparative Performance of Deep Learning and Radiologists for the Diagnosis and Localization of Clinically Significant Prostate Cancer at MRI:A Systematic Review

BACKGROUND: Deep learning (DL)-based models have demonstrated an ability to automatically diagnose clinically significant prostate cancer (PCa) on MRI scans and are regularly reported to approach expert performance. The aim of this work was to systematically review the literature comparing deep learning (DL) systems to radiologists in order to evaluate the comparative performance of current state-of-the-art deep learning models and radiologists. METHODS: This systematic review was conducted in accordance with the 2020 Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) checklist. Studies investigating DL models for diagnosing clinically significant (cs) PCa on MRI were included. The quality and risk of bias of each study were assessed using the checklist for AI in medical imaging (CLAIM) and QUADAS-2, respectively. Patient level and lesion-based diagnostic performance were separately evaluated by comparing the sensitivity achieved by DL and radiologists at an identical specificity and the false positives per patient, respectively. RESULTS: The final selection consisted of eight studies with a combined 7337 patients. The median study quality with CLAIM was 74.1% (IQR: 70.6-77.6). DL achieved an identical patient-level performance to the radiologists for PI-RADS ≥ 3 (both 97.7%, SD = 2.1%). DL had a lower sensitivity for PI-RADS ≥ 4 (84.2% vs. 88.8%, p = 0.43). The sensitivity of DL for lesion localization was also between 2% and 12.5% lower than that of the radiologists. CONCLUSIONS: DL models for the diagnosis of csPCa on MRI appear to approach the performance of experts but currently have a lower sensitivity compared to experienced radiologists. There is a need for studies with larger datasets and for validation on external data