Automatic analysis of medical images for change detection in prostate cancer

Prostate cancer is the most common cancer and second most common cause of cancer death in men in the UK. However, the patient risk from the cancer can vary considerably, and the widespread use of prostate-specific antigen (PSA) screening has led to over-diagnosis and over-treatment of low-grade tumours. It is therefore important to be able to differentiate high-grade prostate cancer from the slowly- growing, low-grade cancer. Many of these men with low-grade cancer are placed on active surveillance (AS), which involves constant monitoring and intervention for risk reclassification, relying increasingly on magnetic resonance imaging (MRI) to detect disease progression, in addition to TRUS-guided biopsies which are the routine clinical standard method to use. This results in a need for new tools to process these images. For this purpose, it is important to have a good TRUS-MR registration so corresponding anatomy can be located accurately between the two. Automatic segmentation of the prostate gland on both modalities reduces some of the challenges of the registration, such as patient motion, tissue deformation, and the time of the procedure. This thesis focuses on the use of deep learning methods, specifically convolutional neural networks (CNNs), for prostate cancer management. Chapters 4 and 5 investigated the use of CNNs for both TRUS and MRI prostate gland segmentation, and reported high segmentation accuracies for both, Dice Score Coefficients (DSC) of 0.89 for TRUS segmentations and DSCs between 0.84-0.89 for MRI prostate gland segmentation using a range of networks. Chapter 5 also investigated the impact of these segmentation scores on more clinically relevant measures, such as MRI-TRUS registration errors and volume measures, showing that a statistically significant difference in DSCs did not lead to a statistically significant difference in the clinical measures using these segmentations. The potential of these algorithms in commercial and clinical systems are summarised and the use of the MRI prostate gland segmentation in the application of radiological prostate cancer progression prediction for AS patients are investigated and discussed in Chapter 8, which shows statistically significant improvements in accuracy when using spatial priors in the form of prostate segmentations (0.63 ± 0.16 vs. 0.82 ± 0.18 when comparing whole prostate MRI vs. only prostate gland region, respectively)

Deep learning for an improved diagnostic pathway of prostate cancer in a small multi-parametric magnetic resonance data regime

Prostate Cancer (PCa) is the second most commonly diagnosed cancer among men, with an estimated incidence of 1.3 million new cases worldwide in 2018. The current diagnostic pathway of PCa relies on prostate-specific antigen (PSA) levels in serum. Nevertheless, PSA testing comes at the cost of under-detection of malignant lesions and a substantial over-diagnosis of indolent ones, leading to unnecessary invasive testing such biopsies and treatment in indolent PCa lesions. Magnetic Resonance Imaging (MRI) is a non-invasive technique that has emerged as a valuable tool for PCa detection, staging, early screening, treatment planning and intervention. However, analysis of MRI relies on expertise, can be time-consuming, requires specialized training and in its absence suffers from inter and intra-reader variability and sub-optimal interpretations. Deep Learning (DL) techniques have the ability to recognize complex patterns in imaging data and are able to automatize certain assessments or tasks while offering a lesser degree of subjectiveness, providing a tool that can help clinicians in their daily tasks. In spite of it, DL success has traditionally relied on the availability of large amounts of labelled data, which are rarely available in the medical field and are costly and hard to obtain due to privacy regulations of patients’ data and required specialized training, among others. This work investigates DL algorithms specially tailored to work in a limited data regime with the final objective of improving the current prostate cancer diagnostic pathway by improving the performance of DL algorithms for PCa MRI applications in a limited data regime scenario. In particular, this thesis starts by exploring Generative Adversarial Networks (GAN) to generate synthetic samples and their effect on tasks such as prostate capsule segmentation and PCa lesion significance classification (triage). Following, we explore the use of Auto-encoders (AEs) to exploit the data imbalance that is usually present in medical imaging datasets. Specifically, we propose a framework based on AEs to detect the presence of prostate lesions (tumours) by uniquely learning from control (healthy) data in an outlier detection-like fashion. This thesis also explores more recent DL paradigms that have shown promising results in natural images: generative and contrastive self-supervised learning (SSL). In both cases, we propose specific prostate MRI image manipulations for a PCa lesion classification downstream task and show the improvements offered by the techniques when compared with other initialization methods such as ImageNet pre-training. Finally, we explore data fusion techniques in order to leverage different data sources in the form of MRI sequences (orthogonal views) acquired by default during patient examinations and that are commonly ignored in DL systems. We show improvements in a PCa lesion significance classification when compared to a single input system (axial view)

Challenges in the use of artificial intelligence for prostate cancer diagnosis from multiparametric imaging data

Many efforts have been carried out for the standardization of multiparametric Magnetic Resonance (mp-MR) images evaluation to detect Prostate Cancer (PCa), and specifically to differentiate levels of aggressiveness, a crucial aspect for clinical decision-making. Prostate Imaging—Reporting and Data System (PI-RADS) has contributed noteworthily to this aim. Nevertheless, as pointed out by the European Association of Urology (EAU 2020), the PI-RADS still has limitations mainly due to the moderate inter-reader reproducibility of mp-MRI. In recent years, many aspects in the diagnosis of cancer have taken advantage of the use of Artificial Intelligence (AI) such as detection, segmentation of organs and/or lesions, and characterization. Here a focus on AI as a potentially important tool for the aim of standardization and reproducibility in the characterization of PCa by mp-MRI is reported. AI includes methods such as Machine Learning and Deep learning techniques that have shown to be successful in classifying mp-MR images, with similar performances obtained by radiologists. Nevertheless, they perform differently depending on the acquisition system and protocol used. Besides, these methods need a large number of samples that cover most of the variability of the lesion aspect and zone to avoid overfitting. The use of publicly available datasets could improve AI performance to achieve a higher level of generalizability, exploiting large numbers of cases and a big range of variability in the images. Here we explore the promise and the advantages, as well as emphasizing the pitfall and the warnings, outlined in some recent studies that attempted to classify clinically significant PCa and indolent lesions using AI methods. Specifically, we focus on the overfitting issue due to the scarcity of data and the lack of standardization and reproducibility in every step of the mp-MR image acquisition and the classifier implementation. In the end, we point out that a solution can be found in the use of publicly available datasets, whose usage has already been promoted by some important initiatives. Our future perspective is that AI models may become reliable tools for clinicians in PCa diagnosis, reducing inter-observer variability and evaluation time

A review of artificial intelligence in prostate cancer detection on imaging

A multitude of studies have explored the role of artificial intelligence (AI) in providing diagnostic support to radiologists, pathologists, and urologists in prostate cancer detection, risk-stratification, and management. This review provides a comprehensive overview of relevant literature regarding the use of AI models in (1) detecting prostate cancer on radiology images (magnetic resonance and ultrasound imaging), (2) detecting prostate cancer on histopathology images of prostate biopsy tissue, and (3) assisting in supporting tasks for prostate cancer detection (prostate gland segmentation, MRI-histopathology registration, MRI-ultrasound registration). We discuss both the potential of these AI models to assist in the clinical workflow of prostate cancer diagnosis, as well as the current limitations including variability in training data sets, algorithms, and evaluation criteria. We also discuss ongoing challenges and what is needed to bridge the gap between academic research on AI for prostate cancer and commercial solutions that improve routine clinical care

Multi-scale hybrid transformer networks: application to prostate disease classification

Automated disease classification could significantly improve the accuracy of prostate cancer diagnosis on MRI, which is a difficult task even for trained experts. Convolutional neural networks (CNNs) have shown some promising results for disease classification on multi-parametric MRI. However, CNNs struggle to extract robust global features about the anatomy which may provide important contextual information for further improving classification accuracy. Here, we propose a novel multi-scale hybrid CNN/transformer architecture with the ability of better contextualising local features at different scales. In our application, we found this to significantly improve performance compared to using CNNs. Classification accuracy is even further improved with a stacked ensemble yielding promising results for binary classification of prostate lesions into clinically significant or non-significant

Prostate lesion segmentation with convolutional neural networks

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), Universidade de Lisboa, Faculdade de Ciências, 2020O cancro da próstata é o segundo tipo de cancro não cutâneo com maior incidência nos homens em todo o mundo, a seguir ao cancro do pulmão. Em Portugal, de acordo com a Associação Portuguesa de Urologia, esta doença representa, aproximadamente, 3,5% de todas as mortes nacionais, assim como 10% das mortes relacionadas com cancro. Para além destes dados, o Global Cancer Observatory, estima que a probabilidade de um homem ocidental ser diagnosticado ao longo da sua vida com cancro da próstata é de 8,1%. As causas diretas que levam ao aparecimento deste tipo de cancro ainda não estão totalmente clarificadas, no entanto, os hábitos alimentares, o estilo de vida e o ambiente em redor desempenham um fator preponderante no desencadeamento desta patologia. A deteção inicial deste cancro ocorre, normalmente, através de exames retais de rotina, ou através de alterações significativas do antigénio prostático específico detetáveis em análises ao sangue. De seguida, para confirmação e localização do possível tumor, podem ser adotados três procedimentos: ecografia transrectal, colheita de uma biópsia local ou análise de imagem prostática através de ressonância magnética. Por ser o procedimento menos invasivo, a ressonância magnética é a ferramenta mais utilizada para deteção e localização de lesões na próstata. No Hospital da Luz de Lisboa, a análise de imagens provenientes de ressonância magnética multi-paramétrica é o procedimento padrão para a localização de lesões prostáticas. Neste exame, geralmente, são adquiridas três sequências em T2, uma em cada um dos planos axial, coronal e sagital, duas sequências com difusão e uma sequência emT1. Cada exame demora, aproximadamente, 45minutos a ser analisado corretamente pelo radiologista. Após a análise, é atribuída uma classificação ao estado do paciente, de T1 a T4, sendo que até T2 o tumor ainda se encontra exclusivamente no interior da próstata e em T4 apresenta os maiores índices de disseminação em redor da próstata. Esta classificação é preponderante para o planeamento da cirurgia de remoção do tumor. Nesta avaliação, é normalmente identificada a lesão ”índex” da próstata, que corresponde à lesão com maior índice cancerígenae, por isso, a mais visível. No entanto, podem em certos casos existir lesões de menor dimensão ou de menor relevância, lesões ”não-índex”, que em determinadas circunstâncias levam à alteração da classificação do estado do paciente. Este tipo de lesões, por vezes, não é facilmente localizado e o procedimento cirúrgico resultante acaba por não ser o mais indicado e gerar, no futuro, reincidências. Até T2, a prostatectomia deve ser realizada com o intuito de remover apenas a lesão ou a próstata por completo, no entanto, em T3 e em T4, a abordagem deve ser um pouco mais severa, sendo necessário também remover camadas celulares fora da próstata como margem de segurança para evitar uma reincidência. A introdução de algoritmos de inteligência artificial no ramo da medicina, com o propósito de realizar tarefas como segmentação, classificação e deteção de artefactos em imagens digitais, tem sido cada vez mais preponderante na evolução tecnológica da saúde. No panorama geral da medicina, os métodos de avaliação automatizada permitem executar tarefas com maior rapidez, precisão e assertividade face à capacidade humana, sendo possível explorar numa imagem, por exemplo, texturas, formas, estruturas e até mesmo orientações nucleares de certos artefactos. Relativamente ao cancro da próstata, para além de algoritmos que visam auxiliar as avaliações promovidas pela anatomia patológica, o grande foco centra-se em melhorar os métodos de análise de imagem de ressonância, por forma a tornar os diagnósticos mais precisos. Assim sendo, a criação de algoritmos que permitam a segmentação das lesões prostáticas, assim como respetiva ponderação da classificação do estado do paciente, revela-se como a tarefa principal na evolução do diagnóstico do cancro da próstata. Desta forma, como objetivo de otimizar a deteção e localização das lesões prostáticas, esta dissertação apresenta um conjunto de algoritmos que visam a segmentação de lesões da próstata em imagens de ressonância magnética. O projeto foi desenvolvido no centro de formação e investigação LearningHealth, no Hospital da Luz de Lisboa, e apresenta duas etapas principais: a criação do modelo de segmentação da próstata e a elaboração do modelo de segmentação das lesões prostáticas. Na fase inicial desta dissertação, a criação de um modelo que segmentasse a zona da próstata, por forma a aumentar, posteriormente, a área de deteção das lesões, foi identificado como o primeiro passo. Com base em modelos de deep learning, mais especificamente através de convolutional neuralnetworks, foi desenvolvida uma arquitetura para o propósito anteriormente descrito. Esta arquitetura, baseada numa rede já previamente construída, a U-Net, apresenta características específicas que permitem a entrada de imagens de ressonância magnética da próstata, slice a slice, a gestão da informação que essas imagens apresentam e, por fim, a criação de máscaras binárias da zona da próstata consoante a slice de entrada. Com as máscaras da zona prostática, foi possível delinear um contorno e promover uma sub-seleção dessa zona na imagem original, criando volumes onde a área de deteção das lesões da próstata é isolada. Na segunda fase deste projeto, foi criado um modelo para segmentar diretamente as lesões da próstata. Para tal, foram utilizadas as imagens adquiridas após a primeira parte do projeto, assim como a rede identificada para localizar a próstata. Contudo, esta arquitetura sofreu alterações estruturais, por forma a otimizar o rendimento do modelo. Ao contrário da rede anterior, esta arquitetura permite a entrada de duas imagens na mesma instância, a original T2 e a respetiva original ADC. No final, o output é, igualmente, uma máscara binária, desta vez localizando as lesões da próstata em imagens de ressonância. Em ambos os modelos, foram utilizadas como imagens de input, casos de ressonância magnética adquiridos no Hospital da Luz de Lisboa. Para este processo final, foi necessário segmentar manualmente tanto a próstata, como as respetivas lesões, nas imagens do hospital. Para tal, utilizou-se um software hospitalar, o Multi-Parametric Analysis, que permite o registo das imagens originais e a elaboração das máscaras manualmente. Este processo de identificação e elaboração manual das máscaras da próstata e das lesões foi realizado por uma radiologista do Hospital da Luz de Lisboa, a Dra. Adalgisa Guerra. O modelo desenvolvido na primeira etapa, para a segmentação da próstata, apresentou um valor de Dice Similarity Coefficient, a principal métrica de avaliação em projetos de segmentação, de 0,88. Este valor é semelhante aos valores de referência destacados no state oftheart. Após a conclusão desta etapa, criaram-se cinco modelos para segmentar as lesões da próstata, sendo que o modelo que apresentou melhores resultados foi o que tinha como input as imagens ampliadas da próstata em T2 e ADC e as respetivas máscaras das lesões criadas em imagensT2. O resultado final deste modelo em termos de Dice Similarity Coefficient foi de 0,76, Hausdorff Distance de 20,2mm e Mean Square Distance de 2,1 mm. Este resultado realça o impacto que a informação combinada de duas sequências consegue ter no processo de segmentação de lesões da próstata. Concluindo, a medicina, em consonância com as restantes áreas da sociedade, está a evoluir e a inteligência artificial terá um papel preponderante nessa transição. Neste caso, esta dissertação pretende otimizar a metodologia utilizada num hospital local, conferindo aos profissionais de saúde cada vez mais e melhores condições para realizarem as suas tarefas

Domain Adaptation for Novel Imaging Modalities with Application to Prostate MRI

The need for training data can impede the adoption of novel imaging modalities for deep learning-based medical image analysis. Domain adaptation can mitigate this problem by exploiting training samples from an existing, densely-annotated source domain within a novel, sparsely-annotated target domain, by bridging the differences between the two domains. In this thesis we present methods for adapting between diffusion-weighed (DW)-MRI data from multiparametric (mp)-MRI acquisitions and VERDICT (Vascular, Extracellular and Restricted Diffusion for Cytometry in Tumors) MRI, a richer DW-MRI technique involving an optimized acquisition protocol for cancer characterization. We also show that the proposed methods are general and their applicability extends beyond medical imaging. First, we propose a semi-supervised domain adaptation method for prostate lesion segmentation on VERDICT MRI. Our approach relies on stochastic generative modelling to translate across two heterogeneous domains at pixel-space and exploits the inherent uncertainty in the cross-domain mapping to generate multiple outputs conditioned on a single input. We further extend this approach to the unsupervised scenario where there is no labeled data for the target domain. We rely on stochastic generative modelling to translate across the two domains at pixel space and introduce two loss functions that promote semantic consistency. Finally we demonstrate that the proposed approaches extend beyond medical image analysis and focus on unsupervised domain adaptation for semantic segmentation of urban scenes. We show that relying on stochastic generative modelling allows us to train more accurate target networks and achieve state-of-the-art performance on two challenging semantic segmentation benchmarks