Computer-Assisted Characterization of Prostate Cancer on Magnetic Resonance Imaging

Prostate cancer (PCa) is one of the most prevalent cancers among men. Early diagnosis can improve survival and reduce treatment costs. Current inter-radiologist variability for detection of PCa is high. The use of multi-parametric magnetic resonance imaging (mpMRI) with machine learning algorithms has been investigated both for improving PCa detection and for PCa diagnosis. Widespread clinical implementation of computer-assisted PCa lesion characterization remains elusive; critically needed is a model that is validated against a histologic reference standard that is densely sampled in an unbiased fashion. We address this using our technique for highly accurate fusion of mpMRI with whole-mount digitized histology of the surgical specimen. In this thesis, we present models for characterization of malignant, benign and confounding tissue and aggressiveness of PCa. Further validation on a larger dataset could enable improved characterization performance, improving survival rates and enabling a more personalized treatment plan

Challenges in the use of artificial intelligence for prostate cancer diagnosis from multiparametric imaging data

Many efforts have been carried out for the standardization of multiparametric Magnetic Resonance (mp-MR) images evaluation to detect Prostate Cancer (PCa), and specifically to differentiate levels of aggressiveness, a crucial aspect for clinical decision-making. Prostate Imaging—Reporting and Data System (PI-RADS) has contributed noteworthily to this aim. Nevertheless, as pointed out by the European Association of Urology (EAU 2020), the PI-RADS still has limitations mainly due to the moderate inter-reader reproducibility of mp-MRI. In recent years, many aspects in the diagnosis of cancer have taken advantage of the use of Artificial Intelligence (AI) such as detection, segmentation of organs and/or lesions, and characterization. Here a focus on AI as a potentially important tool for the aim of standardization and reproducibility in the characterization of PCa by mp-MRI is reported. AI includes methods such as Machine Learning and Deep learning techniques that have shown to be successful in classifying mp-MR images, with similar performances obtained by radiologists. Nevertheless, they perform differently depending on the acquisition system and protocol used. Besides, these methods need a large number of samples that cover most of the variability of the lesion aspect and zone to avoid overfitting. The use of publicly available datasets could improve AI performance to achieve a higher level of generalizability, exploiting large numbers of cases and a big range of variability in the images. Here we explore the promise and the advantages, as well as emphasizing the pitfall and the warnings, outlined in some recent studies that attempted to classify clinically significant PCa and indolent lesions using AI methods. Specifically, we focus on the overfitting issue due to the scarcity of data and the lack of standardization and reproducibility in every step of the mp-MR image acquisition and the classifier implementation. In the end, we point out that a solution can be found in the use of publicly available datasets, whose usage has already been promoted by some important initiatives. Our future perspective is that AI models may become reliable tools for clinicians in PCa diagnosis, reducing inter-observer variability and evaluation time

Normalization strategies in multi-center radiomics abdominal MRI: systematic review and meta-analyses

Goal: Artificial intelligence applied to medical image analysis has been extensively used to develop non-invasive diagnostic and prognostic signatures. However, these imaging biomarkers should be largely validated on multi-center datasets to prove their robustness before they can be introduced into clinical practice. The main challenge is represented by the great and unavoidable image variability which is usually addressed using different pre-processing techniques including spatial, intensity and feature normalization. The purpose of this study is to systematically summarize normalization methods and to evaluate their correlation with the radiomics model performances through meta-analyses. This review is carried out according to the PRISMA statement: 4777 papers were collected, but only 74 were included. Two meta-analyses were carried out according to two clinical aims: characterization and prediction of response. Findings of this review demonstrated that there are some commonly used normalization approaches, but not a commonly agreed pipeline that can allow to improve performance and to bridge the gap between bench and bedside

Computer-aided diagnosis of prostate cancer using multiparametric MRI and clinical features: A patient-level classification framework

Computer-aided diagnosis (CAD) of prostate cancer (PCa) using multiparametric magnetic resonance imaging (mpMRI) is actively being investigated as a means to provide clinical decision support to radiologists. Typically, these systems are trained using lesion annotations. However, lesion annotations are expensive to obtain and inadequate for characterizing certain tumor types e.g. diffuse tumors and MRI invisible tumors. In this work, we introduce a novel patient-level classification framework, denoted PCF, that is trained using patient-level labels only. In PCF, features are extracted from three-dimensional mpMRI and derived parameter maps using convolutional neural networks and subsequently, combined with clinical features by a multi-classifier support vector machine scheme. The output of PCF is a probability value that indicates whether a patient is harboring clinically significant PCa (Gleason score ≥3+4) or not. PCF achieved mean area under the receiver operating characteristic curves of 0.79 and 0.86 on the PICTURE and PROSTATEx datasets respectively, using five-fold cross-validation. Clinical evaluation over a temporally separated PICTURE dataset cohort demonstrated comparable sensitivity and specificity to an experienced radiologist. We envision PCF finding most utility as a second reader during routine diagnosis or as a triage tool to identify low-risk patients who do not require a clinical read

Deep learning applications in the prostate cancer diagnostic pathway

Prostate cancer (PCa) is the second most frequently diagnosed cancer in men worldwide and the fifth leading cause of cancer death in men, with an estimated 1.4 million new cases in 2020 and 375,000 deaths. The risk factors most strongly associated to PCa are advancing age, family history, race, and mutations of the BRCA genes. Since the aforementioned risk factors are not preventable, early and accurate diagnoses are a key objective of the PCa diagnostic pathway. In the UK, clinical guidelines recommend multiparametric magnetic resonance imaging (mpMRI) of the prostate for use by radiologists to detect, score, and stage lesions that may correspond to clinically significant PCa (CSPCa), prior to confirmatory biopsy and histopathological grading. Computer-aided diagnosis (CAD) of PCa using artificial intelligence algorithms holds a currently unrealized potential to improve upon the diagnostic accuracy achievable by radiologist assessment of mpMRI, improve the reporting consistency between radiologists, and reduce reporting time. In this thesis, we build and evaluate deep learning-based CAD systems for the PCa diagnostic pathway, which address gaps identified in the literature. First, we introduce a novel patient-level classification framework, PCF, which uses a stacked ensemble of convolutional neural networks (CNNs) and support vector machines (SVMs) to assign a probability of having CSPCa to patients, using mpMRI and clinical features. Second, we introduce AutoProstate, a deep-learning powered framework for automated PCa assessment and reporting; AutoProstate utilizes biparametric MRI and clinical data to populate an automatic diagnostic report containing segmentations of the whole prostate, prostatic zones, and candidate CSPCa lesions, as well as several derived characteristics that are clinically valuable. Finally, as automatic segmentation algorithms have not yet reached the desired robustness for clinical use, we introduce interactive click-based segmentation applications for the whole prostate and prostatic lesions, with potential uses in diagnosis, active surveillance progression monitoring, and treatment planning

Artificial Intelligence in Brain Tumour Surgery—An Emerging Paradigm

Artificial intelligence (AI) platforms have the potential to cause a paradigm shift in brain tumour surgery. Brain tumour surgery augmented with AI can result in safer and more effective treatment. In this review article, we explore the current and future role of AI in patients undergoing brain tumour surgery, including aiding diagnosis, optimising the surgical plan, providing support during the operation, and better predicting the prognosis. Finally, we discuss barriers to the successful clinical implementation, the ethical concerns, and we provide our perspective on how the field could be advanced

Prostate cancer biochemical recurrence prediction using bpMRI radiomics, clinical and histopathological data

Tese de mestrado integrado em Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas), Universidade de Lisboa, Faculdade de Ciências, 2021O cancro da próstata é a segunda doença oncológica mais frequente nos homens, sendo frequentemente tratado com remoção cirúrgica total do órgão, denominada prostatectomia radical. Apesar dos avanços no diagnóstico e da evolução das terapias cirúrgicas, 20–35% dos candidatos a prostatectomia radical com intuito curativo sofrem de recidiva bioquímica, uma condição que representa o insucesso do tratamento inicial e também o primeiro sinal de progressão da doença. Em particular, dois terços dos casos de recidiva bioquímica ocorrem dentro de um período de dois anos. Ocorrendo cedo, este estado implica uma maior agressividade biológica da doença e um pior prognóstico, uma vez que pode dever-se `a presença de doença oculta, localmente avançada ou metastática. Apesar de o prognóstico devido ao desenvolvimento de recidiva bioquímica variar, em geral está associado a um risco acrescido de desenvolvimento de doença metastática e de mortalidade específica por cancro da próstata, representando assim uma importante preocupação clínica após terapia definitiva. Contudo, os modelos preditivos de recidiva bioquímica actuais não só falham na explicação da variabilidade dos resultados pós-cirúrgicos, como não têm habilidade para intervir cedo no processo de decisão de tratamento, uma vez que dependem de informação provinda da avaliação histopatológica da peça cirúrgica da prostatectomia ou da biópsia. Actualmente, o exame padrão para diagnóstico e para estadiamento do cancro da próstata é a ressonância magnética multiparamétrica, e as características provindas da avaliação dessas imagens têm mostrado potencial na caracterização do(s) tumor(es) e para predição de recidiva bioquímica. “Radiomics”, a recente metodologia aplicada à análise quantitativa de imagens médicas tem mostrado ter capacidade de quantificar objectivamente a heterogeneidade macroscópica de tecidos biológicos como tumores. Esta heterogeneidade detectada tem vindo a sugerir associação a heterogeneidade genómica que, por sua vez, tem demonstrado correlação com resistência a tratamento e propensão metastática. Porém, o potencial da análise radiómica das imagens de ressonância magnética (MRI) multiparamétrica da próstata para previsão de recidiva bioquímica pós-prostatectomia radical ainda não foi totalmente aprofundado. Esta dissertação propôs explorar o potencial da análise radiómica aplicada a imagens pré-cirúrgicas de ressonância magnética biparamétrica da próstata para previsão de recidiva bioquímica, no período de dois anos após prostatectomia radical. Este potencial foi avaliado através de modelos predictivos com base em dados radiómicos e parâmetros clínico-histopatológicos comummente adquiridos em três fases clínicas: pré-biópsia, pré- e pós-cirúrgica. 93 pacientes, de um total de 250, foram eleitos para este estudo retrospectivo, dos quais 20 verificaram recidiva bioquímica. 33 parâmetros clínico-histopatológicos foram recolhidos e 2715 variáveis radiómicas baseadas em intensidade, forma e textura, foram extraídas de todo o volume da próstata caracterizado em imagens originais e filtradas de ressonância magnética biparamétrica, nomeadamente, ponderadas em T2, ponderadas em Difusão, e mapas de coeficiente de difusão aparente (ADC). Embora os pacientes elegíveis tenham sido examinados na mesma instituição, as características do conjunto de imagens eram heterogéneas, sendo necessário aplicar vários passos de processamento para possibilitar uma comparação mais justa. Foi feita correção do campo tendencial (do inglês, “bias”) e segmentação manual das imagens T2, registo tanto para transposição das delineações do volume de interesse entre as várias modalidades imagiológicas como para correção de movimento, cálculo de mapas ADC, regularização do campo de visão, quantização personalizada em tons cinza e reamostragem. Tendo os dados recolhidos uma alta dimensionalidade (número de variáveis maior que o número de observações), foi escolhida a regressão logística com penalização L1 (LASSO) para resolver o problema de classificação. O uso da penalização aliada à regressão logística, um método simples e commumente usado em estudos de classificação, permite impedir o sobreajuste provável neste cenário de alta dimensionalidade. Além do popular LASSO, recorremos também ao algoritmo Priority-LASSO, um método recente para lidar com dados “ómicos” e desenvolvido com base no LASSO. O Priority-LASSO tem como princípio a definição da hierarquia ou prioridade das variáveis de estudo, através do agrupamento dessas mesmas variáveis em blocos sequenciais. Neste trabalho explorámos duas maneiras de agrupar as variáveis (Clínico-histopatológicas vs. Radiómicas e Clínico-histopatológicas vs. T2 vs. Difusão vs. ADC). Além disso, quisemos perceber qual o impacto da ordem destes mesmos blocos no desempenho do modelo. Para tal, testámos todas as permutações de blocos possíveis (2 e 24, respectivamente) em cada um dos casos. Assim, uma estrutura de aprendizagem automática, composta por métodos de classificação, validação-cruzada k-fold estratificada e repetida, e análises estatísticas, foi desenvolvida para identificar os melhores classificadores, dentro um conjunto de configura¸c˜oes testado para cada um dos três cenários clínicos simulados. Os algoritmos de regressão logística penalizada com LASSO e o Priority-LASSO efectuaram conjuntamente a seleção de características e o ajuste de modelos. Os modelos foram desenvolvidos de forma a optimizar o n´umero de casos positivos de recidiva bioquímica através da maximização das métricas área sob a curva (AUC) e medida-F (Fmax), derivadas da análise de curva característica de operação do receptor (ROC). Além da comparação das implementações Priority-LASSO com o caso em que não houve agrupamento de variáveis (isto é, LASSO), foram também comparados dois métodos de normalização de imagens com base no desempenho dos modelos (avaliado por Fmax). Um dos métodos tinha em conta o sinal de intensidade proveniente da próstata e de tecidos imediatamente circundantes, e outro apenas da próstata. Paralelamente, também o efeito do método de amostragem SMOTE, que permite equilibrar o número de casos positivos e negativos durante o processo de aprendizagem do algoritmo, foi avaliado no desempenho dos modelos. Com este método, gerámos casos sintéticos para a classe positiva (classe minoritária) para recidiva bioquímica, a partir dos casos já existentes. O modelo de regressão logística com Priority-LASSO com a sequência de blocos de variáveis Clínico-histopatológicas, T2, Difusão, ADC e com restrição de esparsidade de cada bloco com o parâmetro pmax = (1,7,0,1), foi seleccionada como a melhor configuração em cada um dos cenários clínicos testados, superando os modelos de regressão logística LASSO. Durante o desenvolvimento dos modelos, e em todos os cenários clínicos, os modelos com melhor desempenho obtiveram bons valor médios de Fmax (mínimo–máximo: 0.702–0.754 e 0.910–0.925 para classe positiva e negativa de recidiva bioquímica, respectivamente). Contudo, na validação final com um conjunto de dados independentes, os modelos obtiveram valores Fmax muito baixos para a classe positiva (0.297–0.400), revelando um sobreajuste, apesar do uso de métodos de penalização. Também se verificou grande instabilidade nos atributos seleccionados. Contudo, os modelos obtiveram razoáveis valores de medida-F (0.779–0.833) e de Precisão (0.821–0.873) para a classe de recidiva bioquímica negativa durante as fases de treino e de validação, pelo que estes modelos poderão ter valor a ser explorado. Os modelos pré-biópsia tiveram desempenho inferior no treino, mas sofreram menos de sobreajuste. Os classificadores pré-operatórios foram excessivamente optimistas, e os modelos pós-operatórios foram os melhores a detectar correctamente casos negativos de recidiva bioquímica. Outros resultados observados incluem a superioridade no desempenho dos modelos baseados em imagens que usaram o método de normalização realizado apenas com o volume da próstata, e o inesperado resultado de que o uso método de amostragem SMOTE não ter trazido melhoria na classificação de casos positivos de recorrência bioquímica, nem nos casos negativos, durante a validação dos modelos. Tendo em contas às variáveis seleccionadas e a sequência de prioridade dos melhores modelos Priority-LASSO, concluímos que os atributos radiómicos provindos da análise de textura de imagens MRI ponderadas em T2 poderão ter potencial para distinguir pacientes que não irão sofrer recidiva bioquímica inicial, conjuntamente com níveis iniciais de antigénio específico da próstata, num cenário pré-biópsia. A inclusão de parâmetros pré- ou pós-operatórios não adicionou valor substancial para a classificação de casos positivos de recidiva bioquímica em conjunto com variáveis radiómicos de MRI biparamétrica. Estudos com alto poder estatístico serão necessários para elucidar acerca do papel de atributos de radiómica baseados em imagens de bpMRI como predictores de recidiva bioquímica.Primary prostate cancer is often treated with radical prostatectomy (RP). Yet, 20–35% of males undergoing RP with curative intent will experience biochemical recurrence (BCR). Of those, two-thirds happen within two years, implying a more aggressive disease and poorer prognosis. Current BCR risk stratification tools are bounded to biopsy- or to surgery-derived histopathological evaluation, having limited ability for early treatment decision-making. Magnetic resonance imaging (MRI) is acquired as part of the diagnostic procedure and imaging derived features have shown promise in tumour characterisation and BCR prediction. We investigated the value of imaging features extracted from preoperative biparametric MRI (bpMRI) combined with clinic-histopathological data to develop models to predict two-year post-prostatectomy BCR in three simulated clinical scenarios: pre-biopsy, pre- and postoperative. In a cohort of 20 BCR positive and 73 BCR negative RP-treated patients examined in the same institution, 33 clinico-histopathological variables were retrospectively collected, and 2715 radiomic features (based on intensity, shape and texture) were extracted from the whole-prostate volume imaged in original and filtered T2- and Diffusion-weighted MRI and ADC maps scans. A systematic machine-learning framework comprised of classification, stratified k-fold cross validation and statistical analyses was developed to identify the top performing BCR classifiers’ configurations within three clinical scenarios. LASSO and Priority-LASSO logistic regression algorithms were used for feature selection and model fitting, optimising the amount of correctly classified BCR positive cases through AUC and F-score maximisation (Fmax) derived from ROC curve analysis. We also investigated the impact of two image normalisation methods and SMOTE-based minority oversampling on model performance. Priority-LASSO logistic regression with four-block priority sequence Clinical, T2w, DWI, ADC, with block sparsity restriction pmax = (1,7,0,1) was selected as the best performing model configuration across all clinical scenarios, outperforming LASSO logistic regression models. During development and across the simulated clinical scenarios, top models achieved good median Fmax values (range: 0.702–0.754 and 0.910–0.925 for BCR positive and negative classes, respectively); yet, during validation with an independent set, the models obtained very low Fmax for the target BCR positive class (0.297–0.400), revealing model overfitting. We also observed instability in the selected features. However, models attained reasonably good F-score (0.779–0.833) and Precision (0.821–0.873) for BCR negative class during training and validation phases, making these models worth exploring. Pre-biopsy models had lower performances in training but suffered less from overfitting. Preoperative classifiers were overoptimistic, and postoperative models were the most successful in detecting BCR negative cases. T2w-MRI textured-based radiomic features may have potential to distinguish negative BCR patients together with baseline prostate-specific antigen (PSA) levels in a pre-biopsy scenario. The inclusion of pre- or postoperative variables did not substantially add value to BCR positive cases classification with bpMRI radiomic features. Highly powered studies with curated imaging data are needed to elucidate the role of bpMRI radiomic features as predictors of BCR