Weakly supervised segmentation of polyps on colonoscopy images

openIl cancro del colon-retto (CRC) è una delle principali cause di morte a livello mondiale e continua a rappresentare una sfida critica per la salute pubblica, richiedendo una precisa e tempestiva diagnosi e un intervento mirato. La colonscopia, ovvero l'esame diagnostico volto a esplorare le pareti interne del colon per scoprire eventuali masse tumorali, ha dimostrato essere un metodo efficace per ridurre l'incidenza di mortalità. Le tecniche emergenti, come l'analisi avanzata delle immagini tramite reti neurali, sono promettenti per una diagnosi accurata. Tuttavia, alcuni studi hanno riportato che, per varie ragioni, una certa percentuale di polipi non viene rilevata correttamente durante la colonscopia. Una delle più importanti è la dipendenza dalle annotazioni a livello di pixel, che richiede molte risorse computazionali; per questo si rendono necessarie soluzioni innovative. Questa tesi introduce alcune strategie per migliorare l'identificazione dei polipi. A tal fine, le tecniche principali utilizzate coinvolgono i cosiddetti metodi di Explainable AI per l'analisi delle mappe di salienza e di attivazione, attraverso diversi algoritmi di rilevamento della salienza visiva e la Gradient-weighted Class Activation Mapping (Grad-CAM). Inoltre, viene utilizzata una rete neurale per la segmentazione con architettura DeepLabV3+, in cui vengono fornite le bounding box sulle immagini di addestramento, in un contesto debolmente supervisionato.Colorectal cancer (CRC) is one of the leading causes of death worldwide and continues to pose a critical public health challenge, demanding precise early detection and intervention. Colonoscopy, the diagnostic examination aimed at exploring the inner walls of the colon to discover any tumour masses, is an effective method to decrease mortality incidence. Emerging techniques, such as advanced image analysis driven by neural networks, hold promise for accurate diagnosis. However, studies have reported that, for various reasons, a certain percentage of polyps are not correctly detected during colonoscopy. One of the most important is the dependency on pixel-level annotations, which requires a lot of computational resources, making necessary innovative solutions. This thesis introduces strategies for improving polyp identification. For this purpose, the main techniques involve the so-called Explainable AI tools for analyzing saliency maps and activation maps, through several state-of-the-art visual saliency detection algorithms and Gradient-weighted Class Activation Mapping (Grad-CAM). In addition, a neural network for segmentation with DeepLabV3+ architecture is used, in which bounding boxes are provided on the training images, within a weakly supervised framework

Analysis of interpretability methods applied to DCE-MRI of Breasts Images

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Biomédicas), 2022, Universidade de Lisboa; Faculdade de CiênciasO cancro da mama é uma doença que afeta um elevado número de mulheres a uma escala mundial [1]. Os exames físicos e a mamografia são as formas mais eficazes de detetar lesões e nódulos na mama. Contudo, estes métodos podem revelar-se inconclusivos. Uma maneira de solidificar o diagnóstico de cancro da mama é a realização de testes suplementares, tal como a ressonância magnética. O exame de ressonância magnética mais comum para detetar cancro da mama é DCE-MRI, um exame que obtém imagens através da injeção de um agente de contraste [2]. A consolidação do diagnóstico pode também ser realizada via meios de machine learning. Vários métodos de machine learning têm vindo a ajudar técnicos a realizar tarefas como deteção e segmentação de tumores. Apesar destes métodos serem eficazes, as tarefas que este realizam são caracterizadas por um elevado grau de responsabilidade visto que estão diretamente relacionadas com o bem-estar de um ser humano. Isto leva à necessidade de justificar os resultados destes métodos de maneira a aumentar a confiança nos mesmos. As técnicas que tentam explicar os resultados de métodos de machine learning pertencem à área de Explainable Artificial Intelligence [3]. Esta dissertação foca-se em aplicar e analisar métodos state-of-the-art de Explainable Artificial Intelligence a modelos de machine learning. Como estes modelos foram construídos tendo como base imagens de DCE-MR de mamas, os métodos aplicados a estes modelos visam explicar os seus resultados visualmente. Um dos métodos aplicados foi SHAP, SHapley Addictive exPlanations. Este método pode ser aplicado a uma variedade de modelos e baseia-se nos Shapley Values da teoria de jogos para explicar a importância das características da imagem de acordo com os resultados do modelo [4]. Outro método aplicado foi Local Interpretable Model-agnostic Explanations, ou LIME. Este método cria imagens alteradas e testa-as nos modelos criados. Estas imagens perturbadas têm um peso de acordo com o grau das perturbações. Quando testadas nos modelos, LIME calcula quais as perturbações que influenciam a mudança do resultado do modelo e, consequentemente, encontra as áreas da imagem que são mais importantes para a classificação da imagem de acordo com o modelo [5]. O último método aplicado foi o Gradient-weighted Class Activation Mapping, ou Grad-CAM. Este método pode ser aplicado em diversos modelos, sendo uma generalização do método CAM [6], mas apenas pode ser aplicado em tarefas de classificação. O método de Grad-CAM utiliza os valores dos gradientes específicos de classes e as feature maps extraídas de convolutional layers para realçar áreas discriminativas de uma certa classe na imagem. Estas layers são componentes importantes que constituem o corpo dos modelos. Para lá destes métodos, extraiu-se e analisou-se matrizes convolucionais, chamadas de filtros, usadas pelas convolutional layers para obter o output destas layers. Esta tarefa foi realizada para observar os padrões que estão a ser filtrados nestas camadas. Para aplicar estes métodos, foi necessário construir e treinar vários modelos. Nesse sentido, três modelos com a mesma estrutura foram criados para realizar tarefas de regressão. Estes modelos têm uma arquitetura constituída por três convolutional layers seguidas de uma linear layer, uma dropout layer e outra linear layer. Um dos modelos tem como objetivo medir a área do tumor em maximum intensity projections dos volumes. Os outros dois modelos têm como objetivo medir a percentagem de redução do tumor quando introduzido dois maximum intensity projections. A diferença entre estes dois modelos está nas labels criadas para os inputs. Um dos modelos usa valores calculados através da diferença entre a área dos tumores dos duas maximum intensity projections, enquanto o outro modelo usa valores da regressão da área do tumor fornecidos por técnicos. A performance destes modelos foi avaliada através da computação dos coeficientes de correlação de Pearson e de Spearman. Estes coeficientes são calculados usando a covariância e o produto do desvio-padrão de duas variáveis, e diferem no facto de o coeficiente de Pearson apenas captar relações lineares enquanto o coeficiente de Spearman capta qualquer tipo de relação. Do modelo que teve como objetivo medir a área do tumor calculou-se os coeficientes de Pearson e de Spearman de 0.53 e 0.69, respetivamente. O modelo que teve como objetivo calcular a percentagem de redução do tumor e que usou valores calculados como labels teve a melhor performance dos três modelos, com coeficientes de Pearson e de Spearman com valores de 0.82 e 0.87, respetivamente. O último modelo utilizado não conseguiu prever corretamente os valores fornecidos pelos técnicos e, consequentemente, este modelo foi descartado. De seguida, os métodos de visualização de filtros e SHAP foram aplicados aos dois restantes modelos. A técnica de visualização de filtros permitiu demonstrar as partes da imagem que estão a ser filtradas nas convolutional layers, sendo possível observar certos padrões nestes filtros. O método SHAP realçou áreas da mama que contribuíram para as previsões dos modelos. Como ambas as tarefas se focam em calcular algo através da área dos tumores, consideramos imagens SHAP bem-sucedidas aquelas que realçam áreas do tumor. Com isto em mente, as imagens obtidas através do método SHAP tiveram um sucesso de 57% e de 69% para o modelo que mede a área do tumor e para o modelo que mede a percentagem de redução do tumor, respetivamente. Outro modelo foi construído com o objetivo de classificar pares de maximum intensity projections de acordo com percentagem de redução de área do tumor. Cada par foi previamente classificado numa de quatro classes, sendo que cada classe corresponde a uma redução incremental de 25%, ou seja, a primeira classe corresponde a uma redução do tumor de 0% a 25%, enquanto a última classe corresponde a uma redução do tumor de 75% a 100%. Este modelo tem uma arquitetura semelhante à de um modelo de Resnet18 [7]. A performance deste modelo foi avaliada através de uma matriz de confusão. Através desta matriz podemos observar um sucesso de 70% no que toca a previsões corretas feitas pelo modelo. De seguida, os três métodos, SHAP, LIME e Grad-CAM, foram aplicados neste modelo. Como o objetivo deste modelo baseia-se em classificar as imagens de acordo com a percentagem de redução de tumor, também se considerou imagens de SHAP com sucesso aquelas que realçam áreas do tumor. Tendo isto em conta, observou-se uma taxa de sucesso de 82% em realçar a zona do tumor nas maximum intensity projections. As perturbações criadas para serem aplicadas no método LIME correspondem a áreas quadradas na imagem. O método LIME cria imagens atribuindo valores nulos a estas áreas aleatoriamente. O método LIME atribui um peso às imagens perturbadas de acordo com o nível de perturbação que estas sofrem. Neste trabalho, duas diferentes perturbações foram criadas, sendo a primeira perturbação áreas quadradas de 10 por 10 pixéis e a segunda áreas quadradas de 25 por 25 pixéis. Após a perturbação das imagens, estas foram inseridas novamente no modelo e as diferenças na previsão do modelo foram aprendidas pelo algoritmo do LIME. Imagens criadas com as perturbações mais pequenas tiveram uma maior taxa de sucesso que as perturbações maiores, realçando perturbações na área do tumor com uma certidão de 48%. Apesar deste facto, as imagens criadas com as perturbações de 25 por 25 pixéis tiveram os resultados mais claros no que toca a localizar o tumor visto que o tamanho das perturbações permitiu englobar todo o tumor. Por último, o método Grad-CAM foi aplicado a todas as importantes convolutional layers do modelo. Este método foi bastante eficaz a localizar as áreas discriminativas de uma certa classe, visto que conseguiu localizar o tumor bastante facilmente quando aplicado na última convolutional layer. Para lá deste facto, foi possível observar as áreas discriminativas de uma certa classe nas imagens quando se aplica este método a convolutional layers intermédias. Concluindo, a aplicação destas técnicas permitiu explicar parte das decisões feitas pelos modelos de machine learning no âmbito da análise de imagens de DCE-MRI de cancro da mama.Computer aided diagnosis has had an exponential growth in medical imaging. Machine learning has helped technicians in tasks such as tumor segmentation and tumor detection. Despite the growth in this area, there is still a need to justify and fully understand the computer results, in order to increase the trust of medical professionals in these computer tasks. By applying explainable methods to the machine learning algorithms, we can extract information from techniques that are often considered black boxes. This dissertation focuses on applying and analyzing state-of-the-art XAI (eXplainable Artificial Intelligence) methods to machine learning models that handle DCE-MR (Dynamic Contrast-Enhanced Magnetic Resonance) breast images. The methods used to justify the model’s decisions were SHAP (SHapley Additive exPlanations) [4], LIME (Local Interpretable Model-agnostic Explanations) [5] and Grad-CAM (Gradient-weighted Class Activation Mapping) [8], which correspond to three visual explanation methods. SHAP uses Shapley Values from game theory to explain the importance of features in the image to the model’s prediction. LIME is a method that uses weighted perturbed images and tests then using the existing models. From the model’s response to these perturbed images, the algorithm can find which perturbations cause the model to change its prediction and, consequently, can find the important areas in the image that lead to the model’s prediction. Grad-CAM is a visual explanation method that can be applied to a variety of neural network architectures. It uses gradient scores from a specific class and feature maps extracted from convolutional layers to highlight classdiscriminative regions in the images. Two neural network models were built to perform regression tasks such as measuring tumor area and measuring tumor shrinkage. To justify the network’s results, filters were extracted from the network’s convolutional layers and the SHAP method was applied. The filter visualization technique was able to demonstrate which parts of the image are being convoluted by the layer’s filters while the SHAP method highlighted the areas of the tumor that contributed most to the model’s predictions. The SHAP method had a success rate of 57% at highlighting the correct area of the breast when applied to the neural network which measured the tumor area, and a success rate of 69% when applied to the neural network which measured the tumor shrinkage. Another model was created using a Resnet18’s architecture. This network had the task of classifying the breast images according to the shrinkage of the tumor and the SHAP, LIME and Grad-CAM methods were applied to it. The SHAP method had a success rate of 82%. The LIME method was applied two times by using perturbations of different sizes. The smaller sized perturbations performed better, having a success rate of 48% at highlighting the tumor area, but the larger sized perturbations had better results in terms of locating the entire tumor, because the area covered was larger. Lastly, the Grad-CAM method excelled at locating the tumor in the breast when applied to the last important convolutional layer in the network

MARGIN: Uncovering Deep Neural Networks using Graph Signal Analysis

Interpretability has emerged as a crucial aspect of machine learning, aimed at providing insights into the working of complex neural networks. However, existing solutions vary vastly based on the nature of the interpretability task, with each use case requiring substantial time and effort. This paper introduces MARGIN, a simple yet general approach to address a large set of interpretability tasks ranging from identifying prototypes to explaining image predictions. MARGIN exploits ideas rooted in graph signal analysis to determine influential nodes in a graph, which are defined as those nodes that maximally describe a function defined on the graph. By carefully defining task-specific graphs and functions, we demonstrate that MARGIN outperforms existing approaches in a number of disparate interpretability challenges.Comment: Technical Repor

Deep learning interpretability methods for the classification of blood cell images

Durant l’última dècada, el sector mèdic ha adoptat les xarxes neuronals com a eina per ajudar a diagnosticar i comprendre diferents malalties, degut a la seva elevada precisió i versatilitat. No obstant, la seva integració al flux de treball dels patòlegs s'ha vist greument afectada per la naturalesa “Black-Box” que presenten aquests models. Els complexos conceptes matemàtics i estadístics en què es basen aquests models, dificulten enormement la comprensió directa dels criteris de decisió en el qual es basen per fer les seves prediccions. La interpretabilitat de xarxes neuronal té com a objectiu proporcionar explicacions en termes comprensibles a un ésser humà. En aquest projecte, es duu a terme un estudi d’interpretabilitat a la xarxa DisplasiaNet, una xarxa neuronal convolucional especialment optimitzada per classificar les imatges de neutròfils sanguinis perifèrics en Normals o Displastics. Treballant estretament amb patòlegs i amb l’ajut d’una aplicació d’anotacions web construïda a propòsit, s’extreuen les principals característiques morfològiques dels diferents estats cel·lulars. En paral·lel, s’apliquen tècniques d’interpretabilitat d’imatges a la xarxa DisplasiNet, com ara mapes de saliència, mapes d’activació de classes i mapes de sensibilitat envers l’oclusió, per obtenir les caracteristiques que el model considera més rellevants. L'estudi ha descobert que DisplasiaNet detecta displàsia en neutròfils de manera similar als patòlegs, validant així la seva precisió. En primer lloc, es centra en la granularitat del citoplasma i, en segon lloc, en la densitat cromatínica del nucli i la segmentació lobular.Durante la última década, el sector médico ha adoptado ampliamente las redes neuronales como una herramienta para ayudar a diagnosticar y comprender diferentes enfermedades. Sin embargo, su integración en el flujo de trabajo de los patólogos se ha visto gravemente afectado debido a la naturaleza “Black-Box” que presentan estos modelos. Los complejos conceptos matemáticos y estadísticos en los que se basan estos modelos dificultan enormemente la comprensión directa de los criterios decisivos que el modelo emplea para realizar predicciones. La interpretabilidad de redes neuronales tiene como objetivo proporcionar explicaciones en términos comprensibles para un ser humano. En este proyecto, se lleva a cabo un estudio de interpretabilidad de de la red nuronal DisplasiaNet, una red convolucional especialmente optimizada para clasificar imágenes de neutrófilos de sangre periférica en displásicas o normales. Trabajando en estrecha colaboración con patólogos expertos y con la ayuda de una aplicación de anotación web expresamente diseñada, se extraen las principales características morfológicas que presentan los diferentes estados celulares. En paralelo se aplican a DisplasiaNet técnicas de Interpretabilidad de redes neuronales especializadas en el analisis de imágenes tales como Mapas de relevancia, Mapas de activación de clases y Mapas de sensibilidad de oclusión para obtener las características que el modelo considera más relevantes. El estudio ha encontrado que DisplasiaNet detecta displasia en neutrófilos de manera similar a los patólogos expertos, validando así su precisión. En primer lugar, se centra en la granularidad del citoplasma y, en segundo lugar, en la densidad cromatínica del núcleo y la segmentación lobular.During the past decade, the Medical Sector has widely adopted Neural Networks as a tool to help diagnose and to further understand different diseases. This is due to their proven high accuracy and versatility. However, its integration into the pathologists' workflow has been severely affected due to the black box nature these models present. The complex mathematical and statistical concepts these models are based on greatly hinder the direct understanding of the model's decision criteria when these perform predictions. Neural Network Interpretability aims to provide explanations in understandable terms to a human. In this project, a deep learning interpretability study is carried out on DisplasiaNet, a Convolutional Neural Network specially optimized to classify Peripheral Blood Neutrophil images into Dysplastic or Normal. Working closely with expert pathologists and with the help of a purposely built web annotation app, the main morphological characteristics of the different cell states are extracted. Image interpretability techniques such as Saliency Maps, Class Activation Maps, and Occlusion Sensitivity Maps are applied to DisplasiaNet to obtain the features the model considers the most relevant. The study has found that DisplasiaNet detects dysplasia in Neutrophils in a similar manner to expert pathologists, thus validating its accuracy. Firstly it focuses on the granularity of the cytoplasm, and secondly on the nucleus chromatinic density and lobular segmentation

Explaining Deep Convolutional Neural Networks for Image Classification by Evolving Local Interpretable Model-agnostic Explanations

Deep convolutional neural networks have proven their effectiveness, and have been acknowledged as the most dominant method for image classification. However, a severe drawback of deep convolutional neural networks is poor explainability. Unfortunately, in many real-world applications, users need to understand the rationale behind the predictions of deep convolutional neural networks when determining whether they should trust the predictions or not. To resolve this issue, a novel genetic algorithm-based method is proposed for the first time to automatically evolve local explanations that can assist users to assess the rationality of the predictions. Furthermore, the proposed method is model-agnostic, i.e., it can be utilised to explain any deep convolutional neural network models. In the experiments, ResNet is used as an example model to be explained, and the ImageNet dataset is selected as the benchmark dataset. DenseNet and MobileNet are further explained to demonstrate the model-agnostic characteristic of the proposed method. The evolved local explanations on four images, randomly selected from ImageNet, are presented, which show that the evolved local explanations are straightforward to be recognised by humans. Moreover, the evolved explanations can explain the predictions of deep convolutional neural networks on all four images very well by successfully capturing meaningful interpretable features of the sample images. Further analysis based on the 30 runs of the experiments exhibits that the evolved local explanations can also improve the probabilities/confidences of the deep convolutional neural network models in making the predictions. The proposed method can obtain local explanations within one minute, which is more than ten times faster than LIME (the state-of-the-art method)