1,107 research outputs found
Explainable artificial intelligence (XAI) in deep learning-based medical image analysis
With an increase in deep learning-based methods, the call for explainability
of such methods grows, especially in high-stakes decision making areas such as
medical image analysis. This survey presents an overview of eXplainable
Artificial Intelligence (XAI) used in deep learning-based medical image
analysis. A framework of XAI criteria is introduced to classify deep
learning-based medical image analysis methods. Papers on XAI techniques in
medical image analysis are then surveyed and categorized according to the
framework and according to anatomical location. The paper concludes with an
outlook of future opportunities for XAI in medical image analysis.Comment: Submitted for publication. Comments welcome by email to first autho
Analysis of interpretability methods applied to DCE-MRI of Breasts Images
Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Biomédicas), 2022, Universidade de Lisboa; Faculdade de CiênciasO cancro da mama é uma doença que afeta um elevado número de mulheres a uma escala mundial [1].
Os exames físicos e a mamografia são as formas mais eficazes de detetar lesões e nódulos na mama.
Contudo, estes métodos podem revelar-se inconclusivos. Uma maneira de solidificar o diagnóstico de
cancro da mama é a realização de testes suplementares, tal como a ressonância magnética. O exame de
ressonância magnética mais comum para detetar cancro da mama é DCE-MRI, um exame que obtém
imagens através da injeção de um agente de contraste [2]. A consolidação do diagnóstico pode também
ser realizada via meios de machine learning. Vários métodos de machine learning têm vindo a ajudar
técnicos a realizar tarefas como deteção e segmentação de tumores. Apesar destes métodos serem
eficazes, as tarefas que este realizam são caracterizadas por um elevado grau de responsabilidade visto
que estão diretamente relacionadas com o bem-estar de um ser humano. Isto leva à necessidade de
justificar os resultados destes métodos de maneira a aumentar a confiança nos mesmos. As técnicas que
tentam explicar os resultados de métodos de machine learning pertencem à área de Explainable Artificial
Intelligence [3].
Esta dissertação foca-se em aplicar e analisar métodos state-of-the-art de Explainable Artificial
Intelligence a modelos de machine learning. Como estes modelos foram construídos tendo como base
imagens de DCE-MR de mamas, os métodos aplicados a estes modelos visam explicar os seus resultados
visualmente. Um dos métodos aplicados foi SHAP, SHapley Addictive exPlanations. Este método pode
ser aplicado a uma variedade de modelos e baseia-se nos Shapley Values da teoria de jogos para explicar
a importância das características da imagem de acordo com os resultados do modelo [4]. Outro método
aplicado foi Local Interpretable Model-agnostic Explanations, ou LIME. Este método cria imagens
alteradas e testa-as nos modelos criados. Estas imagens perturbadas têm um peso de acordo com o grau
das perturbações. Quando testadas nos modelos, LIME calcula quais as perturbações que influenciam a
mudança do resultado do modelo e, consequentemente, encontra as áreas da imagem que são mais
importantes para a classificação da imagem de acordo com o modelo [5]. O último método aplicado foi
o Gradient-weighted Class Activation Mapping, ou Grad-CAM. Este método pode ser aplicado em
diversos modelos, sendo uma generalização do método CAM [6], mas apenas pode ser aplicado em
tarefas de classificação. O método de Grad-CAM utiliza os valores dos gradientes específicos de classes
e as feature maps extraídas de convolutional layers para realçar áreas discriminativas de uma certa classe
na imagem. Estas layers são componentes importantes que constituem o corpo dos modelos. Para lá
destes métodos, extraiu-se e analisou-se matrizes convolucionais, chamadas de filtros, usadas pelas
convolutional layers para obter o output destas layers. Esta tarefa foi realizada para observar os padrões
que estão a ser filtrados nestas camadas.
Para aplicar estes métodos, foi necessário construir e treinar vários modelos. Nesse sentido, três modelos
com a mesma estrutura foram criados para realizar tarefas de regressão. Estes modelos têm uma
arquitetura constituída por três convolutional layers seguidas de uma linear layer, uma dropout layer e
outra linear layer. Um dos modelos tem como objetivo medir a área do tumor em maximum intensity
projections dos volumes. Os outros dois modelos têm como objetivo medir a percentagem de redução
do tumor quando introduzido dois maximum intensity projections. A diferença entre estes dois modelos
está nas labels criadas para os inputs. Um dos modelos usa valores calculados através da diferença entre
a área dos tumores dos duas maximum intensity projections, enquanto o outro modelo usa valores da
regressão da área do tumor fornecidos por técnicos. A performance destes modelos foi avaliada através
da computação dos coeficientes de correlação de Pearson e de Spearman. Estes coeficientes são
calculados usando a covariância e o produto do desvio-padrão de duas variáveis, e diferem no facto de
o coeficiente de Pearson apenas captar relações lineares enquanto o coeficiente de Spearman capta
qualquer tipo de relação. Do modelo que teve como objetivo medir a área do tumor calculou-se os
coeficientes de Pearson e de Spearman de 0.53 e 0.69, respetivamente. O modelo que teve como objetivo calcular a percentagem de redução do tumor e que usou valores calculados como labels teve a
melhor performance dos três modelos, com coeficientes de Pearson e de Spearman com valores de 0.82
e 0.87, respetivamente. O último modelo utilizado não conseguiu prever corretamente os valores
fornecidos pelos técnicos e, consequentemente, este modelo foi descartado. De seguida, os métodos de
visualização de filtros e SHAP foram aplicados aos dois restantes modelos. A técnica de visualização
de filtros permitiu demonstrar as partes da imagem que estão a ser filtradas nas convolutional layers,
sendo possível observar certos padrões nestes filtros. O método SHAP realçou áreas da mama que
contribuíram para as previsões dos modelos. Como ambas as tarefas se focam em calcular algo através
da área dos tumores, consideramos imagens SHAP bem-sucedidas aquelas que realçam áreas do tumor.
Com isto em mente, as imagens obtidas através do método SHAP tiveram um sucesso de 57% e de 69%
para o modelo que mede a área do tumor e para o modelo que mede a percentagem de redução do tumor,
respetivamente.
Outro modelo foi construído com o objetivo de classificar pares de maximum intensity projections de
acordo com percentagem de redução de área do tumor. Cada par foi previamente classificado numa de
quatro classes, sendo que cada classe corresponde a uma redução incremental de 25%, ou seja, a primeira
classe corresponde a uma redução do tumor de 0% a 25%, enquanto a última classe corresponde a uma
redução do tumor de 75% a 100%. Este modelo tem uma arquitetura semelhante à de um modelo de
Resnet18 [7]. A performance deste modelo foi avaliada através de uma matriz de confusão. Através
desta matriz podemos observar um sucesso de 70% no que toca a previsões corretas feitas pelo modelo.
De seguida, os três métodos, SHAP, LIME e Grad-CAM, foram aplicados neste modelo. Como o
objetivo deste modelo baseia-se em classificar as imagens de acordo com a percentagem de redução de
tumor, também se considerou imagens de SHAP com sucesso aquelas que realçam áreas do tumor.
Tendo isto em conta, observou-se uma taxa de sucesso de 82% em realçar a zona do tumor nas maximum
intensity projections. As perturbações criadas para serem aplicadas no método LIME correspondem a
áreas quadradas na imagem. O método LIME cria imagens atribuindo valores nulos a estas áreas
aleatoriamente. O método LIME atribui um peso às imagens perturbadas de acordo com o nível de
perturbação que estas sofrem. Neste trabalho, duas diferentes perturbações foram criadas, sendo a
primeira perturbação áreas quadradas de 10 por 10 pixéis e a segunda áreas quadradas de 25 por 25
pixéis. Após a perturbação das imagens, estas foram inseridas novamente no modelo e as diferenças na
previsão do modelo foram aprendidas pelo algoritmo do LIME. Imagens criadas com as perturbações
mais pequenas tiveram uma maior taxa de sucesso que as perturbações maiores, realçando perturbações
na área do tumor com uma certidão de 48%. Apesar deste facto, as imagens criadas com as perturbações
de 25 por 25 pixéis tiveram os resultados mais claros no que toca a localizar o tumor visto que o tamanho
das perturbações permitiu englobar todo o tumor. Por último, o método Grad-CAM foi aplicado a todas
as importantes convolutional layers do modelo. Este método foi bastante eficaz a localizar as áreas
discriminativas de uma certa classe, visto que conseguiu localizar o tumor bastante facilmente quando
aplicado na última convolutional layer. Para lá deste facto, foi possível observar as áreas discriminativas
de uma certa classe nas imagens quando se aplica este método a convolutional layers intermédias.
Concluindo, a aplicação destas técnicas permitiu explicar parte das decisões feitas pelos modelos de
machine learning no âmbito da análise de imagens de DCE-MRI de cancro da mama.Computer aided diagnosis has had an exponential growth in medical imaging. Machine learning has
helped technicians in tasks such as tumor segmentation and tumor detection. Despite the growth in this
area, there is still a need to justify and fully understand the computer results, in order to increase the
trust of medical professionals in these computer tasks. By applying explainable methods to the machine
learning algorithms, we can extract information from techniques that are often considered black boxes.
This dissertation focuses on applying and analyzing state-of-the-art XAI (eXplainable Artificial
Intelligence) methods to machine learning models that handle DCE-MR (Dynamic Contrast-Enhanced
Magnetic Resonance) breast images. The methods used to justify the model’s decisions were SHAP
(SHapley Additive exPlanations) [4], LIME (Local Interpretable Model-agnostic Explanations) [5] and
Grad-CAM (Gradient-weighted Class Activation Mapping) [8], which correspond to three visual
explanation methods. SHAP uses Shapley Values from game theory to explain the importance of
features in the image to the model’s prediction. LIME is a method that uses weighted perturbed images
and tests then using the existing models. From the model’s response to these perturbed images, the
algorithm can find which perturbations cause the model to change its prediction and, consequently, can
find the important areas in the image that lead to the model’s prediction. Grad-CAM is a visual
explanation method that can be applied to a variety of neural network architectures. It uses gradient
scores from a specific class and feature maps extracted from convolutional layers to highlight classdiscriminative regions in the images.
Two neural network models were built to perform regression tasks such as measuring tumor area and
measuring tumor shrinkage. To justify the network’s results, filters were extracted from the network’s
convolutional layers and the SHAP method was applied. The filter visualization technique was able to
demonstrate which parts of the image are being convoluted by the layer’s filters while the SHAP method
highlighted the areas of the tumor that contributed most to the model’s predictions. The SHAP method
had a success rate of 57% at highlighting the correct area of the breast when applied to the neural network
which measured the tumor area, and a success rate of 69% when applied to the neural network which
measured the tumor shrinkage. Another model was created using a Resnet18’s architecture. This
network had the task of classifying the breast images according to the shrinkage of the tumor and the
SHAP, LIME and Grad-CAM methods were applied to it. The SHAP method had a success rate of 82%.
The LIME method was applied two times by using perturbations of different sizes. The smaller sized
perturbations performed better, having a success rate of 48% at highlighting the tumor area, but the
larger sized perturbations had better results in terms of locating the entire tumor, because the area
covered was larger. Lastly, the Grad-CAM method excelled at locating the tumor in the breast when
applied to the last important convolutional layer in the network
XAI Applications in Medical Imaging: A Survey of Methods and Challenges
Medical imaging plays a pivotal role in modern healthcare, aiding in the diagnosis, monitoring, and treatment of various medical conditions. With the advent of Artificial Intelligence (AI), medical imaging has witnessed remarkable advancements, promising more accurate and efficient analysis. However, the black-box nature of many AI models used in medical imaging has raised concerns regarding their interpretability and trustworthiness. In response to these challenges, Explainable AI (XAI) has emerged as a critical field, aiming to provide transparent and interpretable solutions for medical image analysis. This survey paper comprehensively explores the methods and challenges associated with XAI applications in medical imaging. The survey begins with an introduction to the significance of XAI in medical imaging, emphasizing the need for transparent and interpretable AI solutions in healthcare. We delve into the background of medical imaging in healthcare and discuss the increasing role of AI in this domain. The paper then presents a detailed survey of various XAI techniques, ranging from interpretable machine learning models to deep learning approaches with built-in interpretability and post hoc interpretation methods. Furthermore, the survey outlines a wide range of applications where XAI is making a substantial impact, including disease diagnosis and detection, medical image segmentation, radiology reports, surgical planning, and telemedicine. Real-world case studies illustrate successful applications of XAI in medical imaging. The challenges associated with implementing XAI in medical imaging are thoroughly examined, addressing issues related to data quality, ethics, regulation, clinical integration, model robustness, and human-AI interaction. The survey concludes by discussing emerging trends and future directions in the field, highlighting the ongoing efforts to enhance XAI methods for medical imaging and the critical role XAI will play in the future of healthcare. This survey paper serves as a comprehensive resource for researchers, clinicians, and policymakers interested in the integration of Explainable AI into medical imaging, providing insights into the latest methods, successful applications, and the challenges that lie ahead
Explainable, Domain-Adaptive, and Federated Artificial Intelligence in Medicine
Artificial intelligence (AI) continues to transform data analysis in many
domains. Progress in each domain is driven by a growing body of annotated data,
increased computational resources, and technological innovations. In medicine,
the sensitivity of the data, the complexity of the tasks, the potentially high
stakes, and a requirement of accountability give rise to a particular set of
challenges. In this review, we focus on three key methodological approaches
that address some of the particular challenges in AI-driven medical decision
making. (1) Explainable AI aims to produce a human-interpretable justification
for each output. Such models increase confidence if the results appear
plausible and match the clinicians expectations. However, the absence of a
plausible explanation does not imply an inaccurate model. Especially in highly
non-linear, complex models that are tuned to maximize accuracy, such
interpretable representations only reflect a small portion of the
justification. (2) Domain adaptation and transfer learning enable AI models to
be trained and applied across multiple domains. For example, a classification
task based on images acquired on different acquisition hardware. (3) Federated
learning enables learning large-scale models without exposing sensitive
personal health information. Unlike centralized AI learning, where the
centralized learning machine has access to the entire training data, the
federated learning process iteratively updates models across multiple sites by
exchanging only parameter updates, not personal health data. This narrative
review covers the basic concepts, highlights relevant corner-stone and
state-of-the-art research in the field, and discusses perspectives.Comment: This paper is accepted in IEEE CAA Journal of Automatica Sinica, Nov.
10 202
- …