An Aggregation of Aggregation Methods in Computational Pathology

Image analysis and machine learning algorithms operating on multi-gigapixel whole-slide images (WSIs) often process a large number of tiles (sub-images) and require aggregating predictions from the tiles in order to predict WSI-level labels. In this paper, we present a review of existing literature on various types of aggregation methods with a view to help guide future research in the area of computational pathology (CPath). We propose a general CPath workflow with three pathways that consider multiple levels and types of data and the nature of computation to analyse WSIs for predictive modelling. We categorize aggregation methods according to the context and representation of the data, features of computational modules and CPath use cases. We compare and contrast different methods based on the principle of multiple instance learning, perhaps the most commonly used aggregation method, covering a wide range of CPath literature. To provide a fair comparison, we consider a specific WSI-level prediction task and compare various aggregation methods for that task. Finally, we conclude with a list of objectives and desirable attributes of aggregation methods in general, pros and cons of the various approaches, some recommendations and possible future directions.Comment: 32 pages, 4 figure

Knowledge-based Biomedical Data Science 2019

Knowledge-based biomedical data science (KBDS) involves the design and implementation of computer systems that act as if they knew about biomedicine. Such systems depend on formally represented knowledge in computer systems, often in the form of knowledge graphs. Here we survey the progress in the last year in systems that use formally represented knowledge to address data science problems in both clinical and biological domains, as well as on approaches for creating knowledge graphs. Major themes include the relationships between knowledge graphs and machine learning, the use of natural language processing, and the expansion of knowledge-based approaches to novel domains, such as Chinese Traditional Medicine and biodiversity.Comment: Manuscript 43 pages with 3 tables; Supplemental material 43 pages with 3 table

Exploration and adaptation of large language models for specialized domains

Large language models have transformed the field of natural language processing (NLP). Their improved performance on various NLP benchmarks makes them a promising tool—also for the application in specialized domains. Such domains are characterized by highly trained professionals with particular domain expertise. Since these experts are rare, improving the efficiency of their work with automated systems is especially desirable. However, domain-specific text resources hold various challenges for NLP systems. These challenges include distinct language, noisy and scarce data, and a high level of variation. Further, specialized domains present an increased need for transparent systems since they are often applied in high stakes settings. In this dissertation, we examine whether large language models (LLMs) can overcome some of these challenges and propose methods to effectively adapt them to domain-specific requirements. We first investigate the inner workings and abilities of LLMs and show how they can fill the gaps that are present in previous NLP algorithms for specialized domains. To this end, we explore the sources of errors produced by earlier systems to identify which of them can be addressed by using LLMs. Following this, we take a closer look at how information is processed within Transformer-based LLMs to better understand their capabilities. We find that their layers encode different dimensions of the input text. Here, the contextual vector representation, and the general language knowledge learned during pre-training are especially beneficial for solving complex and multi-step tasks common in specialized domains. Following this exploration, we propose solutions for further adapting LLMs to the requirements of domain-specific tasks. We focus on the clinical domain, which incorporates many typical challenges found in specialized domains. We show how to improve generalization by integrating different domain-specific resources into our models. We further analyze the behavior of the produced models and propose a behavioral testing framework that can serve as a tool for communication with domain experts. Finally, we present an approach for incorporating the benefits of LLMs while fulfilling requirements such as interpretability and modularity. The presented solutions show improvements in performance on benchmark datasets and in manually conducted analyses with medical professionals. Our work provides both new insights into the inner workings of pre-trained language models as well as multiple adaptation methods showing that LLMs can be an effective tool for NLP in specialized domains

RELATE: Physically Plausible Multi-Object Scene Synthesis Using Structured Latent Spaces

We present RELATE, a model that learns to generate physically plausible scenes and videos of multiple interacting objects. Similar to other generative approaches, RELATE is trained end-to-end on raw, unlabeled data. RELATE combines an object-centric GAN formulation with a model that explicitly accounts for correlations between individual objects. This allows the model to generate realistic scenes and videos from a physically-interpretable parameterization. Furthermore, we show that modeling the object correlation is necessary to learn to disentangle object positions and identity. We find that RELATE is also amenable to physically realistic scene editing and that it significantly outperforms prior art in object-centric scene generation in both synthetic (CLEVR, ShapeStacks) and real-world data (cars). In addition, in contrast to state-of-the-art methods in object-centric generative modeling, RELATE also extends naturally to dynamic scenes and generates videos of high visual fidelity. Source code, datasets and more results are available at http://geometry.cs.ucl.ac.uk/projects/2020/relate/

SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training

In an era where symbolic mathematical equations are indispensable for modeling complex natural phenomena, scientific inquiry often involves collecting observations and translating them into mathematical expressions. Recently, deep learning has emerged as a powerful tool for extracting insights from data. However, existing models typically specialize in either numeric or symbolic domains, and are usually trained in a supervised manner tailored to specific tasks. This approach neglects the substantial benefits that could arise from a task-agnostic unified understanding between symbolic equations and their numeric counterparts. To bridge the gap, we introduce SNIP, a Symbolic-Numeric Integrated Pre-training, which employs joint contrastive learning between symbolic and numeric domains, enhancing their mutual similarities in the pre-trained embeddings. By performing latent space analysis, we observe that SNIP provides cross-domain insights into the representations, revealing that symbolic supervision enhances the embeddings of numeric data and vice versa. We evaluate SNIP across diverse tasks, including symbolic-to-numeric mathematical property prediction and numeric-to-symbolic equation discovery, commonly known as symbolic regression. Results show that SNIP effectively transfers to various tasks, consistently outperforming fully supervised baselines and competing strongly with established task-specific methods, especially in few-shot learning scenarios where available data is limited

Analysis of interpretability methods applied to DCE-MRI of Breasts Images

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Biomédicas), 2022, Universidade de Lisboa; Faculdade de CiênciasO cancro da mama é uma doença que afeta um elevado número de mulheres a uma escala mundial [1]. Os exames físicos e a mamografia são as formas mais eficazes de detetar lesões e nódulos na mama. Contudo, estes métodos podem revelar-se inconclusivos. Uma maneira de solidificar o diagnóstico de cancro da mama é a realização de testes suplementares, tal como a ressonância magnética. O exame de ressonância magnética mais comum para detetar cancro da mama é DCE-MRI, um exame que obtém imagens através da injeção de um agente de contraste [2]. A consolidação do diagnóstico pode também ser realizada via meios de machine learning. Vários métodos de machine learning têm vindo a ajudar técnicos a realizar tarefas como deteção e segmentação de tumores. Apesar destes métodos serem eficazes, as tarefas que este realizam são caracterizadas por um elevado grau de responsabilidade visto que estão diretamente relacionadas com o bem-estar de um ser humano. Isto leva à necessidade de justificar os resultados destes métodos de maneira a aumentar a confiança nos mesmos. As técnicas que tentam explicar os resultados de métodos de machine learning pertencem à área de Explainable Artificial Intelligence [3]. Esta dissertação foca-se em aplicar e analisar métodos state-of-the-art de Explainable Artificial Intelligence a modelos de machine learning. Como estes modelos foram construídos tendo como base imagens de DCE-MR de mamas, os métodos aplicados a estes modelos visam explicar os seus resultados visualmente. Um dos métodos aplicados foi SHAP, SHapley Addictive exPlanations. Este método pode ser aplicado a uma variedade de modelos e baseia-se nos Shapley Values da teoria de jogos para explicar a importância das características da imagem de acordo com os resultados do modelo [4]. Outro método aplicado foi Local Interpretable Model-agnostic Explanations, ou LIME. Este método cria imagens alteradas e testa-as nos modelos criados. Estas imagens perturbadas têm um peso de acordo com o grau das perturbações. Quando testadas nos modelos, LIME calcula quais as perturbações que influenciam a mudança do resultado do modelo e, consequentemente, encontra as áreas da imagem que são mais importantes para a classificação da imagem de acordo com o modelo [5]. O último método aplicado foi o Gradient-weighted Class Activation Mapping, ou Grad-CAM. Este método pode ser aplicado em diversos modelos, sendo uma generalização do método CAM [6], mas apenas pode ser aplicado em tarefas de classificação. O método de Grad-CAM utiliza os valores dos gradientes específicos de classes e as feature maps extraídas de convolutional layers para realçar áreas discriminativas de uma certa classe na imagem. Estas layers são componentes importantes que constituem o corpo dos modelos. Para lá destes métodos, extraiu-se e analisou-se matrizes convolucionais, chamadas de filtros, usadas pelas convolutional layers para obter o output destas layers. Esta tarefa foi realizada para observar os padrões que estão a ser filtrados nestas camadas. Para aplicar estes métodos, foi necessário construir e treinar vários modelos. Nesse sentido, três modelos com a mesma estrutura foram criados para realizar tarefas de regressão. Estes modelos têm uma arquitetura constituída por três convolutional layers seguidas de uma linear layer, uma dropout layer e outra linear layer. Um dos modelos tem como objetivo medir a área do tumor em maximum intensity projections dos volumes. Os outros dois modelos têm como objetivo medir a percentagem de redução do tumor quando introduzido dois maximum intensity projections. A diferença entre estes dois modelos está nas labels criadas para os inputs. Um dos modelos usa valores calculados através da diferença entre a área dos tumores dos duas maximum intensity projections, enquanto o outro modelo usa valores da regressão da área do tumor fornecidos por técnicos. A performance destes modelos foi avaliada através da computação dos coeficientes de correlação de Pearson e de Spearman. Estes coeficientes são calculados usando a covariância e o produto do desvio-padrão de duas variáveis, e diferem no facto de o coeficiente de Pearson apenas captar relações lineares enquanto o coeficiente de Spearman capta qualquer tipo de relação. Do modelo que teve como objetivo medir a área do tumor calculou-se os coeficientes de Pearson e de Spearman de 0.53 e 0.69, respetivamente. O modelo que teve como objetivo calcular a percentagem de redução do tumor e que usou valores calculados como labels teve a melhor performance dos três modelos, com coeficientes de Pearson e de Spearman com valores de 0.82 e 0.87, respetivamente. O último modelo utilizado não conseguiu prever corretamente os valores fornecidos pelos técnicos e, consequentemente, este modelo foi descartado. De seguida, os métodos de visualização de filtros e SHAP foram aplicados aos dois restantes modelos. A técnica de visualização de filtros permitiu demonstrar as partes da imagem que estão a ser filtradas nas convolutional layers, sendo possível observar certos padrões nestes filtros. O método SHAP realçou áreas da mama que contribuíram para as previsões dos modelos. Como ambas as tarefas se focam em calcular algo através da área dos tumores, consideramos imagens SHAP bem-sucedidas aquelas que realçam áreas do tumor. Com isto em mente, as imagens obtidas através do método SHAP tiveram um sucesso de 57% e de 69% para o modelo que mede a área do tumor e para o modelo que mede a percentagem de redução do tumor, respetivamente. Outro modelo foi construído com o objetivo de classificar pares de maximum intensity projections de acordo com percentagem de redução de área do tumor. Cada par foi previamente classificado numa de quatro classes, sendo que cada classe corresponde a uma redução incremental de 25%, ou seja, a primeira classe corresponde a uma redução do tumor de 0% a 25%, enquanto a última classe corresponde a uma redução do tumor de 75% a 100%. Este modelo tem uma arquitetura semelhante à de um modelo de Resnet18 [7]. A performance deste modelo foi avaliada através de uma matriz de confusão. Através desta matriz podemos observar um sucesso de 70% no que toca a previsões corretas feitas pelo modelo. De seguida, os três métodos, SHAP, LIME e Grad-CAM, foram aplicados neste modelo. Como o objetivo deste modelo baseia-se em classificar as imagens de acordo com a percentagem de redução de tumor, também se considerou imagens de SHAP com sucesso aquelas que realçam áreas do tumor. Tendo isto em conta, observou-se uma taxa de sucesso de 82% em realçar a zona do tumor nas maximum intensity projections. As perturbações criadas para serem aplicadas no método LIME correspondem a áreas quadradas na imagem. O método LIME cria imagens atribuindo valores nulos a estas áreas aleatoriamente. O método LIME atribui um peso às imagens perturbadas de acordo com o nível de perturbação que estas sofrem. Neste trabalho, duas diferentes perturbações foram criadas, sendo a primeira perturbação áreas quadradas de 10 por 10 pixéis e a segunda áreas quadradas de 25 por 25 pixéis. Após a perturbação das imagens, estas foram inseridas novamente no modelo e as diferenças na previsão do modelo foram aprendidas pelo algoritmo do LIME. Imagens criadas com as perturbações mais pequenas tiveram uma maior taxa de sucesso que as perturbações maiores, realçando perturbações na área do tumor com uma certidão de 48%. Apesar deste facto, as imagens criadas com as perturbações de 25 por 25 pixéis tiveram os resultados mais claros no que toca a localizar o tumor visto que o tamanho das perturbações permitiu englobar todo o tumor. Por último, o método Grad-CAM foi aplicado a todas as importantes convolutional layers do modelo. Este método foi bastante eficaz a localizar as áreas discriminativas de uma certa classe, visto que conseguiu localizar o tumor bastante facilmente quando aplicado na última convolutional layer. Para lá deste facto, foi possível observar as áreas discriminativas de uma certa classe nas imagens quando se aplica este método a convolutional layers intermédias. Concluindo, a aplicação destas técnicas permitiu explicar parte das decisões feitas pelos modelos de machine learning no âmbito da análise de imagens de DCE-MRI de cancro da mama.Computer aided diagnosis has had an exponential growth in medical imaging. Machine learning has helped technicians in tasks such as tumor segmentation and tumor detection. Despite the growth in this area, there is still a need to justify and fully understand the computer results, in order to increase the trust of medical professionals in these computer tasks. By applying explainable methods to the machine learning algorithms, we can extract information from techniques that are often considered black boxes. This dissertation focuses on applying and analyzing state-of-the-art XAI (eXplainable Artificial Intelligence) methods to machine learning models that handle DCE-MR (Dynamic Contrast-Enhanced Magnetic Resonance) breast images. The methods used to justify the model’s decisions were SHAP (SHapley Additive exPlanations) [4], LIME (Local Interpretable Model-agnostic Explanations) [5] and Grad-CAM (Gradient-weighted Class Activation Mapping) [8], which correspond to three visual explanation methods. SHAP uses Shapley Values from game theory to explain the importance of features in the image to the model’s prediction. LIME is a method that uses weighted perturbed images and tests then using the existing models. From the model’s response to these perturbed images, the algorithm can find which perturbations cause the model to change its prediction and, consequently, can find the important areas in the image that lead to the model’s prediction. Grad-CAM is a visual explanation method that can be applied to a variety of neural network architectures. It uses gradient scores from a specific class and feature maps extracted from convolutional layers to highlight classdiscriminative regions in the images. Two neural network models were built to perform regression tasks such as measuring tumor area and measuring tumor shrinkage. To justify the network’s results, filters were extracted from the network’s convolutional layers and the SHAP method was applied. The filter visualization technique was able to demonstrate which parts of the image are being convoluted by the layer’s filters while the SHAP method highlighted the areas of the tumor that contributed most to the model’s predictions. The SHAP method had a success rate of 57% at highlighting the correct area of the breast when applied to the neural network which measured the tumor area, and a success rate of 69% when applied to the neural network which measured the tumor shrinkage. Another model was created using a Resnet18’s architecture. This network had the task of classifying the breast images according to the shrinkage of the tumor and the SHAP, LIME and Grad-CAM methods were applied to it. The SHAP method had a success rate of 82%. The LIME method was applied two times by using perturbations of different sizes. The smaller sized perturbations performed better, having a success rate of 48% at highlighting the tumor area, but the larger sized perturbations had better results in terms of locating the entire tumor, because the area covered was larger. Lastly, the Grad-CAM method excelled at locating the tumor in the breast when applied to the last important convolutional layer in the network