Statistical deformation reconstruction using multi-organ shape features for pancreatic cancer localization

Respiratory motion and the associated deformations of abdominal organs and tumors are essential information in clinical applications. However, inter- and intra-patient multi-organ deformations are complex and have not been statistically formulated, whereas single organ deformations have been widely studied. In this paper, we introduce a multi-organ deformation library and its application to deformation reconstruction based on the shape features of multiple abdominal organs. Statistical multi-organ motion/deformation models of the stomach, liver, left and right kidneys, and duodenum were generated by shape matching their region labels defined on four-dimensional computed tomography images. A total of 250 volumes were measured from 25 pancreatic cancer patients. This paper also proposes a per-region-based deformation learning using the non-linear kernel model to predict the displacement of pancreatic cancer for adaptive radiotherapy. The experimental results show that the proposed concept estimates deformations better than general per-patient-based learning models and achieves a clinically acceptable estimation error with a mean distance of 1.2 ± 0.7 mm and a Hausdorff distance of 4.2 ± 2.3 mm throughout the respiratory motion

Object Detection in medical imaging

A thesis submitted in partial fulfillment of the requirements for the degree of Doctor in Information Management, specialization in Information and Decision SystemsArtificial Intelligence, assisted by deep learning, has emerged in various fields of our society. These systems allow the automation and the improvement of several tasks, even surpassing, in some cases, human capability. Object detection methods are used nowadays in several areas, including medical imaging analysis. However, these methods are susceptible to errors, and there is a lack of a universally accepted method that can be applied across all types of applications with the needed precision in the medical field. Additionally, the application of object detectors in medical imaging analysis has yet to be thoroughly analyzed to achieve a richer understanding of the state of the art. To tackle these shortcomings, we present three studies with distinct goals. First, a quantitative and qualitative analysis of academic research was conducted to gather a perception of which object detectors are employed, the modality of medical imaging used, and the particular body parts under investigation. Secondly, we propose an optimized version of a widely used algorithm to overcome limitations commonly addressed in medical imaging by fine-tuning several hyperparameters. Thirdly, we develop a novel stacking approach to augment the precision of detections on medical imaging analysis. The findings show that despite the late arrival of object detection in medical imaging analysis, the number of publications has increased in recent years, demonstrating the significant potential for growth. Additionally, we establish that it is possible to address some constraints on the data through an exhaustive optimization of the algorithm. Finally, our last study highlights that there is still room for improvement in these advanced techniques, using, as an example, stacking approaches. The contributions of this dissertation are several, as it puts forward a deeper overview of the state-of-the-art applications of object detection algorithms in the medical field and presents strategies for addressing typical constraints in this area.A Inteligência Artificial, auxiliada pelo deep learning, tem emergido em diversas áreas da nossa sociedade. Estes sistemas permitem a automatização e a melhoria de diversas tarefas, superando mesmo, em alguns casos, a capacidade humana. Os métodos de detecção de objetos são utilizados atualmente em diversas áreas, inclusive na análise de imagens médicas. No entanto, esses métodos são suscetíveis a erros e falta um método universalmente aceite que possa ser aplicado em todos os tipos de aplicações com a precisão necessária na área médica. Além disso, a aplicação de detectores de objetos na análise de imagens médicas ainda precisa ser analisada minuciosamente para alcançar uma compreensão mais rica do estado da arte. Para enfrentar essas limitações, apresentamos três estudos com objetivos distintos. Inicialmente, uma análise quantitativa e qualitativa da pesquisa acadêmica foi realizada para obter uma percepção de quais detectores de objetos são empregues, a modalidade de imagem médica usada e as partes específicas do corpo sob investigação. Num segundo estudo, propomos uma versão otimizada de um algoritmo amplamente utilizado para superar limitações comumente abordadas em imagens médicas por meio do ajuste fino de vários hiperparâmetros. Em terceiro lugar, desenvolvemos uma nova abordagem de stacking para aumentar a precisão das detecções na análise de imagens médicas. Os resultados demostram que, apesar da chegada tardia da detecção de objetos na análise de imagens médicas, o número de publicações aumentou nos últimos anos, evidenciando o significativo potencial de crescimento. Adicionalmente, estabelecemos que é possível resolver algumas restrições nos dados por meio de uma otimização exaustiva do algoritmo. Finalmente, o nosso último estudo destaca que ainda há espaço para melhorias nessas técnicas avançadas, usando, como exemplo, abordagens de stacking. As contribuições desta dissertação são várias, apresentando uma visão geral em maior detalhe das aplicações de ponta dos algoritmos de detecção de objetos na área médica e apresenta estratégias para lidar com restrições típicas nesta área

Análise de imagens médicas com recurso a metodologias de deep learning

Mestrado em Engenharia Eletrónica e InformáticaExame público realizado em 26 de Julho de 2021A imagiologia médica refere-se a um conjunto de processos ou técnicas que permitem criar representações visuais das partes interiores do corpo. A avaliação de uma imagem médica requer uma análise cuidadosa bem como a compreensão das propriedades e dos detalhes das imagens, que incluem as condições de aquisição, as condições experimentais e as características do sistema biológico. O recurso à imagiologia médica permite a investigação e o diagnóstico precoce de diferentes patologias. Portanto, uma abordagem baseada no conhecimento para a análise e interpretação de tais imagens é imperativa. Há cada vez mais inovações no que concerne ao diagnóstico através de imagens médicas. Como tal, os avanços técnicos que permitam a produção de imagens de maior resolução, aliados a métodos de análise de imagens médicas que permitam extrair novas informações, têm sido investigados por parte da comunidade científica. Uma das áreas de investigação em destaque consiste na aplicação da inteligência artificial na imagem médica emulando a racionalidade do diagnóstico realizada pelo médico e oferecendo uma oportunidade para novos desenvolvimentos no que concerne à utilização da imagem médica como ponto de partida para o diagnóstico. Este trabalho visa investigar e implementar metodologias de machine learning, um ramo da inteligência artificial, para classificar e segmentar imagens médicas. Para tal, foi realizada uma extensa pesquisa bibliográfica sobre o estado da arte em revistas da especialidade indexadas. No sentido de testar diferentes abordagens foram selecionados para teste dois dataset para classificação, MedMNIST e MedNIST compostos por 454591 e 58954 imagens médicas respetivamente, e dois dataset para segmentação, BBBC038 composto por 735 imagens médicas e o ICPR2012 com 50 imagens H&E. Assim, o trabalho foi dividido em duas vertentes principais. Uma primeira parte onde se foca na classificação de imagens médicas, onde foi implementada e comparada a performance de várias arquiteturas utilizando as métricas adequadas. Para a realização desta primeira tarefa, foi necessário um pré-processamento dos dados (das imagens médicas). Em segundo lugar, foram investigadas formas de segmentação de imagens com o intuito de identificar núcleo celulares. Uma vez mais, foram construídas e comparadas as performances de diferentes arquiteturas, utilizando as métricas mais pertinentes. Adicionalmente, foi investigada a segmentação e a deteção com a particularidade de identificar núcleos que se encontrassem em mitose. Para ambas as tarefas foram obtidos resultados mais promissores do que os previamente reportados para os dataset’s estudados. No final, foi ainda desenvolvida uma aplicação web que permite testar os modelos e visualizar os resultados. Em resumo, os resultados deste estudo demonstraram o potencial das metodologias de machine learning como uma ferramenta importante para automatização de tarefas na área de imagem médica apresentando importantes contributos que permitem uma melhoria na classificação de determinadas patologias.Medical imaging encompasses a set of processes or techniques which allow the creation of visual representations of the inner parts of the body. The evaluation of a medical image requires a careful analysis, as well as the understanding of the properties and details of the images, that include the acquisition and experimental conditions, and the features of the biological system. The use of medical imaging allows the investigation and the early diagnosis of different pathologies. Therefore, a knowledge-based approach for the analysis and interpretation of such images is imperative. There is an increasing innovation concerning diagnosis through medical imaging. As such, the technical advances that allow the production of higher resolution images, allied to methods of medical images analysis that uncover new information, have been investigated by the scientific community. A research field that must be highlighted within medical imaging is artificial intelligence, which emulates the rationality of the diagnosis performed by the medical doctor and offers an opportunity for new developments regarding the use of medical imaging as a starting point for diagnosis. This work aims to investigate and implement machine learning methodologies, a field of artificial intelligence, to classify and segment medical images. For that goal, an intensive literature search in indexed specialty journals was conducted. As a way to test different approaches, two datasets were selected for classification, MedMNIST and MedNIST, composed by 454591 and 58954 medical images, respectively, and two datasets for segmentation, BBBC038, composed by 735 medical images and ICPR2012 with 50 H&E images. Therefore, this work was divided into two main components. A first part, where the focus is on the classification of medical images, where the performance of several architectures was implemented and characterized, using the adequate metrics. To accomplish this first task, a pre-processing of the data (medical images) was needed. Secondly, the segmentation of images with the goal of identifying cell nuclei were investigated. Once again, the performances of several architectures were built and compared, using the most relevant metrics. Additionally, research was conducted concerning segmentation and detection, with the singularity of identifying nuclei undergoing mitosis. The results obtained were more promising for both tasks than what had previously been reported for the studied datasets. In the end, a web application capable of testing the models and visualize the results was developed. In brief, the results obtained herein demonstrate the potential of machine learning methodologies as an important tool for the automatization of tasks in the medical imaging field, providing important contributions that lead to a better classification of certain pathologies