3D object reconstruction using computer vision : reconstruction and characterization applications for external human anatomical structures

Tese de doutoramento. Engenharia Informática. Faculdade de Engenharia. Universidade do Porto. 201

Mathematics and Algorithms in Tomography

This is the eighth Oberwolfach conference on the mathematics of tomography. Modalities represented at the workshop included X-ray tomography, sonar, radar, seismic imaging, ultrasound, electron microscopy, impedance imaging, photoacoustic tomography, elastography, vector tomography, and texture analysis

An SiPM-basead PET-TOF demonstrator: test and evaluation of the image reconstruction software and implementation of a TOF algorithm for improved imaging

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Radiações em Diagnóstico e Terapia)Universidade de Lisboa, Faculdade de Ciências, 2016O cancro da mama é a neoplasia maligna com maior taxa de incidência nas mulheres, sendo também uma das maiores causas de morte por cancro. Nos últimos anos têm sido realizados esforços no sentido de se desenvolverem novas técnicas imagiológicas que permitam uma deteção do cancro da mama no seu estado mais inicial. O uso destas técnicas permite a existência de um da doença com metodologias menos agressivas para o paciente e potencialmente mais eficazes. Estas novas técnicas visam também ultrapassar as dificuldades sentidas pelas técnicas mais antigas em analisar, por exemplo, mamas densas, ou até em detetar lesões em zonas anteriormente de acesso muito difícil, como a zona axilar. Atualmente, a tecnologia de imagem médica mais usada para a deteção e acompanhamento destas neoplasias é a mamografia por raios-X. Outros métodos de imagem, tais como os ultrassons e a ressonância magnética, desempenham um papel importante como técnicas auxiliares à mamografia por raios-X, principalmente quando a sensibilidade do uso de raios-X é baixa (por exemplo, devido a uma elevada densidade da mama). As tecnologias acima referidas produzem, essencialmente, imagens anatómicas, não sendo capazes de obter informação sobre alterações funcionais ou metabólicas nos tecidos. Assim, os métodos de imagem médica molecular, como são a Cintigrafia, a Tomografia Computorizada por Emissão de Fotão Único (SPECT) e a Tomografia por Emissão de Positrões (PET), introduzem informação complementar aos métodos de imagem anatómica. No entanto, estas técnicas de imagem funcional estão direcionadas para imagens de corpo inteiro, verificando-se uma baixa sensibilidade de deteção das pequenas lesões da mama. Neste contexto, tem-se assistido nos últimos anos à criação de equipamentos compactos baseados na cintigrafia e na tecnologia PET, com elevada sensibilidade para detetar as neoplasias características do cancro da mama. Esta evolução, direcionada para a imagem no diagnóstico e tratamento do cancro da mama, surge assim, como uma nova tecnologia designada por Mamografia por Emissão de Positrões (PEM). A Mamografia por Emissão de Positrões (PEM) é uma técnica promissora e decisiva na conquista deste objetivo. A PEM apresenta-se como uma técnica imagiológica funcional e não-invasiva, que se dedica à imagem da mama, partilhando os seus princípios físicos com a tomografia por emissão de positrões (PET). Alguns sistemas de imagem têm sido desenvolvidos neste âmbito, no contexto dos quais surge o novo protótipo desenvolvido e aqui estudado e que se denomina SiPM-based PET-ToF demonstrator. Este apresenta-se como um scanner de alta resolução e sensibilidade com capacidade de obtenção precisa de informação do tempo-de-voo (TOF) das partículas após aniquilação, desenvolvido pela PETsys Electronics, S.A em parceria com o consórcio de PET e com o LIP - Laboratório de Instrumentação e Física Experimental de Partículas. O SiPM-based PET-ToF demonstrator apresenta uma geometria de ^angulo limitado que proporciona exibilidade na colocação do scanner ao redor do paciente, bem como a possibilidade de o de combinar com outras técnicas de imagiologia e diagnóstico. É de grande importância referir que o protótipo avaliado ao longo deste projeto foi desenvolvido com capacidades para obtenção da informação do tempo-de-voo das partículas, característica que tem sido alvo de muitos estudos para obtenção de melhores resultados na reconstrução da imagem final. Ou seja, através da integração da informação do tempo-de-voo das partículas no software de reconstrução de imagem é possível estimar a localização precisa do local onde ocorreu a aniquilação dos positrões ao longo da linha-de-resposta (LOR) estimada. Isto tem importância na reconstrução de imagem, uma vez que permite obter uma melhor e mais correta quantificação da imagem final, melhorando por consequência a deteção de uma possível lesão. Com base nisto, o trabalho desenvolvido no âmbito desta dissertação de mestrado tem como principal propósito avaliar e melhorar o software de reconstrução de imagem utilizado pela PETsys Electronics S.A, especificamente para o SiPM-based PET-ToF demonstrator, bem como a inclusão do algoritmo de tempo-de-voo nesse mesmo software. Para tal, recorreu-se ao método de simulação de Monte Carlo. A metodologia adotada procurou reproduzir de uma forma realística, a geometria do detetor, o ambiente de radiação e fatores instrumentais relacionados com o sistema de imagem. Foram executados testes para validação dos dados simulados recorrendo ao uso de dados obtidos experimentalmente. Foram também avaliados os dados experimentais de forma a obter a resolução espacial intrínseca do protótipo em estudo. Após validação da geometria simulada do SiPM-based PET-ToF demonstrator, foi avaliado o processo de normalização, já utilizado para outros scanners desenvolvidos na PETsys Electronics S.A, para correção de artefactos na obtenção da imagem final. Este estudo foi feito com base em dados obtidos através de simulações de Monte Carlo, e teve como principal objetivo otimizar o processo de normalização utilizado especificamente para este novo protótipo. Após validação e otimização da metodologia de normalização no processo de reconstrução de imagem, o software foi alterado de modo a incluir o algoritmo do tempo-de-voo. Para validação desta alteração, foi realizado um estudo recorrendo a simulações de diferentes fantomas, onde as imagens foram posteriormente reconstruídas utilizando o software com e sem o algoritmo de tempo-de-voo. A resolução espacial, o número de contagens, a sensibilidade e a razão sinal-ruído foram alguns dos parâmetros avaliados ao longo desta tese. Os resultados obtidos demonstraram que os fatores utilizados no processo de normalização têm uma grande influência no que diz respeito a estimar imagem final, uma vez que permite a obtenção de imagens com formas melhor definidas e com menos ruído de fundo. Da mesma forma, a integração do tempo-de-voo na metodologia de reconstrução de imagem confirmou ser um ótimo complemento, uma vez que permitiu a obtenção de melhorias na qualidade das imagens. No entanto, é importante realçar que foram verificados alguns erros durante o tratamento dos dados desta última parte do estudo apresentado nesta tese, que necessitam de ser avaliados e corrigidos futuramente.Positron Emission Mammography (PEM) with 18F-Fluorodeoxyglucose is a functional imaging technique useful for breast cancer detection. The improvement of the detection of early stage breast cancer depends on the development of dedicated imaging systems with high sensitivity and spatial resolution. Also, many studies have supported the inclusion of time-of-flight information in the image reconstruction methods since this can allow for the improvement of image quality and quantitative accuracy, thereby improving lesion detectability. The SiPM-based PET-ToF demonstrator is a high resolution and sensitivity scanner with TOF capabilities developed by PETsys Electronics, S.A. in partnership with the PET-Consortium (eight technology and medical institutions, since 2003) and LIPLaboratory for Particle Physics, Lisbon (Detector and electronics development for CERN experiments since 20 years). The work presented in this thesis focus on the study of the performance of detector imaging quality and on the inclusion of TOF algorithm in the image reconstruction method used in the PETsys Electronics Systems. The image reconstruction method used during the work was already studied for the Clear-PEM system and it's here adapted for the SiPMbased PET-ToF demonstrator geometry and configuration. To achieve this, a realistic design of the detector was performed in the software used for numerical simulations of the final imaging. Monte Carlo data was provided to validate and optimize the changes done in image reconstruction algorithm and to investigate the normalization process in final imaging acquisition. It was demonstrated that the normalization factors used in image reconstruction have a big influence in the final result obtained, since it allows to obtain better defined image shapes and with less background noise. Similarly, the integration of time-of-flight information has confirmed to be of value in image reconstruction methodology, since it improves PET imaging quality. However, the image reconstruction methodology proposed here is still imperfect, resulting in the need for future work

Augmented Reality and Artificial Intelligence in Image-Guided and Robot-Assisted Interventions

In minimally invasive orthopedic procedures, the surgeon places wires, screws, and surgical implants through the muscles and bony structures under image guidance. These interventions require alignment of the pre- and intra-operative patient data, the intra-operative scanner, surgical instruments, and the patient. Suboptimal interaction with patient data and challenges in mastering 3D anatomy based on ill-posed 2D interventional images are essential concerns in image-guided therapies. State of the art approaches often support the surgeon by using external navigation systems or ill-conditioned image-based registration methods that both have certain drawbacks. Augmented reality (AR) has been introduced in the operating rooms in the last decade; however, in image-guided interventions, it has often only been considered as a visualization device improving traditional workflows. Consequently, the technology is gaining minimum maturity that it requires to redefine new procedures, user interfaces, and interactions. This dissertation investigates the applications of AR, artificial intelligence, and robotics in interventional medicine. Our solutions were applied in a broad spectrum of problems for various tasks, namely improving imaging and acquisition, image computing and analytics for registration and image understanding, and enhancing the interventional visualization. The benefits of these approaches were also discovered in robot-assisted interventions. We revealed how exemplary workflows are redefined via AR by taking full advantage of head-mounted displays when entirely co-registered with the imaging systems and the environment at all times. The proposed AR landscape is enabled by co-localizing the users and the imaging devices via the operating room environment and exploiting all involved frustums to move spatial information between different bodies. The system's awareness of the geometric and physical characteristics of X-ray imaging allows the exploration of different human-machine interfaces. We also leveraged the principles governing image formation and combined it with deep learning and RGBD sensing to fuse images and reconstruct interventional data. We hope that our holistic approaches towards improving the interface of surgery and enhancing the usability of interventional imaging, not only augments the surgeon's capabilities but also augments the surgical team's experience in carrying out an effective intervention with reduced complications