Automated Markerless Extraction of Walking People Using Deformable Contour Models

We develop a new automated markerless motion capture system for the analysis of walking people. We employ global evidence gathering techniques guided by biomechanical analysis to robustly extract articulated motion. This forms a basis for new deformable contour models, using local image cues to capture shape and motion at a more detailed level. We extend the greedy snake formulation to include temporal constraints and occlusion modelling, increasing the capability of this technique when dealing with cluttered and self-occluding extraction targets. This approach is evaluated on a large database of indoor and outdoor video data, demonstrating fast and autonomous motion capture for walking people

Medical image computing and computer-aided medical interventions applied to soft tissues. Work in progress in urology

Until recently, Computer-Aided Medical Interventions (CAMI) and Medical Robotics have focused on rigid and non deformable anatomical structures. Nowadays, special attention is paid to soft tissues, raising complex issues due to their mobility and deformation. Mini-invasive digestive surgery was probably one of the first fields where soft tissues were handled through the development of simulators, tracking of anatomical structures and specific assistance robots. However, other clinical domains, for instance urology, are concerned. Indeed, laparoscopic surgery, new tumour destruction techniques (e.g. HIFU, radiofrequency, or cryoablation), increasingly early detection of cancer, and use of interventional and diagnostic imaging modalities, recently opened new challenges to the urologist and scientists involved in CAMI. This resulted in the last five years in a very significant increase of research and developments of computer-aided urology systems. In this paper, we propose a description of the main problems related to computer-aided diagnostic and therapy of soft tissues and give a survey of the different types of assistance offered to the urologist: robotization, image fusion, surgical navigation. Both research projects and operational industrial systems are discussed

Towards automating cine DENSE MRI image analysis : segmentation, tissue tracking and strain computation

Includes bibliographical references (p. 192-206).Over the past two decades, magnetic resonance imaging (MRI) has developed into a powerful imaging tool for the heart. Imaging cardiac morphology is now commonplace in clinical practice, and a plethora of quantitative techniques have also arisen on the research front. Myocardial tagging is an established quantitative cardiac MRI method that involves magnetically tagging the heart with a set of saturated bands, and monitoring the deformation of these bands as the heart contracts

Improving medical imaging handling for radiotherapy using Velocity

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Radiações em diagnóstico e terapia) Universidade de Lisboa, Faculdade de Ciências, 2018The first step in Intensity Modulated Radiation Therapy (IMRT) treatments is to acquire a Computed Tomography (CT) to plan Radiation Therapy – the planning CT (pCT). Thereafter, before an image guided session of EBRT, a Cone Beam CBCT is acquired making sure the patient is correctly positioned as was while acquiring the pCT. However, there are frequent changes in shape and size of different organs during treatment, meaning that the planned dose might not be the delivered. If these changes are significant, a treatment re-plan may be required, which is time consuming. This situation can be avoided, since re-planning is sometimes taken as precaution due to specialist uncertainty about the exact distribution of the delivered dose. Deformable image registration (DIR) is a possible solution to know the dose distribution throughout the entire treatment. The latter can be performed by deforming the planning CT on each daily CBCT and posteriorly calculate the actual delivered dose using the reshaped CT’s. It is not advisable to use the CBCT’s due to the low quality of image. In this project, the benefits of using DIR on clinic are going to be explored, by firstly evaluating DIR quality on pelvic CT-CBCT scans. The study cases enrolled in this dissertation were diagnosed with cervical or endometrial cancer. These patients accepted being part of a clinical study implemented at and approved by the ethical commission of Champalimaud Foundation, which suggests the implementation of Stereotactic Body Radiation Therapy (SBRT) instead of Brachytherapy, to avoid tumour recurrence. Using DIR, it is also going to be analysed the deformation magnitude and consistency of these patients during treatment as well as calculated the actual delivered dose to the PTV and CTV. For DIR purposes, it is going to be use Velocity® in this project, a software developed by Varian Medical Systems. The study cases planning CT’s are going to be deformed to the CBCT form using two DIR methods: one intensity-based and one intensity-based and feature based. For dose calculation purposes, Eclipse (Varian Medical Systems) is going to be used.Este projeto foi desenvolvido na Fundação Champalimaud, Lisboa, Portugal, na área de radioterapia. A radioterapia é utilizada para tratar neoplasias bem localizadas, e pode ser usada como complemento de cirurgia e/ou quimioterapia. Envolve a utilização de radiação ionizante para afetar o tumor, e destruir as células cancerígenas. Há dois principais tipos radioterapia: radioterapia externa (EBRT) e braquiterapia. Neste projeto, vão ser exploradas radioterapia externa e braquiterapia, uma vez que estas são as técnicas utilizadas em doentes com cancro ginecológico, doentes incluídas num estudo clinico aprovado pela comissão ética da fundação Champalimaud, e os nossos casos de estudo. O primeiro passo em tratamentos de radioterapia externa (EBRT) passa por adquirir uma imagem de tomografia computorizada convencional (CT) para planear o tratamento de radioterapia – o CT de planeamento (pCT). Na Fundação Champalimaud, são realizados dois tipos de EBRT: Arcoterapia Volumétrica Modulada (VMAT) e Radioterapia Modulada por Intensidade de ângulos fixos (IMRT). Para propósitos de localização tumoral, estes tipos de radioterapia são complementados por radioterapia guiada por imagem (IGRT). Nesta instituição, o CT de planeamento adquirido é um CT espiral, com qualidade alargada, que permite visualizar com clareza a área que irá ser irradiada. Após diagnosticar o tumor, o radiooncologista utiliza o software Eclipse® (Varian Medical Systems) para contornar as estruturas relevantes para planear o tratamento e para prescrever uma determinada dose para irradiar o tumor, com auxílio de outras imagens médicas como ressonância magnética. No caso de tratamentos de EBRT, é crucial prescrever uma dose ao PTV (volume de planeamento de alvo), uma vez que este é uma extensão do CTV (local de suspeita infiltração do tumor) e que tem em conta potenciais variações geométricas durante o tratamento. Com o Eclipse®, utilizando o pCT, é possível fazer o planeamento de tratamento. Depois de fazer o controlo de qualidade do tratamento (utilizando o ArcCheck e/ou EPID) o doente está pronto para ser tratado. Antes de cada sessão de radioterapia externa guiada por imagem (IGRT), é adquirida uma imagem de CT de feixe cónico (CBCT) para garantir que o doente está corretamente posicionado, como enquanto se adquiriu o pCT. O CBCT é uma imagem que tem menos qualidade que o CT espiral e que permite administrar menos dose de radiação ao doente, permitindo ainda assim garantir que o doente está na posição correta para ser tratado. No entanto, há mudanças frequentes na forma e tamanho dos diferentes órgãos durante o tratamento. Desta forma, a dose planeada pode por vezes não ser a que é realmente administrada. Quando as mudanças são significativas, é por vezes necessário recorrer ao replaneamento de tratamento, o que pode resultar num prolongamento do processo clínico e ocupação dos recursos humanos. O replaneamento pode ser evitado, uma vez que é por vezes realizado por precaução devido à incerteza dos especialistas, da distribuição exata de dose administrada ao doente. No registo deformável de imagens (DIR), pretende-se transformar uma imagem (“imagem em movimento”) numa outra (“imagem fixa”). Há três tipos de DIR, que utilizam diferentes funções objetivas para encontrar a melhor correspondência entre a imagem em movimento e a fixa: DIR baseada na intensidade dos pixéis de ambas as imagens (pressupõe que as duas apresentam intensidades semelhantes em iguais pontos); DIR baseada em algumas características (recorre a determinadas características das imagens, como estruturas semelhantes contornadas em ambas); DIR híbrida (resulta na conjugação dos dois métodos anteriores). O DIR é uma potencial ferramenta para saber a exata distribuição de dose de um doente durante o tratamento. É possível deformar o pCT à imagem de cada CBCT adquirido, e depois calcular-se a dose administrada nos CT’s deformados. Isto devido ao facto de não ser possível calcular dose nos CBCT’s devido à falta de qualidade de imagem, o que pode resultar em erros associados. Neste projeto, os casos de estudo são doentes diagnosticadas com cancro ginecológico: do colo do útero ou do endométrio. O diagnóstico destas doentes é feito em primeiro lugar através de uma consulta, da realização de um ultrassom trans-vaginal, biópsia do tumor, CT abdominal-pélvico e ressonância magnética pélvica. Quando o diagnóstico é estabelecido, o estádio do tumor é avaliado de acordo com: diferenciação das células dos tecidos, alastramento e metastização, idade da doente, e invasão do espaço linfo-vascular (LVSI). A aquisição de CT’s torácicos ou abdominais superiores é indicada para detetar eventuais metástases distantes. Pode ser adquirida uma imagem de Tomografia por Emissão de Positrões (PET) quando se está na presença de um cancro ativo, para estadear metástases distantes e para confirmar a extensão da doença. Após o primeiro tratamento de EBRT ou quimioterapia adjuvante, a braquiterapia é o tratamento stantard a ser administrado a doentes com cancro do colo do útero ou endométrio, para evitar a recorrência tumoral. No entanto, as doentes incluídas nesta dissertação aceitaram fazer parte de um estudo clínico implementado e aceite pela comissão de ética da Fundação Champalimaud: utilizar um boost de radioterapia estereostática (SBRT) VMAT no lugar de braquiterapia em doentes ginecológicos. A SBRT implica a prescrição de uma alta dose de radiação para os tumores, e requer imobilização ou monitorização da doente, uma vez que pequenos movimentos podem danificar a precisão de dose administrada. De acordo com o estádio da doença, e dependendo se o útero é passível de ser removido por cirurgia, as doentes de cancro do colo do útero ou endométrio podem passar por três ou cinco frações de SBRT. Às doentes de três frações, foi possível remover o útero através de cirurgia, enquanto que as doentes de cinco frações ainda apresentam útero. Neste projeto, foi utilizado para DIR, o Velocity® (Varian Medical Systems). Para cálculos de dose, foi utilizado o Eclipse®. Foram primeiro estudados os benefícios de usar DIR na clínica, avaliando em primeiro lugar a qualidade da DIR. Após a validação do software para os casos de estudo, para transformar os pCT’s à imagem de cada um dos CBCT’s, recorreu-se a dois métodos de DIR. Os dois rCT’s resultantes, correspondentes ao mesmo CBCT foram depois comparados, para que fosse possível decidir qual dos métodos era o mais indicado para os casos de estudo. Os dois métodos utilizados do Velocity® foram: CBCT Corrected Deformable (indicado para registo de imagem pCT-CBCT; função objetiva baseada na intensidade dos pixéis) e Structure Guided Derformable (função objetiva híbrida). Para as imagens abdomino-pélvicas de doentes com cancro ginecológico, o método que melhor resultou, foi o Structure Guided Deformable. No entanto, por vezes o CBCT Corrected Deformable teve melhores resultados, o que levou a concluir que quando os resultados não são bons o suficiente quando utilizando o primeiro, se deve utilizar o segundo. Quando os pCT deformados eram considerados aprovados, ou seja, estavam em conformidade com o CBCT correspondente, era possível utilizar os mesmos para realizar cálculos de dose. A avaliação foi realizada considerando apenas a região do PTV, uma vez que esta é a zona com relevância clínica. Os pCT’s deformados no Velocity® foram exportados para o Eclipse® para proceder ao cálculo da dose em cada pCT deformado. O plano original de tratamento foi copiado para os mesmos, para replicar a situação de tratamento. O cálculo da dose dos rCT’s sobreposta no pCT permitiu a avaliação da conformidade das doentes ao longo do tratamento, e também a preparação do passo seguinte. As doses calculadas no Eclipse® nos rCT’s deformados foram importadas para o Velocity®, onde se procedeu à deformação da dose dos rCT’s para o pCT (através da matriz de deformação anteriormente criada) e depois se procedeu à soma das doses deformadas, permitindo aceder à dose realmente administrada em todos os tratamentos. Recorrendo à DIR, avaliou-se também a dose realmente administrada ao PTV e CTV das doentes incluídas no estudo clínico, e foi estudado se a dose administrada às estruturas de risco se encontrava dentro dos limites clinicamente aceites. Em relação à conformidade das doentes durante todo o tratamento, parece existir uma relação entre a mesma e a curva de aprendizagem do protocolo implementado no estudo clínico. No entanto, também aparenta ser possível que a conformidade das doentes esteja relacionada com o número de frações SBRT. O mesmo se verificou com a dose realmente administrada. A maior percentagem de dose administrada em relação à planeada, no CTV e PTV, evidencia estar correlacionada tanto com o tipo de doente, como com a curva de aprendizagem. Também foi analisada a dose administrada às seguintes estruturas de risco: intestino delgado, parede do reto e parede da bexiga. A dose administrada a estas estruturas, encontrou-se dentro dos limites aceites clinicamente. O Velocity® provou ser um software de fácil utilização, e que é útil para a realização de DIR em registo pCT-CBCT de imagens de doentes com cancro ginecológico. Para futuro trabalho, é importante estudar DIR noutros tipos de imagens, e reunir mais doentes tratadas com SBRT para evitar recorrência tumoral (endométrio ou colo do útero), para conclusões mais precisas acerca deste método. O Velocity® também pode ser potencialmente utilizado para implementar radioterapia adaptativa na clínica

Calipso: Physics-based Image and Video Editing through CAD Model Proxies

We present Calipso, an interactive method for editing images and videos in a physically-coherent manner. Our main idea is to realize physics-based manipulations by running a full physics simulation on proxy geometries given by non-rigidly aligned CAD models. Running these simulations allows us to apply new, unseen forces to move or deform selected objects, change physical parameters such as mass or elasticity, or even add entire new objects that interact with the rest of the underlying scene. In Calipso, the user makes edits directly in 3D; these edits are processed by the simulation and then transfered to the target 2D content using shape-to-image correspondences in a photo-realistic rendering process. To align the CAD models, we introduce an efficient CAD-to-image alignment procedure that jointly minimizes for rigid and non-rigid alignment while preserving the high-level structure of the input shape. Moreover, the user can choose to exploit image flow to estimate scene motion, producing coherent physical behavior with ambient dynamics. We demonstrate Calipso's physics-based editing on a wide range of examples producing myriad physical behavior while preserving geometric and visual consistency.Comment: 11 page

A conservative coupling algorithm between a compressible flow and a rigid body using an Embedded Boundary method

This paper deals with a new solid-fluid coupling algorithm between a rigid body and an unsteady compressible fluid flow, using an Embedded Boundary method. The coupling with a rigid body is a first step towards the coupling with a Discrete Element method. The flow is computed using a Finite Volume approach on a Cartesian grid. The expression of numerical fluxes does not affect the general coupling algorithm and we use a one-step high-order scheme proposed by Daru and Tenaud [Daru V,Tenaud C., J. Comput. Phys. 2004]. The Embedded Boundary method is used to integrate the presence of a solid boundary in the fluid. The coupling algorithm is totally explicit and ensures exact mass conservation and a balance of momentum and energy between the fluid and the solid. It is shown that the scheme preserves uniform movement of both fluid and solid and introduces no numerical boundary roughness. The effciency of the method is demonstrated on challenging one- and two-dimensional benchmarks

3D cine DENSE MRI: ventricular segmentation and myocardial stratin analysis

Includes abstract. Includes bibliographical references

Foetal echocardiographic segmentation

Congenital heart disease affects just under one percentage of all live births [1]. Those defects that manifest themselves as changes to the cardiac chamber volumes are the motivation for the research presented in this thesis. Blood volume measurements in vivo require delineation of the cardiac chambers and manual tracing of foetal cardiac chambers is very time consuming and operator dependent. This thesis presents a multi region based level set snake deformable model applied in both 2D and 3D which can automatically adapt to some extent towards ultrasound noise such as attenuation, speckle and partial occlusion artefacts. The algorithm presented is named Mumford Shah Sarti Collision Detection (MSSCD). The level set methods presented in this thesis have an optional shape prior term for constraining the segmentation by a template registered to the image in the presence of shadowing and heavy noise. When applied to real data in the absence of the template the MSSCD algorithm is initialised from seed primitives placed at the centre of each cardiac chamber. The voxel statistics inside the chamber is determined before evolution. The MSSCD stops at open boundaries between two chambers as the two approaching level set fronts meet. This has significance when determining volumes for all cardiac compartments since cardiac indices assume that each chamber is treated in isolation. Comparison of the segmentation results from the implemented snakes including a previous level set method in the foetal cardiac literature show that in both 2D and 3D on both real and synthetic data, the MSSCD formulation is better suited to these types of data. All the algorithms tested in this thesis are within 2mm error to manually traced segmentation of the foetal cardiac datasets. This corresponds to less than 10% of the length of a foetal heart. In addition to comparison with manual tracings all the amorphous deformable model segmentations in this thesis are validated using a physical phantom. The volume estimation of the phantom by the MSSCD segmentation is to within 13% of the physically determined volume