Multi-atlas propagation whole heart segmentation from MRI and CTA using a local normalised correlation coefficient criterion

Accurate segmentation of the whole heart from 3D image sequences is an important step in the developement of clinical applications. As manual delineation is a tedious task that is prone to errors and dependant on the expertise of the observer, fully automated segmentation methods are highly desirable. In this work, we present a fully automated method for the segmentation of the whole heart and the great vessels from 3D images. The method is based on a muti-atlas propagation segmentation scheme, that has been proven to be succesful in brain segmentation. Based on a cross correlation metric, our method selects the best atlases for propagation allowing the refinement of the segmentation at each iteration of the propagation. We show that our method allows segmentation from multiple image modalities by validating it on computed tomography angiography (CTA) and magnetic resonance images (MRI). Our results are comparable to state-of-the-art methods on CTA and MRI with average Dice scores of 90.9% and 89.0% for the whole heart when evaluated on a 23 and 8 cases, respectively

CardiacNET: Segmentation of Left Atrium and Proximal Pulmonary Veins from MRI Using Multi-View CNN

Anatomical and biophysical modeling of left atrium (LA) and proximal pulmonary veins (PPVs) is important for clinical management of several cardiac diseases. Magnetic resonance imaging (MRI) allows qualitative assessment of LA and PPVs through visualization. However, there is a strong need for an advanced image segmentation method to be applied to cardiac MRI for quantitative analysis of LA and PPVs. In this study, we address this unmet clinical need by exploring a new deep learning-based segmentation strategy for quantification of LA and PPVs with high accuracy and heightened efficiency. Our approach is based on a multi-view convolutional neural network (CNN) with an adaptive fusion strategy and a new loss function that allows fast and more accurate convergence of the backpropagation based optimization. After training our network from scratch by using more than 60K 2D MRI images (slices), we have evaluated our segmentation strategy to the STACOM 2013 cardiac segmentation challenge benchmark. Qualitative and quantitative evaluations, obtained from the segmentation challenge, indicate that the proposed method achieved the state-of-the-art sensitivity (90%), specificity (99%), precision (94%), and efficiency levels (10 seconds in GPU, and 7.5 minutes in CPU).Comment: The paper is accepted by MICCAI 2017 for publicatio

Segmentación rápida del ventrículo derecho en cine-MRI a partir de una representación densa de Hough

Segmentation of the right ventricle (RV) is essential for the diagnosis of multiple cardiac pathologies and conditions. However, its manual delineation is a tedious task and computational support is complex due to geometric and dynamic variability.  This work introduces a dense Hough transform and representation (HT) that allows a nonparametric characterization of the shape, encoding each voxel by its curvature and orientation. This representation is integrated into a bayesian tracking approach, which efficiently segments the RV structure throughout the cardiac cycle. The proposed approach was evaluated on a public dataset, with 16 patients, achieving a Sørensen-Dice coefficient of 0.87 and 0.92, for complete volumes and basal structures, respectively. These results evidence an adequate fit of the proposed model with respect to RV shape throughout the entire cardiac cycle. La segmentación del Ventrículo Derecho (VD) es esencial para el diagnóstico de múltiples patologías y condiciones cardiacas. Sin embargo, su delineación manual es una tarea tediosa y el soporte computacional resulta complejo debido a la variabilidad geométrica y dinámica.  Este trabajo introduce una transformación y representación densa de Hough (TH) que permite una caracterización no paramétrica de la forma, codificando cada vóxel por su curvatura y orientación. Esta representación es integrada en un enfoque de seguimiento bayesiano, que logra de forma eficiente segmentar la estructura del VD, a lo largo del ciclo cardíaco. El enfoque propuesto fue evaluado en un conjunto de datos públicos, con 16 pacientes, logrando un coeficiente Sørensen-Dice de 0,87 y 0,92, para volúmenes completos y estructuras basales, respectivamente. Estos resultados evidencian una adecuada adaptación del modelo propuesto respecto a la forma del VD a lo largo de todo el ciclo cardíaco.La segmentación del Ventrículo Derecho (VD) es esencial para el diagnóstico de múltiples patologías y condiciones cardiacas. Sin embargo, su delineación manual es una tarea tediosa y el soporte computacional resulta complejo debido a la variabilidad geométrica y dinámica.  Este trabajo introduce una transformación y representación densa de Hough (TH) que permite una caracterización no paramétrica de la forma, codificando cada vóxel por su curvatura y orientación. Esta representación es integrada en un enfoque de seguimiento bayesiano, que logra de forma eficiente segmentar la estructura del VD, a lo largo del ciclo cardíaco. El enfoque propuesto fue evaluado en un conjunto de datos públicos, con 16 pacientes, logrando un coeficiente Sørensen-Dice de 0,87 y 0,92, para volúmenes completos y estructuras basales, respectivamente. Estos resultados evidencian una adecuada adaptación del modelo propuesto respecto a la forma del VD a lo largo de todo el ciclo cardíaco

Bayesian Estimation of Geometric Morphometric Landmarks for Simultaneous Localization of Multiple Anatomies in Cardiac CT Images

We propose a robust method to simultaneously localize multiple objects in cardiac computed tomography angiography (CTA) images. The relative prior distributions of the multiple objects in the three-dimensional (3D) space can be obtained through integrating the geometric morphological relationship of each target object to some reference objects. In cardiac CTA images, the cross-sections of ascending and descending aorta can play the role of the reference objects. We employed the maximum a posteriori (MAP) estimator that utilizes anatomic prior knowledge to address this problem of localizing multiple objects. We propose a new feature for each pixel using the relative distances, which can define any objects that have unclear boundaries. Our experimental results targeting four pulmonary veins (PVs) and the left atrial appendage (LAA) in cardiac CTA images demonstrate the robustness of the proposed method. The method could also be extended to localize other multiple objects in different applications.ope

Detecting Clinically Meaningful Shape Clusters in Medical Image Data: Metrics Analysis for Hierarchical Clustering applied to Healthy and Pathological Aortic Arches

OBJECTIVE: Today's growing medical image databases call for novel processing tools to structure the bulk of data and extract clinically relevant information. Unsupervised hierarchical clustering may reveal clusters within anatomical shape data of patient populations as required for modern Precision Medicine strategies. Few studies have applied hierarchical clustering techniques to three-dimensional patient shape data and results depend heavily on the chosen clustering distance metrics and linkage functions. In this study, we sought to assess clustering classification performance of various distance/linkage combinations and of different types of input data to obtain clinically meaningful shape clusters. METHODS: We present a processing pipeline combining automatic segmentation, statistical shape modelling and agglomerative hierarchical clustering to automatically subdivide a set of 60 aortic arch anatomical models into healthy controls, two groups affected by congenital heart disease, and their respective subgroups as defined by clinical diagnosis. Results were compared with traditional morphometrics and principal component analysis of shape features. RESULTS: Our pipeline achieved automatic division of input shape data according to primary clinical diagnosis with high F-score (0.902/pm0.042) and Matthews Correlation Coefficient (0.851/pm0.064) using the Correlation/Weighted distance/linkage combination. Meaningful subgroups within the three patient groups were obtained and benchmark scores for automatic segmentation and classification performance are reported. CONCLUSION: Clustering results vary depending on the distance/linkage combination used to divide the data. Yet, clinically relevant shape clusters and subgroups could be found with high specificity and low misclassification rates. SIGNIFICANCE: Detecting disease-specific clusters within medical image data could improve image-based risk assessment, treatment planning and medical device development in complex disease

Cardiac motion estimation from medical images: a regularisation framework applied on pairwise image registration displacement fields

Accurate cardiac motion estimation from medical images such as ultrasound is important for clinical evaluation. We present a novel regularisation layer for cardiac motion estimation that will be applied after image registration and demonstrate its effectiveness. The regularisation utilises a spatio-temporal model of motion, b-splines of Fourier, to fit to displacement fields from pairwise image registration. In the process, it enforces spatial and temporal smoothness and consistency, cyclic nature of cardiac motion, and better adherence to the stroke volume of the heart. Flexibility is further given for inclusion of any set of registration displacement fields. The approach gave high accuracy. When applied to human adult Ultrasound data from a Cardiac Motion Analysis Challenge (CMAC), the proposed method is found to have 10% lower tracking error over CMAC participants. Satisfactory cardiac motion estimation is also demonstrated on other data sets, including human fetal echocardiography, chick embryonic heart ultrasound images, and zebrafish embryonic microscope images, with the average Dice coefficient between estimation motion and manual segmentation at 0.82–0.87. The approach of performing regularisation as an add-on layer after the completion of image registration is thus a viable option for cardiac motion estimation that can still have good accuracy. Since motion estimation algorithms are complex, dividing up regularisation and registration can simplify the process and provide flexibility. Further, owing to a large variety of existing registration algorithms, such an approach that is usable on any algorithm may be useful

Optimization Algorithms for Deep Learning Based Medical Image Segmentations

Medical image segmentation is one of the fundamental processes to understand and assess the functionality of different organs and tissues as well as quantifying diseases and helping treatment planning. With ever increasing number of medical scans, the automated, accurate, and efficient medical image segmentation is as unmet need for improving healthcare. Recently, deep learning has emerged as one the most powerful methods for almost all image analysis tasks such as segmentation, detection, and classification and so in medical imaging. In this regard, this dissertation introduces new algorithms to perform medical image segmentation for different (a) imaging modalities, (b) number of objects, (c) dimensionality of images, and (d) under varying labeling conditions. First, we study dimensionality problem by introducing a new 2.5D segmentation engine that can be used in single and multi-object settings. We propose new fusion strategies and loss functions for deep neural networks to generate improved delineations. Later, we expand the proposed idea into 3D and 4D medical images and develop a budget (computational) friendly architecture search algorithm to make this process self-contained and fully automated without scarifying accuracy. Instead of manual architecture design, which is often based on plug-in and out and expert experience, the new algorithm provides an automated search of successful segmentation architecture within a short period of time. Finally, we study further optimization algorithms on label noise issue and improve overall segmentation problem by incorporating prior information about label noise and object shape information. We conclude the thesis work by studying different network and hyperparameter optimization settings that are fine-tuned for varying conditions for medical images. Applications are chosen from cardiac scans (images) and efficacy of the proposed algorithms are demonstrated on several data sets publicly available, and independently validated by blind evaluations

Myocardial partial volume correction of internal left ventricular structures in emission tomography images

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Radiações em Diagnóstico e Terapia)Universidade de Lisboa, Faculdade de Ciências, 2016A imagiologia médica apresenta-se como sendo um conjunto de processos que levam à criação de representações visuais do interior do organismo para análise clínica e/ou auxílio em processos de intervenção médica. Desde o seu aparecimento e aplicação prática que a imagiologia tem tido um impacto significativo na sociedade, permitindo a confirmação de condições patológicas, possibilitando a avaliação e planeamento de tratamentos, e o fornecimento de uma alternativa a métodos invasivos e, essencialmente, constituindo práticas que permitem o diagnóstico prematuro de patologias. Todos estes aspetos fazem com que a imagiologia médica contribua, em última instância, para a diminuição da taxa de mortalidade e para o aumento da esperança média de vida das populações. No entanto, apesar dos mais de 100 anos de história desde o aparecimento das primeiras técnicas imagiológicas, existem ainda inúmeros desafios por ultrapassar no campo da imagiologia médica. Uma das principais motivações é a otimização de processos de diagnóstico em fases prematuras de diagnóstico, o que possibilita um maior leque de ações terapêuticas, podendo fazer a diferença no resultado final do tratamento dos pacientes. Esta necessidade, aliada ao facto de a maior causa de mortalidade a nível mundial ser devido a doenças cardiovasculares (Allender et al. (2008), Lloyd-Jones (2010)), justifica uma prioridade na investigação de metodologias que visem o diagnóstico de patologias do foro cardíaco num estado em que as ações preventivas e de tratamento permitam uma maior eficácia final para benefício do paciente. Em particular, as modalidades de imagiologia médica podem distinguir-se entre métodos morfológicos (ou anatómicos) – que visam a obtenção de informação anatómica do organismo -, e métodos funcionais (ou de emissão), que têm por objetivo quantificar, de modo não invasivo, processos fisiológicos e metabólicos ocorrentes no organismo. Porém, embora este último tipo de métodos apresente uma maior sensibilidade e especificidade na deteção de fenómenos fisiológicos, ao nível molecular, tal surge em detrimento da resolução espacial das imagens. Este fenómeno de degradação da resolução espacial, mais acentuado em imagens funcionais, é conhecido como o efeito do volume parcial. Apesar de ser um tópico sujeito a grande foco de investigação na área imagiológica médica, o efeito do volume parcial não tem, na prática, uma metodologia suficientemente versátil e eficaz de correção. Os mecanismos de correção do efeito do volume parcial baseiam-se essencialmente na implementação de processos de restauração do desfoque de imagem, havendo uma redistribuição de atividade dos objetos de volta à sua localização original. Relacionando esta desvantagem associada a imagens de emissão com aplicações cardíacas, é possível alcançar a derradeira motivação à qual este projeto está ancorado. Por um lado, metodologias de correção do efeito to volume parcial necessitam, na sua maioria e de forma a serem mais eficazes, de informação imagiológica funcional e morfológica, correspondentes. É de notar a complexidade associada a este género de processos, uma vez que incorrem num número de diferentes passos de processamento consecutivos, entre eles a segmentação de regiões de interesse, o co registro de imagens funcionais e anatómicas, e implementação do processo de correção propriamente dito, sendo que este pode ser efetuado sob o ponto de vista da imagem final ou durante a reconstrução de projeções tomográficas. Desta forma, é possível definir restrições geométricas que auxiliam no processo de compensação deste efeito. Por outro lado, o coração possui estruturas intraventriculares, os músculos papilares e as trabéculas, que se caracterizam por serem protrusões das paredes miocárdicas ventriculares, de massa apreciável e que servem o propósito de ancorar as válvulas auriculoventriculares de forma a impedir a regurgitação sanguínea para as aurículas, durante a diástole auricular/sístole ventricular. A questão em foco é que metodologias de correção do efeito do volume parcial aplicadas ao aparelho cardíaco utilizadas na bibliografia ignoram a atividade produzida por estruturas intraventriculares, considerando-as como pertencentes à “blood pool”, que se situa na cavidade ventricular, sendo que este passo é feito de forma a simplificar a rotina de correção, minimizando o número de estruturas cujo efeito do volume parcial se pretende corrigir, tomando apenas em consideração uma parede miocárdica e uma “blood pool”, na grande maioria dos casos. O objetivo do projeto corrente foi a avaliação sobre se a melhor opção residiria na tomada de consideração destas estruturas intraventriculares como fontes independentes produtoras de efeito do volume parcial a um nível significativo, ou se o seu efeito de desfoque seria desprezável ao ponto deste ser mascarado pela atividade da “blood pool”. De forma a testar esta ideia, projetámos um processo lógico dividido em três instâncias de complexidade crescente. A primeira abordagem consistiu num estudo exploratório caracterizado pela modelação de um sistema cardíaco, seguido por um procedimento de desfoque simples do mesmo, através da convolução do modelo com uma função de dispersão típica de um sistema de tomografia por emissão, e posterior avaliação do efeito de volume parcial produzido por estruturas intraventriculares. O objetivo desta abordagem foi o de determinar se o efeito de volume parcial produzido por estruturas intraventriculares seria significativo ou não, sendo que tal foi efetuado por comparação com o efeito correspondente produzido pela “blood pool”, referida na literatura como uma estrutura relevante no processo de desfoque imagiológico. Mediante a potencial determinação de que o efeito produzido pelas estruturas internas ventriculares seria efetivamente significativo e tendo em conta as simplificações efetuadas durante a criação do modelo, um estudo mais aprofundado deste efeito justificar-se-ia. É neste sentido que surge a segunda abordagem ao problema, que consiste no aumento da natureza realística do processo de determinação do efeito de volume parcial produzido pelas estruturas intraventriculares, através da utilização do STIR (Software for Tomographic Image Reconstruction). O STIR é um programa que permite simular o processo de reconstrução de imagens tomográficas, dotando as mesmas de um padrão de desfoque e de ruído realistas. A determinação de uma potencial enfatização do efeito produzido por estruturas internas ventriculares justificaria um ainda maior aprofundamento do estudo deste efeito. Neste contexto, surge a terceira e última instância deste estudo, que corresponde à levada a cabo de estratégias de correção de efeito do volume parcial propriamente ditas. O principal resultado produzido por este estudo seria a determinação do erro obtido ao recuperar a distribuição de atividade original do modelo, não tomando em conta as estruturas intraventriculares como fontes independentes produtoras de desfoque, isto é, tomando apenas o miocárdio e a “blood pool” como regiões de interesse. O resultado final baseou-se na determinação de que, segundo as simplificações utilizadas na criação do modelo, as estruturas intraventriculares produziriam um efeito local significativo sobre a parede do ventrículo esquerdo, podendo efetivamente mascarar lesões hipo-activas ou adelgaçamentos patológicos da parede do ventrículo, em locais adjacentes à estrutura intraventricular em questão. É de referir que o presente estudo constitui uma primeira aproximação à avaliação do efeito do volume parcial produzido por estruturas intraventriculares, sendo que até à data, não há conhecimento de um estudo semelhante. Como conclusão final, e à luz das simplificações adotadas durante a execução deste estudo, não existem indícios que apontem para o facto de estas estruturas não serem relevantes, pelo menos a nível local. No entanto, há que compreender que, de forma a obter uma noção mais completa e precisa sobre a relevância destas estruturas intraventriculares, um estudo adicional terá de ser realizado de forma a comprovar a importância de estruturas internas ventriculares num ambiente clínico, e em particular, se estas devem ou não ser consideradas como independentes.Introduction: In emission tomography, the system’s limited spatial resolution leads to three-dimensional image blurring, a phenomenon called partial volume effect (PVE). This limited resolution gives rise to activity spillover between regions in the imaged object, resulting in significant changes in the measured image activity distribution, which is particularly evident in structures with small dimensions. Hence, precise quantification based on image activity values depends on a rigorously implemented partial volume correction (PVC) routine. In nuclear medicine images some PVC methodologies make use of corresponding morphological images in order to provide additional information which assist in the correction procedure. This approach is popular in cardiac emission data. However, in the current PVC literature, cardiac intra-ventricular structures (IVS), namely papillary muscles and trabeculae carneae, have been largely ignored, while they may potentially produce a significant influence in terms of activity spillover. Methods: A progressively more complex set of simulation steps were involved in this study to investigate the partial volume effect of IVS. The first step involved the study of a simple blurring model using Matlab, which evolved into a model with a more realistic nature by using STIR (Software for Tomographic Image Reconstruction), which in turn evolved to the evaluation of an actual PVC methodology using C++ and Matlab scripts for PVC. A diastolic right and left ventricle model, designed according to a 17 segment division (Cerqueira et al. (2002)) was constructed, and the PVE originated from the IVS was assessed in all the individual segments of the left ventricle, throughout all the tested approaches. This IVS PVE influence was then compared to the blood pool’s (BP) spillover, since the latter is an already well established effect studied in the current literature. Results: The results obtained showed some agreement between the various simulation approaches utilized, showing that the total PVE produced by the overall IVS was comparative to that of the blood pool, but this could still be accounted for in PVC methodologies that do not consider IVS. However, the results consistently pointed to the fact that in local terms the IVS produces an effect that surpasses that of the BP, and PVC methodologies that do not take the IVS into account are not able to adequately recover the initial object’s activity distribution, locally. Conclusion: It was shown that the local PVE of the IVS over the left ventricle wall was significant, which can potentially have an effect in terms of masking or over emphasizing anomalous uptakes in regions of the myocardial wall that are in the vicinity of IVS