Deep learning for cardiac MR images analysis

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, em 2018Atualmente os indicadores da função cardíaca, tais como o Volume Sistólico (VS), a Fração de Ejeção (FE) e o Débito Cardíaco (DC), são calculados a partir de exames de Tomografia Axial Computorizada (TAC) ou ecocardiografias usando softwares clínicos cuja utilização requer a experiência do utilizador que seleciona pontos e áreas da imagem relevantes para o cálculo final. As imagens usadas são, geralmente, obtidas na zona da aorta ou considerando o plano anatómico que segue o eixo curto (EC) cardíaco, i.e., o plano transversal, capturando apenas ambos os ventrículos. A quantificação destes indicadores através de imagens de Ressonância Magnética Cardíaca (RMC) também é possível, embora não seja tão usada devido ao elevado custo do exame por paciente, uma vez que esta modalidade fornece imagens com melhor informação anatómica sobre as estruturas cardíacas sendo o Ventrículo Esquerdo (VE) a mais importante uma vez que é a partir desta cavidade que o sangue flui para todo o corpo devido à ação contrativa do miocárdio. Mesmo utilizando a RMC como modalidade de imagem, o plano mais utilizado continua a ser o transversal. Tendo em conta os progressos tecnológicos que hoje em dia se verificam, seria de grande utilidade o desenvolvimento de um software clínico para avaliar os parâmetros cardíacos acima referidos, entre outros, com a mínima interação do utilizador desde que se adquirem as imagens até que se faz o cálculo final dos valores dos indicadores. Sendo que o plano de imagem mais usado é o do EC e a maioria dos resultados provenientes de grupos de investigação nesta área consideram imagens com esta vista, ou seja, apenas com ambos os ventrículos. A obtenção de imagens segundo o EC passa por fazê-lo situando o plano em várias posições entre o ápice e o plano que inclui a válvula mitral, permitindo reconstruir o volume do VE. No entanto as imagens correspondentes ao plano da válvula e ao do ápice são complicadas de adquirir, o que afeta o valor final do volume. Para ultrapassar esta dificuldade, neste projeto foram utilizadas imagens cujo plano anatómico contém o eixo longo (EL) cardíaco. Nesta situação, existem 2 planos que permitem visualizar aurículas e ventrículos na mesma imagem, o plano longitudinal e o sagital. Consoante o escolhido, conseguem produzir-se 3 tipos de vistas diferentes, sempre seguindo o EL, onde se podem visualizar 2, 3 ou 4 cavidades cardíacas simultaneamente. Nas imagens das duas cavidades distingue-se o ventrículo e a aurícula esquerda, nas de três distinguem-se estas duas estruturas mais uma porção da aorta e nas de quatro é possível observar os dois ventrículos e as duas aurículas. Este projeto tem como principal objetivo analisar imagens de RMC obtidas segundo o EL do coração levando à quantificação dos parâmetros VS, FE e DC reduzindo ao máximo a interação do utilizador com o software. Para tal, são usados métodos de DL. No que toca ao desempenho de tarefas cognitivas, a melhor solução passa por utilizar o cérebro humano e todos os conhecimentos a ele associados. No entanto, por vezes, as tarefas cognitivas em questão são desafiadoras, complicadas e demoradas e nestas circunstâncias é benéfica a utilização de ferramentas que simulem o funcionamento do cérebro, deixando o utilizador livre para realizar outras funções ao mesmo tempo. Assim apareceu a Inteligência Artificial (IA) que permite modelar o comportamento e funções do cérebro humano através da criação de neurónios artificiais assim como das sinapses, ou seja, do comportamento fisiológico que explica a transmissão de informações entre neurónios, sob a forma de Redes Neuronais Convolucionais (RNCs). Estas RNCs permitem simular a inteligência humana assim como o processo de aprendizagem. Durante os anos 80 e 90 apareceram as primeiras redes de neurónios artificiais, redes estas que não continham tantos neurónios como o cérebro humano mas que revelaram uma elevada capacidade para resolver problemas de classificação, como por exemplo fazer a distinção entre uma imagem de um paciente doente e de um saudável, e regressão, criando uma nova área, a de Machine Learning (ML). Já durante os anos 2000 o DL apareceu, onde se podem encontrar redes com mais neurónios com capacidade para resolver problemas mais complexos e de maneira mais independente, como por exemplo segmentar vários órgãos numa só imagem, sendo muito utilizados nas mais variadas áreas do conhecimento incluindo o processamento de imagens médicas. Estes métodos de DL apresentam resultados muito próximos daqueles obtidos por especialistas. A metodologia aqui usada passa por criar RNCs e treiná-las de modo a segmentarem o VE em qualquer tipo de imagem de RMC obtida segundo o EL do coração. O treino de uma rede neuronal passa por apresentar-lhe um elevado e variado número deste tipo de imagens onde o VE já se encontra identificado, isto é, já têm “legendas” e deixá-la procurar características que a própria rede considera mais importantes de modo a conseguir segmentar uma nova imagem, nunca antes vista durante a fase de treino. Neste projeto foram desenvolvidas várias RNCs, treinadas durante diferentes períodos de tempo e sujeitas a imagens com diferentes vistas e “legendas”, prevendo diferentes estruturas. Para atingir os objetivos deste projeto e quantificar os indicadores da função cardíaca é crucial saber o volume do VE que pode ser derivado a partir da área e do comprimento do EL do VE. Estas duas últimas variáveis são obtidas através dos resultados de segmentação das várias RNCs. Foram treinadas 8 redes diferentes: duas redes que segmentam o contorno do VE (U-Net_20000 e U-Net_50000), cinco que prevêem a área desta estrutura (U-Net_FilledMasks_20000, U-Net_FilledMasks_50000, U-Net_2CH, U-Net_3CH e U-Net_4CH) e uma que identifica 3 pontos chave numa imagem obtida segundo o EL (8th trained U-Net). Ambas as redes que segmentam o contorno do VE, a que identifica os 3 pontos chave e duas das que prevêem a área do VE foram treinadas com recurso a um conjunto de imagens onde se viam 2, 3 ou 4 câmaras cardíacas, sendo que as restantes 3 foram treinadas usando conjuntos de imagens com vistas específicas. De modo a desenvolver o software que não dependa do utilizador para quantificar o VS, FE e DC, começou por usar-se o resultado da segmentação dos 3 pontos chave: o ápice do coração e os 2 pontos que definem o segmento de reta entre os limites da válvula mitral, obtendo as suas coordenadas de modo a medir o EL do ventrículo. De seguida, e usando as segmentações da área do VE em adição ao previamente calculado comprimento do eixo, foi calculado o volume do VE e, consequentemente, os indicadores da função cardíaca. Novas imagens de RMC obtidas segundo o EL do coração foram utilizadas para avaliar tanto o potencial da utilização de métodos de DL na segmentação deste tipo de imagens como o desempenho das RNCs e deste software independente de um utilizador, com os resultados a mostrar que: (i) é mais complicado prever com exatidão pequenas áreas nas imagens do que grandes, daí as segmentações do contorno do VE não serem tão precisas quanto as da área, (ii) devido à conclusão anterior e ao facto dos resultados obtidos relativamente à segmentação das áreas do VE a partir de imagens obtidas segundo o EL estarem nivelados com os resultados considerados como estado-da-arte para esta tarefa, foram usadas as predições das áreas em detrimento dos contornos na criação do software independente do utilizador, (iii) até à data é-me desconhecida a existência de uma RNC que detete os 3 pontos chave aqui mencionados sendo que os resultados obtidos são satisfatórios e facilitam a criação do já mencionado software, (iv) os valores finais dos parâmetros cardíacos estão de acordo com os valores estabelecidos para referência e não dependem da proveniência da segmentação final da área do ventrículo esquerdo. Concluindo, o objetivo inicial do projeto foi alcançado havendo espaço para futuras correções nomeadamente através da criação de “legendas” para as imagens mais exatas, de novas RNCs ou alteração das já existentes de modo as que as predições sejam semelhantes às produzidas por humanos ou utilização da mesma metodologia para analisar imagens de RMC obtidas segundo o EC do coração. Devido ao tempo extra disponível, foi treinada uma nona RNC para, desta vez, resolver um problema de regressão. De modo a tentar avaliar qualitativamente o grau de oclusão das artérias coronárias, artérias estas que são responsáveis pela perfusão do miocárdio, foi utilizado o Modelo de Tofts (MT) para tentar prever o valor do parâmetro que representa a taxa de fluxo de sangue dos vasos para as células do tecido, neste caso do miocárdio a partir da evolução temporal de 2 sinais fisiológicos: da concentração do agente de contraste que entra no tecido e daquela que de facto se mede dentro deste. Treinando a rede neuronal com várias amostras geradas computacionalmente destes sinais, os resultados obtidos mostram que os valores previstos para o parâmetro mencionado não diferem muito dos originais, havendo, mesmo assim, margem de manobra para melhorar esta rede de regressão, e que a partir deste parâmetro é possível visualizar graficamente a condição da perfusão na zona do tecido em causa, o miocárdio, havendo uma conexão com o nível de oclusão das artérias coronárias.In the current days cardiac functional parameters are measured from Computed Tomography (CT) scans or from echocardiographies using clinical softwares that rely on an experienced user to select relevant points and areas in the images. The used images are usually collected in the aorta or following a Short Axis (SA) cardiac plane. The parameters’ quantification through Cardiac Magnetic Resonance (CMR) is also possible since this imaging modality provides better anatomical information about the left ventricle (LV) and when this is the chosen modality to obtain the heart images, the SA plane is, again, the most commonly used. It would be useful to have a clinical software to quantify the more relevant cardiac functional parameters such as Stroke Volume (SV), Ejection Fraction (EF) and Cardiac Output (CO) with minimal user interaction from the image acquisition part to the final quantification of these parameters. Even though the most used plane to acquire images is the SA and the majority of the scientific results concern this image view, its usage presents a disadvantage when trying to quantify the LV volume. The SA images are acquired from the apex of the heart to the valve plane of the LV and then are used to extrapolate the LV volume. However, these 2 boundary positions are the most complicated to obtain and it affects the final value of the volume. To avoid this difficulty, in this project the considered plane was the Long Axis (LA) one, where one can see the apex and the valve points, and this plane was set in different areas of the heart producing three different views: the 2 Chamber Long Axis (2 CH-LA), the 3 Chamber Long Axis (3 CH-LA) and the 4 Chamber Long Axis (4 CH-LA) view. This project aims to analyze the three different kinds of LA CMR images leading to the SV, EF and CO quantification while reducing the user interaction with the software. To achieve it Deep Learning (DL) methods, which belong to the Artificial Intelligence (AI) area and model the human brain behavior and function by creating artificial neurons as well as synapses in the form of Convolutional Neural Networks (CNNs), were developed and explored. These DL methods can perform classification tasks yielding results similar to the ones obtained by humans. To quantify the parameters there is a quantity which is crucial to have, the LV volume. The followed methodology consisted in create CNNs and train them to perform the classification task of segmenting the LV in any LA image. The network training is realized by presenting a wide variety of labeled LA images, i.e. images where the area to segment, the LV, is already indicated, to the CNN and let it learn what to look for in a new image to correctly segment it. From the network LV area prediction it was possible to derivate the LV volume and from this quantify the SV, EF and CO. The results of this methodology allow to analyze the CNNs’ performance and the final parameters’ values obtained from real patients’ data in order to derive a conclusion about the DL potential to segment LA images and the creation of a user independent framework that could be translated into a clinical software