Virtual clinical trials in medical imaging: a review

The accelerating complexity and variety of medical imaging devices and methods have outpaced the ability to evaluate and optimize their design and clinical use. This is a significant and increasing challenge for both scientific investigations and clinical applications. Evaluations would ideally be done using clinical imaging trials. These experiments, however, are often not practical due to ethical limitations, expense, time requirements, or lack of ground truth. Virtual clinical trials (VCTs) (also known as in silico imaging trials or virtual imaging trials) offer an alternative means to efficiently evaluate medical imaging technologies virtually. They do so by simulating the patients, imaging systems, and interpreters. The field of VCTs has been constantly advanced over the past decades in multiple areas. We summarize the major developments and current status of the field of VCTs in medical imaging. We review the core components of a VCT: computational phantoms, simulators of different imaging modalities, and interpretation models. We also highlight some of the applications of VCTs across various imaging modalities

Accelerated High-Resolution Photoacoustic Tomography via Compressed Sensing

Current 3D photoacoustic tomography (PAT) systems offer either high image quality or high frame rates but are not able to deliver high spatial and temporal resolution simultaneously, which limits their ability to image dynamic processes in living tissue. A particular example is the planar Fabry-Perot (FP) scanner, which yields high-resolution images but takes several minutes to sequentially map the photoacoustic field on the sensor plane, point-by-point. However, as the spatio-temporal complexity of many absorbing tissue structures is rather low, the data recorded in such a conventional, regularly sampled fashion is often highly redundant. We demonstrate that combining variational image reconstruction methods using spatial sparsity constraints with the development of novel PAT acquisition systems capable of sub-sampling the acoustic wave field can dramatically increase the acquisition speed while maintaining a good spatial resolution: First, we describe and model two general spatial sub-sampling schemes. Then, we discuss how to implement them using the FP scanner and demonstrate the potential of these novel compressed sensing PAT devices through simulated data from a realistic numerical phantom and through measured data from a dynamic experimental phantom as well as from in-vivo experiments. Our results show that images with good spatial resolution and contrast can be obtained from highly sub-sampled PAT data if variational image reconstruction methods that describe the tissues structures with suitable sparsity-constraints are used. In particular, we examine the use of total variation regularization enhanced by Bregman iterations. These novel reconstruction strategies offer new opportunities to dramatically increase the acquisition speed of PAT scanners that employ point-by-point sequential scanning as well as reducing the channel count of parallelized schemes that use detector arrays.Comment: submitted to "Physics in Medicine and Biology

Analysis in magnetic resonance elastography: study and development of image processing techniques

Tese de mestrado em Engenharia Biomédica e Biofísica (Radiações em Diagnóstico e Terapia), apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012The term “Elastography‖” unifies biomechanics with imaging sciences and was driven by the well-documented effectiveness of palpation as a diagnostic technique for detecting cancer and other diseases. Notoriously, during the last decade Magnetic Resonance Elastography (MRE) has emerged as the most accurate imaging modality to non-invasively assess the rheological properties of tissue. Using a phase-contrast MRI technique together with an external mechanical actuation device, it is possible to detect propagating shear waves inside the human body. Viscoelastic properties can then be extracted by applying inversion methods to the acquired phase data. Due to the richness and significance of the data, and in spite of enduring challenges related to the complexity of the computations involved, MRE attracted strong interest and is now a thriving area of research. The computations necessary to calculate maps of viscoelastic tissue properties are indeed substantial and are generally done on remote computers after completion of experiments. The need for higher flexibility in large scale clinical studies led to the development, in the current project, of an automated toolbox for real time MRE data processing implemented within the scanner environment. The most commonly used direct inversion methods, Algebraic Helmholtz Inversion (AHI) and Local Frequency Estimation, show considerable performance differences under similar initial conditions. Assumptions underlying such algorithms were studied by comparing noise sensitivity and resolution on synthetic, phantom and in vivo brain datasets. Finally, a clinical application of the AHI approach was performed on brain and abdominal data from healthy individuals. The ensuing values of brain viscoelasticity suggest higher stiffness in white matter compared to grey matter. Preliminary results also show a pronounced age-related decrease in brain stiffness and viscosity. The liver, kidney and spleen were assessed with abdominal MRE and the results support a statistically significant higher stiffness in the spleen compared to liver and kidney.A rigidez e viscosidade são das propriedades mecânicas intrínsecas dos tecidos com maior relevância fisiopatológica. Segundo as fontes conhecidas, desde 400 a.C., a palpação tem sido o método mais utilizado como primeira fonte de avaliação médica, de forma a detectar pequenas massas ou tumores em tecidos moles. No entanto, a experiência profissional do médico e a própria localização da massa têm um grande impacto na qualidade do diagnóstico efectuado. Sabendo que o módulo de elasticidade possui uma variabilidade nos tecidos moles superior à de outras propriedades físicas, como a absorção de raios X ou o tempo de relaxamento em ressonância magnética nuclear, e que a ressonância magnética é das técnicas que, até à data, foi capaz de produzir imagens com maior qualidade e resolução espacial, surgiu uma forte motivação para unificar a biomecânica com a imagiologia por ressonância magnética. Deste modo, a Elastografia por Ressonância Magnética (MRE, do inglês “Magnetic Resonance Elastography‖” apareceu em meados dos anos 90 do século passado, permitindo avaliar e medir com um elevado grau de exactidão as propriedades reológicas dos tecidos, de modo não invasivo. Utilizando uma técnica de contraste de fase em MRI, em conjunto com um dispositivo dinâmico de oscilação mecânica, a MRE mostra um potencial muito grande para detectar a propagação de ondas mecânicas no corpo humano, com uma precisão da ordem de grandeza dos mícrons. Posteriormente à aquisição das chamadas “imagens de fase”, o processamento de imagem, através da aplicação de algoritmos de inversão, permite quantificar o comportamento reológico do meio. Esta nova modalidade de diagnóstico deu até hoje lugar a um conjunto de estudos pré-clínicos que permitiram a investigação das condições mecânicas associadas a alterações fisiológicas e patológicas, em tecidos nos quais esta abordagem nunca tinha sido possível. Éntre esses tecidos, é de destacar o caso do cérebro, um órgão onde a palpação ou aplicação de elastrografia convencional, associada a ultrassons, é inviável devido à presença da caixa craniana. Podem-se, assim, enumerar alguns estudos empreendidos com esta técnica até hoje, de inquestionável impacto científico e clínico: a fibrose hepática, o envelhecimento do cérebro, a esclerose múltipla, a hidrocefalia e os tumores cerebrais. Uma das áreas que actualmente atrai maior interesse consiste na correcta quantificação da viscoelasticidade a partir dos dados adquiridos no scanner. Tendo como base premissas diferentes, muitos algoritmos foram propostos para inverter a equação de ondas, calculando parâmetros relevantes a partir da simples propagação das ondas nos tecidos. Os métodos mais intuitivos designam-se por métodos directos, sendo os mais comuns a Inversão Algébrica da equação de Helmholtz (AHI, do inglês “Algebraic Helmholtz Inversion‖” e a Estimação da Frequência Local (LFE, do inglês “Local Frequency Estimation‖”. O primeiro tem por base uma origem matemática, realizando a inversão local em cada ponto da matriz da imagem segundo a equação de Helmholtz. A técnica de LFE, por outro lado, resolve o problema através de métodos de processamento, onde a aplicação de uma cadeia de filtros permite extrair a frequência espacial local das ondas de shear, estando esta relacionada com o módulo da elasticidade através de uma simples relação algébrica. Neste contexto, a tese apresentada prende-se com os métodos de análise de imagem em MRE, nomeadamente tanto no estudo como no desenvolvimento de técnicas que permitem uma avaliação das propriedades dinâmicas do meio, com precisão, exactidão e flexibilidade. Um dos problemas da baixa aplicabilidade da técnica de MRE a grandes estudos clínicos é, de facto, a falta de flexibilidade na obtenção de mapas de elasticidade. O volume de cálculos necessários para a construção desses mapas é muito grande, e por isso esses cálculos são geralmente efectuados em computadores independentes, depois de terminada a etapa da aquisição dos dados. Desta forma, o primeiro projecto consistiu no desenvolvimento de uma toolbox que permitisse o processamento de imagem em tempo real, embutido no proprio scanner. Assim, aquando da aquisição de uma experiência de elastografia, será possível obter não só a disposição espacial e intensidade da propagação das ondas mecânicas, mas também um mapa adicional correspondente à elasticidade do tecido, directamente na sala de controlo. Para este efeito, foi desenvolvido um algoritmo de reconstrução codificado num ambiente compatível com o sistema de computação de scanners da Siemens. Depois de várias fases de avaliação, desenvolvimento, debugging e validação do algoritmo, tanto offline como inline em simuladores, foram realizados testes no próprio scanner em fantomas e no cérebro de um voluntário saudável, utilizando várias frequências de oscilação. Desta forma, pôde-se verificar o sucesso global da toolbox implementada. Ainda assim, será necessária uma fase de optimização no sentido de criar uma toolbox de uso mais familiar e melhorar o algoritmo em si, corrigindo alguns problemas da versão actual. Os dois algoritmos de reconstrução mais utilizados a nível clínico, AHI e LFE, anteriormente apresentados e contextualizados, revelam um desempenho surpreendentemente diferente, sob condições iniciais idênticas e não obstante os princípios físicos subjacentes serem semelhantes. Estas inconsistências reflectem-se numa vasta gama de valores para o módulo de elasticidade verificados na literatura. Por conseguinte, foi efectuado um estudo para testar a qualidade das reconstruções em termos de sensibilidade, resolução espacial e eficácia na reconstrução em fantomas gerados sinteticamente, onde ruído, atenuação, ondas de compressão e padrões de interferência foram adicionados a uma equação de ondas básica. Para avaliar o desempenho dos algoritmos em dados de MRE extraídos do scanner, utilizaram-se jogos de dados obtidos com fantomas de gel sem e com inclusões de elasticidade dissemelhante entre regiões, assim como dados cerebrais de indivíduos saudáveis. Em geral, os resultados demonstram que o método LFE é mais eficaz em condições ideais, mas carece de precisão na análise de imagens sintéticas com artefactos tal como em dados reais. Isto é devido essencialmente a uma filtragem excessiva, assim como ao facto de o algoritmo não considerar a atenuação como uma premissa do modelo. Pelo contrário, os mapas obtidos pelo método AHI são mais nítidos mas são altamente susceptíveis a ruído. Mais se concluiu, que certas metodologias que antecedem a inversão são de extrema importância, destacando-se o processo de filtragem espacial. Finalmente, a medição das propriedades físicas dos fantomas através de reometria convencional permitiu verificar uma disparidade nas duas técnicas, podendo levar à conclusão de que as reconstruções obtidas em MRE são sobrestimadas. No entanto, deve ser efectuada uma análise mais profunda em condições experimentais tão idênticas quanto possível, para que se possam confirmar estes efeitos. O método AHI foi escolhido para estudar o cérebro de nove indivíduos saudáveis com idades compreendidas entre os 19 e os 62 anos. Neste estudo foram identificadas diferenças significativas, tanto na elasticidade como na viscosidade da matéria branca e cinzenta em todos os indivíduos, constatando-se que a última é a menos rígida. Além disso, um modelo linear regressivo foi ajustado aos valores obtidos com o método AHI tendo em conta a idade do sujeito, de forma a verificar tendências relativas esta variável.Resultados preliminares evidenciam uma distribuição linear com um declive negativo indicativo de um decréscimo pronunciado da elasticidade do tecido cerebral com a idade: a percentagem de decréscimo anual previsto foi de 0,75%. Apesar de não ser estatisticamente significativo, foram ainda identificadas pequenas diferenças nas taxas de decréscimo da elasticidade e viscosidade da matéria branca e cinzenta. No entanto, os resultados obtidos fazem parte de um estudo em curso e, como tal, será necessário testar um amostra superior para confirmar os resultados mencionados, assim como métodos mais sofisticados para analisar os dados. Por fim, realizou-se um estudo sobre as propriedades viscoelásticas de tecidos do abdómen. Sendo a sequência utilizada baseada em “Echo Planar Imaging” (EPI), as inomogeneidades do campo magnético e artefactos de ghosting são mais pronunciados na aquisição de imagem em tecidos moles no abdómen. Foi necessário assim, numa primeira fase, optimizar o protocolo de aquisição: o uso de bandas de saturação para suprimir o tecido adiposo, ajustes no “Field of View”, o uso de técnicas de shimming e aquisição de imagem apenas durante apneia expiratória. O dispositivo que permite a distribuição de propagação das ondas nos tecidos também foi explorado, de forma a obter uma propagação uniforme com elevada amplitude ao longo da totalidade do corte. A aquisição de dados de cinco voluntários saudáveis permitiu avaliar três tecidos com níveis de elasticidade distintos: o fígado, os rins e o baço. As principais conclusões retiradas indicam que o fígado e rins apresentam uma elasticidade menor que o baço, sob o modelo linear de tensão-deformação no qual se baseia o método AHI. Ainda assim, todo o processo de optimização está longe de se dar por concluído, pretendendo-se obter uma reprodutibilidade entre experiências com um protocolo de implementação expedito para ser possível aumentar a quantidade de dados e fazer uma análise estatística com um nível de confiança superior. Em conclusão, a técnica de MRE mostra um enorme potencial para detectar alterações na elasticidade dos tecidos através de pequenas deformações periódicas induzidas durante a aquisição de imagem numa ressonância magnética. A tese apresentada aborda pontos importantes relativos à fase do processamento e análise de dados, contribuindo para a evolução da MRE no sentido da aceitação desta técnica em ambiente clínico. Soluções concretas para uma análise rápida a tempo real foram dadas através do desenvolvimento da toolbox. Numa outra perspectiva, foram estudados nesta tese aspectos técnicos relevantes relativos aos algoritmos de inversão, críticos para a obtenção de um processamento profundo e correcto dos dados obtidos. Por fim, os trabalhos desta tese resultaram na identificação e reconhecimento de diferenças entre a viscoelasticidade dos tecidos, medida in vivo, a um nível pré-clínico, deixa em aberto todo um conjunto de ideias para estudos inovadores na área da biomecânica aplicada ao ser humano em conjunção com imagiologia

NiftyNet: a deep-learning platform for medical imaging

Medical image analysis and computer-assisted intervention problems are increasingly being addressed with deep-learning-based solutions. Established deep-learning platforms are flexible but do not provide specific functionality for medical image analysis and adapting them for this application requires substantial implementation effort. Thus, there has been substantial duplication of effort and incompatible infrastructure developed across many research groups. This work presents the open-source NiftyNet platform for deep learning in medical imaging. The ambition of NiftyNet is to accelerate and simplify the development of these solutions, and to provide a common mechanism for disseminating research outputs for the community to use, adapt and build upon. NiftyNet provides a modular deep-learning pipeline for a range of medical imaging applications including segmentation, regression, image generation and representation learning applications. Components of the NiftyNet pipeline including data loading, data augmentation, network architectures, loss functions and evaluation metrics are tailored to, and take advantage of, the idiosyncracies of medical image analysis and computer-assisted intervention. NiftyNet is built on TensorFlow and supports TensorBoard visualization of 2D and 3D images and computational graphs by default. We present 3 illustrative medical image analysis applications built using NiftyNet: (1) segmentation of multiple abdominal organs from computed tomography; (2) image regression to predict computed tomography attenuation maps from brain magnetic resonance images; and (3) generation of simulated ultrasound images for specified anatomical poses. NiftyNet enables researchers to rapidly develop and distribute deep learning solutions for segmentation, regression, image generation and representation learning applications, or extend the platform to new applications.Comment: Wenqi Li and Eli Gibson contributed equally to this work. M. Jorge Cardoso and Tom Vercauteren contributed equally to this work. 26 pages, 6 figures; Update includes additional applications, updated author list and formatting for journal submissio

Fourier Neural Operator Networks: A Fast and General Solver for the Photoacoustic Wave Equation

Simulation tools for photoacoustic wave propagation have played a key role in advancing photoacoustic imaging by providing quantitative and qualitative insights into parameters affecting image quality. Classical methods for numerically solving the photoacoustic wave equation relies on a fine discretization of space and can become computationally expensive for large computational grids. In this work, we apply Fourier Neural Operator (FNO) networks as a fast data-driven deep learning method for solving the 2D photoacoustic wave equation in a homogeneous medium. Comparisons between the FNO network and pseudo-spectral time domain approach demonstrated that the FNO network generated comparable simulations with small errors and was several orders of magnitude faster. Moreover, the FNO network was generalizable and can generate simulations not observed in the training data

Quantitative evaluation of 10 tractography algorithms on a realistic diffusion MR phantom.

International audienceAs it provides the only method for mapping white matter fibers in vivo, diffusion MRI tractography is gaining importance in clinical and neuroscience research. However, despite the increasing availability of different diffusion models and tractography algorithms, it remains unclear how to select the optimal fiber reconstruction method, given certain imaging parameters. Consequently, it is of utmost importance to have a quantitative comparison of these models and algorithms and a deeper understanding of the corresponding strengths and weaknesses. In this work, we use a common dataset with known ground truth and a reproducible methodology to quantitatively evaluate the performance of various diffusion models and tractography algorithms. To examine a wide range of methods, the dataset, but not the ground truth, was released to the public for evaluation in a contest, the "Fiber Cup". 10 fiber reconstruction methods were evaluated. The results provide evidence that: 1. For high SNR datasets, diffusion models such as (fiber) orientation distribution functions correctly model the underlying fiber distribution and can be used in conjunction with streamline tractography, and 2. For medium or low SNR datasets, a prior on the spatial smoothness of either the diffusion model or the fibers is recommended for correct modelling of the fiber distribution and proper tractography results. The phantom dataset, the ground truth fibers, the evaluation methodology and the results obtained so far will remain publicly available on: http://www.lnao.fr/spip.php?rubrique79 to serve as a comparison basis for existing or new tractography methods. New results can be submitted to [email protected] and updates will be published on the webpage