Joint Reconstruction of Multi-channel, Spectral CT Data via Constrained Total Nuclear Variation Minimization

We explore the use of the recently proposed "total nuclear variation" (TNV) as a regularizer for reconstructing multi-channel, spectral CT images. This convex penalty is a natural extension of the total variation (TV) to vector-valued images and has the advantage of encouraging common edge locations and a shared gradient direction among image channels. We show how it can be incorporated into a general, data-constrained reconstruction framework and derive update equations based on the first-order, primal-dual algorithm of Chambolle and Pock. Early simulation studies based on the numerical XCAT phantom indicate that the inter-channel coupling introduced by the TNV leads to better preservation of image features at high levels of regularization, compared to independent, channel-by-channel TV reconstructions.Comment: Submitted to Physics in Medicine and Biolog

Comprehensive evaluations of a prototype full field-of-view photon counting CT system through phantom studies

Photon counting CT (PCCT) has been a research focus in the last two decades. Recent studies and advancements have demonstrated that systems using semiconductor-based photon counting detectors (PCDs) have the potential to provide better contrast, noise and spatial resolution performance compared to conventional scintillator-based systems. With multi-energy threshold detection, PCD can simultaneously provide the photon energy measurement and enable material decomposition for spectral imaging. In this work, we report a performance evaluation of our first CdZnTe-based prototype full-size photon counting CT system through various phantom imaging studies. This prototype system supports a 500 mm scan field-of-view (FOV) and 10 mm cone coverage at isocenter. Phantom scans were acquired using 120 kVp from 50 to 400 mAs to assess the imaging performance on: CT number accuracy, uniformity, noise, spatial resolution, material differentiation and quantification. Both qualitative and quantitative evaluations show that PCCT has superior image quality with lower noise and improved spatial resolution compared to conventional energy integrating detector (EID)-CT. Using projection domain material decomposition approach with multiple energy bin measurements, PCCT virtual monoenergetic images (VMIs) have lower noise, and superior performance in quantifying iodine and calcium concentrations. These improvements lead to increased contrast-to-noise ratio (CNR) for both high and low contrast study objects and can significantly reduce the iodine contrast agent to achieve the same CNR as EID-CT. PCCT can also generate super-high resolution (SHR) images using much smaller detector pixel size than EID-CT and dramatically push the spatial resolution limit. These initial results demonstrate that PCCT based on CdZnTe detectors has huge potential in clinical settings

Compressively characterizing high-dimensional entangled states with complementary, random filtering

The resources needed to conventionally characterize a quantum system are overwhelmingly large for high- dimensional systems. This obstacle may be overcome by abandoning traditional cornerstones of quantum measurement, such as general quantum states, strong projective measurement, and assumption-free characterization. Following this reasoning, we demonstrate an efficient technique for characterizing high-dimensional, spatial entanglement with one set of measurements. We recover sharp distributions with local, random filtering of the same ensemble in momentum followed by position---something the uncertainty principle forbids for projective measurements. Exploiting the expectation that entangled signals are highly correlated, we use fewer than 5,000 measurements to characterize a 65, 536-dimensional state. Finally, we use entropic inequalities to witness entanglement without a density matrix. Our method represents the sea change unfolding in quantum measurement where methods influenced by the information theory and signal-processing communities replace unscalable, brute-force techniques---a progression previously followed by classical sensing.Comment: 13 pages, 7 figure

First order algorithms in variational image processing

Variational methods in imaging are nowadays developing towards a quite universal and flexible tool, allowing for highly successful approaches on tasks like denoising, deblurring, inpainting, segmentation, super-resolution, disparity, and optical flow estimation. The overall structure of such approaches is of the form ${\cal D}(Ku) + \alpha {\cal R} (u) \rightarrow \min_u$ ; where the functional ${\cal D}$ is a data fidelity term also depending on some input data $f$ and measuring the deviation of $Ku$ from such and ${\cal R}$ is a regularization functional. Moreover $K$ is a (often linear) forward operator modeling the dependence of data on an underlying image, and $\alpha$ is a positive regularization parameter. While ${\cal D}$ is often smooth and (strictly) convex, the current practice almost exclusively uses nonsmooth regularization functionals. The majority of successful techniques is using nonsmooth and convex functionals like the total variation and generalizations thereof or $\ell_1$-norms of coefficients arising from scalar products with some frame system. The efficient solution of such variational problems in imaging demands for appropriate algorithms. Taking into account the specific structure as a sum of two very different terms to be minimized, splitting algorithms are a quite canonical choice. Consequently this field has revived the interest in techniques like operator splittings or augmented Lagrangians. Here we shall provide an overview of methods currently developed and recent results as well as some computational studies providing a comparison of different methods and also illustrating their success in applications.Comment: 60 pages, 33 figure

Computational Imaging with Limited Photon Budget

The capability of retrieving the image/signal of interest from extremely low photon flux is attractive in scientific, industrial, and medical imaging applications. Conventional imaging modalities and reconstruction algorithms rely on hundreds to thousands of photons per pixel (or per measurement) to ensure enough signal-to-noise (SNR) ratio for extracting the image/signal of interest. Unfortunately, the potential of radiation or photon damage prohibits high SNR measurements in dose-sensitive diagnosis scenarios. In addition, imaging systems utilizing inherently weak signals as contrast mechanism, such as X-ray scattering-based tomography, or attosecond pulse retrieval from the streaking trace, entail prolonged integration time to acquire hundreds of photons, thus rendering high SNR measurement impractical. This dissertation addresses the problem of imaging from limited photon budget when high SNR measurements are either prohibitive or impractical. A statistical image reconstruction framework based on the knowledge of the image-formation process and the noise model of the measurement system has been constructed and successfully demonstrated on two imaging platforms – photon-counting X-ray imaging, and attosecond pulse retrieval. For photon-counting X-ray imaging, the statistical image reconstruction framework achieves high-fidelity X-ray projection and tomographic image reconstruction from as low as 16 photons per pixel on average. The capability of our framework in modeling the reconstruction error opens the opportunity of designing the optimal strategies to distribute a fixed photon budget for region-of-interest (ROI) reconstruction, paving the way for radiation dose management in an imaging-specific task. For attosecond pulse retrieval, a learning-based framework has been incorporated into the statistical image reconstruction to retrieve the attosecond pulses from the noisy streaking traces. Quantitative study on the required signal-to-noise ratio for satisfactory pulse retrieval enabled by our framework provides a guideline to future attosecond streaking experiments. In addition, resolving the ambiguities in the streaking process due to the carrier envelop phase has also been demonstrated with our statistical reconstruction framework

Demosaicing multi-energy patterned composite pixels for spectral CT

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2016O desenvolvimento da Tomografia Computadorizada foi realizada na combinação de duas áreas científicas, computação e imagiologia com base em raios-x. Em 1895, o cientista Wilhelm Roentgen descobriu os raios-X: fotões de altas energias provenientes de transições eletrónicas nos átomos. Estes são radiações eletromagnéticas que se propagam à velocidade da luz e são ionizantes. Devido às suas propriedades, os raios-x foram imediatamente rentabilizados como uma ferramenta para explorar a composição da matéria. Os fotões interagem com a matéria por dois mecanismos dominantes, dependendo da energia da radiação eletromagnética: efeito fotoelétrico e efeito de Compton. O efeito fotoelétrico corresponde à interação dos fotões com os eletrões que se encontram nas órbitas de maior energia do átomo. O fotão transfere toda a sua energia para o eletrão, sendo parte dessa usada para superar a energia de ligação do eletrão e a energia restante é transferida para o mesmo eletrão sob a forma de energia cinética. O efeito de Compton corresponde à interação do fotão com o eletrão que se encontra numa das órbitas de menor energia. Depois da interação, o fotão é desviado e o eletrão é ejetado do átomo. O fotão desviado pode voltar a interagir com a matéria sob o efeito de Compton ou o efeito fotoelétrico, ou simplesmente não a interagir com a matéria. Os raios-X têm a sua intensidade diminuída em função das interações que ocorrem com o material que as absorve. A atenuação da energia destes acontece de maneira exponencial em função da espessura do material absorvente. Devido às propriedades físicas provocadas pelos raios-X, esta radiação foi estabelecida como uma ferramenta médica. A tomografia convencional consistiu numa técnica de diagnóstico na qual a aquisição de imagem é realizada a partir de um filme radiográfico, que resulta da projeção das estruturas anatómicas tridimensionais em imagens bidimensionais, com sobreposições de informação anatómica. Em 1970, os cientistas Hounsfield e Cormack desenvolveram uma técnica, a Tomografia Computadorizada, que possuía logo de início a vantagem de corrigir o problema da sobreposição de informação. A Tomografia Computadorizada reconstrói as estruturas internas de um objeto a partir de múltiplas projeções utilizando algoritmos de reconstrução. A diferenciação e classificação de diferentes tipos de tecidos tornou-se extremamente desafiante nesta técnica, devido ao facto de que mesmo que dois materiais difiram em número atómico, dependendo da densidade de massa ou concentração, eles podem aparecer idênticos na imagem. Desta forma uma das soluções foi o estudo da Tomografia Computorizada Espectral, sendo esta uma técnica promissora no desenvolvimento da imagiologia pois potencia a deteção e caracterização dos tecidos anatómicos além dos níveis atualmente atingíveis com técnicas de TC convencionais. A TC espectral leva em consideração que a radiação transmitida transporta mais informações para além de mudanças de intensidade e que o coeficiente de atenuação depende não só do material, mas também da energia do fotão. A TC espectral difere das outras técnicas no sentido em que utiliza as características físicas dos materiais em estudo em mais de dois espectros de energia. Através da aquisição de imagens em diferentes níveis de energia, a técnica é capaz de diferenciar os vários elementos do corpo com base na densidade dos materiais ou nos números atómicos destes. As diferenças entre os vários tecidos são exibidas através de distintas cores na imagem final. Uma tecnologia importante utilizada na CT Espectral é a dos detetores de contagem de fotões, conhecidos por detetores híbridos. Estes detetores têm a particularidade de separar o espetro incidente em múltiplos espetros, cuja forma depende dos limiares de energia impostos. Estes detetores operam num modo de contagem, ou seja, em vez de operarem em modo de integração tal como os detetores convencionais, estes efetuam a contagem individual dos fotões da radiação incidente a partir de limiares de energia estipulados. A influência do ruído electrónico afeta a energia medida de cada fotão, contudo tendo em conta que estes detetores efetuam a contagem de fotões, o ruído eletrónico deixa de ter uma influência tão significativa na qualidade da imagem adquirida. “K-edge Imaging” é uma das abordagens utilizadas em sistemas de TC espectral; explora as propriedades físicas de agentes de contrastes utilizados em tomografia computorizada e as suas respetivas propriedades físicas. Os elementos utilizados para os agentes contrastes são elementos pesados e altamente atenuantes, e cujo efeito fotoelétrico ocorre ao mesmo alcance das energias utilizadas em TC. Deste modo, cada um desses elementos pesados tem um salto característico na sua atenuação de raios-X, o qual corresponde à energia que ocorre o efeito fotoelétrico. Como os eletrões envolvidos no efeito fotoelétrico pertencem à orbital K, o salto característico é designado por "K-edge". “K-edge Imaging” explora a escolha do espetro de energia aplicado de forma a abranger o salto característico destes elementos para identificar e localizar componentes específicos. No CPPM, o grupo imXgam desenvolveu uma micro-TC e uma PET / TC simultânea que incorpora a nova tecnologia de detetores híbridos desenvolvida pelo centro: o detetor XPAD3. Esta tecnologia não só permite trabalhar em modo de contagem de fotões, mas também é capaz de selecionar informação energética sobre os fotões detetados; consequentemente as capacidades do detector XPAD3 foram exploradas para desenvolver “K-edge Imaging”. Os artefactos que resultam de várias aquisições estão relacionados com o movimento. Para resolver esse problema, o CPPM desenvolveu um conceito de pixéis compostos, que consiste numa matriz de pixéis (3 × 3) com 3 diferentes limiares de energia. Embora, os pixéis compostos resolvam os artefactos de movimento, as imagens adquiridas perderam a resolução espacial. Assim, o projeto deste trabalho tem como objetivo a realização de "K-edge Imaging" em objectos em movimento em plena resolução espacial. Este projeto aborda o problema como um problema “Inpainting”, onde as medidas desconhecidas para cada limiar de energia serão estimadas a partir de medidas parciais. Há uma vasta literatura sobre o problema “Inpainting”, assim como noutra área de processamento de imagem, o “Demosaicing”. Estes são métodos de restauração que removem regiões danificadas ou reconstroem porções perdidas da imagem. O problema “Demosaicing” tem um interesse particular para este trabalho em virtude do método recuperar informação de imagens coloridas (imagens RGB). A utilização do método “Demosaicing” em imagens adquiridas por sistemas TC é praticamente inexistente, pelo que o objetivo deste projeto foi avaliar não só os métodos de restauração convencionais, mas também adaptar e avaliar o método “Demosaicing” às imagens adquiridas por sistemas TC. Desta forma, as imagens espectrais foram tratadas como imagens coloridas: cada imagem adquirida por um limiar de energia foi configurada como uma cor. A imagem resultante foi submetida ao processo de recuperação que consistiu em acoplar as três imagens obtidas por cada limiar de energia em uma imagem de cor( imagem RGB). Este trabalho exigiu, em primeiro lugar, o estudo do esquema de amostragem de imagens espectrais e a avaliação de desempenho dos métodos mais simples em relação ao ruído, ao fator de subamostragem e à resolução espacial. As técnicas mais sofisticadas como a “Inpainting” e ”Demosaicing” foram desenvolvidas e avaliadas especificamente para imagens espectrais tomográficas. Após a avaliação destas, foi realizado um “estado de arte” que comparou os métodos e, consequentemente, fez uma análise de qual o método mais adequado para imagens de TC espectral. A segunda parte deste projeto consistiu no estudo do padrão que os píxeis compostos devem seguir, de forma a definir um protocolo de aquisição. Para tal, foram testados dois tipos de padrões: regular e aleatório. A ideia de píxeis compostos foi obtida criando uma matriz com vários componentes que dependem do número de limiar de energias que se quer utilizar. Conforme mencionado, no CPPM é utilizado uma matriz de pixels com três limiares de energia, desta forma, neste projeto, a possibilidade de aumentar o número de limiares de energia foi também testado. Os objetivos do projeto foram alcançados uma vez que a avaliação dos métodos foi realizada e conclui-se que a nova abordagem apresentou melhores resultados que os métodos padrão. Conclui-se que as imagens adquiridas pelo método “Demosaicing” apresentam melhor resolução espacial. Relativamente ao padrão dos pixéis compostos verificou-se que em ambos a reconstrução apresentou bom desempenho. A análise do aumento de número de limiares de energia apontou para bons resultados, observados no uso de 4 níveis de energia, porém a nova abordagem “Demosaicing” teria de ser reformulada. De forma a alcançar os objetivos, este tema foi dividido em vários capítulos. No segundo capítulo foram introduzidos os conceitos físicos envolvidos na tomografia espectral, desde a produção dos raios-X até ao desenvolvimento da técnica propriamente dita. O terceiro capítulo abordou como o “estado de arte” foi efetuado, documentando o que foi realizado atualmente no campo em estudo. Nos capítulos 4 e 5 apresentou-se os materiais e métodos utilizados, assim como exposto as suas aplicações,e de forma mais particular a matemática e a programação envolvidas. No capítulo 6 apresentou-se os resultados alcançados e as respectivas observações. No último capítulo sumariou-se os resultados obtidos e as conclusões retiradas a partir destes.Computed Tomography is a diagnosis technique that uses X-ray radiation to create images of structures. This technique consists in reconstructing a quantitative map of the attenuation coefficients of the object sections from multiple projections using reconstruction algorithms. Since the attenuation coefficient is not unique for any material, the differentiation and classification of different tissue types by Computed Tomography has revealed to be extremely challenging. The solution has been provided through the development of an energy sensitive CT scanner, known as Spectral CT. This technique takes in consideration that the transmitted radiation carries more information than intensity changes, that the x-ray tube produces a wide range of energy spectrum and that the attenuation of radiation depends not only on the material but also on the photon energy. Spectral CT uses the attenuation characteristics at more than two energies which makes it possible to differentiate various elements in the body, based on their material density or atomic numbers. Therefore, this technique uses the new detector technology, the hybrid pixel detector. This detector allows the energy threshold setting. Combining the physical properties of different materials and the possibility of setting the energy threshold in the detectors, a new spectral imaging technique is used, K-edge imaging. This technique explores the discontinuity in the photoelectric effect, which is generated when photons interact with matter, and those interact with the shell electrons. Therefore, the Centre de Physique des Particules de Marseille developed a micro-CT and a simultaneous PET/CT scan based on hybrid pixel detector. The ability of tuning the energy threshold of each pixel independently was exploited to develop K-edge imaging and the proof of concept has been established on phantom and on living mice. In the context of pre-clinical imaging, objects are moving and the several acquisitions must be performed simultaneously to allow the registration set. For this purpose, CPPM had been working with composite pixels made of 9 (3× 3) pixels with 3 different thresholds. This solves the motion artefact problem at the price of loss in spatial resolution. Therefore, the research project of this work aims at performing K-edge imaging on moving object at full spatial resolution. The problem is seen as an Inpainting problem where unknown measure must be estimated from partial measurements. A huge literature exists in the Inpainting, and especially in the field of Demosaicing, which is particularity of interest in this research project. The project consists in a study of the sampling scheme of spectral CT images and to evaluate the performance of simplest methods with respect to noise and spatial resolution. More sophisticated techniques of Inpainting and Demosaicing were tested, which were developed specifically for spectral CT images by incorporating prior on image. Therefore, an evaluation performance of all the reconstruction methods was successfully made, and a state-of-art was established. In this research project, in order to create the composite pixels concept, a set of dynamic strategies of patterning composite pixels was achieved in order to define optimal protocols of acquisition