Medical image registration by neural networks: a regression-based registration approach

This thesis focuses on the development and evaluation of a registration-by-regression approach for the 3D/2D registration of coronary Computed Tomography Angiography (CTA) and X-ray angiography. This regression-based method relates image features of 2D projection images to the transformation parameters of the 3D image by a nonlinear regression. It treats registration as a regression problem, as an alternative for the traditional iterative approach that often comes with high computational costs and limited capture range. First we presented a survey of the methods with a regression-based registration approach for medical applications, as well as a summary of their main characteristics (Chapter 2). Second, we studied the registration methodology, addressing the input features and the choice of regression model (Chapter 3 and Chapter 4). For that purpose, we evaluated different options using simulated X-ray images generated from coronary artery tree models derived from 3D CTA scans. We also compared the registration-by-regression results with a method based on iterative optimization. Different image features of 2D projections and seven regression techniques were considered. The regression approach for simulated X-rays was shown to be slightly less accurate, but much more robust than the method based on an iterative optimization approach. Neural Networks obtained accurate results and showed to be robust to large initial misalignment. Third, we evaluated the registration-by-regression method using clinical data, integrating the 3D preoperative CTA of the coronary arteries with intraoperative 2D X-ray angiography images (Chapter 5). For the evaluation of the image registration, a gold standard registration was established using an exhaustive search followed by a multi-observer visual scoring procedure. The influence of preprocessing options for the simulated images and the real X-rays was studied. Several image features were also compared. The coronary registration–by-regression results were not satisfactory, resembling manual initialization accuracy. Therefore, the proposed method for this concrete problem and in its current configuration is not sufficiently accurate to be used in the clinical practice. The framework developed enables us to better understand the dependency of the proposed method on the differences between simulated and real images. The main difficulty lies in the substantial differences in appearance between the images used for training (simulated X-rays from 3D coronary models) and the actual images obtained during the intervention (real X-ray angiography). We suggest alternative solutions and recommend to evaluate the registration-by-regression approach in other applications where training data is available that has similar appearance to the eventual test data

Recalage rigide 3D-2D par intensité pour le traitement percutané des cardiopathies congénitales

Les cardiopathies congénitales cyanogènes sont des malformations cardiaques infantiles qui, dans leurs formes les plus complexes, sont aggravées par des artères morbides partant de l’aorte et appelées collatérales aorto-pulmonaires majeures (MAPCAs). Pour corriger ces malformations, les cardiologues insèrent un cathéter dans une artère du patient puis, le guident jusqu’à atteindre la structure vasculaire d’intérêt. Le cathéter est visualisé grâce à des angiographies acquises lors de l’opération. Néanmoins, ces interventions, dîtes percutanées, sont délicates à réaliser. L’emploi des angiographies 2D limite le champ de vision des cardiologues et les oblige à mentalement reconstruire la structure vasculaire en mouvement. Afin d’améliorer les conditions d’intervention, des techniques d’imagerie médicale exploitant des données tomographiques acquis avant l’intervention sont développées. Les données tomographiques forment un modèle 3D fiable de la structure vasculaire qui, une fois précisément aligné avec les angiographies, définit un outil de navigation virtuel 3D qui augmente le champ de vision des cardiologues. Dans ce mémoire, une nouvelle méthode automatique de recalage rigide 3D-2D par intensité de données tomographiques 3D avec des angiographies 2D est présentée. Aussi, une technique d’alignement semi-automatique permettant d’accélérer l’initialisation de la méthode automatique est développée. Les résultats de la méthode de recalage proposée, obtenus avec deux jeux de données de patient atteints de malformations cardiaques, sont prometteurs. Un alignement précis et robuste des données tomographique de l’artère aorte et des MAPCAs (0;265�0;647mm et 99 % de succès) à partir d’un déplacement rigide d’amplitude maximale (20mm et 20°) est obtenu en un temps de calcul raisonnable (13,7 secondes)

Malformation artério-veineuses cérébrales : d'une amélioration des techniques d'imagerie vers un changement de paradigme des traitements

Brain arteriovenous malformations (bAVMs) are aggressive vascular malformations presenting a haemorrhagic complication risk that may lead to severe consequences in terms of morbi-­‐mortality. Available imaging tools poorly help in understanding their angio-­‐architecture. We have developed two imaging tools improving our understanding of the anatomy of these malformations: a semi-­‐automated segmentation algorithm and a convex spherical anamorphosis algorithm. These algorithms have been elaborated for use on 3D rotational angiography acquisitions; they provide a better visualisation of the bAVMs’ main draining vein, especially for venous stenosis or for focal ectasia. They also help in depicting accurately intranidal aneurysms. These improvements in the analysis of the bAVMs’ angioarchitecure may help in reducing the therapeutic risk for these malformations. For a further testing of the potential of anti-­‐angiogenic agents for the treatment of bAVMs, we have elaborated a simplified swine AVM model consisting in the occlusion of a common carotid artery by endovascular means. The comparison between the volume of the rete mirabile at D0 and 3 months and those measured in a control group showed a significant increasing of the retia in the occlusion group. Moreover, a tendency was observed concerning an increase in VEGF (vascular endothelial growth factor) serum levels close to the rete mirabile in the occlusion group. Finally, pathological changes close to those seen in human bAVMs were observed on autopsy samples in the occlusion group.Les malformations artério-­‐veineuses cérébrales (MAVc) sont des pathologies vasculaires agressives présentant un risque hémorragique lourd de conséquence en terme de morbi-­‐mortalité. Les outils d’imagerie disponibles actuellement ne permettent de comprendre que difficilement leur angio-­‐ architecture. Nous avons développé dans notre travail deux outils d’imagerie permettant d’affiner la compréhension de l’anatomie des ces malformations : un algorithme de segmentation semi-­‐automatisé et un algorithme d’anamorphose sphérique convexe. Ces algorithmes ont été élaborés pour être utilisés sur les acquisitions d’angiographie rotationnelle 3D ; ils permettent de mieux visualiser la veine de drainage principale des MAVc, notamment d’identifier une sténose ou une ectasie focale sur cette veine, et également de déceler de façon plus fiable la présence d’un anévrysme intra-­‐nidal. Ces améliorations dans l’analyse de l’angio-­‐architecture des MAVc permettront vraisemblablement de réduire le risque thérapeutique pour ces malformations. En vue de tester le potentiel des agents anti-­‐angiogéniques pour le traitement des MAVc, nous avons élaboré un modèle porcin simplifié de MAVc consistant en une occlusion unilatérale d’artère carotide primitive par voie endovasculaire. La comparaison entre le volume de rete mirabile à J0 et à 3 mois et les valeurs obtenues pour un groupe témoin a montré une augmentation significative du volume du rete mirabile chez les porcs ayant eu l’occlusion carotidienne. D’autre part, une tendance nette à l’augmentation des taux de VEGF (vascular endothelial growth factor) à proximité du rete mirabile était observée dans le groupe occlusion. Enfin, des modifications anatomopathologiques proches de celles des MAVc humaines étaient visualisées sur les pièces autopsiques des rete mirabile dans le groupe occlusion

Spatio-temporal data fusion in cerebral angiography

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2007.Includes bibliographical references (p. 153-167).This thesis provides a framework for generating the previously unobtained high resolution time sequences of 3D images that show the dynamics of cerebral blood flow. These sequences allow image feedback during medical procedures that can facilitate the detection and observation of stenosis, aneurysms, and clots. The 3D time series is constructed by fusing together a single static 3D image with one or more time sequence of 2D projections. The fusion process utilizes a variational approach that constrains the volumes to have both smoothly varying regions separated by edges and sparse regions of non-zero support. Results are presented on both clinical and simulated phantom data sets. The 3D time series results are visualized using the following tools: time series of intensity slices, synthetic X-rays from an arbitrary view, time series of isosurfaces, and 3D surfaces that show arrival times of contrast using color. This thesis also details the different steps needed to prepare the two classes of data. In addition to the spatio-temporal data fusion algorithm, three new algorithms are presented: a single pass groupwise registration algorithm for registering the time series, a 2D-3D registration algorithm for registering the time series with respect to the 3D volume, and a modified adaptive version of the Cusum algorithm used for determining arrival times of contrast within the 2D time sequences.by Andrew David Copeland.Ph.D

Automatic Spatiotemporal Analysis of Cardiac Image Series

RÉSUMÉ À ce jour, les maladies cardiovasculaires demeurent au premier rang des principales causes de décès en Amérique du Nord. Chez l’adulte et au sein de populations de plus en plus jeunes, la soi-disant épidémie d’obésité entraînée par certaines habitudes de vie tels que la mauvaise alimentation, le manque d’exercice et le tabagisme est lourde de conséquences pour les personnes affectées, mais aussi sur le système de santé. La principale cause de morbidité et de mortalité chez ces patients est l’athérosclérose, une accumulation de plaque à l’intérieur des vaisseaux sanguins à hautes pressions telles que les artères coronaires. Les lésions athérosclérotiques peuvent entraîner l’ischémie en bloquant la circulation sanguine et/ou en provoquant une thrombose. Cela mène souvent à de graves conséquences telles qu’un infarctus. Outre les problèmes liés à la sténose, les parois artérielles des régions criblées de plaque augmentent la rigidité des parois vasculaires, ce qui peut aggraver la condition du patient. Dans la population pédiatrique, la pathologie cardiovasculaire acquise la plus fréquente est la maladie de Kawasaki. Il s’agit d’une vasculite aigüe pouvant affecter l’intégrité structurale des parois des artères coronaires et mener à la formation d’anévrismes. Dans certains cas, ceux-ci entravent l’hémodynamie artérielle en engendrant une perfusion myocardique insuffisante et en activant la formation de thromboses. Le diagnostic de ces deux maladies coronariennes sont traditionnellement effectués à l’aide d’angiographies par fluoroscopie. Pendant ces examens paracliniques, plusieurs centaines de projections radiographiques sont acquises en séries suite à l’infusion artérielle d’un agent de contraste. Ces images révèlent la lumière des vaisseaux sanguins et la présence de lésions potentiellement pathologiques, s’il y a lieu. Parce que les séries acquises contiennent de l’information très dynamique en termes de mouvement du patient volontaire et involontaire (ex. battements cardiaques, respiration et déplacement d’organes), le clinicien base généralement son interprétation sur une seule image angiographique où des mesures géométriques sont effectuées manuellement ou semi-automatiquement par un technicien en radiologie. Bien que l’angiographie par fluoroscopie soit fréquemment utilisé partout dans le monde et souvent considéré comme l’outil de diagnostic “gold-standard” pour de nombreuses maladies vasculaires, la nature bidimensionnelle de cette modalité d’imagerie est malheureusement très limitante en termes de spécification géométrique des différentes régions pathologiques. En effet, la structure tridimensionnelle des sténoses et des anévrismes ne peut pas être pleinement appréciée en 2D car les caractéristiques observées varient selon la configuration angulaire de l’imageur. De plus, la présence de lésions affectant les artères coronaires peut ne pas refléter la véritable santé du myocarde, car des mécanismes compensatoires naturels (ex. vaisseaux----------ABSTRACT Cardiovascular disease continues to be the leading cause of death in North America. In adult and, alarmingly, ever younger populations, the so-called obesity epidemic largely driven by lifestyle factors that include poor diet, lack of exercise and smoking, incurs enormous stresses on the healthcare system. The primary cause of serious morbidity and mortality for these patients is atherosclerosis, the build up of plaque inside high pressure vessels like the coronary arteries. These lesions can lead to ischemic disease and may progress to precarious blood flow blockage or thrombosis, often with infarction or other severe consequences. Besides the stenosis-related outcomes, the arterial walls of plaque-ridden regions manifest increased stiffness, which may exacerbate negative patient prognosis. In pediatric populations, the most prevalent acquired cardiovascular pathology is Kawasaki disease. This acute vasculitis may affect the structural integrity of coronary artery walls and progress to aneurysmal lesions. These can hinder the blood flow’s hemodynamics, leading to inadequate downstream perfusion, and may activate thrombus formation which may lead to precarious prognosis. Diagnosing these two prominent coronary artery diseases is traditionally performed using fluoroscopic angiography. Several hundred serial x-ray projections are acquired during selective arterial infusion of a radiodense contrast agent, which reveals the vessels’ luminal area and possible pathological lesions. The acquired series contain highly dynamic information on voluntary and involuntary patient movement: respiration, organ displacement and heartbeat, for example. Current clinical analysis is largely limited to a single angiographic image where geometrical measures will be performed manually or semi-automatically by a radiological technician. Although widely used around the world and generally considered the gold-standard diagnosis tool for many vascular diseases, the two-dimensional nature of this imaging modality is limiting in terms of specifying the geometry of various pathological regions. Indeed, the 3D structures of stenotic or aneurysmal lesions may not be fully appreciated in 2D because their observable features are dependent on the angular configuration of the imaging gantry. Furthermore, the presence of lesions in the coronary arteries may not reflect the true health of the myocardium, as natural compensatory mechanisms may obviate the need for further intervention. In light of this, cardiac magnetic resonance perfusion imaging is increasingly gaining attention and clinical implementation, as it offers a direct assessment of myocardial tissue viability following infarction or suspected coronary artery disease. This type of modality is plagued, however, by motion similar to that present in fluoroscopic imaging. This issue predisposes clinicians to laborious manual intervention in order to align anatomical structures in sequential perfusion frames, thus hindering automation o

Automatic Spatiotemporal Analysis of Cardiac Image Series

RÉSUMÉ À ce jour, les maladies cardiovasculaires demeurent au premier rang des principales causes de décès en Amérique du Nord. Chez l’adulte et au sein de populations de plus en plus jeunes, la soi-disant épidémie d’obésité entraînée par certaines habitudes de vie tels que la mauvaise alimentation, le manque d’exercice et le tabagisme est lourde de conséquences pour les personnes affectées, mais aussi sur le système de santé. La principale cause de morbidité et de mortalité chez ces patients est l’athérosclérose, une accumulation de plaque à l’intérieur des vaisseaux sanguins à hautes pressions telles que les artères coronaires. Les lésions athérosclérotiques peuvent entraîner l’ischémie en bloquant la circulation sanguine et/ou en provoquant une thrombose. Cela mène souvent à de graves conséquences telles qu’un infarctus. Outre les problèmes liés à la sténose, les parois artérielles des régions criblées de plaque augmentent la rigidité des parois vasculaires, ce qui peut aggraver la condition du patient. Dans la population pédiatrique, la pathologie cardiovasculaire acquise la plus fréquente est la maladie de Kawasaki. Il s’agit d’une vasculite aigüe pouvant affecter l’intégrité structurale des parois des artères coronaires et mener à la formation d’anévrismes. Dans certains cas, ceux-ci entravent l’hémodynamie artérielle en engendrant une perfusion myocardique insuffisante et en activant la formation de thromboses. Le diagnostic de ces deux maladies coronariennes sont traditionnellement effectués à l’aide d’angiographies par fluoroscopie. Pendant ces examens paracliniques, plusieurs centaines de projections radiographiques sont acquises en séries suite à l’infusion artérielle d’un agent de contraste. Ces images révèlent la lumière des vaisseaux sanguins et la présence de lésions potentiellement pathologiques, s’il y a lieu. Parce que les séries acquises contiennent de l’information très dynamique en termes de mouvement du patient volontaire et involontaire (ex. battements cardiaques, respiration et déplacement d’organes), le clinicien base généralement son interprétation sur une seule image angiographique où des mesures géométriques sont effectuées manuellement ou semi-automatiquement par un technicien en radiologie. Bien que l’angiographie par fluoroscopie soit fréquemment utilisé partout dans le monde et souvent considéré comme l’outil de diagnostic “gold-standard” pour de nombreuses maladies vasculaires, la nature bidimensionnelle de cette modalité d’imagerie est malheureusement très limitante en termes de spécification géométrique des différentes régions pathologiques. En effet, la structure tridimensionnelle des sténoses et des anévrismes ne peut pas être pleinement appréciée en 2D car les caractéristiques observées varient selon la configuration angulaire de l’imageur. De plus, la présence de lésions affectant les artères coronaires peut ne pas refléter la véritable santé du myocarde, car des mécanismes compensatoires naturels (ex. vaisseaux----------ABSTRACT Cardiovascular disease continues to be the leading cause of death in North America. In adult and, alarmingly, ever younger populations, the so-called obesity epidemic largely driven by lifestyle factors that include poor diet, lack of exercise and smoking, incurs enormous stresses on the healthcare system. The primary cause of serious morbidity and mortality for these patients is atherosclerosis, the build up of plaque inside high pressure vessels like the coronary arteries. These lesions can lead to ischemic disease and may progress to precarious blood flow blockage or thrombosis, often with infarction or other severe consequences. Besides the stenosis-related outcomes, the arterial walls of plaque-ridden regions manifest increased stiffness, which may exacerbate negative patient prognosis. In pediatric populations, the most prevalent acquired cardiovascular pathology is Kawasaki disease. This acute vasculitis may affect the structural integrity of coronary artery walls and progress to aneurysmal lesions. These can hinder the blood flow’s hemodynamics, leading to inadequate downstream perfusion, and may activate thrombus formation which may lead to precarious prognosis. Diagnosing these two prominent coronary artery diseases is traditionally performed using fluoroscopic angiography. Several hundred serial x-ray projections are acquired during selective arterial infusion of a radiodense contrast agent, which reveals the vessels’ luminal area and possible pathological lesions. The acquired series contain highly dynamic information on voluntary and involuntary patient movement: respiration, organ displacement and heartbeat, for example. Current clinical analysis is largely limited to a single angiographic image where geometrical measures will be performed manually or semi-automatically by a radiological technician. Although widely used around the world and generally considered the gold-standard diagnosis tool for many vascular diseases, the two-dimensional nature of this imaging modality is limiting in terms of specifying the geometry of various pathological regions. Indeed, the 3D structures of stenotic or aneurysmal lesions may not be fully appreciated in 2D because their observable features are dependent on the angular configuration of the imaging gantry. Furthermore, the presence of lesions in the coronary arteries may not reflect the true health of the myocardium, as natural compensatory mechanisms may obviate the need for further intervention. In light of this, cardiac magnetic resonance perfusion imaging is increasingly gaining attention and clinical implementation, as it offers a direct assessment of myocardial tissue viability following infarction or suspected coronary artery disease. This type of modality is plagued, however, by motion similar to that present in fluoroscopic imaging. This issue predisposes clinicians to laborious manual intervention in order to align anatomical structures in sequential perfusion frames, thus hindering automation o

Optimisation of planning and delivery methods for Gamma Knife Stereotactic Radiosurgery

The work presented in this dissertation is the response to a series of technical and clinical challenges encountered during the first four years of operations in the Gamma Knife Centre at Queen Square. These challenges, which are common to most contemporary Gamma Knife centres, were prospectively addressed and practical solutions were developed for the questions they posed. The dosimetric differences between the new convolution algorithm and the standard TMR 10 algorithm traditionally used for prediction of dose distribution in Gamma Knife Radiosurgery (GKR) were explored. It was demonstrated that inhomogeneity correction with the convolution algorithm results in a considerable but consistent dose shift compared to TMR 10. No significant difference in relative dose distribution was noted and it was concluded that a reduction of the prescription dose is necessary to obtain the same absolute dosimetric effect with the convolution algorithm. The stability of the stereotactic Leksell frame G in GKR was demonstrated using a comprehensive study design that involved repeated measurements of landmarks by two observers. The study provided reliable and realistic evidence of submillimetre stability of the stereotactic frame throughout the treatment procedure which is important for evaluation and development of new frameless radiosurgery systems. The technical feasibility of using a combination of three magnetic resonance angiography sequences (triple-MRA), instead of digital subtraction angiography (DSA), for visualisation and delineation of brain Arteriovenous Malformations (AVMs) for GKR targeting was demonstrated. Target volumes obtained using triple-MRA are on average 10% smaller than AVM targets obtained with the standard DSA planning method and this can potentially reduce the risk of adverse radiation effects (ARE). The treatment planning method described here has laid the way for a change in clinical practice that favours a less invasive treatment planning approach. The same principle of less invasive AVM imaging with triple-MRA was used at the post-GKR stage, when a DSA is performed to confirm AVM obliteration. Triple-MRA was found to consistently confirm or rule out residual AVMs in patients who had undergone GKR for brain AVMs, compared to DSA, and it can also be reliably used for characterisation of residual AVMs. The use of triple-MRA as a first line for assessment of obliteration after GKR is recommended