Minimal paths and deformable models for image analysis

We present an overview of part of our work on minimal paths. Introduced first in order to find the global minimum of active contours' energy using Fast Marching [18], we have then used minimal paths for finding multiple contours for contour completion from points, curves or regions in 2D or 3D images. Some variations allow to decrease computation time, make easier initialization and centering a path in a tubular structure. Fast Marching is also an efficient way to solve balloon model evolution using level sets. We show applications like for road and vessel segmentation and for virtual endoscopy.Nous présentons une synthèse d'une partie de nos travaux sur les chemins minimaux. Introduits au départ pour trouver le minimum global de l'énergie pour les contours actifs à l'aide du Fast Marching [18], nous les avons utilisés par la suite pour la recherche de contours multiples pour compléter des points, des courbes ou des régions dans des images 2D et 3D. Plusieurs variantes permettent d'améliorer le temps de calcul, de simplifier l'initialisation ou de centrer le chemin dans une structure tubulaire. Le Fast Marching est aussi un moyen efficace de résoudre l'évolution d'un modèle de contour actif ballon par "level sets". Nous montrons des applications notamment pour la segmentation de routes et vaisseaux et pour l'endoscopie virtuelle

Computer-Assisted Liver Surgery: from preoperative 3D patient modelling to peroperative guidance

La chirurgie représente le meilleur taux de survie pour les cancers hépatiques. Le traitement d’images médicales peut apporter une importante amélioration dans la prise en charge en guidant le geste chirurgical. Nous présentons ici une nouvelle procédure chirurgicale assistée par ordinateur incluant la modélisation 3D préopératoire du patient, suivie par une planification chirurgicale virtuelle et finalisée par un guidage peropératoire réalisé par réalité augmentée (RA). Les premières évaluations incluant des applications cliniques valident le bénéfice attendu. La prochaine étape consistera à automatiser le système de réalité augmentée peropératoire par le développement d’une salle d’opération hybride.Surgery has the best survival rate in hepatic cancer. However, such interventions cannot be undertaken for all patients as the eligibility rules for liver surgery lack accuracy and may include many exceptions. Medical image processing can lead to a major improvement of patient care by guiding the surgical gesture. We present here a new computer-assisted surgical procedure including preoperative 3D patient modelling, followed by virtual surgical planning and finalized by intraoperative computer guidance through the use of augmented reality. First evaluations including the clinical application validate the awaited benefit. The next step will consist in automating the intraoperative augmented reality system thanks to the development of a Hybrid surgical OP-room

Un modèle volumique déformable hiérarchique et un calcul de distance k-d efficace pour la segmentation d'images 3-d

Nous présentons un modèle volumique déformable qui permet la segmentation automatique d'images médicales tridimensionnelles. Notre travail combine un modèle octree-spline déformable hiérarchique et régularisé, avec le calcul rapide d'une distance généralisée prenant en compte des caractéristiques différentielles extraites automatiquement. Nous montrons des résultats de déformation d'objets de synthèse (ellipsoïdes), et des tests de segmentation d'images TDM 3D (SCANNER X) de vertèbres à l'aide d'un modèle

Modélisation géométrique 3D des structures anatomiques du tronc humain à partir d’images acquises par résonnance magnétique

La modélisation géométrique 3D de structures anatomiques est une étape essentielle dans le développement d’outils de simulation numérique dédiés pour l’étude de l’évolution ou pour la planification de traitements de pathologies complexes. La scoliose est une déformation complexe de la colonne vertébrale et de la cage thoracique qui entraine des asymétries au niveau de l’ensemble du tronc. Ces asymétries sont généralement accompagnées de l’apparence d’une bosse dans le dos du patient et constituent la raison principale pour laquelle le patient ou ses parents décident de consulter. Cependant, les simulateurs biomécaniques actuels se concentrent sur le choix de la meilleure stratégie opératoire qui permet de redresser la colonne et minimiser son déjettement au niveau sagittal et frontal. Dans ce contexte, une modélisation géométrique 3D des structures osseuses est suffisante. Par contre, la priorité du patient est de bénéficier de la stratégie qui pourrait améliorer son apparence par la réduction des asymétries externes du tronc suite au traitement. Il est donc important de propager la correction des structures osseuses, lors de la simulation, à travers les tissus mous du tronc afin de visualiser l’effet d’une stratégie sur l’apparence externe du patient. Par conséquent, une modélisation géométrique précise de l’ensemble des structures anatomiques du tronc incluant la surface externe, les tissus mous et les structures osseuses sous-jacentes devient indispensable. La modélisation de l’intérieur du tronc peut être effectuée en utilisant des images acquises par résonnance magnétique (IRM). Cette modalité d’imagerie est particulièrement intéressante, car elle permet d’obtenir de l’information sur le tronc sans danger pour le patient. La qualité des données IRM est variable et dépend du protocole d’acquisition. Pour garder un temps d’acquisition raisonnable, il faut réduire la portion du tronc couverte ou réduire la résolution des données, ce qui impactera le modèle géométrique obtenu. De plus, puisque les structures osseuses ne sont pas facilement identifiables dans les données IRM, elles sont généralement obtenues avec des radiographies. L’obtention d’un modèle précis du tronc implique donc de combiner un modèle des structures osseuses et un des tissus mous. Cette mise en correspondance est complexe, car les IRM sont acquises en position couchée et les radiographies le sont en position debout. Cette thèse propose une nouvelle méthodologie pour construire un modèle géométrique précis et personnalisé du tronc à partir de données IRM. Le nouveau modèle géométrique sera obtenu sans segmenter les données pour éviter la perte d’information. Cette méthodologie est différente des approches classiques qui génèrent des éléments géométriques reliant des frontières segmentées dans une étape préalable. Le nouveau modèle sera enrichi par l’utilisation de modèles surfaciques de vertèbres qui permettront une segmentation automatique des vertèbres visibles dans les données IRM. La première phase des travaux s’est concentrée sur la génération du modèle géométrique personnalisé du tronc obtenu à travers l’adaptation d’un maillage 3D. Le processus d’adaptation du maillage est basé sur la génération d’une métrique riemannienne construite en utilisant l’intensité des images IRM. La métrique définit la forme, la taille et l’orientation de chacun des éléments du maillage pour respecter les frontières des structures présentes dans les données. La validation du processus a été effectuée en plusieurs étapes. Tout d’abord, il a été montré, avec des IRM cardiaques, que le processus produit des maillages respectant la métrique. Par la suite, le processus d’adaptation a été comparé avec celui proposé par Goksel et al qui produit également des maillages sans segmenter les données. Cette comparaison a été faite sur un cas analytique et sur une série de cas réels. Pour comparer les méthodes, plusieurs maillages de densités différentes sont obtenus avec chacune d’elles. Puis, des éléments sont extraits de chacun des maillages en utilisant la frontière d’un volume de référence. La somme du volume des éléments extraits est comparée à celui de la référence. Les mesures comparant les volumes confirment que notre méthode produit des maillages respectant mieux les frontières des structures présentes, qu’elle converge plus rapidement et qu’elle est donc plus précise pour un nombre de sommets donnés. La seconde phase a été centrée sur le développement d’une méthodologie de segmentation semi-automatique des vertèbres dans les données IRM. Un modèle surfacique des structures osseuses est recalé avec les volumes de données IRM pour segmenter les vertèbres. Pour y parvenir, un algorithme de recalage par information mutuelle, reconnu pour donner de bons résultats avec des données multimodales, a été utilisé. Pour améliorer le taux de succès de l’algorithme, une phase d’initialisation positionne les vertèbres près de leur position finale estimée. L’évaluation de la phase d’initialisation montre que l’algorithme de recalage supporte une erreur de positionnement de 13 mm par rapport à sa position finale pour assurer un bon recalage. Cette distance est facilement atteignable. La robustesse de l’algorithme de recalage a été évaluée avec plusieurs ensembles de données. Si la qualité des données IRM est suffisante, notre méthode produit de bons résultats. Une résolution de 3 mm entre les tranches est un bon compromis entre la qualité et le temps d’acquisition. Pour conclure, la nouvelle représentation géométrique est minimale et préserve la frontière des structures anatomiques présentes dans les données. Elle serait un bon candidat pour être utilisée dans un simulateur numérique. En outre, la méthode de segmentation semi-automatique des données IRM est robuste et produit des résultats fiables. Pour poursuivre ces travaux, la segmentation des vertèbres pourrait être utilisée pour simplifier la génération du maillage. L’adaptation de maillage peut être restreinte à des zones segmentées, tout en utilisant l’information du volume entier, limitant ainsi la perte d’information. L’emplacement des vertèbres serait alors connu dans le maillage adapté, ce qui permettrait de faire le recalage avec le modèle surfacique des structures osseuses.----------ABSTRACT 3D geometric modeling of anatomical structures is an essential step in the development of numerical simulation tools dedicated to the study of evolution or the planning of complex disease treatments. Scoliosis is a complex deformation of the spine and rib cage which leads to asymmetries in the whole trunk. These asymmetries are usually accompanied by the appearance of a hump in the back of the patient and are the main reason why the patient or his parents decide to consult. However, current biomechanical simulators focus on choosing the best surgical strategy that helps straighten the spine and achieve frontal and sagittal trunk balance. In this context, a 3D geometric modeling of bone structures is sufficient. On the other hand, the priority of the patient is to benefit from the strategy that could improve most his appearance by reducing trunk asymmetries. It is therefore important to propagate the correction of bone structures, in the simulation, through the soft tissue of the trunk, in order to visualize the effect of a strategy on the external surface of the trunk. Therefore, a precise geometric modeling of all anatomical structures of the trunk including the outer surface, the soft tissue and underlying bone structures becomes essential. Modeling the inside of the trunk may be performed using images acquired by magnetic resonance imaging (MRI). This imaging modality is particularly interesting because it provides information on the trunk without any danger for the patient. The quality of MRI data is variable and depends on the acquisition protocol. To keep a reasonable time of acquisition, either the scope of the trunk or the resolution of the data has to be reduced, but this has an impact on the quality of the resulting geometric model. In addition, since the bone structures are not easily identifiable in the MRI data, they are generally obtained with radiographs. Obtaining an accurate model of the trunk therefore involves combining a model of bone structures and a model of soft tissues. Combining those models is complex because MRI are acquired in a laying position and the radiographs are acquired in a standing position. This thesis proposes a new methodology to build a precise and personalised geometric model of the trunk based on MRI data. The new model will be obtained without segmenting the data to avoid any loss of information. This methodology is different of the standard approaches that produce geometric elements linking boundaries segmented in an initial step. The new model will be enhanced with the use of surfacic models of vertebrae to perform an automatic segmentation of the visible vertebra within the MRI dataset. The first phase of our work has focused on the generation of a custom geometric model of the trunk obtained through the adaptation of a 3D mesh. The mesh adaptation process is based on the generation of a Riemannian metric constructed using the grey levels of the MRI data. The metric defines the shape, size and orientation of each mesh element to respect the boundaries of anatomical structures in the data. The validation process was performed in several steps. Firstly, it has been shown, with cardiac MRI, that the process produces meshes respecting the metric. Thereafter, the adaptation process was compared with the one proposed by Goksel et al which also produces meshes without segmenting the data. This comparison was made on an analytical case and a series of real cases. To compare the methods, several meshes with different densities were obtained with each of them. Then, elements were extracted from each of the meshes using the boundary of a reference volume. The sum of the volume of the extracted elements was compared with the reference. Measurements comparing the volumes confirmed that our method produces meshes respecting the boundaries of the structures better, that converges faster and is therefore more accurate for a given number of vertices The second phase focused on the development of a methodology for semi-automatic segmentation of the vertebrae in MRI data. A surface model of bone structures is registered with MRI data volumes to segment vertebrae. To achieve this, a registration based on a mutual information algorithm, known to give good results with multimodal data, was used. To improve the success rate of the algorithm, an initialization phase positions the vertebrae near their estimated final position. The evaluation of the initialization phase shows that the registration algorithm supports a positioning error of 13 mm from its final position to ensure proper registration. This distance is easily attainable. The robustness of the registration algorithm was evaluated with multiple data sets. If MRI data quality is adequate, our method produces good results. A resolution of 3 mm between slices is a good compromise between data quality and acquisition time. In conclusion, the new geometric representation is minimal and preserves the border of anatomical structures in the data. It would be a good candidate to be used for simulations. In addition, the semi-automatic segmentation method of MRI data is robust and produces reliable results. To continue this work, segmentation of the vertebrae could be used to simplify the generation of the mesh. Mesh adaptation may be restricted to segmented areas while using the information of the entire volume, hence limiting information loss. The location of the vertebrae would be known in the adapted mesh, thereby simplifying the registration with the surface model of the bone structures

Segmentation des structures céphaliques à topologie complexe

L’utilisation de l’imagerie médicale connaît un essor croissant dans la pratique de la médecine actuelle. Les acquisitions, qu’elles soient en deux ou trois dimensions, sont utilisées pour poser des gestes pré, per ou post-opératoires. Toutefois, la visualisation n’est pas toujours suffisante, il est souvent nécessaire de mesurer les volumétries précises des organes. Pour ce faire, il est impératif de délimiter avec précision les structures anatomiques d’intérêt à l’aide de méthodes de segmentation. Ce domaine de recherche connexe à l’imagerie médicale est en constante évolution et compte un grand nombre d’approches différentes. Certains systèmes utilisent des bases de données statistiques, d’autres n’utilisent que les données propres à l’image à traiter comme les Level-Sets. En fonction du type d’acquisition et/ou du type d’organe ciblé, certaines approches sont à préférer à d’autres. Toutefois, lorsque les structures d’intérêt présentent des surfaces à topologie complexe ou peuvent connaître une forte variation interindividuelle, les approches proposées dans la littérature peuvent être inefficaces. Les causes potentielles d’inefficacité peuvent être imputées, soit à un trop grand nombre de degrés de liberté (pas de connaissances a priori) ou à un trop grand nombre de contraintes (une connaissance a priori trop stricte). Dans les deux cas, le résultat de la segmentation risque d’être inexact et par conséquent inexploitable en clinique. Pour pallier ces limitations, la méthode proposée dans cette thèse utilise les données pour forger in-situ un modèle a priori fiable permettant une segmentation précise des organes ciblés. Le modèle généré permet de contraindre une segmentation par recherche de surface minimale 3D dans un espace plan restreint. La méthode développée est automatique, multimodalité et applicable à plusieurs types d’organes

Segmentation fémorale par modèle déformable et programmation dynamique

This Ph.D thesis presents new paradigms in the field of segmentation by mean of deformable models. Classic model-based segmentation approach consists of iteratively deform complex models in the space of the scanner slices until the organ to segment is fitted. The proposed works tries to improve the process by decomposing the problem in three distinct phases : First, anatomical landmarks of the organ to segment are automatically detected using a fast ray-casting technique ; A basic deformable model is next initialized to fit these landmarks. It allows approximately fitting the organ contour. This raw approximation can optionally be refined by a conventional registration ; Finally, an active contour method (snakes) allows to accurately delimiting the contour of the organ. Although contour delimitation by classic snake resolution usually converges to a local minimum, this problem is avoided by using dynamic programming. A main advantage of our approach is to propose a good compromise between segmentation speed and quality of the result. It also allows coming back to an interactive segmentation of the organ anytime. CT femoral segmentation of degenerative hips has been used to validate our approach. Good results were achieved on most of the patients. Only highly degenerated femurs with osteoporosis or arthritis were not fully automatically segmented. Thanks to the goods results achieved, this new segmentation paradigm could practically be used in prosthesis planning software like femur resurfacing

Déformation et découpe interactive de solides à géométrie complexe

Cette thèse consiste à explorer une nouvelle approche pour la simulation d'objets flexibles par la mécanique des milieux continus, dans le cadre d'applications graphiques interactives telles que le jeu vidéo ou l'entraînement aux gestes chirurgicaux. Elle s'inscrit en continuité d'un stage de M2-R sur ce même sujet. Il est important de pouvoir régler simplement un compromis entre précision et temps de calcul suivant la nature de l'application. Les approches actuelles de simulation utilisent principalement la méthode des éléments finis. Celle-ci repose sur un maillage volumique des objets qu'il est souvent difficile d'adapter dynamiquement aux besoins de l'application. La nouveauté introduite par cette thèse est d'utiliser des repères déformables comme primitives cinématiques, avec des champs de déplacements inspirés des méthodes de 'skinning' utilisées en informatique graphique. Le but est d'éviter ainsi les difficultés liées au maillage volumique, ainsi que de faciliter le raffinement et la simplification adaptatives par simple ajout ou suppression de repère déformable là où c'est souhaitable. Ce travail est financé par le projet européen 'Passport for Virtual Surgery', dont le but est de créer automatiquement des modèles physiques pour l'entraînement aux gestes de chirurgie hépatique, à partir de données médicales et anatomiques personnalisées. Dans ce contexte, Guillaume, en collaboration avec d'autres membres du projet, mettra en place les outils nécessaires pour construire la scène physique à partir d'images médicales segmentées et de connaissances anatomiques génériques. Le foie sera dans un premier temps représenté par des modèles physiques précédemment développés à EVASION et étendus aux opérations de découpe. Par la suite, il y appliquera son nouveau modèle mécanique basé sur des repères déformables. The aim of this thesis is to develop a new approach for the simulation of flexible objects based on the continous middle method, related with interactive graphics applications such as video games or training in surgery. It is a continuity of the M2 research internship on the same topic. It is important to simply settle a compromise between accuracy and time computing according to the application. Current simulation approaches mainly use the finite element method, which is based on a volumetric mesh of the simulated objects. It is often difficult to dynamically adapt the needs to the application. The novelty of this thesis is to use deformable reference frames as kinematic primitives, with displacement fields based on 'skinning' methods used in computer graphics. The aim is to avoid the difficulties associated with volumetric mesh, and make the refinement and the adaptive simplification easier by adding or deleting deformable reference frames if necessary. This work is funded by the European project 'Passport for Virtual Surgery', which aims to automatically create models for physical training in gestures of liver surgery, from medical and anatomical custom data. In this context, Guillaume, in collaboration with other members of the project, will develop the tools necessary to build the physical scene from segmented medical images and generic anatomical knowledge. The liver will initially be represented by physical models previously developed in the EVASION team and then extended to cutting operations. Thereafter, Guillaume will apply his new mechanical model based on deformable reference frames.Physically based deformable models have become ubiquitous in computer graphics. It allow to synthetize real behaviors, based on the physical laws from continuum mechanics. In this thesis, we focus on interactive simulations such as to video games or surgical simulators. The majority of the existing works focused up to here on the animation of objects made of homogeneous materials. Nevertheless, plenty of real objects, for instance like the biological structures, consist of multiple imbricated materials. Their decomposition in homogeneous zones requires a high-resolution spatial discretization to solve the variations of the material properties, which requires prohibitive computation time. In this context, we present new real time simulation techniques for deformable objects which can be cut. First of all, we present a real time method for cutting deformable objects in which, contrary to the previous methods, the object deforms on the cutting tool contact and cuts occur only when the pressure reaches a certain level. The independence of the physical, collision and visual models makes the topological changes easier. The GPU computing and local modifications enable fast execution. Then, a dynamic meshless method is described, which uses reference frames as control nodes instead of using points, with a displacement field formulation similar to skinning. It allows to easily tune the weights and benefits from the rigor of physical methods as the finite elements. The introduction of integration points, reducing the samples number by a least squares approximation, speeds up the spatial integrations. Other pre-computations are proposed in order to speed up the simulation time. Finally, new anisotropic shape functions are defined to encode the variations of material properties thanks to the introduction of the compliance distance. These complex shape functions uncouple the material resolution of the displacement functions ones. It allow an extremely sparse nodes sampling. The use of the compliance distance allows an automatic nodes distribution with regard to the material properties.SAVOIE-SCD - Bib.électronique (730659901) / SudocGRENOBLE1/INP-Bib.électronique (384210012) / SudocGRENOBLE2/3-Bib.électronique (384219901) / SudocSudocFranceF

Développement d'un processus coopératif de traitement d'images ultrasonores pour le référencement géométrique de structures osseuses en chirurgie orthopédique

La radiologie est actuellement la modalité d'imagerie la plus utilisée en chirurgie orthopédique, que ce soit en planification opératoire, en contrôle per-opératoire ou pour le suivi du patient. Un de ses inconvénients est de ne pas permettre un référencement géométrique des objets représentés. Il est donc impossible tout au long du processus chirurgical orthopédique, de mesurer précisément les modifications de géométrie des structures osseuses. En salle d'opération les instruments chirurgicaux sont référencés spatialement et permettent par palpations de points de référence une identification géométrique des structures osseuses. Ceci est limité au contexte chirurgical car ces palpations requièrent des incisions. Dans cette thèse, nous proposons d'introduire en chirurgie orthopédique une nouvelle approche fondée sur l'utilisation d'un capteur d'images ultrasonores dont le positionnement spatial est connu. Nous présentons une méthode d'analyse d'images ultrasonores qui aboutit à la détection des points de référence dans un contexte non chirurgical. Cet apport est fondamental car il introduit une continuité dans le contrôle précis de la géométrie des structures osseuses tout au long du processus chirurgical orthopédique de la planification opératoire jusqu'au suivi du patient. Pour déterminer la position des points de référence sur les images ultrasonores osseuses nous sommes passés par une étape intermédiaire consistant en la détection de l'interface osseuse par des approches fondées sur des modèles de contours. Devant la difficulté du problème lié à la très faible qualité des images ultrasonores osseuses, nous nous sommes orientés vers une approche coopérative innovante. Dès que la sonde est positionnée sur le patient, le système affiche en temps réel le contour détecté et le clinicien peut, par un mouvement continu de la sonde, faire converger le système vers une solution optimale au regard de son expertise et des propriétés images. La validation de nos algorithmes s'est tout d'abord effectuée en mode non coopératif sur une base de données contenant 651 images ultrasonores. Le meilleur algorithme fondé sur la recherche d'un chemin optimal parmi un ensemble de points de contours candidats a été validé en mode coopératif sur un prototype appelé PhysioPilot dédié à la mesure de paramètres physiologiques dans un contexte non chirurgicalX-rays remain the preferred imaging modality for orthopedic surgery for surgical planning, intra-operative control or patient follow-up. Nevertheless, it does not allow anatomical bone structures referencing. It is then impossible to control geometrical modifications of bone structures during the surgical process. However, surgical tools are referenced in the operating-room space and allow the surgeon to define anatomical structures geometrically by defining landmark positions. This process is only allowed during surgical procedures because it requires to do cuts on the patient. In this work, we propose a new approach using an ultrasound probe that is referenced in the operating-room space. We present an image processing algorithm to extract anatomical landmark position in a surgical context. It is a crucial improvement because it allows a complete patient follow-up from pre-operative planning to post-operative consults. To determine anatomical landmark positions on ultrasound images we added an intermediate step to extract the bone/soft tissues interface via several segmentation methods as active contours. Due to the low quality of ultrasound images we decided to design a innovative cooperative process. As the surgeon positions the ultrasound probe on the patient, the bone interface appears on the system screen in real time. Then the clinician can help the segmentation result to converge to the final solution by a soft movement of the probe. The validation of our work was performed on a database of 651 ultrasound images, in a non-cooperative way. The best algorithm that extracts the bone interface by defining the optimal path in a graph of potential candidates was validated with a cooperative protocol on a prototype called PhysioPilot, in order to perform physiological measurements in a non-surgical contextPARIS-EST-Université (770839901) / SudocSudocFranceF

Modélisation 3D des artères hépatiques et visualisation par fusion d’imagerie par résonance magnétique et d’imagerie ultrasonore

Les cancers du foie, primaires et secondaires, sont le deuxième cancer le plus meurtrier au monde après les cancers du poumon. Le pronostic de survie à 5 ans pour ces cancers est de moins de 20%, même dans les pays développés. Au Canada, leur incidence est en augmentation et a plus que triplé au cours des quatre dernières décennies. Parmi les méthodes de traitement disponibles, la chimio-embolisation trans-artérielle (CETA) est, actuellement, l’approche thérapeutique la plus couramment utilisée pour traiter les cas avancés de carcinome hépatocellulaire (cancer primaire). Au cours de cette procédure, des drogues anti-cancer, suivies d’un agent embolisant, sont injectées à travers un cathéter placé dans les artères qui nourrissent la tumeur. L’action sur la tumeur est double : d’un côté, on l’expose à une forte dose de drogues chimio-thérapeutiques et de l’autre, on coupe son alimentation en sang de sorte à provoquer une ischémie puis la nécrose. Les stratégies d’optimisation de ces thérapies ont généralement pour but de maximiser l’ex¬position de la tumeur aux drogues tout en épargnant, au maximum, les tissus sains du foie et du reste de l’organisme. Dans ce contexte, moduler en temps réel le taux d’injection des drogues anti-cancer dans les artères nourricières de la tumeur en fonction des vitesses de flots sanguins au sein de celles-ci pourrait aider à optimiser la livraison des drogues à la tumeur. De telles vitesses sanguines peuvent être mesurées en utilisant les ultrasons (US) Doppler. Cependant, les branches de l’artère hépatique, sont peu ou pas du tout visibles sur les images US du foie. Plusieurs éléments participent à ce phénomène. Premièrement, les sondes abdo¬minales, typiquement utilisées pour imager le foie, favorisent la profondeur d’exploration et ont dès lors une mauvaise résolution spatiale 1. Ensuite, les images US sont afectées par de nombreux artéfacts (bruit spéculaire, ombres acoustiques, etc.) qui rendent la visualisation de ces vaisseaux et l’interprétation des images US plus complexes, surtout pour un opérateur novice. Afin de résoudre ce problème de visualisation, nous proposons d’intégrer un modèle 3D des artères hépatiques dans une image US 3D afin d’y mettre en évidence ces artères. Après cette fusion, l’utilisateur pourra également acquérir des images 2D et afcher les segments du modèle 3D contenus dans le plan de l’image US. Ce modèle 3D est généré automatiquement à partir de données d’angiographie par résonance magnétique (ARM) en phase artérielle. Un algorithme de segmentation génère le maillage triangulaire 3D du réseau artériel hépa¬ 1. En échographie, la profondeur d’exploration et la résolution spatiale de l’image sont impactées demanière inverse par la fréquence centrale de la sonde. A basse fréquence, on aura une grande profondeur d’exploration tandis qu’une haute fréquence est nécessaire pour avoir une bonne résolution spatiale tique en utilisant, d’un côté, une méthode de repérage multi-hypothèses pour détecter les lignes centrales des artères et de l’autre, une méthode de propagation de modèles tubulaires déformables le long de ces lignes centrales pour segmenter les parois des vaisseaux. Afin de fusionner ce modèle avec l’image US, il faut efectuer un recalage entre l’image d’ARM artérielle, dont le modèle 3D est issu, et le volume US. Cette tâche n’est cependant pas aisée. L’aspect multimodal complique la dérivation d’une métrique de similarité iconique (i.e. basée sur les intensités dans les deux images) efcace. Tandis que le manque de primitives facilement identifiables dans les deux modalités limite l’utilisation d’une méthode de recalage géométrique. Dans le but de contourner ces obstacles, nous proposons d’utiliser l’ARM en phase portale comme intermédiaire entre l’ARM artérielle et l’image US. Les veines portes sont des vais¬seaux de large calibre qui sont facilement identifiables dans les deux modalités, contrairement aux artères, et qui peuvent donc être utilisés comme structures communes pour mettre en correspondance l’ARM portale et l’US. Notre approche commence par recaler les deux phases de l’ARM. Ce recalage est non rigide afin de tenir compte des possibles déformations du foie ayant lieu entre les acquisitions des deux phases d’ARM. Ensuite, l’ARM portale est recalée à l’image US 3D. Ce recalage est divisé en trois étapes. Premièrement, on réalise un alignement rigide entre les deux images en mettant en correspondance des masques des veines portes et hépatiques qu’on a, au préalable, extraits des deux modalités. Deuxièmement, on applique un recalage afne en utilisant une métrique de similarité iconique qui suppose une relation linéaire locale entre les intensités US et à la fois les intensités et gradients de l’image d’ARM portale. Nous intégrons également un masque du foie, segmenté sur l’ARM portale, dans le calcul de cette métrique. Ce masque a pour rôle d’empêcher que les voxels qui correspondent à des points hors du foie ne participent au calcul de la métrique. Ensuite, une étape de recalage déformable, basée sur la même métrique iconique, est appliquée afin de corriger les possibles déformations résiduelles du foie entre les deux modalités. Enfin, on compose les deux transformations définies ci-dessus (i.e. la transformation entre les deux ARM et la transformation entre l’ARM portale et l’US) pour obtenir la transformation globale entre l’ARM artérielle et l’image US. Cette approche se base sur l’hypothèse que, comme les artères suivent bien les ramifications du système portal dans le foie, on peut utiliser la transformation qui existe entre l’ARM portale et l’US pour recaler l’ARM artérielle à l’US, à condition d’avoir, auparavant, aligné les deux phases d’ARM entre elles. La validation de l’outil a été réalisée sur une cohorte de 10 modèles porcins. La précision des méthodes de recalage a été évaluée en estimant l’erreur sur le recalage d’un ensemble de paires de points correspondants identifiés dans les deux images avant le recalage. Cette erreur sur les points cibles (target registration error (TRE)) est obtenue en calculant la moyenne quadratique des distances entre chaque paire de points correspondants après le recalage. Le recalage entre les deux phases d’ARM a engendré une valeur de TRE moyenne de 1.2 ± 0.8 mm. Le recalage entre l’ARM portale et l’image US a généré les résultats de TRE suivants : 8.6 ± 3.0 mm pour l’initialisation rigide, 4.0 ± 1.0 mm pour le recalage afne et 3.9 ± 1.1 mm pour le recalage déformable. L’analyse statistique subséquente de ces résultats a révélé que les valeurs de TRE liées au recalage afne et au recalage déformable représentaient toutes les deux une amélioration significative (p ≠ value =0.002 dans les deux cas) par rapport au résultat de TRE de l’initialisation rigide. La diférence de TRE entre les recalages afne et déformable n’est cependant pas statistiquement significative (p≠value=0.734). La robustesse de la méthode de recalage multimodal à l’initialisation a été évaluée en réalisant, pour chaque porc, une série de 100 recalages initialisés aléatoirement (ajout d’un bruit gaussien aux 6 paramètres rigides). Ces expériences ont révélé un taux de convergence moyen de 69.6±13.9%. Pour étudier l’efet du masque du foie, une série de 100 expériences de recalage a été réalisée sans le masque. Il est apparu que celui-ci est utile car il empêche le recalage de converger vers de solutions aberrantes qui apparaissent lorsque les bords du foie sur l’US sont mis en correspondance avec des structures saillantes mais situées hors du foie sur l’ARM. Finalement, une étape d’évaluation de l’algorithme de segmentation a été réalisée sur une cohorte de 15 cas cliniques ayant passé un examen d’ARM et d’angiographie par Computed Tomography (CTA) dans la même journée. Les maillages segmentés automatiquement sur les ARM ont été comparés avec les maillages segmentés manuellement sur les CTA selon 3 métriques de similarité : la distance absolue moyenne (DAM) : 1.05 ± 0.35mm, la distance quadratique moyenne (DQM) : 2.38 ± 1.93mm et la distance de Hausdorf (DH) : 6.69 ± 3.45mm. Dans ce mémoire, nous décrivons notre outil et son application dans le cadre des thérapies intra-artérielles au cours desquelles il permettrait de faciliter la prise de mesures US Doppler sur les artères. Cependant, l’outil n’est pas limité à une utilisation dans ce contexte. En efet, il pourrait être utile lors d’interventions percutanées guidées par US, comme par exemple les ablations radiatives de tumeurs hépatiques guidées par US. Lors de ces thérapies, il permettrait de faciliter la visualisation des artères ainsi que de mettre en évidence de manière claire leurs limites. Ainsi, il sera plus facile pour le chirurgien de les éviter, et donc de ne pas les lacérer, lorsqu’il navigue ses instruments vers la tumeur. A notre connaissance, ceci est le premier outil qui permette d’intégrer un modèle 3D des artères hépatiques, spécifique à l’anatomie du patient, avec des images US pour des interven¬tions hépatiques.----------ABSTRACT Primary and secondary liver cancer constitute, in aggregate, the second most common cause of cancer-related death worldwide. The prognosis for these cancers is very poor with a 5 years survival rate under 20%. In Canada, the incidence rate of liver cancers has more than tripled over the past four decades, making it one of the fastest growing cancers in the country. Trans-arterial chemoembolization (TACE) is currently the standard of care for advanced cases of primary liver cancer. Intra-arterial therapies, such as TACE rely on the fact that blood supply to the tumor is predominantly of arterial origin while the portal vein is the primary blood supplier for the healthy liver parenchyma. Therefore, the hepatic arteries can be used to selectively target the tumor while sparing as much of the healthy liver as possible. During TACE, anti-cancer drugs are injected directly into the arteries feeding the tumor followed by the injection of an embolizing agent. The embolization prevents the drugs washout, thereby prolonging tumor exposure while also cutting of blood supply to the tumor, which provokes ischemia and tumor necrosis. Optimization eforts are underway to further maximize tumor exposure to the drugs while minimizing the toxic efects on healthy liver tissue. A possible strategy to optimize drug delivery would be to modulate the drug injection rate with regards to the real-time blood flow velocities in the feeding arteries. Such velocities can be obtained non-invasively using Doppler ultrasound (US). However, the hepatic arteries are only partially and sometimes not at all depicted in US images. Furthermore, abdominal ultrasound probes, which favor penetration depth over spatial resolution, are ill-fitted for the visualization of small hepatic vessels within the liver tissue. The numerous artefacts in US images (speckle noise, acoustic shadows) further complicate this task, especially for inexperienced users. Therefore, the acquisition of the blood flow measurements on these vessels is challenging. In order to overcome this difculty, we propose to combine a patient specific 3D model of the hepatic arteries with a 3D US image. After the fusion, the user can revert back to 2D US images, which will contain segments of the 3D model, thereby highlighting the localization of the arteries. Building a tool that allows for the integration of a 3D model of the hepatic arteries in the US image is the main objective of this master’s project. We generate the 3D model of the hepatic arteries from 3D arterial magnetic resonance an¬giography (MRA) data using an in-house algorithm based on the propagation of tubular deformable models along the vessel centerlines detected by a multi-hypothesis tracking mod¬ule. Combining this model with the US image requires registering the arterial MRA, from which the model is extracted, with the US. This is a difcult problem mainly because the two images have very diferent aspects. The direct registration is further complicated by the scarcity of common features between the two images. Therefore, we chose to implement a compositional registration strategy. We use the portal phase of the MRA as an intermediary between arterial MRA and US. Portal veins are larger vessels than can be easily visualized in both modalities and can serve as common features to guide the MRA-US registration. We start by co-aligning the two phases of the MRA using a non-rigid registration to account for possible liver deformation between the two images. The portal phase MRA is then non-rigidly registered with the 3D US using a 3 step method. First, a rigid alignment is performed between the two images by matching masks of the portal and hepatic veins extracted from both modalities. Second, an afne registration is performed using an intensity-based similarity metric that postulates the existence of a local linear combination between the US image intensities and both the intensities and gradients of the portal MRA. We also incorporate a mask of the liver, segmented from the portal MRA, in the computation of the metric in order to limit the contribution of non-liver voxels to the value of the metric. Finally, a deformable registration using the same metric is applied to account for liver motions that cannot be completely corrected by rigid or afne transformations only. Finally, the solution to the arterial MRA-portal registration problem is obtained by com¬posing the two previously determined transformations (i.e the transformation from arterial MRA to portal MRA and then the transformation from portal MRA to 3D US) into one global mapping function between arterial MRA and US. This approach assumes that, since the hepatic arteries are known for anatomically accompanying the portal vein, the transfor¬mation between portal MRA and 3D US can be used to register the arterial MRA and US images, after having previously registered the two phases of the MRA. The validation of our tool on a dataset of 10 porcine models yielded promising results. The registration accuracies were measured in terms of target registration error (TRE) between pairs of corresponding landmarks selected in both modalities before registration. The mono-modal registration between the MRA images yielded a mean TRE of 1.2 ± 0.6 mm. The mean TRE values for the multi-modal MRA-US registration were 8.6 ± 3.0 mm for the rigid alignment, 4.0 ± 1.0 mm for the afne registration and 3.9 ± 1.2 mm for the deformable reg¬istration. Statistical analysis showed that both afne and deformable registrations provided a significant improvement (p ≠ value < 0.002 in both cases) from the initial rigid alignment. However, the diferences in TRE between afne and deformable registration were not statis-tically significant (p ≠ value =0.734). We also studied the robustness of our method to the quality of the registration initialization by performing 100 randomly initialized registration experiments for each pig. The initial rigid parameters were randomly perturbed by adding white Gaussian noise (standard deviation: 10 mm or 10¶) to each of those parameters. We reached a mean convergence rate of 69.6 ± 13.9 mm. Our validation also evaluated the efect of removing the liver mask from the computation of the similarity metric on the registration results. We showed that the mask prevents the occurrence of misregistrations that occur when the liver edges in the US image are matched with strong edges outside the liver in the MRA image. Finally, we presented an extension of the validation of the segmentation algorithm by comparing the meshes automatically generated from the MRA images of 15 hu¬man patients with the meshes manually segmented from computed tomography angiography (CTA) images acquired on the same patients. This comparison is based on the evaluation of three metrics: the mean absolute distance, the mean squared distance and the Hausdorf distance. We obtained the following results when comparing the MRA mesh to the CTA gold standard: MAD:1.05 ± 0.35 mm, MSD:2.38 ± 1.93 mm and HD:6.69 ± 3.45 mm