Discrete Visual Perception

International audienceComputational vision and biomedical image have made tremendous progress of the past decade. This is mostly due the development of efficient learning and inference algorithms which allow better, faster and richer modeling of visual perception tasks. Graph-based representations are among the most prominent tools to address such perception through the casting of perception as a graph optimization problem. In this paper, we briefly introduce the interest of such representations, discuss their strength and limitations and present their application to address a variety of problems in computer vision and biomedical image analysis

Inferring Preoperative Reconstructed Spine Models to Volumetric CT Data through High-Order MRFs

In this paper, we introduce a novel approach based on higher order energy functions which have the ability to encode global structural dependencies to infer articulated 3D spine models to CT volume data. A personalized geometrical model is reconstructed from biplanar X-rays before spinal surgery in order to create a spinal column representation which is modeled by a series of intervertebral transformations based on rotation and translation parameters. The shape transformation between the standing and lying poses is then achieved through a Markov Random Field optimization graph, where the unknown variables are the deformations applied to the intervertebral transformations. Singleton and pairwise potentials measure the support from the data and geometrical dependencies between neighboring vertebrae respectively, while higher order cliques are introduced to integrate consistency in regional curves. Optimization of model parameters in a multi-modal context is achieved using efficient linear programming and duality. A qualitative evaluation of the vertebra model alignment obtained from the proposed method gave promising results while the quantitative comparison to expert identification yields an accuracy of 1.8 +/- 0.7mm based on the localization of surgical landmarks

Manifold Learning in Medical Imaging

Manifold learning theory has seen a surge of interest in the modeling of large and extensive datasets in medical imaging since they capture the essence of data in a way that fundamentally outperforms linear methodologies, the purpose of which is to essentially describe things that are flat. This problematic is particularly relevant with medical imaging data, where linear techniques are frequently unsuitable for capturing variations in anatomical structures. In many cases, there is enough structure in the data (CT, MRI, ultrasound) so a lower dimensional object can describe the degrees of freedom, such as in a manifold structure. Still, complex, multivariate distributions tend to demonstrate highly variable structural topologies that are impossible to capture with a single manifold learning algorithm. This chapter will present recent techniques developed in manifold theory for medical imaging analysis, to allow for statistical organ shape modeling, image segmentation and registration from the concept of navigation of manifolds, classification, as well as disease prediction models based on discriminant manifolds. We will present the theoretical basis of these works, with illustrative results on their applications from various organs and pathologies, including neurodegenerative diseases and spinal deformities

Inference on Highly-Connected Discrete Graphical Models with Applications to Visual Object Recognition

Das Erkennen und Finden von Objekten in Bildern ist eines der wichtigsten Teilprobleme in modernen Bildverarbeitungssystemen. Während die Detektion von starren Objekten aus beliebigen Blickwinkeln vor einigen Jahren noch als schwierig galt, verfolgt die momentane Forschung das Ziel, verformbare, artikulierte Objekte zu erkennen und zu detektieren. Bedingt durch die hohe Varianz innerhalb der Objektklasse, Verdeckungen und Hintergrund mit ähnlichem Aussehen, ist dies jedoch sehr schwer. Des Weiteren wird die Klassifikation der Objekte dadurch erschwert, dass die Beschreibung von ganzheitlichen Modellen häufig in dem dazugehörigen Merkmalsraum keine Cluster bildet. Daher hat sich in den letzten Jahren die Beschreibung von Objekten weg von einem ganzheitlichen hin zu auf Teilen basierenden Modellen verschoben. Dabei wird ein Objekt aus einer Menge von individuellen Teilen zusammen mit Informationen über deren Abhängigkeiten beschrieben. In diesem Zusammenhang stellen wir ein vielseitig anwendbares und erweiterbares Modell zur auf Teilen basierenden Objekterkennung vor. Die Theorie über probabilistische graphische Modelle ermöglicht es, aus manuell notierten Trainingsdaten alle Modellparameter in einer mathematisch fundierten Weise zu lernen. Ein besonderer Augenmerk liegt des Weiteren auf der Berechnung der optimalen Pose eines Objektes in einem Bild. Im probabilistischem Sinne ist dies die Objektbeschreibung mit der maximalen a posteriori Wahrscheinlichkeit (MAP). Das Finden dieser wird auch als das MAP-Problem bezeichnet. Sowohl das Lernen der Modellparameter als auch das Finden der optimalen Objektpose bedingen das Lösen von kombinatorischen Optimierungsproblemen, die in der Regel NP-schwer sind. Beschränkt man sich auf effizient berechenbare Modelle, können viele wichtige Abhängigkeiten zwischen den einzelnen Teilen nicht mehr beschrieben werden. Daher geht die Tendenz in der Modellierung zu generellen Modellen, welche weitaus komplexere Optimierungsprobleme mit sich bringen. In dieser Arbeit schlagen wir zwei neue Methoden zur Lösung des MAP-Problems für generelle diskrete Modelle vor. Unser erster Ansatz transformiert das MAP-Problem in ein Kürzeste-Wege-Problem, welches mittels einer A*-Suche unter Verwendung einer zulässigen Heuristik gelöst wird. Die zulässige Heuristik basiert auf einer azyklisch strukturierter Abschätzung des urspr"unglichen Problems. Da diese Methode für Modelle mit sehr vielen Modellteilen nicht mehr anwendbar ist, betrachten wir alternative Möglichkeiten. Hierzu transformieren wir das kombinatorische Problem unter Zuhilfenahme von exponentiellen Familien in ein lineares Programm. Dies ist jedoch, bedingt durch die große Anzahl von affinen Nebenbedingungen, in dieser Form praktisch nicht lösbar. Daher schlagen wir eine neuartige Zerlegung des MAP Problems in Teilprobleme mit einer k-fan Struktur vor. Alle diese Teilprobleme sind trotz ihrer zyklischen Struktur mit unserer A*-Methode effizient lösbar. Mittels der Lagrange-Methode und dieser Zerlegung erhalten wir bessere Relaxationen als mit der Standardrelaxation über dem lokalen Polytope. In Experimenten auf künstlichen und realen Daten wurden diese Verfahren mit Standardverfahren aus dem Bereich der Bildverarbeitung und kommerzieller Software zum Lösen von lineare und ganzzahlige Optimierungsproblemen verglichen. Abgesehen von Modellen mit sehr vielen Teilen zeigte der A*-Ansatz die besten Ergebnisse im Bezug auf Optimalität und Laufzeit. Auch die auf k-fan Zerlegungen basierenden Methode zeigte viel versprechende Ergebnisse bezüglich der Optimalität, konvergierte jedoch im Allgemeinen sehr langsam

Fusion multimodale d'images pour la reconstruction et la modélisation géométrique 3D du tronc humain

RÉSUMÉ La fusion multimodale d'images est un sujet de grand intérêt dans le domaine de la vision par ordinateur et a des applications dans divers domaines tels que la surveillance et l'imagerie médicale. En imagerie médicale, la fusion multimodale d'images est une étape importante, car les différentes images utilisées offrent de l'information complémentaire et utile pour la planification du traitement d'un patient. Par exemple, le recalage entre différentes modalités d'images à résonance magnétique (RM) du cerveau résulte en une superposition d'information morphologique et fonctionnelle. En cardiologie, le recalage multimodal permet une mise à jour d'un modèle préopératoire de la vascularisation des patients, obtenu à partir d'images RM ou tomographiques, avec des angiographies acquises dans la salle d'opération. Le recalage d'images multimodales permet aussi la construction d'un modèle complet du tronc pour la simulation numérique de traitements orthopédiques de déformations scoliotiques. La scoliose idiopathique est une maladie caractérisée par une courbure complexe de la colonne vertébrale qui peut affecter les fonctions physiques du patient nécessitant parfois une chirurgie. Les chirurgiens se fient sur des mesures obtenues à partir d'images radiographiques pour planifier la correction de la colonne. Par contre, suite à cette correction, une asymétrie du tronc peut persister. Il est donc utile de concevoir un simulateur de chirurgie afin de prédire l'effet de la correction chirurgicale sur l'apparence externe du tronc. Des travaux de recherche en cours visent à vérifier si la réaction de l'ensemble des structures anatomiques incluant les tissus mous face à une correction de la courbure de la colonne a un impact sur le résultat obtenu à la surface externe du tronc. Ces travaux nécessitent la génération d'un modèle géométrique du tronc entier y incluant les tissus mous afin de permettre la simulation de la propagation de l'effet d'une chirurgie de la colonne sur l'apparence externe du patient, fournissant ainsi aux chirurgiens un modèle pour la planification d'une chirurgie. Par conséquent, il est nécessaire de générer un modèle géométrique du tronc qui pourrait intégrer les structures osseuses extraites à partir d'images radiographies (RX), les tissus mous extraits à partir d'images RM et la surface externe du tronc obtenue à partir d'images de topographie de surface (TP) acquise à l'aide de caméras 3D. Ce modèle nécessite un recalage entre ces différentes modalités d'images. Le recalage entre les images RM, RX et TP du tronc humain implique plusieurs difficultés. Premièrement, les images sont acquises à des moments ainsi qu'avec des postures différentes. Par exemple, les images RM sont acquises en position couchée, tandis que les images RX et TP sont acquises en position debout. Cette différence de posture entraîne des déformations non-rigides dans les structures anatomiques du tronc dont le recalage doit en tenir compte. De plus, les structures contenues dans le tronc humain n'ont pas toutes les mêmes caractéristiques physiques et, par conséquent, ne se déforment pas toutes de la même façon. En particulier, les vertèbres sont des structures rigides tandis que les tissus mous se déforment de façon non-rigide. Deuxièmement, il y a un manque de repères anatomiques correspondants entre les différentes images, puisque ces images montrent des informations complémentaires. Finalement, l'acquisition des images RM n'est pas toujours possible pour les patients scoliotiques à cause du manque de disponibilité des systèmes en clinique. De plus, la longue durée des acquisitions cause un manque de confort auprès des patientes. En effet, aucune des méthodes de recalage existantes n'effectue le recalage entre les images RM et RX tout en tenant compte du changement de posture entre les acquisitions, et aucune des méthodes n'effectue le recalage d'images TP, RX et RM du tronc humain. Ce document propose une méthodologie pour la génération d'un modèle géométrique du tronc complet d'un patient scoliotique. Le modèle géométrique sera généré en fusionnant, par recalage élastique, des images RX, des images RM et des images TP d'un patient, tout en tenant compte du manque de correspondances anatomiques ainsi que des déformations dues au changement de posture entre les acquisitions d'images. Dans une première phase, un recalage est effectué entre la colonne vertébrale extraite à partir des images RM et celle extraite à partir des images RX en compensant pour les changements dus à la différence de posture. La transformation semi-rigide de la colonne vertébrale est effectuée à l'aide d'un modèle articulé, ce dernier étant défini de la façon suivante: pour chaque vertèbre, un système de coordonnées local est construit à partir de repères vertébraux. Des transformations intervertébrales locales et rigides sont ensuite obtenues en calculant les transformations entre les systèmes de coordonnées locaux des vertèbres adjacentes. Finalement, la transformation globale entre chaque vertèbre extraite à partir de l'image RM et la vertèbre correspondante extraite à partir de l'image RX est obtenue en concaténant les transformations locales. La validation a été effectuée sur 14 patientes scoliotiques en comparant la méthode proposée avec un recalage rigide. La précision du recalage des vertèbres thoraciques et lombaires est validée en calculant l'erreur cible entre des points de repère extraits à partir des corps vertébraux. L'erreur moyenne cible a diminué de 10,73 mm dans le cas du recalage rigide jusqu'à 4,53 mm dans le cas du recalage avec modèle articulé. De plus, les angles de Cobb obtenus à partir des images RM sont comparés à ceux obtenus à partir des images RX dans le plan latéral et frontal, au niveau thoracique et lombaire, ceci avant et après le recalage. Les différences entre tous les angles de Cobb des deux modalités d'images étaient toujours au-delà de 10,0° suite au recalage rigide, tandis que ces différences ont baissé en dessous de 1,0° suite au recalage avec la méthode proposée. Finalement, en comparant les courbures de la colonne entre les positions couchée et debout, nous avons remarqué une diminution significative dans l'angle de Cobb lorsque le patient est en position couchée. Cette diminution était au-delà de 10,0° dans les deux plans et dans les deux régions de la colonne. Ces différences d'angles confirment les résultats obtenus dans la littérature montrant que la courbure de la colonne est atténuée lorsque le patient est en position couchée. De plus, la diminution dans les erreurs de recalage lorsque la méthode proposée est utilisée démontre que cette méthode réussit à recaler les structures vertébrales entre les images RM et RX tout en compensant pour le changement de posture qui se fait entre les deux acquisitions. Dans une deuxième phase, les images RM, RX et TP d'un même patient sont recalées afin d'obtenir un modèle géométrique complet d'un patient qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc. Tout d'abord, les images TP sont recalées aux images RX en utilisant une fonction spline plaque-mince et à l'aide de points correspondants placés sur la surface du tronc du patient avant l'acquisition des deux modalités d'images. Ensuite, les images RM sont incorporées en se servant d'une transformation du modèle articulé suivi d'un recalage avec une spline plaque-mince contrainte afin de tenir compte de la rigidité des vertèbres. La qualité du recalage entre les images RM et TP est quantifiée pour trois patients scoliotiques avec l'indice DICE, celui-ci mesurant le chevauchement entre les tranches d'images RM et l'espace contenu dans l'image TP, et étant défini comme le ratio entre le double de l'intersection et l'union. L'indice DICE varie entre 0 et 1, où la valeur de 0 indique qu'il n'y a aucun chevauchement et une valeur de 1 indique qu'il y a un chevauchement parfait. Une valeur de 0,7 est considérée comme un chevauchement adéquat. Le recalage avec la méthode proposée est comparé au recalage rigide ainsi qu'au recalage articulé simple. Une valeur DICE moyenne de 0,95 est obtenue pour la méthode proposée, démontrant un excellent chevauchement et une amélioration comparativement à la valeur de 0,82 dans le cas du modèle articulé simple et de 0,84 dans le cas du recalage rigide. Donc, la méthode de recalage proposée réussit à fusionner les données sur les structures osseuses, les tissus mous, ainsi que la surface externe du tronc à partir des images RM, RX et TP, tout en compensant pour le changement de posture entre ces acquisitions. Dans une troisième phase, un recalage inter-patient permet de compléter un modèle tridimensionnel partiel personnalisé du tronc d'un patient à partir d'une fusion des images RX et TP du patient et des images RM d'un modèle générique obtenu en suivant la méthodologie proposée. Premièrement, un patient ayant un modèle géométrique complet qui incorpore les structures osseuses, les tissus mous, ainsi que la surface externe du tronc est désigné en tant que modèle générique. Deuxièmement, un modèle personnalisé partiel d'un autre patient est obtenu en recalant les images TP aux images RX à l'aide d'une fonction spline plaque-mince. Troisièmement, les images RM du modèle générique sont incorporées dans le modèle personnalisé partiel de ce patient à l'aide du modèle articulé ainsi que de la déformation spline plaque-mince contrainte. L'indice DICE est utilisé afin de mesurer le chevauchement entre les images TP du patient et les images RM incorporées suite au recalage inter-patient à partir du modèle générique. De plus, le chevauchement est calculé entre les images RM incorporées suite au recalage inter-patient à partir du modèle générique et les images RM réelles du patient suite au recalage intra-patient. Les résultats montrent une diminution générale significative de l'indice DICE comparativement au recalage intra-patient. Par contre, les valeurs obtenues sont plus élevées que 0,7, ce qui est adéquat. Le chevauchement a aussi été mesuré entre le gras segmenté à partir des images RM suite au recalage inter-patient et les images RM réelles du patient suite au recalage intra-patient, et des valeurs inférieures à 0,7 sont obtenues. Ceci peut être expliqué par le fait que ratio faible entre la circonférence et l'aire des structures analysées a pour effet de diminuer les valeurs DICE. La méthodologie proposée fournit un cadre qui permet de construire un modèle complet du tronc sans avoir besoin d'une acquisition d'images RM pour chaque patient. Le modèle complet obtenu inclut les structures osseuses, les tissus mous ainsi que la surface du tronc complet d'un patient scoliotique. Ce modèle peut être incorporé dans le simulateur chirurgical qui est en cours de développement, afin de tenir compte des tissus mous dans la simulation de l'effet d'un traitement de la colonne vertébrale sur la surface du tronc d'un patient. Cependant, la précision du recalage pourrait être améliorée en se servant d'un maillage adaptatif tridimensionnel des tissus mous tout en incorporant des indices de rigidité pour chacun des tissus.---------ABSTRACT Multimodal image fusion is a topic of great interest in the field of computer vision and has applications in a wide range of areas such as video surveillance and medical imaging. In medical imaging applications, multimodal image fusion is an important task since different image modalities can be used in order to provide additional information and are thus useful for the treatment of patients. For example, the registration between different magnetic resonance (MR) image modalities of the brain results in a model that incorporates both anatomical and functional information. In cardiology, the multimodal registration allows an up-to-date 3D preoperative model of patients, obtained from computed tomography or MR images, with angiograms acquired in the operating room. The multimodal image registration also allows for the construction of a complete model of the trunk for the simulation of orthopedic treatments for scoliotic deformations. Idiopathic scoliosis is a disease characterized by a complex curvature of the spine which can affect the physical functioning of the patient, sometimes requiring surgery. Surgeons rely on measurements obtained from radiographic images in order plan the surgical correction of the vertebral column. However, following such a correction, an asymmetry of the trunk may persist. It would therefore be useful to develop a surgical simulator in order to predict the effect of a surgical correction on the external appearance of the trunk. Research is underway that aims to verify whether the reaction of all anatomical structures including the soft tissues following a correction of the curvature of the spine has an impact on the result obtained at the external surface of the torso. This research requires the design of a geometric model of the entire trunk that also incorporates soft tissues in order to allow for the simulation of the propagation of the effect of spine surgery on the external appearance of the patient, thus providing surgeons with a model for surgical planning. Therefore, it is necessary to obtain a geometric model of the trunk that would integrate the bone structures extracted from X-ray images, soft tissues extracted from MR images and the trunk surface obtained from surface topography (TP) data acquired using 3D cameras. This complete model requires the registration between the different imaging modalities. The registration between the MR, X-ray and TP images is subject to several difficulties. Firstly, these images are acquired at different times and in different postures. For example, MR images are acquired in prone position, whereas the TP and X-ray images are acquired in standing position. This difference in posture causes non-rigid deformations in the anatomical structures of the trunk that must be taken into consideration during registration. Moreover, the structures contained in the human body do not have the same physical characteristics, and therefore do not deform all in the same manner. In particular, the vertebrae are rigid structures, while soft tissues deform non-rigidly. Secondly, there is a lack of corresponding anatomical landmarks between the different images, as these images contain non-overlapping anatomical information. Thirdly, the acquisition of MR images is not always possible for patients with scoliosis due to the lack of availability of such acquisition systems in clinical settings. In addition, the lengthy acquisition time causes patient discomfort. In fact, none of the existing registration methods registers X-ray and MR images while taking into account the change in posture between acquisitions, and none of the methods registers TP, MR and X-ray images of the human trunk. This document proposes a methodology for generating a complete geometric model of the trunk of a patient with scoliosis. The geometric model is developed using the non-rigid registration of X-ray, TP and MR images, while taking into account the lack of anatomical correspondences between the image modalities, and the non-rigid deformation that occurs due to a posture change between the image acquisitions. In the first phase, the shape of the spine extracted from MR images is registered to that extracted from the X-ray images all while compensating for spine shape changes that are due to the difference in posture between the acquisition of the two modalities. The semi-rigid transformation of the spine is obtained by means of an articulated model registration which is defined as follows: For each vertebra, a local coordinate system is constructed from vertebral landmarks. Local rigid inter-vertebral transformations are then obtained by computing the transformations between the local coordinate systems of adjacent vertebrae. Finally, the global transformation between each vertebra extracted from the MR images and the corresponding vertebra extracted from the X-ray images is obtained by concatenating the local transformations. The validation is performed using 14 patients with scoliosis by comparing the proposed method with rigid registration. Registration accuracy in the thoracic and lumbar areas is validated by calculating the target registration error between correspondence points extracted from the vertebral bodies. The average error decreased from 10.73 mm in the case of rigid registration to 4.53 mm in the case of registration using the proposed articulated model. In addition, Cobb angles obtained from MR image reconstructions are compared with those obtained from X-ray image reconstructions in the lateral and frontal views and in the thoracic and lumbar areas of the spine, both before and after registration. The differences between all Cobb angles of the two imaging modalities were above 10.0° following rigid registration, whereas these differences fell below 1.0° following registration using the proposed method. Finally, when comparing the curvatures of the spine between the prone and standing postures, we noticed a significant decrease in the Cobb angle when the patient is lying down. This decrease was above the 10.0° in both views and in both regions of the spine. These angle differences confirm the results obtained in the literature showing that the curvature of the spine is attenuated when the patient is lying down. Moreover, the decrease in registration errors when the proposed method is used shows that this method successfully aligns the spine between MR and X-ray images all while compensating for the change in posture that occurs between the two acquisitions. In the second phase, the TP, X-ray and MR images of the same patient are registered in order to obtain a full geometric model of the entire torso which incorporates the bone structures, soft tissue, as well as the external surface of the trunk. Firstly, the TP and X-ray images are aligned using a thin-plate spline and landmarks placed on the surface of the trunk of the patient prior to the acquisition of the two imaging modalities. Secondly, MR images are incorporated into the model using the articulated model followed by a thin-plate spline registration constrained in order to maintain the stiffness of the vertebrae. The quality of registration between the MR and the TP images is verified for 3 patients with scoliosis with the DICE index à, which measures the overlap between the MRI slices and the space contained within the TP image. The DICE index varies between 0 and 1, where the value of 0 indicates that there is no overlap and a value of 1 indicates a perfect overlap. A value of 0.7 is considered suitable overlap. The proposed method is compared to rigid registration and registration a simple articulated model. An average DICE value of 0.95 is obtained when the proposed method is used, showing excellent overlap and a significant improvement compared to 0.82 in the case of simple articulated model registration and 0.84 in the case of rigid registration. Therefore, the proposed registration method succeeds in incorporating bone structures, soft tissues, and the external surface of the trunk using MR, X-ray and TP images all while compensating for the change in posture that occurs between these acquisitions. In the third phase, inter-patient registration allows for the completion of a personalized three-dimensional partial model of the trunk of a patient by registering TP and X-ray images of the patient with the MR images of a generic model that is obtained by following the proposed methodology. Firstly, a patient having a full geometric model which incorporates the bone structures, soft tissues, as well as the external surface of the trunk is designated as the generic model. Secondly, a partial personalized model of another patient is obtained by registering the X-ray and TP images of the patient using a thin-plate spline function. Thirdly, MR images of the generic model are incorporated into the partial personalized model of the test patient using the articulated model transformation and the constrained thin-plate spline deformation. The DICE index is used in order to measure the overlap between the TP images of the patient and the MR images from the generic model following inter-patient registration. Moreover, the overlap between the MR images from the generic model following inter-patient registration and the patient's real MR images is measured. The results show a significant overall decrease in the DICE index compared to intra-patient registration. However, the values obtained are higher than 0.7, which is considered adequate. The overlap was also measured between fat tissues segmented from MR images registered from the generic model and the patient's own registered MR images, and values below 0.7 are obtained. However, this lack of overlap can be explained by the fact that the low circumference to area ratio of the structures being analysed leads to inherently lower DICE values. The methodology proposed here allows for a framework in which, upon the use of a larger database of patients, a complete model of the trunk can be built without the need for MR image acquisition for each patient. The complete model obtained includes the bone structures, soft tissues and the complete surface of the trunk of scoliotic patients. This model can be incorporated into the surgical simulator which is under development, in order to take soft tissues into account while simulating the effect of spine instrumentation on the external surface of the patient's trunk. However, the precision of the registration can be improved by using a 3 dimensional adaptive mesh of the soft tissues all while incorporating tissue-specific stiffness factors

ADVANCED MOTION MODELS FOR RIGID AND DEFORMABLE REGISTRATION IN IMAGE-GUIDED INTERVENTIONS

Image-guided surgery (IGS) has been a major area of interest in recent decades that continues to transform surgical interventions and enable safer, less invasive procedures. In the preoperative contexts, diagnostic imaging, including computed tomography (CT) and magnetic resonance (MR) imaging, offers a basis for surgical planning (e.g., definition of target, adjacent anatomy, and the surgical path or trajectory to the target). At the intraoperative stage, such preoperative images and the associated planning information are registered to intraoperative coordinates via a navigation system to enable visualization of (tracked) instrumentation relative to preoperative images. A major limitation to such an approach is that motions during surgery, either rigid motions of bones manipulated during orthopaedic surgery or brain soft-tissue deformation in neurosurgery, are not captured, diminishing the accuracy of navigation systems. This dissertation seeks to use intraoperative images (e.g., x-ray fluoroscopy and cone-beam CT) to provide more up-to-date anatomical context that properly reflects the state of the patient during interventions to improve the performance of IGS. Advanced motion models for inter-modality image registration are developed to improve the accuracy of both preoperative planning and intraoperative guidance for applications in orthopaedic pelvic trauma surgery and minimally invasive intracranial neurosurgery. Image registration algorithms are developed with increasing complexity of motion that can be accommodated (single-body rigid, multi-body rigid, and deformable) and increasing complexity of registration models (statistical models, physics-based models, and deep learning-based models). For orthopaedic pelvic trauma surgery, the dissertation includes work encompassing: (i) a series of statistical models to model shape and pose variations of one or more pelvic bones and an atlas of trajectory annotations; (ii) frameworks for automatic segmentation via registration of the statistical models to preoperative CT and planning of fixation trajectories and dislocation / fracture reduction; and (iii) 3D-2D guidance using intraoperative fluoroscopy. For intracranial neurosurgery, the dissertation includes three inter-modality deformable registrations using physic-based Demons and deep learning models for CT-guided and CBCT-guided procedures

Multimodal inference of articulated spine models from higher order energy functions of discrete MRFS

International audienceIn this paper, we introduce a novel approach based on higher order energy functions which have the ability to encode global structural dependencies to infer articulated 3D spine models to CT volume data. A personalized geometrical model is reconstructed from biplanar X-rays before spinal surgery in order to create a spinal column representation which is modeled by a series of intervertebral transformations based on rotation and translation parameters. The shape transformation between the standing and lying poses is then achieved through a Markov Random Field optimization graph, where the unknown variables are the deformations applied to the intervertebral transformations. Singleton and pairwise potentials measure the support from the data and geometrical dependencies between neighboring vertebrae respectively, while higher order cliques are introduced to integrate consistency in regional curves. Optimization of model parameters in a multi-modal context is achieved using efficient linear programming and duality. A qualitative evaluation of the vertebra model alignment obtained from the proposed method gave promising results while the quantitative comparison to expert identification yields an accuracy of 1.8 ± 0.7 mm based on the localization of surgical landmarks