A statistical shape model for deformable surface

This short paper presents a deformable surface registration scheme which is based on the statistical shape modelling technique. The method consists of two major processing stages, model building and model fitting. A statistical shape model is first built using a set of training data. Then the model is deformed and matched to the new data by a modified iterative closest point (ICP) registration process. The proposed method is tested on real 3-D facial data from BU-3DFE database. It is shown that proposed method can achieve a reasonable result on surface registration, and can be used for patient position monitoring in radiation therapy and potentially can be used for monitoring of the radiation therapy progress for head and neck patients by analysis of facial articulation

Rigid Point-Surface Registration Using an EM variant of ICP for Computer Guided Oral Implantology

International audienceno abstrac

Intrinsic Statistics on Riemannian Manifolds: Basic Tools for Geometric Measurements

A preliminary appeared as INRIA RR-5093, January 2004.International audienceIn medical image analysis and high level computer vision, there is an intensive use of geometric features like orientations, lines, and geometric transformations ranging from simple ones (orientations, lines, rigid body or affine transformations, etc.) to very complex ones like curves, surfaces, or general diffeomorphic transformations. The measurement of such geometric primitives is generally noisy in real applications and we need to use statistics either to reduce the uncertainty (estimation), to compare observations, or to test hypotheses. Unfortunately, even simple geometric primitives often belong to manifolds that are not vector spaces. In previous works [1, 2], we investigated invariance requirements to build some statistical tools on transformation groups and homogeneous manifolds that avoids paradoxes. In this paper, we consider finite dimensional manifolds with a Riemannian metric as the basic structure. Based on this metric, we develop the notions of mean value and covariance matrix of a random element, normal law, Mahalanobis distance and X² law. We provide a new proof of the characterization of Riemannian centers of mass and an original gradient descent algorithm to efficiently compute them. The notion of Normal law we propose is based on the maximization of the entropy knowing the mean and covariance of the distribution. The resulting family of pdfs spans the whole range from uniform (on compact manifolds) to the point mass distribution. Moreover, we were able to provide tractable approximations (with their limits) for small variances which show that we can effectively implement and work with these definitions

Bildbasierte Selbstlokalisierung von Straßenfahrzeugen

Die zuverlässige Bestimmung der eigenen Fahrzeugposition ist eine wichtige Voraussetzung für viele moderne Fahrerassistenzsysteme. Als vielversprechende und kostengünstige Alternative zu satellitenbasierten Lokalisierungssystemen wird in dieser Arbeit ein Gesamtsystem zur bildbasierten Lokalisierung für den Einsatz in Straßenfahrzeugen vorgestellt, welches durch den Abgleich der Bilder einer im Fahrzeug eingebauten Kamera mit Luftaufnahmen die Fahrzeugposition ermittelt

Robust and Efficient Semantic Sensor Registration for Mobile Robotics in Unorganized, Natural, Scenes

Advances in sensing and computing hardware have led to renewed interest in registration algorithms. In particular, the proliferation of 3D LIDAR sensors and RGBD cameras and their use in robotic systems require efficient, robust, and accurate estimation algorithms for use in mapping, localization, and tracking tasks. Most modern approaches to autonomous driving require localizing and calibrating multiple LIDAR sensors, both of which are registration tasks. Meanwhile, tasks in the domain of indoor robotics require both localizing the robot and localizing objects of interest in the environment. The registration problem is that of trying to find the rigid body transformation between two measurements. This can include consecutive measurements (producing an odometry estimate), measurements from disparate points in time (such as for localization and mapping), and between different sensors (such as for calibrating multiple sensors on a platform). Semantic detection and segmentation have similarly significantly progressed. Semantic inference on images and point clouds has shown increasing value in vision-based applications. The application of Convolutional Neural Networks (CNNs) has improved the computational efficiency of semantic segmentation techniques with superior performance in both indoor and outdoor benchmarks. Together with pose estimation techniques, multiple scenes can be segmented and combined to perform semantic mapping or object tracking; nevertheless, most semantic mapping and object tracking research has focused on performing pose estimation, and then semantic inference. So far, most research has not focused on joint semantic and metric estimation. This thesis focuses on leveraging semantic inference to enable efficient and robust sensor registration. In robotics, semantic inference is increasingly used for downstream reasoning tasks. This thesis explores how that inference can be used in upstream task such as egomotion estimation,object pose estimation, and multisensor calibration. This work is based on improving the Iterative Closest Point (ICP) algorithm. Our first contribution in this thesis explores how probabilistic semantic labels can be used in sensor registration. We present an approach that uses the Expectation Maximization (EM) technique to improve associations in the ICP framework. We also use an M-Estimator and optimize directly on the SE(3) manifold to improve the robustness. Our results on publicly available indoor and outdoor data sets show that semantics can help improve registration accuracy. For the second contribution, we add informative channels to the semantic ICP framework to aid in object-level registration. This includes work on using sparse kernels to represent intensity and color channels for regularizing the registration problem, and work on curvature based alignment to improve object pose estimation. Both of these techniques extend registration algorithms beyond their purely geometric base. The third part presents our contribution on reformulating the registration problem as a mixed integer program (MIP). Most previous approaches to sensor registration use gradient-based optimization techniques. If the cost function used is nonconvex, they are prone to getting caught in local minima. The problem is reformulated as a MIP by linearizing the cost function and representing the data association as an integer valued variable. This thesis focuses on developing robust, accurate registration techniques for mobile robotics applications. It presents results and proposed evaluation in the areas of indoor home robotics and autonomous driving, many of which are publicly available benchmark data sets. Sensor registration is a fundamental component of many robotic systems, and the advances proposed in this thesis have the potential to benefit many more aspects of perceptual systems.PHDElectrical Engineering: SystemsUniversity of Michigan, Horace H. Rackham School of Graduate Studieshttps://deepblue.lib.umich.edu/bitstream/2027.42/155198/1/sparki_1.pd

De la neurochirurgie guidée par l'image,<br />au processus neurochirurgical assisté par la connaissance et l'information

La totalité des services français de neurochirurgie est aujourd'hui équipée de systèmes de neuronavigation. Ces systèmes de chirurgie guidée par l'image permettent le lien direct entre le patient, en salle d'opération, et ses images pré opératoires ; c'est-à-dire que le neurochirurgien, en salle d'opération et à tout instant, connaît, à partir d'un point désigné sur le patient par un outil, le point correspondant dans ses images d'IRM ou de Scanner X. Ceci est possible grâce à des localisateurs tridimensionnels et des logiciels de recalage d'images. Les bénéfices de tels systèmes pour le patient ont déjà été montrés. Ils rendent notamment la chirurgie plus sûre et moins invasive.Il est important de considérer le concept de chirurgie guidée par l'image comme un processus qui ne se réduit pas à la seule étape de réalisation du geste chirurgical. Depuis près d'une dizaine d'années, il existe un consensus sur l'importance de l'étape de préparation pour anticiper la réalisation du geste. Ce processus peut aussi inclure des étapes de choix de la stratégie chirurgicale, de simulation ou de répétition du geste et de suivi post opératoire du patient. Chaque étape de ce processus se fonde sur des observations liées au patient, comme ses images pré opératoires, sur des connaissances génériques explicites, comme des livres ou des atlas numériques d'anatomie, et sur des connaissances implicites résultant de l'expérience du chirurgien. Malgré cela, dans les systèmes actuels de chirurgie guidée par l'image, la seule information explicite utilisée est, le plus souvent, réduite à une simple imagerie anatomique. Alors que si l'on introduisait dans ces systèmes les images multimodales du patient, on prendrait mieux en compte la complexité anatomique, physiologique et métabolique des structures cérébrales. Sans compter que dans ces systèmes, la préparation de la procédure chirurgicale se réduit principalement à la définition de la cible et d'une trajectoire d'accès rectiligne. Si l'on considérait la procédure comme une succession d'étapes et d'actions, on permettrait au neurochirurgien de mieux préparer et, donc, de mieux réaliser son geste. Son savoir-faire implicite pourrait être explicité. Enfin, ces systèmes ne tiennent pas compte des déformations anatomiques intra opératoires dues, notamment, au geste chirurgical. Ainsi, les images pré opératoires du patient deviennent rapidement obsolètes et ne correspondent plus à la réalité anatomique du patient.Il existe donc un fossé entre la chirurgie telle qu'elle est vue par ces systèmes et la réalité chirurgicale. C'est ce fossé que je cherche à combler.Mes travaux de recherche se situent dans le domaine du génie biologique et médical. Ils incluent des aspects liés au traitement d'images et à l'informatique médicale. Le domaine d'application est la neurochirurgie. Les méthodes mises en oeuvre dans les travaux que je présenterai s'appuient sur un concept de coopération entre observations et connaissances. Ainsi, sur l'aspect observations, je présenterai l'introduction d'images multimodales du patient, dans le processus chirurgical, qu'elles soient pré ou intra opératoires. Sur l'aspect connaissances, je présenterai une démarche qui permet de formaliser certaines connaissances relatives à la neurochirurgie.La méthodologie de recherche que j'ai utilisée suit une approche itérative, où l'application clinique est centrale. A partir des connaissances médicales, les spécifications d'un nouveau projet sont définies. Ces spécifications entraînent le développement de nouvelles méthodes et leur implémentation par le biais d'un prototype d'application. Ce prototype permet, grâce àune utilisation pré clinique, d'évaluer ces méthodes. Cette implémentation et cette phase d'utilisation autorisent aussi un retour vers la méthode, pour vérifier la pertinence des choix réalisés et pour contribuer à son amélioration. Enfin, cette boucle permet une validation des connaissances initiales et un possible enrichissement de celles-ci. Les objectifs de mes recherches sont donc, à la fois, l'élaboration de nouveaux systèmes d'intérêt thérapeutique et la génération de nouvelles connaissances chirurgicales.Ce document aborde trois domaines principaux : la neurochirurgie guidée par l'image, la neurochirurgie guidée par l'information et la validation des outils de traitement d'images médicales en chirurgie guidée par l'image. Pour chacun de ces domaines, je présenterai le contexte et l'état de l'art, les contributions personnelles apportées au domaine et ses perspectives d'évolution.Dans le premier chapitre, je présenterai comment l'imagerie médicale peut assister la chirurgie. Pour cela, j'introduirai les méthodes de traitement d'images, plus particulièrement le recalage et la fusion d'images médicales. Ces dernières sont incontournables en neurochirurgie guidée par l'image, le principe même de ce type de chirurgie étant cette mise en correspondance géométrique entre repère des images et repère du patient. Puis, je présenterai le principe du processus chirurgical assisté par l'image, en décrivant les différentes étapes mises en jeu dans un tel processus. Je présenterai mes contributions : 1) l'introduction du concept de neuronavigation multimodale et multi informationnelle, et 2) l'introduction du concept de virtualité augmentée, en complément aux approches de réalité augmentée.Dans le deuxième chapitre, je présenterai le concept récent de chirurgie guidée par l'information, qui s'appuie sur une formalisation du processus chirurgical et des connaissances associées. Nous verrons que ce processus peut être étudié selon différents angles, chaque angle d'étude correspondant à un objectif applicatif précis. Je présenterai une méthodologie complète permettant supervision et apprentissage par : 1) la prise en compte, dans le processus de chirurgie guidée par l'image multimodale, de certaines connaissances implicites du chirurgien, notamment liées à son expertise chirurgicale, en les rendant explicites, et 2) la génération de connaissances sur la chirurgie.Les deux premiers chapitres démontrent comment il peut être intéressant de faire coopérer images et connaissances. Dans le troisième chapitre, nous proposerons d'appliquer ce concept de coopération entre observations et connaissances au contexte des déformations anatomiques intra opératoires. Nous montrerons la complexité de ce phénomène, et de ses causes, et les limites des méthodes présentées dans la littérature. Nous décrirons succinctement comment ce concept pourra être appliqué dans le cadre d'un projet de recherche qui débute.Dans le quatrième chapitre, j'insisterai sur l'importance de la validation des outils de traitement d'images en chirurgie guidée par l'image. J'introduirai la terminologie et la méthodologie liées à la validation principalement technique des outils de traitement d'images, en soulignant le besoin de standardisation. Je présenterai mes contributions au domaine : la définition d'une méthodologie standardisée pour la validation des méthodes de recalage d'images médicales, basée sur la comparaison avec une référence.Je terminerai, dans le cinquième chapitre, par une ébauche de description des évolutions à court et à long terme de la chirurgie, s'inspirant des réflexions et résultats des chapitres précédents