Motion Estimation from Disparity Images

A new method for 3D rigid motion estimation from stereo is proposed in this paper. The appealing feature of this method is that it directly uses the disparity images obtained from stereo matching. We assume that the stereo rig has parallel cameras and show, in that case, the geometric and topological properties of the disparity images. Then we introduce a rigid transformation (called d-motion) that maps two disparity images of a rigidly moving object. We show how it is related to the Euclidean rigid motion and a motion estimation algorithm is derived. We show with experiments that our approach is simple and more accurate than standard approaches

Visual Servoing of Robot Manipulators Part I : Projective Kinematics

Visual servoing of robot manipulators is a key technique where video images, i.e. the visual appearance of an object is used to control the end-effector. Most such methods use robots and cameras that have been calibrated. In this report we suggest a non-metric formulation of visual servoing that works with an uncalibrated stereo rig, i.e. in the projective space associated with it. In consequence, the robot kinematics and the robot Jacobian have to defined projectively, as well. Elementary motions of robot joints are pure rotations and pure translations. Rather than representing them by Euclidean transformations, the uncalibrated stereo rig suggests to represent them by corresponding projective transformations (homographies). They are introduced as projective rotations and projective translations, their algebraic properties and special parameterizations are thoroughly investigated- . This gives raise to the definition of a projectiv kinematic map and a projective Jacobian matrix. Unlike the classical robot Jacobian, which relates joint-velocities to end-effector velocities, we establish a direct relationship between joint-velocities and image-velocities, i.e. the velocitie- s of those images points corresponding to end-effector features. Finally, we provide a practical method to establish the projective kinematics and describe preliminary simulated experiments of stereo-based visual servoing using the non-metric model. Nevertheless, in depth analysis of projective control will be the topic of a forthcoming paper

Accurate 3D shape and displacement measurement using a scanning electron microscope

With the current development of nano-technology, there exists an increasing demand for three-dimensional shape and deformation measurements at this reduced-length scale in the field of materials research. Images acquired by \ud Scanning Electron Microscope (SEM) systems coupled with analysis by Digital Image Correlation (DIC) is an interesting combination for development of a high magnification measurement system. However, a SEM is designed for visualization, not for metrological studies, and the application of DIC to the micro- or nano-scale with such a system faces the challenges of calibrating the imaging system and correcting the spatially-varying and \ud time-varying distortions in order to obtain accurate measurements. Moreover, the SEM provides only a single sensor and recovering 3D information is not possible with the classical stereo-vision approach. But the specimen being mounted on the mobile SEM stage, images can be acquired from multiple viewpoints and 3D reconstruction is possible using the principle of videogrammetry for recovering the unknown rigid-body motions undergone by \ud the specimen.\ud The dissertation emphasizes the new calibration methodology that has been developed because it is a major contribution for the accuracy of 3D shape and deformation measurements at reduced-length scale. It proves that, unlike previous works, image drift and distortion must be taken into account if accurate measurements are to be made with such a system. Necessary background and required theoretical knowledge for the 3D shape measurement using videogrammetry and for in-plane and out-of-plane deformation measurement are presented in details as well. In order to validate our work and demonstrate in particular the obtained measurement accuracy, experimental results resulting from different applications are presented throughout the different chapters. At last, a software gathering different computer vision applications has been developed.\ud Avec le développement actuel des nano-technologies, la demande en matière d'étude du comportement des matériaux à des échelles micro ou nanoscopique ne cesse d'augmenter. Pour la mesure de forme ou de déformations tridimensionnelles à ces échelles de grandeur,l'acquisition d'images à partir d'un Microscope électronique à Balayage (MEB) couplée à l'analyse par corrélation d'images numériques s'est avérée une technique intéressante. \ud Cependant, un MEB est un outil conçu essentiellement pour de la visualisation et son utilisation pour des mesures tridimensionnelles précises pose un certain nombre de difficultés comme par exemple le calibrage du système et la \ud correction des fortes distorsions (spatiales et temporelles) présentes dans les images. De plus, le MEB ne possède qu'un seul capteur et les informations tridimensionnelles souhaitées ne peuvent pas être obtenues par une approche classique de type stéréovision. Cependant, l'échantillon à analyser étant monté sur un support orientable, des images peuvent être acquises sous différents points de vue, ce qui permet une reconstruction tridimensionnelle en utilisant le principe de vidéogrammétrie pour retrouver à partir des seules images les mouvements inconnus du porte-échantillon.\ud La thèse met l'accent sur la nouvelle technique de calibrage et de correction des distorsions développée car c'est une contribution majeure pour la précision de la mesure de forme et de déformations 3D aux échelles de \ud grandeur étudiées. Elle prouve que, contrairement aux travaux précédents, la prise en compte de la dérive temporelle et des distorsions spatiales d'images \ud est indispensable pour obtenir une précision de mesure suffisante. Les principes permettant la mesure de forme par vidéogrammétrie et le calcul de déformations 2D et 3D sont aussi présentés en détails. Enfin, et dans le but de valider nos travaux et démontrer en particulier la précision de mesure obtenue, des résultats expérimentaux issus de différentes applications sont présentés.\ud \ud \u

Calibração de um sistema de visão estéreo: de correspondências de pontos à reconstrução euclideana

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia ElétricaUma imagem fornece uma representação em duas dimensões de uma cena. Durante o processo de formação desta representação, todas as informações 3D são perdidas. Contudo, tais informações podem ser recuperadas, através da visão estéreo, se duas imagens de uma mesma cena, mas de perspectivas diferentes, estão disponíveis. No entanto, isto só é possível se o sistema estiver calibrado. Por isso, a calibração de câmeras é indispensável em diversas aplicações. Neste trabalho, realiza-se uma análise crítica das diversas técnicas de calibração existentes na literatura. Além disso, novos métodos de calibração de um sistema de visão binocular são propostos. Basicamente, as técnicas propostas consistem em, inicialmente, recuperar a geometria epipolar e realizar uma calibração projetiva. Em seguida, os pontos de um gabarito de uma única dimensão são utilizados para atualizar da calibração projetiva para a euclideana. Como é utilizado um gabarito de dimensões reduzidas e de fácil confecção, os métodos de calibração propostos são bastante flexíveis e de fácil execução. Para auxiliar a tarefa de calibração, novos algoritmos de correspondência de pontos e estimação da matriz fundamental também são propostos. Em especial, o algoritmo de estimação da matriz fundamental utiliza um conjunto de correspondências virtuais que definem um plano também virtual. Evidentemente, tal plano induz uma homografia entre as imagens estéreo. O paralaxe de correspondências que não satisfazem tal homografia permite estimar um dos epipolos do sistema e, portanto, caracterizar a matriz fundamental. A principal vantagem do método proposto é obter uma boa estimação utilizando uma parametrização com apenas cinco incógnitas. Experimentos em imagens reais e sintéticas validam as técnicas propostas, mostrando como seu desempenho varia quanto a quantidade de ruído e número de correspondências existentes

De la neurochirurgie guidée par l'image,<br />au processus neurochirurgical assisté par la connaissance et l'information

La totalité des services français de neurochirurgie est aujourd'hui équipée de systèmes de neuronavigation. Ces systèmes de chirurgie guidée par l'image permettent le lien direct entre le patient, en salle d'opération, et ses images pré opératoires ; c'est-à-dire que le neurochirurgien, en salle d'opération et à tout instant, connaît, à partir d'un point désigné sur le patient par un outil, le point correspondant dans ses images d'IRM ou de Scanner X. Ceci est possible grâce à des localisateurs tridimensionnels et des logiciels de recalage d'images. Les bénéfices de tels systèmes pour le patient ont déjà été montrés. Ils rendent notamment la chirurgie plus sûre et moins invasive.Il est important de considérer le concept de chirurgie guidée par l'image comme un processus qui ne se réduit pas à la seule étape de réalisation du geste chirurgical. Depuis près d'une dizaine d'années, il existe un consensus sur l'importance de l'étape de préparation pour anticiper la réalisation du geste. Ce processus peut aussi inclure des étapes de choix de la stratégie chirurgicale, de simulation ou de répétition du geste et de suivi post opératoire du patient. Chaque étape de ce processus se fonde sur des observations liées au patient, comme ses images pré opératoires, sur des connaissances génériques explicites, comme des livres ou des atlas numériques d'anatomie, et sur des connaissances implicites résultant de l'expérience du chirurgien. Malgré cela, dans les systèmes actuels de chirurgie guidée par l'image, la seule information explicite utilisée est, le plus souvent, réduite à une simple imagerie anatomique. Alors que si l'on introduisait dans ces systèmes les images multimodales du patient, on prendrait mieux en compte la complexité anatomique, physiologique et métabolique des structures cérébrales. Sans compter que dans ces systèmes, la préparation de la procédure chirurgicale se réduit principalement à la définition de la cible et d'une trajectoire d'accès rectiligne. Si l'on considérait la procédure comme une succession d'étapes et d'actions, on permettrait au neurochirurgien de mieux préparer et, donc, de mieux réaliser son geste. Son savoir-faire implicite pourrait être explicité. Enfin, ces systèmes ne tiennent pas compte des déformations anatomiques intra opératoires dues, notamment, au geste chirurgical. Ainsi, les images pré opératoires du patient deviennent rapidement obsolètes et ne correspondent plus à la réalité anatomique du patient.Il existe donc un fossé entre la chirurgie telle qu'elle est vue par ces systèmes et la réalité chirurgicale. C'est ce fossé que je cherche à combler.Mes travaux de recherche se situent dans le domaine du génie biologique et médical. Ils incluent des aspects liés au traitement d'images et à l'informatique médicale. Le domaine d'application est la neurochirurgie. Les méthodes mises en oeuvre dans les travaux que je présenterai s'appuient sur un concept de coopération entre observations et connaissances. Ainsi, sur l'aspect observations, je présenterai l'introduction d'images multimodales du patient, dans le processus chirurgical, qu'elles soient pré ou intra opératoires. Sur l'aspect connaissances, je présenterai une démarche qui permet de formaliser certaines connaissances relatives à la neurochirurgie.La méthodologie de recherche que j'ai utilisée suit une approche itérative, où l'application clinique est centrale. A partir des connaissances médicales, les spécifications d'un nouveau projet sont définies. Ces spécifications entraînent le développement de nouvelles méthodes et leur implémentation par le biais d'un prototype d'application. Ce prototype permet, grâce àune utilisation pré clinique, d'évaluer ces méthodes. Cette implémentation et cette phase d'utilisation autorisent aussi un retour vers la méthode, pour vérifier la pertinence des choix réalisés et pour contribuer à son amélioration. Enfin, cette boucle permet une validation des connaissances initiales et un possible enrichissement de celles-ci. Les objectifs de mes recherches sont donc, à la fois, l'élaboration de nouveaux systèmes d'intérêt thérapeutique et la génération de nouvelles connaissances chirurgicales.Ce document aborde trois domaines principaux : la neurochirurgie guidée par l'image, la neurochirurgie guidée par l'information et la validation des outils de traitement d'images médicales en chirurgie guidée par l'image. Pour chacun de ces domaines, je présenterai le contexte et l'état de l'art, les contributions personnelles apportées au domaine et ses perspectives d'évolution.Dans le premier chapitre, je présenterai comment l'imagerie médicale peut assister la chirurgie. Pour cela, j'introduirai les méthodes de traitement d'images, plus particulièrement le recalage et la fusion d'images médicales. Ces dernières sont incontournables en neurochirurgie guidée par l'image, le principe même de ce type de chirurgie étant cette mise en correspondance géométrique entre repère des images et repère du patient. Puis, je présenterai le principe du processus chirurgical assisté par l'image, en décrivant les différentes étapes mises en jeu dans un tel processus. Je présenterai mes contributions : 1) l'introduction du concept de neuronavigation multimodale et multi informationnelle, et 2) l'introduction du concept de virtualité augmentée, en complément aux approches de réalité augmentée.Dans le deuxième chapitre, je présenterai le concept récent de chirurgie guidée par l'information, qui s'appuie sur une formalisation du processus chirurgical et des connaissances associées. Nous verrons que ce processus peut être étudié selon différents angles, chaque angle d'étude correspondant à un objectif applicatif précis. Je présenterai une méthodologie complète permettant supervision et apprentissage par : 1) la prise en compte, dans le processus de chirurgie guidée par l'image multimodale, de certaines connaissances implicites du chirurgien, notamment liées à son expertise chirurgicale, en les rendant explicites, et 2) la génération de connaissances sur la chirurgie.Les deux premiers chapitres démontrent comment il peut être intéressant de faire coopérer images et connaissances. Dans le troisième chapitre, nous proposerons d'appliquer ce concept de coopération entre observations et connaissances au contexte des déformations anatomiques intra opératoires. Nous montrerons la complexité de ce phénomène, et de ses causes, et les limites des méthodes présentées dans la littérature. Nous décrirons succinctement comment ce concept pourra être appliqué dans le cadre d'un projet de recherche qui débute.Dans le quatrième chapitre, j'insisterai sur l'importance de la validation des outils de traitement d'images en chirurgie guidée par l'image. J'introduirai la terminologie et la méthodologie liées à la validation principalement technique des outils de traitement d'images, en soulignant le besoin de standardisation. Je présenterai mes contributions au domaine : la définition d'une méthodologie standardisée pour la validation des méthodes de recalage d'images médicales, basée sur la comparaison avec une référence.Je terminerai, dans le cinquième chapitre, par une ébauche de description des évolutions à court et à long terme de la chirurgie, s'inspirant des réflexions et résultats des chapitres précédents

From Projective to Euclidean Reconstruction

To make a Euclidean reconstruction of the world seen through a stereo ig, we can either use a calibration grid, and the results will rely on the precision of the grid and the extracted points of interest, or use self-calibration. Past work on self-calibration is focussed on the use of only one camera, and gives sometimes very unstable results. In this paper, we use a stereo rig..