Two View Line-Based Motion and Structure Estimation for Planar Scenes

We present an algorithm for reconstruction of piece-wise planar scenes from only two views and based on minimum line correspondences. We first recover camera rotation by matching vanishing points based on the methods already exist in the literature and then recover the camera translation by searching among a family of hypothesized planes passing through one line. Unlike algorithms based on line segments, the presented algorithm does not require an overlap between two line segments or more that one line correspondence across more than two views to recover the translation and achieves the goal by exploiting photometric constraints of the surface around the line. Experimental results on real images prove the functionality of the algorithm

Control of a PTZ camera in a hybrid vision system

In this paper, we propose a new approach to steer a PTZ camera in the direction of a detected object visible from another fixed camera equipped with a fisheye lens. This heterogeneous association of two cameras having different characteristics is called a hybrid stereo-vision system. The presented method employs epipolar geometry in a smart way in order to reduce the range of search of the desired region of interest. Furthermore, we proposed a target recognition method designed to cope with the illumination problems, the distortion of the omnidirectional image and the inherent dissimilarity of resolution and color responses between both cameras. Experimental results with synthetic and real images show the robustness of the proposed method

A 3D scanner for transparent glass

Many practical tasks in industry, such as automatic inspection or robot vision, often require the scanning of three-dimensional shapes by use of non-contact techniques. However, few methods have been proposed to measure three-dimensional shapes of transparent objects because of the difficulty of dealing with transparency and specularity of the surface. This paper presents a 3D scanner for transparent glass objects based on Scanning From Heating (SFH), a new method that makes use of local surface heating and thermal imaging

Scanning from heating: 3D shape estimation of transparent objects from local surface heating

Today, with quality becoming increasingly important, each product requires three-dimensional in-line quality control. On the other hand, the 3D reconstruction of transparent objects is a very difficult problem in computer vision due to transparency and specularity of the surface. This paper proposes a new method, called Scanning From Heating (SFH), to determine the surface shape of transparent objects using laser surface heating and thermal imaging. Furthermore, the application to transparent glass is discussed and results on different surface shapes are presented

Reconstruction 3D de scènes dynamiques par segmentation au sens du mouvement

National audienceL'objectif de ce travail est de reconstruire les parties sta-tiques et dynamiques d'une scène 3D à l'aide d'un robot mobile équipé d'un capteur 3D. Cette reconstruction né-cessite la classification des points 3D acquis au cours du temps en point fixe et point mobile indépendamment du dé-placement du robot. Notre méthode de segmentation utilise directement les données 3D et étudie les mouvements des objets dans la scène sans hypothèse préalable. Nous déve-loppons un algorithme complet reconstruisant les parties fixes de la scène à chaque acquisition à l'aide d'un RAN-SAC qui ne requiert que 3 points pour recaler les nuages de points. La méthode a été expérimentée sur de larges scènes en extérieur. Par ailleurs, nous montrons sur les séquences tests KITTI que la prise en compte des données 3D per-met d'améliorer les approches 2D en levant les ambiguïtés dues à la perte d'une dimension dans les images. Mots-Clefs Estimation de pose, reconstruction 3D, SfM, segmentation au sens du mouvement

Décodage d'un motif structurant codé par la couleur

- Cet article présente un algorithme de décodage d'un motif structurant permettant, en une seule prise de vue, de déterminer, à partir des couleurs apparentes dans l'image, les couleurs initialement projetées parmi six primitives. Nous montrons qu'un simple algorithme de coalescence, judicieusement initialisé, permet un tel décodage. Nous basons son initialisation sur le positionnement relatif des six classes de couleur dans l'espace Lab

Combining omnidirectional vision with polarization vision for robot navigation

La polarisation est le phénomène qui décrit les orientations des oscillations des ondes lumineuses qui sont limitées en direction. La lumière polarisée est largement utilisée dans le règne animal,à partir de la recherche de nourriture, la défense et la communication et la navigation. Le chapitre (1) aborde brièvement certains aspects importants de la polarisation et explique notre problématique de recherche. Nous visons à utiliser un capteur polarimétrique-catadioptrique car il existe de nombreuses applications qui peuvent bénéficier d'une telle combinaison en vision par ordinateur et en robotique, en particulier pour l'estimation d'attitude et les applications de navigation. Le chapitre (2) couvre essentiellement l'état de l'art de l'estimation d'attitude basée sur la vision.Quand la lumière non-polarisée du soleil pénètre dans l'atmosphère, l'air entraine une diffusion de Rayleigh, et la lumière devient partiellement linéairement polarisée. Le chapitre (3) présente les motifs de polarisation de la lumière naturelle et couvre l'état de l'art des méthodes d'acquisition des motifs de polarisation de la lumière naturelle utilisant des capteurs omnidirectionnels (par exemple fisheye et capteurs catadioptriques). Nous expliquons également les caractéristiques de polarisation de la lumière naturelle et donnons une nouvelle dérivation théorique de son angle de polarisation.Notre objectif est d'obtenir une vue omnidirectionnelle à 360 associée aux caractéristiques de polarisation. Pour ce faire, ce travail est basé sur des capteurs catadioptriques qui sont composées de surfaces réfléchissantes et de lentilles. Généralement, la surface réfléchissante est métallique et donc l'état de polarisation de la lumière incidente, qui est le plus souvent partiellement linéairement polarisée, est modifiée pour être polarisée elliptiquement après réflexion. A partir de la mesure de l'état de polarisation de la lumière réfléchie, nous voulons obtenir l'état de polarisation incident. Le chapitre (4) propose une nouvelle méthode pour mesurer les paramètres de polarisation de la lumière en utilisant un capteur catadioptrique. La possibilité de mesurer le vecteur de Stokes du rayon incident est démontré à partir de trois composants du vecteur de Stokes du rayon réfléchi sur les quatre existants.Lorsque les motifs de polarisation incidents sont disponibles, les angles zénithal et azimutal du soleil peuvent être directement estimés à l'aide de ces modèles. Le chapitre (5) traite de l'orientation et de la navigation de robot basées sur la polarisation et différents algorithmes sont proposés pour estimer ces angles dans ce chapitre. A notre connaissance, l'angle zénithal du soleil est pour la première fois estimé dans ce travail à partir des schémas de polarisation incidents. Nous proposons également d'estimer l'orientation d'un véhicule à partir de ces motifs de polarisation.Enfin, le travail est conclu et les possibles perspectives de recherche sont discutées dans le chapitre (6). D'autres exemples de schémas de polarisation de la lumière naturelle, leur calibrage et des applications sont proposées en annexe (B).Notre travail pourrait ouvrir un accès au monde de la vision polarimétrique omnidirectionnelle en plus des approches conventionnelles. Cela inclut l'orientation bio-inspirée des robots, des applications de navigation, ou bien la localisation en plein air pour laquelle les motifs de polarisation de la lumière naturelle associés à l'orientation du soleil à une heure précise peuvent aboutir à la localisation géographique d'un véhiculePolarization is the phenomenon that describes the oscillations orientations of the light waves which are restricted in direction. Polarized light has multiple uses in the animal kingdom ranging from foraging, defense and communication to orientation and navigation. Chapter (1) briefly covers some important aspects of polarization and explains our research problem. We are aiming to use a polarimetric-catadioptric sensor since there are many applications which can benefit from such combination in computer vision and robotics specially robot orientation (attitude estimation) and navigation applications. Chapter (2) mainly covers the state of art of visual based attitude estimation.As the unpolarized sunlight enters the Earth s atmosphere, it is Rayleigh-scattered by air, and it becomes partially linearly polarized. This skylight polarization provides a signi cant clue to understanding the environment. Its state conveys the information for obtaining the sun orientation. Robot navigation, sensor planning, and many other applications may bene t from using this navigation clue. Chapter (3) covers the state of art in capturing the skylight polarization patterns using omnidirectional sensors (e.g fisheye and catadioptric sensors). It also explains the skylight polarization characteristics and gives a new theoretical derivation of the skylight angle of polarization pattern. Our aim is to obtain an omnidirectional 360 view combined with polarization characteristics. Hence, this work is based on catadioptric sensors which are composed of reflective surfaces and lenses. Usually the reflective surface is metallic and hence the incident skylight polarization state, which is mostly partially linearly polarized, is changed to be elliptically polarized after reflection. Given the measured reflected polarization state, we want to obtain the incident polarization state. Chapter (4) proposes a method to measure the light polarization parameters using a catadioptric sensor. The possibility to measure the incident Stokes is proved given three Stokes out of the four reflected Stokes. Once the incident polarization patterns are available, the solar angles can be directly estimated using these patterns. Chapter (5) discusses polarization based robot orientation and navigation and proposes new algorithms to estimate these solar angles where, to the best of our knowledge, the sun zenith angle is firstly estimated in this work given these incident polarization patterns. We also propose to estimate any vehicle orientation given these polarization patterns. Finally the work is concluded and possible future research directions are discussed in chapter (6). More examples of skylight polarization patterns, their calibration, and the proposed applications are given in appendix (B). Our work may pave the way to move from the conventional polarization vision world to the omnidirectional one. It enables bio-inspired robot orientation and navigation applications and possible outdoor localization based on the skylight polarization patterns where given the solar angles at a certain date and instant of time may infer the current vehicle geographical location.DIJON-BU Doc.électronique (212319901) / SudocSudocFranceF

Production automatique de modèles tridimensionnels par numérisation 3D

La numérisation 3D telle que pratiquée aujourd'hui repose essentiellement sur les connaissances de l'opérateur qui la réalise. La qualité des résultats reste très sensible à la procédure utilisée et par conséquent aux compétences de l'opérateur. Ainsi, la numérisation manuelle est très coûteuse en ressources humaines et matérielles et son résultat dépend fortement du niveau de technicité de l'opérateur. Les solutions de numérisation les plus avancées en milieu industriel sont basées sur une approche d'apprentissage nécessitant une adaptation manuelle pour chaque pièce. Ces systèmes sont donc semi-automatiques compte tenu de l'importance de la contribution humaine pour la planification des vues.Mon projet de thèse se focalise sur la définition d'un procédé de numérisation 3D automatique et intelligente. Ce procédé est présenté sous forme d'une séquence de processus qui sont la planification de vues, la planification de trajectoires, l'acquisition et les post-traitements des données acquises. L'originalité de notre démarche de numérisation est qu'elle est générique parce qu'elle n'est pas liée aux outils et méthodes utilisés pour la réalisation des tâches liées à chaque processus. Nous avons également développé trois méthodes de planification de vues pour la numérisation d'objets sans connaissance a priori de leurs formes. Ces méthodes garantissent une indépendance des résultats par rapport au savoir-faire de l'opérateur. L'originalité de ces approches est qu'elles sont applicables à tous types de scanners. Nous avons implanté ces méthodes sur une cellule de numérisation robotisée. Nos approches assurent une reconstruction progressive et intelligente d'un large panel d'objets de différentes classes de complexité en déplaçant efficacement le scannerThe manual 3D digitization process is expensive since it requires a highly trained technician who decides about the different views needed to acquire the object model. The quality of the final result strongly depends, in addition to the complexity of the object shape, on the selected viewpoints and thus on the human expertise. Nowadays, the most developed digitization strategies in industry are based on a teaching approach in which a human operator manually determines one set of poses for the ranging device. The main drawback of this methodology is the influence of the operator's expertise. Moreover, this technique does not fulfill the high level requirement of industrial applications which require reliable, repeatable, and fast programming routines.My thesis project focuses on the definition of a procedure for automatic and intelligent 3D digitization. This procedure is presented as a sequence of processes that are essentially the view planning, the motion planning, the acquisition and the post-processing of the acquired data. The advantage of our procedure is that it is generic since it is not performed for a specific scanning system. Moreover, it is not dependent on the methods used to perform the tasks associated with each elementary process. We also developed three view planning methods to generate a complete 3D model of unknown and complex objects that we implemented on a robotic cell. Our methods enable fast and complete 3D reconstruction while moving efficiently the scanner. Additionaly, our approaches are applicable to all kinds of range sensors.DIJON-BU Doc.électronique (212319901) / SudocSudocFranceF

Projection de texture sur des objets 3D réels

Nous proposons une méthode pour projeter une texture sur un objet réel sans aucun contact. Une telle technique peut être utile dans les domaines médicales ou archéologiques. La technique de lumière structurée est une technique optique qui permet l'acquisition des formes. En projetant une mire adéquate sur la surface d'un objet et en capturant la scène, de nombreux points de correspondance peuvent être estimés et la reconstruction 3D par triangulation est alors possible. Une fois l'objet reconstruit et donc sa position connue, la projection de texture sur cet objet est alors possible