Introduction to the catadioptric panoramic vision

Increase the field of view of vision systems in order to obtain panoramic (omnidirectional) images is the objective of the omnidirectional vision. Many solutions have been imagined and the catadioptric approach holds a privileged place. Many applications, in particular in mobile robotics, have proved the benefits of this artificial visual perception approach. They also raised a multitude of theoretical and practical questions. After an "empirical" period for the design of these cameras, numerous works have dealt with the geometrical and optical formalization and modelling. The objective of this paper is to introduce the omnidirectional vision and to give a fast outline of the existing geometrical models and calibration methods in order to make easier the reading of the articles proposed in this journal. The papers published here will be referred, when it is necessary, to locate them in comparison with the used geometrical models.Augmenter le champ de vue des systèmes de vision pour le rendre panoramique, voire omnidirectionnel, tel est l’objectif de la vision omnidirectionnelle. Plusieurs solutions ont été imaginées pour y arriver parmi lesquelles l’approche catadioptrique tient une place privilégiée. Beaucoup d’applications, notamment en robotique mobile, ont prouvé l’intérêt de cette approche de la perception visuelle artificielle. Elles ont aussi soulevé une multitude de questions théoriques et pratiques. Après une période « empirique » de conception des caméras, beaucoup de travaux de recherche ont traité de la formalisation et la modélisation géométrique et optique. C’est actuellement l’aspect le plus abouti. L’objectif de ce papier est d’introduire la vision omnidirectionnelle et de donner un aperçu rapide des modèles géométriques existants et des méthodes calibrage afin de faciliter la lecture des articles de ce numéro. Les articles parus dans ce numéro spécial seront référencés, lorsqu’il y a lieu, pour les situer par rapport aux modèles géométriques utilisés

Applications de la vision omnidirectionnelle à la perception de scènes pour des systèmes mobiles

Ce mémoire présente une synthèse des travaux que j’ai menés à l’ESIGELEC au sein de son institut de recherche l’IRSEEM. Mes activités de recherche ont porté dans un premier temps sur la conception et l’évaluation de dispositifs de mesure de la dynamique de la marche de personnes atteintes de pathologies de la hanche, dans le cadre de ma thèse effectuée à l’université de Rouen en lien le Centre Hospitalo-Universitaire de Rouen. En 2003, j’ai rejoint les équipes de recherche qui se constituaient avec la mise sur pieds de l’IRSEEM, Institut de Recherche en Systèmes Electroniques Embarqués, créé en 2001. Dans ce laboratoire, j’ai structuré et développé une activité de recherche dans le domaine de la vision par ordinateur appliquée au véhicule intelligent et à la robotique mobile autonome. Dans un premier temps, j’ai concentré mes travaux à l’étude de systèmes de vision omnidirectionnelle tels que les capteurs catadioptriques centraux et leur utilisation pour des applications mobiles embarquées ou débarquées : modélisation et calibrage, reconstruction tridimensionnelle de scènes par stéréovision et déplacement du capteur. Dans un second temps, je me suis intéressé à la conception et la mise en œuvre de systèmes de vision à projection non centrale (capteurs catadioptriques à miroirs composés, caméra plénoptique). Ces travaux ont été effectués au travers en collaboration avec le MIS de l‘Université Picardie Jules Verne et l’ISIR de l’Université Pierre et Marie Curie. Enfin, dans le cadre d’un programme de recherche en collaboration avec l’Université du Kent, j’ai consacré une partie de mes travaux à l’adaptation de méthodes de traitement d’images et de classification pour la détection de visages sur images omnidirectionnelles (adaptation du détecteur de Viola et Jones) et à la reconnaissance biométrique d’une personne par analyse de sa marche. Aujourd’hui, mon activité s’inscrit dans le prolongement du renforcement des projets de l’IRSEEM dans le domaine de la robotique mobile et du véhicule autonome : mise en place d’un plateau de mesures pour la navigation autonome, coordination de projets de recherche en prise avec les besoins industriels. Mes perspectives de recherche ont pour objet l’étude de nouvelles solutions pour la perception du mouvement et la localisation en environnement extérieur et sur les méthodes et moyens nécessaires pour objectiver la performance et la robustesse de ces solutions sur des scénarios réalistes

CONTRIBUTION A LA STEREOVISION OMNIDIRECTIONNELLE ET AU TRAITEMENT DES IMAGES CATADIOPTRIQUES : APPLICATION AUX SYSTEMES AUTONOMES

Computer vision and digital image processing are two disciplines aiming to endow computers with a sense of perception and image analysis, similar to that of humans. Artificial visual perception can be greatly enhanced when a large field of view is available. This thesis deals with the use of omnidirectional cameras as a mean of expanding the field of view of computer vision systems. The visual perception of depth (3D) by means of omnistereo configurations, and special processing algorithms adapted to catadioptric images, are the main subjects studied in this thesis. Firstly a survey on 3D omnidirectional vision systems is conducted. It highlights the main approaches for obtaining depth information, and provides valuable indications for the choice of the configuration according to the application requirements. Then the design of an omnistereo sensor is addressed, we present a new configuration of the proposed sensor formed by a unique catadioptric camera, dedicated to robotic applications. An experimental investigation of depth estimation accuracy was conducted to validate the new configuration.Digital images acquired by catadioptric cameras present various special geometrical proprieties, such as non-uniform resolution and severe radial distortions. The application of conventional algorithms to process such images is limited in terms of performance. For that, new algorithms adapted to the spherical geometry of catadioptric images have been developed.Gathered omnidirectional computer vision techniques were finally used in two real applications. The first concerns the integration of catadioptric cameras to a mobile robot. The second focuses on the design of a solar tracker, based on a catadioptric camera.The results confirm that the adoption of such sensors for autonomous systems offer more performance and flexibility in regards to conventional sensors.La vision par ordinateur est une discipline qui vise doter les ordinateurs d’un sens de perception et d’analyse d'image semblable à celui de l’homme. La perception visuelle artificielle peut être grandement améliorée quand un grand champ de vision est disponible. Cette thèse traite de l'utilisation des caméras omnidirectionnelles comme un moyen d'élargir le champ de vision des systèmes de vision artificielle. La perception visuelle de la profondeur (3D) par le biais de configurations omnistéréo, et les algorithmes de traitement adaptés aux images catadioptriques, sont les principaux sujets étudiés.Tout d'abord une étude des systèmes de vision omnidirectionnelle 3D est menée. Elle met en évidence les principales approches pour obtenir l’information sur la profondeur et fournit des indications précieuses sur le choix de la configuration en fonction des besoins de l'application. Ensuite, la conception d'un capteur omnistéréo est adressée ; nous présentons une nouvelle configuration du capteur proposé basé une caméra catadioptrique unique, et dédié à la robotique mobile. Des expérimentations sur la précision d’estimation de la profondeur ont été menées pour valider la nouvelle configuration. Les images catadioptriques présentent diverses propriétés géométriques particulières, telles que la résolution non-uniforme et de fortes distorsions radiales. L’application des algorithmes de traitement classiques à ce type d’images se trouve limité en termes de performances. Dans ce sens, de nouveaux algorithmes adaptés à la géométrie sphérique de ces images ont été développés.Les techniques de vision omnidirectionnelle artificielle recueillies ont été finalement exploitées dans deux applications réelles. La première concerne l’intégration des caméras catadioptriques à un robot mobile. La seconde porte sur la conception d’un suiveur solaire, à base d’une caméra catadioptrique.Les résultats obtenus confirment que l’adoption de tels capteurs pour les systèmes autonomes offre plus de performances et de flexibilité en regards aux capteurs classiques