OpenSky: a modular and open-source simulator of sky polarization measurements

International audienceAutonomous navigation requires robust strategies, particularly in GPS-denied environments. Of great interest for geolocation or to estimate North is the measurement and processing of polarized skylight patterns. In this study, we fully describe an open source and easily upgradable simulator, named OpenSky, which can simulate the measurement of sky polarization properties, i.e., the light intensity, the angle of polarization and the degree of linear polarization of light seen through a polarimetric camera. OpenSky is an open source simulator available on open repositories (Github and Open Science Framework). It structured around 5 blocks, each of which can easily be improved, replaced or completed by users. These blocks individually simulate sky polarization properties, skylight intensity, optical conjugation, polarizing filters and sensors. The high fidelity of OpenSky was assessed by comparing the simulated camera captures to experimental raw images, from which both the angle and the degree of polarization were extracted by image processing. OpenSky will be useful for developing novel celestialbased sensors and estimating their potential relevance to scientific communities (fundamental or applied sciences). OpenSky could also become a powerful tool to train or validate deep neural networks. One major interest is the ability of the OpenSky simulator to generate many sky conditions at various positions on Earth, which can be difficult and costly to obtain in real world

Simulation de mesure polarimétrique du ciel

National audienceDans le cadre du développement d’une boussole optique bio-inspirée basée sur la lecture des propriétés de polarisation de la lumière diffusée par l’atmosphère, nous avons été amenés à développer un simulateur complet d’une caméra polarimétrique observant le ciel. Cela comprend le phénomène de diffusion multiple, la répartition de l’énergie lumineuse, l’optique utilisée, les caractéristiques des polariseurs et du capteur (matrice de pixels), ainsi que tous paramètres réglables en entrée. Ce simulateur a l’avantage d’être modulaire et évolutif. Il est constitué de plusieurs blocs élémentaires, facilement remplaçables, pour une amélioration constante et une bonne adaptabilité quels que soient les systèmes optiques et de détection étudiés. Ce simulateur sera disponible en "open source" sous Matlab et Python pour les besoins de la recherche et de la formation. Ce simulateur permettra ainsi de dimensionner les systèmes d’acquisition et surtout des algorithmes de traitement d’images à partir de données variées difficilement accessibles par l’expérimentation (conditions météorologiques, matériels couteux, éphémérides en zone géographique spécifique)

Simulation de mesure polarimétrique du ciel

National audienceDans le cadre du développement d’une boussole optique bio-inspirée basée sur la lecture des propriétés de polarisation de la lumière diffusée par l’atmosphère, nous avons été amenés à développer un simulateur complet d’une caméra polarimétrique observant le ciel. Cela comprend le phénomène de diffusion multiple, la répartition de l’énergie lumineuse, l’optique utilisée, les caractéristiques des polariseurs et du capteur (matrice de pixels), ainsi que tous paramètres réglables en entrée. Ce simulateur a l’avantage d’être modulaire et évolutif. Il est constitué de plusieurs blocs élémentaires, facilement remplaçables, pour une amélioration constante et une bonne adaptabilité quels que soient les systèmes optiques et de détection étudiés. Ce simulateur sera disponible en "open source" sous Matlab et Python pour les besoins de la recherche et de la formation. Ce simulateur permettra ainsi de dimensionner les systèmes d’acquisition et surtout des algorithmes de traitement d’images à partir de données variées difficilement accessibles par l’expérimentation (conditions météorologiques, matériels couteux, éphémérides en zone géographique spécifique)

A stand-alone polarimetric acquisition system for producing a long-term skylight dataset

International audienceSkylight polarization phenomenon is at the origin of a recent growing interest for bio-inspired navigation. Skylightbased orientation sensors can be simulated on the basis of physical models. In parallel, machine learning algorithms require a large amount of data to be trained. However, while some simulated databases already exists in the literature, a public database composed of real-world color polarimetric images of the sky in various weather conditions does not. In this study, a long-term experimental device is presented, designed to be left in a distant roof to acquire data over several months, using a Division-of-Focal-Plane polarization imager with a fisheye lens mounted on a rotative telescope mount. An open-source mechanical and electrical design is proposed for easy replication at other locations, with an algorithm to get the sensor's orientation and geometrical calibration in the East-North-Up frame. A sample one-month long dataset is provided on a public archive

Simulation de mesure polarimétrique du ciel

International audienceDans le cadre du développement d’une boussole optique bio-inspirée basée sur la lecture des propriétés de polarisation de la lumière diffusée par l’atmosphère, nous avons été amenés à développer un simulateur complet d’une caméra polarimétrique observant le ciel. Cela comprend le phénomène de diffusion multiple, la répartition de l’énergie lumineuse, l’optique utilisée, les caractéristiques des polariseurs et du capteur (matrice de pixels), ainsi que tous paramètres réglables en entrée. Ce simulateur a l’avantage d’être modulaire et évolutif. Il est constitué de plusieurs blocs élémentaires, facilement remplaçables, pour une amélioration constante et une bonne adaptabilité quels que soient les systèmes optiques et de détection étudiés. Ce simulateur sera disponible en "open source" sous Matlab et Python pour les besoins de la recherche et de la formation. Ce simulateur permettra ainsi de dimensionner les systèmes d’acquisition et surtout des algorithmes de traitement d’images à partir de données variées difficilement accessibles par l’expérimentation (conditions météorologiques, matériels couteux, éphémérides en zone géographique spécifique)

Bio-inspired Use of skylight polarization to measure heading for automotive industry

International audienceLocalization systems mostly make use of Global Navigation Satellite System (GNSS) and Inertial Measurement Units (IMUs). Nowadays, there are off-the-shelf complete navigation systems incorporating GNSS, IMU and magnetic compass for a footprint of only 2x2cm2 and a mass of 5 grams. However, there are areas where the GNSS signal is obscured (urban canyons, metallic structures, interferences with other systems, poor weather conditions) or even areas where the Earth's magnetic field is too disturbed to provide a reliable measurement. For autonomous vehicles, a reliable navigation system is necessary. To overcome the limitations of the current systems, we are currently developing an optical compass (Fig. 1) based on a bioinspired approach derived from behavioral studies on desert ants Cataglyphis. This small animal has indeed a dedicated area, called the dorsal rim area, in the dorsal part of the compound eye sensitive to the polarized light of the sky. Thanks to this sensitivity to polarization light, ants estimate their orientation with respect to the pattern of polarization of the sky and are able to combine it with other information for localization purposes with respect to their nest. Similarly, our objective is to develop a first prototype of an automotive-specific sensor (Fig. 1), and determine its limits outdoors in real conditions. Especially, we will study the effect of atmospheric conditions on both the accuracy and the stability of the measured optical heading measurement. We will use a division-of-focal-plane polarization-imaging sensor with a fisheye lens to mimic an ant’s eye (Fig. 1), in order to take snapshots of the skylight polarization pattern, then to deduce optically the vehicle’s heading and to compare it to GNSS or magnetic field-based compasses measurements

Tour d'horizon des capteurs polarimétriques dédiés à la robotique mobile

National audienceLa navigation basée sur lumière polarisée est une nouvelle forme de navigation exploitant des capteurs bio-inspirées ou conventionnels dans lesquels des attributs du motif de polarisation du ciel sont calculés pour s’orienter ou se localiser. Ce tour d’horizon mettra l’accent sur les progrès de la recherche sur les réalisations de capteurs imageants et non-imageants à des fins de détection de cap. Les méthodes "imageantes" reposent sur des caméras équipées de filtres optiques (statiques ou rotatifs) ou de filtres à grilles métalliques. Aujourd’hui, les caméras dites à division du plan focal (DoFP) sont privilégiées, comme la caméra SONY IMX250MZR [1] pour détecter les axes de symétries ou la correspondance des motifs de polarisation aussi bien en angle de polarisation qu’en degré de polarisation pour en déduire un cap. L’unique boussole optique - SkyPass de Polaris Sensor Technologies, Inc. - disponible sur le marché américain coûte 36000€ pour des applications militaires [2]. Une solution alternative, actuellement émergente, est de coiffer une caméra couleur via une lame d’onde, ce qui permet d’exploiter les propriétés de matériaux biréfringents dont la dépendance de la retardance avec l’incidence des rayons permet de transformer l’état de polarisation en nuances de couleurs : lames à retard en "S" [3] ou linéaire (brevet Stellantis). Les méthodes "non-imageantes" reposent sur l’utilisation de photodiodes surmontées de polariseurs et utilisent, par exemple, le modèle biologique de Thomas Labhart (1988) exploité à bord du robot AntBot [4].RÉFÉRENCES[1] C. Lane, D. Rode, and T. Rösgen, “Calibration of a polarization image sensor and investigation of influencingfactors,” Applied Optics, vol. 61, no. 6, pp. C37–C45, 2022.[2] L. M. Eshelman, A. M. Smith, K. M. Smith, and D. B. Chenault, “Unique navigation solution utilizing sky polarizationsignatures,” in Polarization : Measurement, Analysis, and Remote Sensing XV, vol. 12112, p. 1211203,SPIE, 2022.[3] Y. Fan, R. Zhang, Z. Liu, and J. Chu, “A skylight orientation sensor based on s-waveplate and linear polarizer forautonomous navigation,” IEEE Sensors Journal, vol. 21, no. 20, pp. 23551–23557, 2021.[4] J. Dupeyroux, J. R. Serres, and S. Viollet, “Antbot : A six-legged walking robot able to home like desert ants inoutdoor environments,” Science Robotics, vol. 4, no. 27, p. eaau0307, 2019

Skylight polarization heading sensor using waveplate retardance shift with incidence

National audienceIn nature, navigating insects such as ants, bees and flies rely on the polarization of light scattered by the sky to estimate their orientation relative to the sun, and thus orient themselves. Numerous artificial sensors have been proposed in an attempt to reproduce their optical compass but none is yet fully satisfactory for automotiveuse, either in terms of robustness, size, acquisition time or cost (∼€2,500 for a polarimetric camera).This study describes an innovative heading sensor architecture based on polarization pattern detection via an optical transformation (patent application: Poughon et al. 2021). This architecture is based on variations in the retardance of a waveplate as a function of the angle of incidence of the polarized light rays, resulting in the appearance on the image of iridescent colors, depending on the orientation of the incident rays and the state of polarization. The outcome is a low-cost, lightweight sensor that would cost about the same color camera used (here a Raspberry Pi color camera, i.e. ∼€30). An optical simulation of the light-sensor interaction is presented, including a complete acquisition chain simulation (Rayleigh sky model, waveplate model in regard of incidence of rays, lens distortion, and color sensor). A prototype based on the use of a plastic waveplate was built and fixated on a rotating motorized mount, allowing us to get outdoor images of sky with known sensor orientation regarding to the sun. Finally, methods for processing this type of images to estimate heading based on a convolutional neural network training with will also be discussed

An extended database of annotated skylight polarization images covering a period of two months

International audienceRecent advances in bio-inspired navigation have sparked interest in the phenomenon of skylight polarization. This interest stems from the potential of skylight-based orientation sensors, which performance can be simulated using physical models. However, the effectiveness of machine learning algorithms in this domain relies heavily on access to large datasets for training. Although there are several databases of simulated images in literature, there remains a lack of publicly available annotated real-world color polarimetric images of the sky across various weather conditions. Data descriptionWe present here a dataset obtained from a long-term experimental setup designed to collect polarimetric images from a stand-alone camera. The setup utilizes a Division-of-Focal-Plane polarization camera equipped with a fisheye lens mounted on a rotative telescope mount. Furthermore, we obtained the sensor's orientation within the East-North-Up (ENU) frame from a geometrical calibration and an algorithm provided with the database. To facilitate further research in this area, the present sample dataset spanning two months has been made available on a public archive with manual annotations as required by deep learning algorithms. The images were acquired at 10 min intervals and were taken with various exposure times ranging from 33µs to 300ms