Vision-based Detection and Tracking for Space Navigation in a Rendezvous Context

International audienceThis paper focuses on navigation issues for space au- tonomous, uncooperative rendezvous with targets such as satellites, space vehicles or debris. In order to fully local- ize, using a vision sensor, a chaser spacecraft with respect to a target spacecraft or debris, a visual model-based de- tection and tracking technique is proposed. Our track- ing approach processes complete 3D models of complex objects, of any shape by taking advantage of GPU ac- celeration. From the rendered model, correspondences are found with image edges and the pose estimation task is then addressed as a nonlinear minimization. For de- tection, which initializes the tracking, pose estimation is based on foreground/background segmentation and on an efficient contour matching procedure with synthetic views, over a few initial images. Our methods have been evaluated on both synthetic images and real images

RemoveDebris Vision-Based Navigation preliminary results

International audienc

Vision-based navigation experiment onboard the removedebris mission

International audienceAirbus has been strongly involved in the design of Vision-Based Navigation (VBN) systems over the last years, with particular focus on applications such as planetary landing and orbital rendezvous. Based on this background and due to the increasing interest in Active Debris Removal (ADR), solutions for autonomous, vision-based navigation for non-cooperative rendezvous have been investigated. Dedicated image processing and navigation algorithms have been designed at Airbus and INRIA to meet this specific case, and some of them have already been tested over synthetic images and actual pictures of various spacecraft. As the next step, a VBN experiment will be conducted onboard the upcoming RemoveDebris ADR demonstration mission. The RemoveDEBRIS mission, sponsored by the European Commission FP7 programme, started in 2013 and will launch to the International Space Station late 2017 from where it will be deployed to a 400km orbit. In addition to the VBN experiment, the mission will perform other ADR experiments such as net and harpoon capture and dragsail de-orbiting. The VBN experiment will validate vision-based navigation equipment and algorithms, through ground-based processing of actual images acquired in flight of a debris mock-up target, in conditions fully representative of ADR. It will demonstrate state-of-the-art image processing and navigation algorithms based on actual flight data, acquired through three different but complementary sensors: two standard cameras, and a flash imaging LiDAR developed by CSEM, and validate a flash imaging LiDAR in flight

Sensor Data Fusion For Hazard Mapping And Piloting

International audienceAutonomous landing on Mars, Moon or asteroids may require a Hazard Detection and Avoidance (HDA) system on-board the lander. Past studies on HDA dealt with the use of camera or LiDARs separately to detect dangerous slopes, boulders and shadow areas. The present work, performed in the frame of an ESA TRP, proposes to use jointly a camera and a LiDAR to take advantage of each while mitigating their drawbacks, consequently improving the HDA performances. Various algorithmic solutions and sensor configurations are proposed and tested in the Mars and asteroid landing cases

Utilisation de la très haute résolution spectrale pour la mesure en environnement extérieur de l'émissivité de surface dans la bande infrarouge 3-13 μm - Méthodes et validation expérimentale

La thèse se consacre à la détermination de l'émissivité de surfaces situées en extérieur à partir de mesures spectroradiométriques au niveau du sol. Le domaine spectral d'étude s'étend de 750 à 3500 cm-1 (3 à 13 µm) et la résolution spectrale est de l'ordre du cm-1, inscrivant ainsi ce travail dans le giron de la radiométrie à très haute résolution spectrale (ou hyperspectrale) infrarouge. L'émissivité est une propriété thermo-optique caractérisant la capacité d'un corps à émettre un rayonnement propre. L'intérêt qu'on lui porte est étroitement lié à celui porté à la mesure par télédétection de la température de surface, paramètre clef des bilans énergétiques de surface. La connaissance de l'émissivité permet de plus d'aider à la caractérisation de la surface observée par télédétection (type et état de surface). L'étude conduite dans cette thèse a pour principal objectif de définir et de qualifier une méthodologie de mesure au sol de l'émissivité spectrale. L'étude se base sur deux techniques de séparation émissivité-température : les méthodes Spectral Smoothness (SpSm) et multi températures (MTM), en élargit le domaine spectral d'application, généralement restreint à l'infrarouge thermique (750 à 1250 cm-1), leur associe une méthode d'estimation du rayonnement incident, et propose une nouvelle technique, baptisée SmaC (Smoothness and Continuity), qui prend en compte le comportement directionnel de la surface observée pour améliorer la restitution de l'émissivité. Une campagne de mesure est mise en oeuvre afin de valider la méthodologie et d'en établir un bilan d'erreur étayé, tiré de l'expérimentation. De l'analyse des résultats de la campagne, il ressort que SpSm restitue correctement l'émissivité en infrarouge thermique (erreur < 0.02), alors que ses résultats sont moins bons en infrarouge médian (2000 à 3000 cm-1), où des discontinuités sont observées sur les spectres d'émissivité retrouvés. La méthode SmaC corrige ces discontinuités et améliore très significativement la restitution de l'émissivité en infrarouge médian (erreur < 0.03). Finalement, une évaluation numérique permet de consolider le bilan d'erreur obtenu expérimentalement, de valider l'impact des effets directionnels de la surface observée et donc le fondement de la méthode SmaC, puis d'identifier les limitations et proposer des améliorations associées au protocole expérimental. Emissivity is an optical property of materials, related to their ability to emit electromagnetic radiation. This PhD is devoted to retrieving emissivities of outdoor surfaces from high spectral resolution (4cm-1) spectroradiometric measurements at ground level, in the 750 cm-1 to 3500 cm-1 (3-13µm) spectral range. The main objective of this work, which combines theoretical and experimental approaches, is to define and assess a methodology. Two emissivity-temperature separation techniques are addressed, the Spectral Smoothness Method (SpSm) and the Multi-Temperatures Method (MTM), with particular attention paid to extending their usual domain of application on the short wavelength side beyond 1250cm-1. Sources of errors are identified and an experimental approach to mitigate errors on the determination of the irradiance of the surface is proposed. A new method, named Smoothness and Continuity (SmaC), is introduced, which takes into account the directional behaviour of the observed surface, to improve emissivity retrieval in the mid-infrared band (MWIR from 2000 to 3000 cm-1) To quantitatively assess the retrieval methods and validate the measurement protocol, a field campaign, that took place in June 2004, aimed at providing an error budget of the methods by measuring emissivities of several samples at different times of day. SpSm, applied to the campaign measurements, provides very good results in the LWIR band (from 750 to 1300 cm-1). In the MWIR band, systematic spectral discontinuities and deviations to laboratory measurements are observed in the retrieved spectra. This is interpreted as a manifestation of angular dependence of emissivity: the new SmaC method, through the introduction of a surface form factor, leads to significantly improved results. The standard deviation of the retrieved emissivity spectra over all measurements and samples is less than 0.01 in LWIR and less than 0.03 in MWIR. MTM results are less satisfactory than SpSm ones, due to ill-conditioned system of equations. Finally, a numerical analysis is carried out to confirm and validate SmaC hypothesis and findings

Use of very higt spectral resolution for surface emissivity assessment in the 3-13 Mum domain in outdoors conditions,Methods and experimental validation

La thèse se consacre à la détermination de l'émissivité de surfaces situées en extérieur à partir de mesures spectroradiométriques au niveau du sol. Le domaine spectral d'étude s'étend de 750 à 3500 cm-1 (3 à 13 m) et la résolution spectrale est de l'ordre du cm-1, inscrivant ainsi ce travail dans le giron de la radiométrie à très haute résolution spectrale (ou hyperspectrale) infrarouge. L'émissivité est une propriété thermo-optique caractérisant la capacité d'un corps à émettre un rayonnement propre. L'intérêt qu'on lui porte est étroitement lié à celui porté à la mesure par télédétection de la température de surface, paramètre clef des bilans énergétiques de surface. La connaissance de l'émissivité permet de plus d'aider à la caractérisation de la surface observée par télédétection (type et état de surface).L'étude conduite dans cette thèse a pour principal objectif de définir et de qualifier une méthodologie de mesure au sol de l'émissivité spectrale. L'étude se base sur deux techniques de séparation émissivité-température : les méthodes Spectral Smoothness (SpSm) et multi températures (MTM), en élargit le domaine spectral d'application, généralement restreint à l'infrarouge thermique (750 à 1250 cm-1), leur associe une méthode d'estimation du rayonnement incident, et propose une nouvelle technique, baptisée SmaC (Smoothness and Continuity), qui prend en compte le comportement directionnel de la surface observée pour améliorer la restitution de l'émissivité. Une campagne de mesure est mise en oeuvre afin de valider la méthodologie et d'en établir un bilan d'erreur étayé, tiré de l'expérimentation. De l'analyse des résultats de la campagne, il ressort que SpSm restitue correctement l'émissivité en infrarouge thermique (erreur < 0.02), alors que ses résultats sont moins bons en infrarouge médian (2000 à 3000 cm-1), où des discontinuités sont observées sur les spectres d'émissivité retrouvés. La méthode SmaC corrige ces discontinuités et améliore très significativement la restitution de l'émissivité en infrarouge médian (erreur < 0.03). Finalement, une évaluation numérique permet de consolider le bilan d'erreur obtenu expérimentalement, de valider l'impact des effets directionnels de la surface observée et donc le fondement de la méthode SmaC, puis d'identifier les limitations et proposer des améliorations associées au protocole expérimental.Emissivity is an optical property of materials, related to their ability to emit electromagnetic radiation. This PhD is devoted to retrieving emissivities of outdoor surfaces from high spectral resolution (4cm-1) spectroradiometric measurements at ground level, in the 750 cm-1 to 3500 cm-1 (3-13 m) spectral range.The main objective of this work, which combines theoretical and experimental approaches, is to define and assess a methodology. Two emissivity-temperature separation techniques are addressed, the Spectral Smoothness Method (SpSm) and the Multi-Temperatures Method (MTM), with particular attention paid to extending their usual domain of application on the short wavelength side beyond 1250cm-1. Sources of errors are identified and an experimental approach to mitigate errors on the determination of the irradiance of the surface is proposed. A new method, named Smoothness and Continuity (SmaC), is introduced, which takes into account the directional behaviour of the observed surface, to improve emissivity retrieval in the mid-infrared band (MWIR from 2000 to 3000 cm-1)To quantitatively assess the retrieval methods and validate the measurement protocol, a field campaign, that took place in June 2004, aimed at providing an error budget of the methods by measuring emissivities of several samples at different times of day. SpSm, applied to the campaign measurements, provides very good results in the LWIR band (from 750 to 1300 cm-1). In the MWIR band, systematic spectral discontinuities and deviations to laboratory measurements are observed in the retrieved spectra. This is interpreted as a manifestation of angular dependence of emissivity: the new SmaC method, through the introduction of a surface form factor, leads to significantly improved results. The standard deviation of the retrieved emissivity spectra over all measurements and samples is less than 0.01 in LWIR and less than 0.03 in MWIR. MTM results are less satisfactory than SpSm ones, due to ill-conditioned system of equations. Finally, a numerical analysis is carried out to confirm and validate SmaC hypothesis and findings

Utilisation de la très haute résolution spectrale pour la mesure en environnement extérieur de l'émissivité de surface dans la bande infrarouge 3-13 Mum (Méthodes et validation expérimentale)

La thèse se consacre à la détermination de l'émissivité de surfaces situées en extérieur à partir de mesures spectroradiométriques au niveau du sol. Le domaine spectral d'étude s'étend de 750 à 3500 cm-1 (3 à 13 m) et la résolution spectrale est de l'ordre du cm-1, inscrivant ainsi ce travail dans le giron de la radiométrie à très haute résolution spectrale (ou hyperspectrale) infrarouge. L'émissivité est une propriété thermo-optique caractérisant la capacité d'un corps à émettre un rayonnement propre. L'intérêt qu'on lui porte est étroitement lié à celui porté à la mesure par télédétection de la température de surface, paramètre clef des bilans énergétiques de surface. La connaissance de l'émissivité permet de plus d'aider à la caractérisation de la surface observée par télédétection (type et état de surface).L'étude conduite dans cette thèse a pour principal objectif de définir et de qualifier une méthodologie de mesure au sol de l'émissivité spectrale. L'étude se base sur deux techniques de séparation émissivité-température : les méthodes Spectral Smoothness (SpSm) et multi températures (MTM), en élargit le domaine spectral d'application, généralement restreint à l'infrarouge thermique (750 à 1250 cm-1), leur associe une méthode d'estimation du rayonnement incident, et propose une nouvelle technique, baptisée SmaC (Smoothness and Continuity), qui prend en compte le comportement directionnel de la surface observée pour améliorer la restitution de l'émissivité. Une campagne de mesure est mise en oeuvre afin de valider la méthodologie et d'en établir un bilan d'erreur étayé, tiré de l'expérimentation. De l'analyse des résultats de la campagne, il ressort que SpSm restitue correctement l'émissivité en infrarouge thermique (erreur < 0.02), alors que ses résultats sont moins bons en infrarouge médian (2000 à 3000 cm-1), où des discontinuités sont observées sur les spectres d'émissivité retrouvés. La méthode SmaC corrige ces discontinuités et améliore très significativement la restitution de l'émissivité en infrarouge médian (erreur < 0.03). Finalement, une évaluation numérique permet de consolider le bilan d'erreur obtenu expérimentalement, de valider l'impact des effets directionnels de la surface observée et donc le fondement de la méthode SmaC, puis d'identifier les limitations et proposer des améliorations associées au protocole expérimental.Emissivity is an optical property of materials, related to their ability to emit electromagnetic radiation. This PhD is devoted to retrieving emissivities of outdoor surfaces from high spectral resolution (4cm-1) spectroradiometric measurements at ground level, in the 750 cm-1 to 3500 cm-1 (3-13 m) spectral range.The main objective of this work, which combines theoretical and experimental approaches, is to define and assess a methodology. Two emissivity-temperature separation techniques are addressed, the Spectral Smoothness Method (SpSm) and the Multi-Temperatures Method (MTM), with particular attention paid to extending their usual domain of application on the short wavelength side beyond 1250cm-1. Sources of errors are identified and an experimental approach to mitigate errors on the determination of the irradiance of the surface is proposed. A new method, named Smoothness and Continuity (SmaC), is introduced, which takes into account the directional behaviour of the observed surface, to improve emissivity retrieval in the mid-infrared band (MWIR from 2000 to 3000 cm-1)To quantitatively assess the retrieval methods and validate the measurement protocol, a field campaign, that took place in June 2004, aimed at providing an error budget of the methods by measuring emissivities of several samples at different times of day. SpSm, applied to the campaign measurements, provides very good results in the LWIR band (from 750 to 1300 cm-1). In the MWIR band, systematic spectral discontinuities and deviations to laboratory measurements are observed in the retrieved spectra. This is interpreted as a manifestation of angular dependence of emissivity: the new SmaC method, through the introduction of a surface form factor, leads to significantly improved results. The standard deviation of the retrieved emissivity spectra over all measurements and samples is less than 0.01 in LWIR and less than 0.03 in MWIR. MTM results are less satisfactory than SpSm ones, due to ill-conditioned system of equations. Finally, a numerical analysis is carried out to confirm and validate SmaC hypothesis and findings.STRASBOURG-Sc. et Techniques (674822102) / SudocSudocFranceF