5 research outputs found
3D infrared reconstruction with active perception
Ces travaux de thèse ont été menés dans le contexte du projet ANR blanc "Real Time and True Temperature measurement" (R3T), dédié à la métrologie thermique à partir de mesures dans l'infrarouge. L'estimation d'une température vraie à partir d'une mesure de température apparente par une caméra infrarouge, exploite un modèle radiométrique dans lequel apparaît des facteurs qui dépendent de la nature et de la forme de l'objet considéré. Ces travaux portent sur la construction d'un modèle géométrique de l'objet à partir de caméras infrarouges déplacées par un robot autour d'un objet.Ces caméras, par rapport à des caméras standards, ont des caractéristiques spécifiques : faible résolution, peu de texture. Afin de faciliter la mise en œuvre et de minimiser la complexité du système final, nous avons choisi une approche de stéréovision non calibrée. Nous avons donc un banc de stéréovision infrarouge embarqué sur un robot cartésien, pour acquérir plusieurs vues de l'objet d'intérêt ; les principales étapes concernent la rectification non calibrée des images acquises par le banc stéréo, puis le calibrage des caméras rectifiées et de la relation main-œil sans utilisation de mire, puis la construction de modèles 3D locaux denses et le recalage de ces modèles partiels pour construire un modèle global de l'objet. Les contributions portent sur les deux premières étapes, rectification et calibrage pour la stéréovision. Pour la rectification non calibrée, il est proposé une approche d'optimisation sous contraintes qui estime les homographies, à appliquer sur ces images pour les rectifier, sans calcul préalable de la matrice Fondamentale, tout en minimisant les déformations projectives entre images d'origine et images rectifiées. La fonction coût est calculée à partir de la distance de Sampson avec une décomposition de la matrice fondamentale. Deux types de contraintes, géométriques et algébriques, sont comparés pour minimiser les déformations projectives. L'approche proposée est comparée aux méthodes proposées par Loop et Zhang, Hartley, Mallon et al... sur des jeux de données classiques de la littérature. Il est montré que les résultats sont au moins équivalents sur des images classiques et meilleurs sur des images de faible qualité comme des images infrarouges.Pour le calibrage sans mire, l'auteur propose de calibrer les caméras ainsi que la transformation main-œil, indispensable dès lors que le banc stéréo est porté par un robot, en une seule étape ; l'une des originalités est que cette méthode permet de calibrer les caméras préalablement rectifiées et ainsi de minimiser le nombre de paramètres à estimer. De même plusieurs critères sont proposés et évalués par de nombreux résultats sur des données de synthèse et sur des données réelles. Finalement, les méthodes de stéréovision testées pour ce contexte applicatif sont rapidement décrites ; des résultats expérimentaux acquis sur des objets sont présentés ainsi que des comparaisons vis-à -vis d'une vérité terrain connueThis dissertation was lead in the context of the R3T project (Real Time and True Temperature measurement), dedicated to metrology from thermal infrared measurements. The estimation of true temperature from apparent temperature measurement by an infrared camera uses a radiometric model which depends on nature and shape of the considered object. This work focuses on the construction of a geometric model from infrared cameras moved by a robot around an object.Those cameras, in comparison with standard ones, have specific characteristics : low resolution, low texture. To minimize the complexity and easily implement the final system, we chose a stereo approach using uncalibrated cameras. So we have an infrared stereoring embeded on a Cartesian robot, to acquire multiple views of the object of interest. First, the main steps implemented concern uncalibrated images rectification and autocalibration of infrared stereoring and hand-eye transformation without use of a calibration pattern. Then, the reconstruction of locals 3D models and the merge of these models was done to reach a global model of the object. The contributions cover the first two stages, rectification and autocalibration, for the other stereo reconstruction steps, different algorithms were tested and the best was chosen for our application.For the uncalibrated images rectification, an optimization approach under constraints is proposed. The estimation of rectification homographies is done, without the Fundamental matrix determination, while minimizing the distortion between original and corrected images. The cost function is based on the Sampson's distance with breakdown of the Fundamental matrix. Two constraints, geometrical and analytical, are compared to minimize distortion. The proposed approach is compared to methods proposed by Loop and Zhang, Hartley, Mallon et al ... on data sets from state of art. It is shown that the results are at least equivalent on conventional images and better on low quality images such as infrared images.For the autocalibration, the author proposes to calibrate cameras and hand-eye transformation, essential whenever the stereoring is embedded on a robot, in one step. One of the originality is that this method allows to calibrate rectified cameras and so minimize the number of parameters to estimate. Similarly, several criteria are proposed and evaluated by numerous results on synthetic and real data.Finally, all methods of stereovision tested for this application context are briefly described, the experimental results obtained on objects are presented and compared to ground trut
Reconstruction 3D infrarouge par perception active
This dissertation was lead in the context of the R3T project (Real Time and True Temperature measurement), dedicated to metrology from thermal infrared measurements. The estimation of true temperature from apparent temperature measurement by an infrared camera uses a radiometric model which depends on nature and shape of the considered object. This work focuses on the construction of a geometric model from infrared cameras moved by a robot around an object. Those cameras, in comparison with standard ones, have speci c characteristics : low resolution, low texture. To minimize the complexity and easily implement the nal system, we chose an stereo approach using uncalibrated cameras. So we have an infrared stereoring embeded on a Cartesian robot, to acquire multiple views of the object of interest. First, the main steps implemented concern uncalibrated images recti cation and autocalibration of infrared stereoring and hand-eye transformation without use of a calibration pattern. Then, the reconstruction of locals 3D models and the merge of these models was done to reach a global model of the object. The contributions cover the rst two stages, recti cation and autocalibration, for the other stereo reconstruction steps, di erent algorithms were tested and the best was chosen for our application. For the uncalibrated images recti cation, an optimization approach under constraints is proposed. The estimation of recti cation homographies is done, without the Fundamental matrix determination, while minimizing the distortion between original and corrected images. The cost function is based on the Sampson's distance with breakdown of the Fundamental matrix. Two constraints, geometrical and analytical, are compared to minimize distortion. The proposed approach is compared to methods proposed by Loop and Zhang, Hartley, Mallon et al ... on data sets from state of art. It is shown that the results are at least equivalent on conventional images and better on low quality images such as infrared images. For the autocalibration, the author proposes to calibrate cameras and hand-eye transformation, essential whenever the stereoring is embeded on a robot, in one step. One of the originality is that this method allows to calibrate recti ed cameras and so minimize the number of parameters to estimate. Similarly, several criteria are proposed and evaluated by numerous results on synthetic and real data. Finally, all methods of stereovision tested for this application context are brie y described, the experimental results obtained on objects are presented and compared to ground truth.Ces travaux de thèse ont été menés dans le contexte du projet ANR blanc "Real Time and True Temperature measurement" (R3T), dédié à la métrologie thermique à partir de mesures dans l'infrarouge. L'estimation d'une température vraie à partir d'une mesure de température apparente par une caméra infrarouge, exploite un modèle radiométrique dans lequel apparaît des facteurs qui dépendent de la nature et de la forme de l'objet considéré. Ces travaux portent sur la construction d'un modèle géométrique de l'objet à partir de caméras infrarouges déplacées par un robot autour d'un objet. Ces caméras, par rapport à des caméras standards, ont des caractéristiques spé- ci ques : faible résolution, peu de texture. A n de faciliter la mise en oeuvre et de minimiser la complexité du système nal, nous avons choisi une approche de stéréovision non calibrée. Nous avons donc un banc de stéréovision infrarouge embarqué sur un robot cartésien, pour acquérir plusieurs vues de l'objet d'intérêt ; les principales étapes concernent la recti cation non calibrée des images acquises par le banc stéréo, puis le calibrage des caméras recti ées et de la relation main-oeil sans utilisation de mire, puis la construction de modèles 3D locaux denses et le recalage de ces modèles partiels pour construire un modèle global de l'objet. Les contributions portent sur les deux premières étapes, recti cation et calibrage pour la stéréovision. Pour la recti cation non calibrée, il est proposé une approche d'optimisation sous contraintes qui estime les homographies, à appliquer sur ces images pour les recti er, sans calcul préalable de la matrice Fondamentale, tout en minimisant les déformations projectives entre images d'origine et images recti ées. La fonction coût est calculée à partir de la distance de Sampson avec une décomposition de la matrice fondamentale. Deux types de contraintes, géométriques et algébriques, sont compar és pour minimiser les déformations projectives. L'approche proposée est comparé e aux méthodes proposées par Loop et Zhang, Hartley, Mallon et al... sur des jeux de données classiques de la littérature. Il est montré que les résultats sont au moins équivalents sur des images classiques et meilleurs sur des images de faible qualité comme des images infrarouges. Pour le calibrage sans mire, l'auteur propose de calibrer les caméras ainsi que la transformation main-oeil, indispensable dès lors que le banc stéréo est porté par un robot, en une seule étape ; l'une des originalités est que cette méthode permet de calibrer les caméras préalablement recti ées et ainsi de minimiser le nombre de paramètres à estimer. De même plusieurs critères sont proposés et évalués par de nombreux résultats sur des données de synthèse et sur des données réelles. Finalement, les méthodes de stéréovision testées pour ce contexte applicatif sont rapidement décrites ; des résultats expérimentaux acquis sur des objets sont présent és ainsi que des comparaisons vis-à -vis d'une vérité terrain connue
Modélisation d'un objet 3D à partir d'images stéréo infrarouges avec calibrage sur images rectifiées
National audienc
A global projective rectification approach for uncalibrated infrared stereo images
International audienc
Rectification Projective d'Images Stéréo non Calibrées Infrarouges avec prise en compte globale de la minimisation des distorsions
National audiencel'article expose une approche symétrique globale pour estimer les homographies de la rectification projective à partir d'images infrarouges non calibrées et de la géométrie épipolaire. Cette étape est importante dans le cadre de la stéréoscopie par corrélation car elle permet de se ramener à une géométrie épipolaire simple, dans laquelle les droites épipolaires sont parallèles aux lignes des images. Le processus de calcul des homographies est basé sur l'optimisation d'un critère non linéaire prenant en compte la géométrie épipolaire ; ce processus est réalisé sous des contraintes qui réduisent dans le même temps les distorsions des images. Le critère d'optimisation et l'espace de contraintes choisis nous assurent une meilleure précision et moins de déformations projectives que les méthodes couramment utilisées dans la littérature