Mesure de formes par corrélation multi-images : application à l'inspection de pièces aéronautiques à l'aide d'un système multi-caméras

L'Ecole des Mines d'Albi et le LAAS-CNRS ont engagé en 2006 une collaboration avec AIRBUS Toulouse et EADS-IW pour le développement d'un système de vision artificielle destiné à l'inspection de pièces aéronautiques (panneaux de fuselage ou de voilure, métalliques ou composites) en vue de la détection de défauts de forme (écarts à la forme nominale souhaitée). Le système est constitué de plusieurs caméras (au moins quatre) afin de pouvoir inspecter des pièces de grande taille. Les caméras sont fixées sur une structure rigide statique et les pièces à inspecter sont positionnées devant cette structure. N images de la pièce à inspecter sont acquises de façon synchronisée et sont utilisées afin de reconstruire la pièce observée en 3D. Ce mémoire aborde les différentes stratégies envisagées pour l'exploitation d'un système multi-caméras. Les étapes nécessaires à la numérisation d'une pièce sont présentées, et plus particulièrement : l'appariement par corrélation multi-images (un critère de corrélation multi-images bien adapté au contexte multi-caméras est décrit), le recalage de nuages de points 3D par corrélation d'images, et l'aide au calibrage. L'utilisation de plusieurs caméras a montré de nombreux avantages. Elle permet la numérisation d'objets de grande taille (surface de plusieurs m²), fournit la forme complète d'un objet à partir d'une seule acquisition d'images (acquisition one-shot), améliore la précision de numérisation grâce à la redondance d'informations, permet de s'affranchir de problèmes de réflexion spéculaire dans le cas d'objets réfléchissants. Les algorithmes développés ont été évalués à la fois à partir d'images synthétiques et par comparaison aux mesures fournies par plusieurs systèmes commerciaux de numérisation 3D.In 2006 the Ecole des Mines d'Albi and the LAAS-CNRS initiated a collaboration with AIRBUS Toulouse and EADS-IW for the development of a computer-vision-based system for the inspection of aeronautic parts (fuselage parts, metallic or composite aeronautical panels, etc.) in order to detect shape defects (shape deviation with regard to the desired overall shape corresponding to the CAD model). The system is composed of several cameras (at least four) giving the capacity to inspect large parts. The cameras are fixed on a rigid structure and the parts to be inspected are positioned in front of the system. Several images are acquired synchronously and they are used to reconstruct the 3D model of the part. This thesis focuses on different strategies that can be developed to manage a multiple-camera system. The different steps of the digitization process are presented, namely: multiple-view digital image correlation (a multiple-image DIC criterion well suited to the multiple views context is addressed), 3D cloud stitching, calibration assistance unit. Using more than two cameras has brought multiple benefits. It allows digitizing large aeronautic parts (several m²), provides the whole shape of an object in a one-shot acquisition, improves the accuracy thanks to data redundancy, and permits to avoid specular reflections on non-lambertian surfaces. Our algorithms have been evaluated through synthetic images as well as through the comparison with measurements acquired by different commercial digitizing systems

Mesure de formes par corrélation multi-images (application à l'inspection de pièces aéronautiques à l'aide d'un système multi-caméras)

TOULOUSE3-BU Sciences (315552104) / SudocALBI-ENSTIMAC (810042301) / SudocSudocFranceF

Shape measurement using a new 3D-DIC algorithm that preserves sharp edges

International audienc

Multi-view dense 3D modelling of untextured objects from a moving projector-cameras system

International audienceStructured light methods achieve 3D modelling by observing with a camera system, a known pattern projected on the scene. The main drawback of single projection structured light methods is that moving the projector changes significatively the appearance of the scene at every acquisition time. Classical multi-view stereovision approaches based on the appearance matching are then not useable. The presented work is based on a two-cameras and one single slide projector system embedded in a hand-held device for industrial applications (reverse engineering, dimensional control, etc). We propose a method to achieve multi-view modelling for camera pose and surface reconstruction estimation in a joint process. The proposed method is based on the extension of a stereo-correlation criterion. Acquisitions are linked through a generalized expression of local homographies. The constraints brought by this formulation allow an accurate estimation of the modelling parameters for dense reconstruction of the scene and improve the result when dealing with detailed or sharp objects, compared to pairwise stereovision methods

Shape measurement using a new 3D-DIC algorithm that preserves sharp edges

International audienc

Inspection of aeronautics parts for shape defect detection using a multi-camera system

International audienc

Inspection de pièces aéronautiques pour la détection de défauts de forme à partir d'un système multi-caméras / Inspection of aeronautics parts for shape defect detection using a multi-camera system

National audienc

Inspection de pièces aéronautiques pour la détection de défauts de forme à partir d'un système multi-caméras

National audienc

Détection et caractérisation de défauts de surface par analyse des nuages de points 3D fournis par un scanner

National audienceNous avons développé un logiciel qui permet de détecter et caractériser des défauts par analyse des nuages de points 3D fournis par un scanner. Ce logiciel a été développé dans le cadre du contrôle de l’état de surface d’un fuselage avion. Il pourrait être utilisé pour d’autres applications comme par exemple la détection de défauts à la surface d’une carrosserie automobile.We have developed a software for the detection and characterisation of defects based on the analysis of 3D point clouds provided by a scanner. This software has been developed within an industrial application dealing with the control of an aircraft fuselage surface. It could be also used for other applications like the detection of defects on a car body surface

3D Point Cloud Analysis for Detection and Characterization of Defects on Airplane Exterior Surface

International audienceThree-dimensional surface defect inspection remains a challenging task. This paper describes a novel automatic vision-based inspection system that is capable of detecting and characterizing defects on an airplane exterior surface. By analyzing 3D data collected with a 3D scanner, our method aims to identify and extract the information about the undesired defects such as dents, protrusions or scratches based on local surface properties. Surface dents and protrusions are identified as the deviations from an ideal, smooth surface. Given an unorganized point cloud, we first smooth noisy data by using Moving Least Squares algorithm. The curvature and normal information are then estimated at every point in the input data. As a next step, Region Growing segmentation algorithm divides the point cloud into defective and non-defective regions using the local normal and curvature information. Further, the convex hull around each defective region is calculated in order to englobe the suspicious irregularity. Finally, we use our new technique to measure the dimension, depth, and orientation of the defects. We tested and validated our novel approach on real aircraft data obtained from an Airbus A320, for different types of defect. The accuracy of the system is evaluated by comparing the measurements of our approach with ground truth measurements obtained by a high-accuracy measuring device. The result shows that our work is robust, effective and promising for industrial applications