Defect detection in infrared thermography by deep learning algorithms

L'évaluation non destructive (END) est un domaine permettant d'identifier tous les types de dommages structurels dans un objet d'intérêt sans appliquer de dommages et de modifications permanents. Ce domaine fait l'objet de recherches intensives depuis de nombreuses années. La thermographie infrarouge (IR) est l'une des technologies d'évaluation non destructive qui permet d'inspecter, de caractériser et d'analyser les défauts sur la base d'images infrarouges (séquences) provenant de l'enregistrement de l'émission et de la réflexion de la lumière infrarouge afin d'évaluer les objets non autochauffants pour le contrôle de la qualité et l'assurance de la sécurité. Ces dernières années, le domaine de l'apprentissage profond de l'intelligence artificielle a fait des progrès remarquables dans les applications de traitement d'images. Ce domaine a montré sa capacité à surmonter la plupart des inconvénients des autres approches existantes auparavant dans un grand nombre d'applications. Cependant, en raison de l'insuffisance des données d'entraînement, les algorithmes d'apprentissage profond restent encore inexplorés, et seules quelques publications font état de leur application à l'évaluation non destructive de la thermographie (TNDE). Les algorithmes d'apprentissage profond intelligents et hautement automatisés pourraient être couplés à la thermographie infrarouge pour identifier les défauts (dommages) dans les composites, l'acier, etc. avec une confiance et une précision élevée. Parmi les sujets du domaine de recherche TNDE, les techniques d'apprentissage automatique supervisées et non supervisées sont les tâches les plus innovantes et les plus difficiles pour l'analyse de la détection des défauts. Dans ce projet, nous construisons des cadres intégrés pour le traitement des données brutes de la thermographie infrarouge à l'aide d'algorithmes d'apprentissage profond et les points forts des méthodologies proposées sont les suivants: 1. Identification et segmentation automatique des défauts par des algorithmes d'apprentissage profond en thermographie infrarouge. Les réseaux neuronaux convolutifs (CNN) pré-entraînés sont introduits pour capturer les caractéristiques des défauts dans les images thermiques infrarouges afin de mettre en œuvre des modèles basés sur les CNN pour la détection des défauts structurels dans les échantillons composés de matériaux composites (diagnostic des défauts). Plusieurs alternatives de CNNs profonds pour la détection de défauts dans la thermographie infrarouge. Les comparaisons de performance de la détection et de la segmentation automatique des défauts dans la thermographie infrarouge en utilisant différentes méthodes de détection par apprentissage profond : (i) segmentation d'instance (Center-mask ; Mask-RCNN) ; (ii) détection d’objet (Yolo-v3 ; Faster-RCNN) ; (iii) segmentation sémantique (Unet ; Res-unet); 2. Technique d'augmentation des données par la génération de données synthétiques pour réduire le coût des dépenses élevées associées à la collecte de données infrarouges originales dans les composites (composants d'aéronefs.) afin d'enrichir les données de formation pour l'apprentissage des caractéristiques dans TNDE; 3. Le réseau antagoniste génératif (GAN convolutif profond et GAN de Wasserstein) est introduit dans la thermographie infrarouge associée à la thermographie partielle des moindres carrés (PLST) (réseau PLS-GANs) pour l'extraction des caractéristiques visibles des défauts et l'amélioration de la visibilité des défauts pour éliminer le bruit dans la thermographie pulsée; 4. Estimation automatique de la profondeur des défauts (question de la caractérisation) à partir de données infrarouges simulées en utilisant un réseau neuronal récurrent simplifié : Gate Recurrent Unit (GRU) à travers l'apprentissage supervisé par régression.Non-destructive evaluation (NDE) is a field to identify all types of structural damage in an object of interest without applying any permanent damage and modification. This field has been intensively investigated for many years. The infrared thermography (IR) is one of NDE technology through inspecting, characterize and analyzing defects based on the infrared images (sequences) from the recordation of infrared light emission and reflection to evaluate non-self-heating objects for quality control and safety assurance. In recent years, the deep learning field of artificial intelligence has made remarkable progress in image processing applications. This field has shown its ability to overcome most of the disadvantages in other approaches existing previously in a great number of applications. Whereas due to the insufficient training data, deep learning algorithms still remain unexplored, and only few publications involving the application of it for thermography nondestructive evaluation (TNDE). The intelligent and highly automated deep learning algorithms could be coupled with infrared thermography to identify the defect (damages) in composites, steel, etc. with high confidence and accuracy. Among the topics in the TNDE research field, the supervised and unsupervised machine learning techniques both are the most innovative and challenging tasks for defect detection analysis. In this project, we construct integrated frameworks for processing raw data from infrared thermography using deep learning algorithms and highlight of the methodologies proposed include the following: 1. Automatic defect identification and segmentation by deep learning algorithms in infrared thermography. The pre-trained convolutional neural networks (CNNs) are introduced to capture defect feature in infrared thermal images to implement CNNs based models for the detection of structural defects in samples made of composite materials (fault diagnosis). Several alternatives of deep CNNs for the detection of defects in the Infrared thermography. The comparisons of performance of the automatic defect detection and segmentation in infrared thermography using different deep learning detection methods: (i) instance segmentation (Center-mask; Mask-RCNN); (ii) objective location (Yolo-v3; Faster-RCNN); (iii) semantic segmentation (Unet; Res-unet); 2. Data augmentation technique through synthetic data generation to reduce the cost of high expense associated with the collection of original infrared data in the composites (aircraft components.) to enrich training data for feature learning in TNDE; 3. The generative adversarial network (Deep convolutional GAN and Wasserstein GAN) is introduced to the infrared thermography associated with partial least square thermography (PLST) (PLS-GANs network) for visible feature extraction of defects and enhancement of the visibility of defects to remove noise in Pulsed thermography; 4. Automatic defect depth estimation (Characterization issue) from simulated infrared data using a simplified recurrent neural network: Gate Recurrent Unit (GRU) through the regression supervised learning

Probability of detection analysis for infrared nondestructive testing and evaluation with applications including a comparison with ultrasonic testing

La fiabilité d'une technique d’Évaluation Non-Destructive (END) est l'un des aspects les plus importants dans la procédure globale de contrôle industriel. La courbe de la Probabilité de Détection (PdD) est la mesure quantitative de la fiabilité acceptée en END. Celle-ci est habituellement exprimée en fonction de la taille du défaut. Chaque expérience de fiabilité en END devrait être bien conçue pour obtenir l'ensemble de données avec une source valide, y compris la technique de Thermographie Infrarouge (TI). La gamme des valeurs du rapport de l'aspect de défaut (Dimension / profondeur) est conçue selon nos expériences expérimentales afin d’assurer qu’elle vient du rapport d’aspect non détectable jusqu’à celui-ci soit détectable au minimum et plus large ensuite. Un test préliminaire est mis en œuvre pour choisir les meilleurs paramètres de contrôle, telles que l'énergie de chauffage, le temps d'acquisition et la fréquence. Pendant le processus de traitement des images et des données, plusieurs paramètres importants influent les résultats obtenus et sont également décrits. Pour la TI active, il existe diverses sources de chauffage (optique ou ultrason), des formes différentes de chauffage (pulsé ou modulé, ainsi que des méthodes différentes de traitement des données. Diverses approches de chauffage et de traitement des données produisent des résultats d'inspection divers. Dans cette recherche, les techniques de Thermographie Pulsée (TP) et Thermographie Modulée(TM) seront impliquées dans l'analyse de PdD. Pour la TP, des courbes PdD selon différentes méthodes de traitement de données sont comparées, y compris la Transformation de Fourier, la Reconstruction du Signal thermique, la Transformation en Ondelettes, le Contraste Absolu Différentiel et les Composantes Principales en Thermographie. Des études systématiques sur l'analyse PdD pour la technique de TI sont effectuées. Par ailleurs, les courbes de PdD en TI sont comparées avec celles obtenues par d'autres approches traditionnelles d’END.The reliability of a Non-Destructive Testing and Evaluation (NDT& E) technique is one of the most important aspects of the overall industrial inspection procedure. The Probability of Detection (PoD) curve is the accepted quantitative measure of the NDT& E reliability, which is usually expressed as a function of flaw size. Every reliability experiment of the NDT& E system must be well designed to obtain a valid source data set, including the infrared thermography (IRT) technique. The range of defect aspect ratio (Dimension / depth) values is designed according to our experimental experiences to make sure it is from non-detectable to minimum detectable aspect ratio and larger. A preliminary test will be implemented to choose the best inspection parameters, such as heating energy, the acquisition time and frequency. In the data and image processing procedure, several important parameters which influence the results obtained are also described. For active IRT, there are different heating sources (optical or ultrasound), heating forms (pulsed or lock-in) and also data processing methods. Distinct heating and data processing manipulations produce different inspection results. In this research, both optical Pulsed Thermography (PT) and Lock-in Thermography (LT) techniques will be involved in the PoD analysis. For PT, PoD curves of different data processing methods are compared, including Fourier Transform (FT), 1st Derivative (1st D) after Thermal Signal Reconstruction (TSR), Wavelet Transform (WT), Differential Absolute Contrast (DAC), and Principal Component Thermography (PCT). Systematic studies on PoD analysis for IRT technique are carried out. Additionally, constructed PoD curves of IRT technique are compared with those obtained by other traditional NDT& E approaches

Optical techniques for 3D surface reconstruction in computer-assisted laparoscopic surgery

One of the main challenges for computer-assisted surgery (CAS) is to determine the intra-opera- tive morphology and motion of soft-tissues. This information is prerequisite to the registration of multi-modal patient-specific data for enhancing the surgeon’s navigation capabilites by observ- ing beyond exposed tissue surfaces and for providing intelligent control of robotic-assisted in- struments. In minimally invasive surgery (MIS), optical techniques are an increasingly attractive approach for in vivo 3D reconstruction of the soft-tissue surface geometry. This paper reviews the state-of-the-art methods for optical intra-operative 3D reconstruction in laparoscopic surgery and discusses the technical challenges and future perspectives towards clinical translation. With the recent paradigm shift of surgical practice towards MIS and new developments in 3D opti- cal imaging, this is a timely discussion about technologies that could facilitate complex CAS procedures in dynamic and deformable anatomical regions

Effect of curing conditions and harvesting stage of maturity on Ethiopian onion bulb drying properties

The study was conducted to investigate the impact of curing conditions and harvesting stageson the drying quality of onion bulbs. The onion bulbs (Bombay Red cultivar) were harvested at three harvesting stages (early, optimum, and late maturity) and cured at three different temperatures (30, 40 and 50 oC) and relative humidity (30, 50 and 70%). The results revealed that curing temperature, RH, and maturity stage had significant effects on all measuredattributesexcept total soluble solids

Advanced Image Acquisition, Processing Techniques and Applications

"Advanced Image Acquisition, Processing Techniques and Applications" is the first book of a series that provides image processing principles and practical software implementation on a broad range of applications. The book integrates material from leading researchers on Applied Digital Image Acquisition and Processing. An important feature of the book is its emphasis on software tools and scientific computing in order to enhance results and arrive at problem solution

Automated Guided Vehicle utilising thermal signatures for Human identification and tracking

Published ThesisIndustry requires the development of sophisticated autonomous guided vehicles (AGV) with sensory and software capabilities to allow a vision-based awareness of surrounding objects. To achieve this, a closely integrated control system for the AGV together with machine vision capabilities needs to be developed to efficiently and reliably detect objects of interest. Industry application of AGVs require detection of humans and to support that requirement thermal imaging cameras offer a broad set of advantages. The aim of the study is to develop an AGV that uses a thermal imaging camera to detect a human in its environment. To achieve this, a literature study was done to determine the best type of components that should be used, reveal design issues and what characteristics the system must adhere to. LabVIEW was used to simulate AGV movement and operation together with the control system, develop machine vision capable of background noise filtering and verify the machine vision identification and tracking processes. Based on simulated results, the physical system was built and small modificationsmade to accommodate real world variables. The results indicate that a vision-based approach to detect, track and identify a person on a mobile robot in real time is achievable. It was found that LabVIEW is an excellent tool and platform for building the integrated system and expedites design and implementation. A key implication of this study is to show the versatility of thermal imaging as a method to extract a person from its background independently from current light conditions and in situations where full-colour cameras will fail

Remote Sensing

This dual conception of remote sensing brought us to the idea of preparing two different books; in addition to the first book which displays recent advances in remote sensing applications, this book is devoted to new techniques for data processing, sensors and platforms. We do not intend this book to cover all aspects of remote sensing techniques and platforms, since it would be an impossible task for a single volume. Instead, we have collected a number of high-quality, original and representative contributions in those areas