Application of deep learning methods in materials microscopy for the quality assessment of lithium-ion batteries and sintered NdFeB magnets

Die Qualitätskontrolle konzentriert sich auf die Erkennung von Produktfehlern und die Überwachung von Aktivitäten, um zu überprüfen, ob die Produkte den gewünschten Qualitätsstandard erfüllen. Viele Ansätze für die Qualitätskontrolle verwenden spezialisierte Bildverarbeitungssoftware, die auf manuell entwickelten Merkmalen basiert, die von Fachleuten entwickelt wurden, um Objekte zu erkennen und Bilder zu analysieren. Diese Modelle sind jedoch mühsam, kostspielig in der Entwicklung und schwer zu pflegen, während die erstellte Lösung oft spröde ist und für leicht unterschiedliche Anwendungsfälle erhebliche Anpassungen erfordert. Aus diesen Gründen wird die Qualitätskontrolle in der Industrie immer noch häufig manuell durchgeführt, was zeitaufwändig und fehleranfällig ist. Daher schlagen wir einen allgemeineren datengesteuerten Ansatz vor, der auf den jüngsten Fortschritten in der Computer-Vision-Technologie basiert und Faltungsneuronale Netze verwendet, um repräsentative Merkmale direkt aus den Daten zu lernen. Während herkömmliche Methoden handgefertigte Merkmale verwenden, um einzelne Objekte zu erkennen, lernen Deep-Learning-Ansätze verallgemeinerbare Merkmale direkt aus den Trainingsproben, um verschiedene Objekte zu erkennen. In dieser Dissertation werden Modelle und Techniken für die automatisierte Erkennung von Defekten in lichtmikroskopischen Bildern von materialografisch präparierten Schnitten entwickelt. Wir entwickeln Modelle zur Defekterkennung, die sich grob in überwachte und unüberwachte Deep-Learning-Techniken einteilen lassen. Insbesondere werden verschiedene überwachte Deep-Learning-Modelle zur Erkennung von Defekten in der Mikrostruktur von Lithium-Ionen-Batterien entwickelt, von binären Klassifizierungsmodellen, die auf einem Sliding-Window-Ansatz mit begrenzten Trainingsdaten basieren, bis hin zu komplexen Defekterkennungs- und Lokalisierungsmodellen, die auf ein- und zweistufigen Detektoren basieren. Unser endgültiges Modell kann mehrere Klassen von Defekten in großen Mikroskopiebildern mit hoher Genauigkeit und nahezu in Echtzeit erkennen und lokalisieren. Das erfolgreiche Trainieren von überwachten Deep-Learning-Modellen erfordert jedoch in der Regel eine ausreichend große Menge an markierten Trainingsbeispielen, die oft nicht ohne weiteres verfügbar sind und deren Beschaffung sehr kostspielig sein kann. Daher schlagen wir zwei Ansätze vor, die auf unbeaufsichtigtem Deep Learning zur Erkennung von Anomalien in der Mikrostruktur von gesinterten NdFeB-Magneten basieren, ohne dass markierte Trainingsdaten benötigt werden. Die Modelle sind in der Lage, Defekte zu erkennen, indem sie aus den Trainingsdaten indikative Merkmale von nur "normalen" Mikrostrukturmustern lernen. Wir zeigen experimentelle Ergebnisse der vorgeschlagenen Fehlererkennungssysteme, indem wir eine Qualitätsbewertung an kommerziellen Proben von Lithium-Ionen-Batterien und gesinterten NdFeB-Magneten durchführen

Data-Driven Shape Analysis and Processing

Data-driven methods play an increasingly important role in discovering geometric, structural, and semantic relationships between 3D shapes in collections, and applying this analysis to support intelligent modeling, editing, and visualization of geometric data. In contrast to traditional approaches, a key feature of data-driven approaches is that they aggregate information from a collection of shapes to improve the analysis and processing of individual shapes. In addition, they are able to learn models that reason about properties and relationships of shapes without relying on hard-coded rules or explicitly programmed instructions. We provide an overview of the main concepts and components of these techniques, and discuss their application to shape classification, segmentation, matching, reconstruction, modeling and exploration, as well as scene analysis and synthesis, through reviewing the literature and relating the existing works with both qualitative and numerical comparisons. We conclude our report with ideas that can inspire future research in data-driven shape analysis and processing.Comment: 10 pages, 19 figure

Rough or Noisy? Metrics for Noise Estimation in SfM Reconstructions

Structure from Motion (SfM) can produce highly detailed 3D reconstructions, but distinguishing real surface roughness from reconstruction noise and geometric inaccuracies has always been a difficult problem to solve. Existing SfM commercial solutions achieve noise removal by a combination of aggressive global smoothing and the reconstructed texture for smaller details, which is a subpar solution when the results are used for surface inspection. Other noise estimation and removal algorithms do not take advantage of all the additional data connected with SfM. We propose a number of geometrical and statistical metrics for noise assessment, based on both the reconstructed object and the capturing camera setup. We test the correlation of each of the metrics to the presence of noise on reconstructed surfaces and demonstrate that classical supervised learning methods, trained with these metrics can be used to distinguish between noise and roughness with an accuracy above 85%, with an additional 5–6% performance coming from the capturing setup metrics. Our proposed solution can easily be integrated into existing SfM workflows as it does not require more image data or additional sensors. Finally, as part of the testing we create an image dataset for SfM from a number of objects with varying shapes and sizes, which are available online together with ground truth annotations

Principal Component Analysis based Image Fusion Routine with Application to Stamping Split Detection

This dissertation presents a novel thermal and visible image fusion system with application in online automotive stamping split detection. The thermal vision system scans temperature maps of high reflective steel panels to locate abnormal temperature readings indicative of high local wrinkling pressure that causes metal splitting. The visible vision system offsets the blurring effect of thermal vision system caused by heat diffusion across the surface through conduction and heat losses to the surroundings through convection. The fusion of thermal and visible images combines two separate physical channels and provides more informative result image than the original ones. Principal Component Analysis (PCA) is employed for image fusion to transform original image to its eigenspace. By retaining the principal components with influencing eigenvalues, PCA keeps the key features in the original image and reduces noise level. Then a pixel level image fusion algorithm is developed to fuse images from the thermal and visible channels, enhance the result image from low level and increase the signal to noise ratio. Finally, an automatic split detection algorithm is designed and implemented to perform online objective automotive stamping split detection. The integrated PCA based image fusion system for stamping split detection is developed and tested on an automotive press line. It is also assessed by online thermal and visible acquisitions and illustrates performance and success. Different splits with variant shape, size and amount are detected under actual operating conditions

Texture and Colour in Image Analysis

Research in colour and texture has experienced major changes in the last few years. This book presents some recent advances in the field, specifically in the theory and applications of colour texture analysis. This volume also features benchmarks, comparative evaluations and reviews

Machine Learning for Camera-Based Monitoring of Laser Welding Processes

Der zunehmende Einsatz automatisierter Laserschweißprozesse stellt hohe Anforderungen an die Prozessüberwachung. Ziel ist es, eine hohe Fügequalität und eine frühestmögliche Fehlererkennung zu gewährleisten. Durch die Verwendung von Methoden des maschinellen Lernens können kostengünstigere und im Optimalfall bereits vorhandene Sensoren zur Überwachung des gesamten Prozesses eingesetzt werden. In dieser Arbeit werden Methoden aufgezeigt, die mit einer an der Fokussieroptik koaxial zum Laserstrahl integrierten Kamera eine Prozessüberwachung vor, während und nach dem Schweißprozess vornehmen. Zur Veranschaulichung der Methoden wird der Kontaktierungsprozess von Kupferdrähten zur Herstellung von Formspulenwicklungen verwendet. Die vorherige Prozessüberwachung umfasst eine durch ein faltendes neuronales Netz optimierte Bauteillagedetektion. Durch ei ne Formprüfung der detektierten Fügekomponenten können zudem vorverarbeitende Schritte überwacht und die Schweißung fehlerhafter Bauteile vermieden werden. Die prozessbegleitende Überwachung konzentriert sich auf die Erkennung von Spritzern, da diese als Indikator für einen instabilen Prozess dienen. Algorithmen des maschinellen Lernens führen eine semantische Segmentierung durch, die eine klare Unterscheidung zwischen Rauch, Prozesslicht und Materialauswurf ermöglicht. Die Qualitätsbewertung nach dem Prozess beinhaltet die Extraktion von Informationen über Größe und Form der Anbindungsfläche aus dem Kamerabild. Zudem wird ein Verfahren vorgeschlagen, welches anhand eines Kamerabildes mit Methoden des maschinellen Lernens die Höhendaten berechnet. Anhand der Höhenkarte wird eine regelbasierte Qualitätsbewertung der Schweißnähte durchgeführt. Bei allen Algorithmen wird die Integrierbarkeit in industrielle Prozesse berücksichtigt. Hierzu zählen unter anderem eine geringe Datengrundlage, eine begrenzte Inferenzhardware aus der industriellen Fertigung und die Akzeptanz beim Anwender

Non-destructive quality control of carbon anodes using modal analysis, acousto-ultrasonic and latent variable methods

La performance des cuves d’électrolyse utilisées dans la production d’aluminium primaire par le procédé Hall-Héroult est fortement influencée par la qualité des anodes de carbone. Celles-ci sont de plus en plus variables en raison de la qualité décroissante des matières premières (coke et braie) et des changements de fournisseurs qui deviennent de plus en plus fréquents afin de réduire le coût d’achat et de rencontrer les spécifications des usines. En effet, les défauts des anodes, tels les fissures, les pores et les hétérogénéités, causés par cette variabilité, doivent être détectés le plus tôt possible afin d’éviter d’utiliser des anodes défectueuses dans les cuves et/ou d’apporter des ajustements au niveau du procédé de fabrication des anodes. Cependant, les fabricants d’anodes ne sont pas préparés pour réagir à cette situation afin de maintenir une qualité d'anode stable. Par conséquent, il devient prioritaire de développer des techniques permettant d’inspecter le volume complet de chaque anode individuelle afin d’améliorer le contrôle de la qualité des anodes et de compenser la variabilité provenant des matières premières. Un système d’inspection basé sur les techniques d’analyse modale et d’acousto-ultrasonique est proposé pour contrôler la qualité des anodes de manière rapide et non destructive. Les données massives (modes de vibration et signaux acoustiques) ont été analysées à l'aide de méthodes statistiques à variables latentes, telles que l'Analyse en Composantes Principales (ACP) et la Projection sur les Structures Latentes (PSL), afin de regrouper les anodes testées en fonction de leurs signatures vibratoires et acousto-ultrasoniques. Le système d'inspection a été premièrement investigué sur des tranches d'anodes industrielles et ensuite testé sur plusieurs anodes pleine grandeur produites sous différentes conditions à l’usine de Alcoa Deschambault au Québec (ADQ). La méthode proposée a permis de distinguer les anodes saines de celles contenant des défauts ainsi que d’identifier le type et la sévérité des défauts, et de les localiser. La méthode acousto-ultrasonique a été validée qualitativement par la tomographie à rayon-X, pour les analyses des tranches d’anodes. Pour les tests réalisés sur les blocs d’anode, la validation a été réalisée au moyen de photos recueillies après avoir coupé certaines anodes parmi celles testées.The performance of the Hall-Héroult electrolysis reduction process used for the industrial aluminium smelting is strongly influenced by the quality of carbon anodes, particularly by the presence of defects in their internal structure, such as cracks, pores and heterogeneities. This is partly due to the decreasing quality and increasing variability of the raw materials available on the market as well as the frequent suppliers changes made in order to meet the smelter’s specifications and to reduce purchasing costs. However, the anode producers are not prepared to cope with these variations and in order to maintain consistent anode quality. Consequently, it becomes a priority to develop alternative methods for inspecting each anode block to improve quality control and maintain consistent anode quality in spite of the variability of incoming raw materials.A rapid and non-destructive inspection system for anode quality control is proposed based on modal analysis and acousto-ultrasonic techniques. The large set of vibration and acousto-ultrasonic data collected from baked anode materials was analyzed using multivariate latent variable methods, such as Principal Component Analysis (PCA) and Partial Least Squares (PLS), in order to cluster the tested anodes based on vibration and their acousto-ultrasonic signatures. The inspection system was investigated first using slices collected from industrial anodes and then on several full size anodes produced under different conditions at the Alcoa Deschambault in Québec (ADQ). It is shown that the proposed method allows discriminating defect-free anodes from those containing various types of defects. In addition, the acousto-ultrasonic features obtained in different frequency ranges were found to be sensitive to the defects severities and were able to locate them in anode blocks. The acousto-ultrasonic method was validated qualitatively using X-ray computed tomography, when studying the anode slices. The results obtained on the full size anode blocks were validated by means of images collected after cutting some tested anodes

Automated Semiconductor Defect Inspection in Scanning Electron Microscope Images: a Systematic Review

A growing need exists for efficient and accurate methods for detecting defects in semiconductor materials and devices. These defects can have a detrimental impact on the efficiency of the manufacturing process, because they cause critical failures and wafer-yield limitations. As nodes and patterns get smaller, even high-resolution imaging techniques such as Scanning Electron Microscopy (SEM) produce noisy images due to operating close to sensitivity levels and due to varying physical properties of different underlayers or resist materials. This inherent noise is one of the main challenges for defect inspection. One promising approach is the use of machine learning algorithms, which can be trained to accurately classify and locate defects in semiconductor samples. Recently, convolutional neural networks have proved to be particularly useful in this regard. This systematic review provides a comprehensive overview of the state of automated semiconductor defect inspection on SEM images, including the most recent innovations and developments. 38 publications were selected on this topic, indexed in IEEE Xplore and SPIE databases. For each of these, the application, methodology, dataset, results, limitations and future work were summarized. A comprehensive overview and analysis of their methods is provided. Finally, promising avenues for future work in the field of SEM-based defect inspection are suggested.Comment: 16 pages, 12 figures, 3 table