Free annotated data for deep learning in microscopy? A hitchhiker's guide

In microscopy, the time burden and cost of acquiring and annotating large datasets that many deep learning models take as a prerequisite, often appears to make these methods impractical. Can this requirement for annotated data be relaxed? Is it possible to borrow the knowledge gathered from datasets in other application fields and leverage it for microscopy? Here, we aim to provide an overview of methods that have recently emerged to successfully train learning-based methods in bio-microscopy.Comment: Accepted in Photoniques 10

Penggunaan Pre-trained Model untuk Klasifikasi Kualitas Sekrup

Inspeksi kualitas produk berbasis citra merupakan hal yang penting bagi industri manufaktur. Tugas tersebut sebagian besar masih dilakukan oleh manusia yang memiliki unit per hour rendah. Metode konvensional untuk inspeksi citra masih mengandalkan metode berbasis fitur, yang memiliki masalah sulitnya generalisasi dan ekstraksi fitur. Masalah tersebut diatasi dengan metode CNN, tetapi CNN membutuhkan data yang besar dan waktu training yang lama. Penggunaan pre-trained model dan augmentasi citra dapat menyelesaikan permasalahan pada metode-metode sebelumnya. Namun, belum ada penelitian yang secara lengkap meneliti dan membandingkan performa berbagai pre-trained model dan variasi augmentasi citra untuk tugas inspeksi citra kualitas produk manufaktur.Proses penelitian menggunakan dataset sekrup berjenis multi class dan binary class pada 33 jenis pre-trained model dan 8 jenis augmentasi citra. Pengujian pre-trained model menggunakan dataset gabungan seluruh jenis augmentasi citra. Model dengan akurasi tertinggi adalah EfficientNetV2-L untuk dataset multi class (97.8%) dan VGG-19 untuk dataset binary class (96.5%). Augmentasi citra dengan signifikansi tertinggi terhadap performa model adalah blur, dengan akurasi 81.1% pada multi class dan 92% pada binary class. Keseluruhan proses pengujian pre-trained model dan augmentasi citra berjalan dengan baik. Kata kunci—Inspeksi kualitas produk, Pre-trained model, Augmentasi citr

불충분한 고장 데이터에 대한 딥러닝 기반 회전 기계 진단기술 학습방법 연구

학위논문(박사)--서울대학교 대학원 :공과대학 기계항공공학부,2020. 2. 윤병동.Deep Learning is a promising approach for fault diagnosis in mechanical applications. Deep learning techniques are capable of processing lots of data in once, and modelling them into desired diagnostic model. In industrial fields, however, we can acquire tons of data but barely useful including fault or failure data because failure in industrial fields is usually unacceptable. To cope with this insufficient fault data problem to train diagnostic model for rotating machinery, this thesis proposes three research thrusts: 1) filter-envelope blocks in convolution neural networks (CNNs) to incorporate the preprocessing steps for vibration signal; frequency filtering and envelope extraction for more optimal solution and reduced efforts in building diagnostic model, 2) cepstrum editing based data augmentation (CEDA) for diagnostic dataset consist of vibration signals from rotating machinery, and 3) selective parameter freezing (SPF) for efficient parameter transfer in transfer learning. The first research thrust proposes noble types of functional blocks for neural networks in order to learn robust feature to the vibration data. Conventional neural networks including convolution neural network (CNN), is tend to learn biased features when the training data is acquired from small cases of conditions. This can leads to unfavorable performance to the different conditions or other similar equipment. Therefore this research propose two neural network blocks which can be incorporated to the conventional neural networks and minimize the preprocessing steps, filter block and envelope block. Each block is designed to learn frequency filter and envelope extraction function respectively, in order to induce the neural network to learn more robust and generalized features from limited vibration samples. The second thrust presents a new data augmentation technique specialized for diagnostic data of vibration signals. Many data augmentation techniques exist for image data with no consideration for properties of vibration data. Conventional techniques for data augmentation, such as flipping, rotating, or shearing are not proper for 1-d vibration data can harm the natural property of vibration signal. To augment vibration data without losing the properties of its physics, the proposed method generate new samples by editing the cepstrum which can be done by adjusting the cepstrum component of interest. By doing reverse transform to the edited cepstrum, the new samples is obtained and this results augmented dataset which leads to higher accuracy for the diagnostic model. The third research thrust suggests a new parameter repurposing method for parameter transfer, which is used for transfer learning. The proposed SPF selectively freezes transferred parameters from source network and re-train only unnecessary parameters for target domain to reduce overfitting and preserve useful source features when the target data is limited to train diagnostic model.딥러닝은 기계 응용 분야의 결함 진단을 위한 유망한 접근 방식이다. 딥러닝 기술은 많은 양의 데이터를 학습하여 진단 모델의 개발을 용이하게 한다. 그러나 산업 분야에서는 많은 양의 데이터를 얻을 수 없거나 얻을 수 있더라도 고장 데이터는 일반적으로 획득하기 매우 어렵기 때문에 딥러닝 방법의 사용은 쉽지 않다. 회전 기계의 진단을 위하여 딥러닝을 학습시킬 때 발생하는 고장 데이터 부족 문제에 대처하기 위해 이 논문은 3 가지 연구를 제안한다. 1) 향상된 진동 특징 학습을 위한 필터-엔벨롭 네트워크 구조 2) 진동데이터 생성을 위한 Cepstrum 기반 데이터 증량법3) 전이 학습에서 효율적인 파라미터 전이를 위한 선택적 파라미터 동결법. 첫 번째 연구는 진동 데이터에 대한 강건한 특징을 배우기 위해 신경망에 대한 새로운 형태의 네트워크 블록들을 제안한다. 합성곱 신경망을 포함하는 종래의 신경망은 학습 데이터가 작은 경우에 데이터로부터 편향된 특징을 배우는 경향이 있으며, 이는 다른 조건에서 작동하는 경우나 다른 시스템에 대해 적용되었을 때 낮은 진단 성능을 보인다. 따라서 본 연구는 기존의 신경망에 함께 사용될 수 있는 필터 블록 및 엔벨롭 블록을 제안한다. 각 블록은 주파수 필터와 엔벨롭 추출 기능을 네트워크 내에서 스스로 학습하여 신경망이 제한된 학습 진동데이터로부터 보다 강건하고 일반화 된 특징을 학습하도록 한다. 두 번째 연구는 진동 신호의 진단 데이터에 특화된 새로운 데이터 증량법을 제안한다. 뒤집기, 회전 또는 전단과 같은 데이터 확대를 위한 이미지 데이터를 위한 기존의 기술이 1 차원 진동 데이터에 적합하지 않으며, 진동 신호의 물리적 특성에 맞지 않는 신호를 생성할 수 있다. 물리적 특성을 잃지 않고 진동 데이터를 증량하기 위해 제안된 방법은 cepstrum의 주요성분을 추출하고 조정하여 역 cepstrum을 수행하는 방식으로 새로운 샘플을 생성한다. 제안된 방법을 통해 데이터를 생성하여 증량돤 데이터세트는 진단 모델 학습에 대해 성능향상을 가져온다. 세 번째 연구는 전이 학습에 사용되는 파라미터 전이를 위한 새로운 파라미터 재학습법을 제안한다. 제안된 선택적 파라미터 동결법은 소스 네트워크에서 전이된 파라미터를 선택적으로 동결하고 대상 도메인에 대해 불필요한 파라미터만 재학습하여 대상 데이터가 진단 모델에 재학습될 때의 과적합을 줄이고 소스 네트워크의 성능을 보존한다. 제안된 세 방법은 독립적으로 또는 동시에 진단모델에 사용되어 부족한 고장데이터로 인한 진단성능의 감소를 경감하거나 더 높은 성능을 이끌어낼 수 있다.Chapter 1 Introduction 13 1.1 Motivation 13 1.2 Research Scope and Overview 15 1.3 Structure of the Thesis 19 Chapter 2 Literature Review 20 2.1 Deep Neural Networks 20 2.2 Transfer Learning and Parameter Transfer 23 Chapter 3 Description of Testbed Data 26 3.1 Bearing Data I: Case Western Reserve University Data 26 3.2 Bearing Data II: Accelerated Life Test Test-bed 27 Chapter 4 Filter-Envelope Blocks in Neural Network for Robust Feature Learning 32 4.1 Preliminary Study of Problems In Use of CNN for Vibration Signals 34 4.1.1 Class Confusion Problem of CNN Model to Different Conditions 34 4.1.2 Benefits of Frequency Filtering and Envelope Extraction for Fault Diagnosis in Vibration Signals 37 4.2 Proposed Network Block 1: Filter Block 41 4.2.1 Spectral Feature Learning in Neural Network 42 4.2.2 FIR Band-pass Filter in Neural Network 45 4.2.3 Result and Discussion 48 4.3 Proposed Neural Block 2: Envelope Block 48 4.3.1 Max-Average Pooling Block for Envelope Extraction 51 4.3.2 Adaptive Average Pooling for Learnable Envelope Extractor 52 4.3.3 Result and Discussion 54 4.4 Filter-Envelope Network for Fault Diagnosis 56 4.4.1 Combinations of Filter-Envelope Blocks for the use of Rolling Element Bearing Fault Diagnosis 56 4.4.2 Summary and Discussion 58 Chapter 5 Cepstrum Editing Based Data Augmentation for Vibration Signals 59 5.1 Brief Review of Data Augmentation for Deep Learning 59 5.1.1 Image Augmentation to Enlarge Training Dataset 59 5.1.2 Data Augmentation for Vibration Signal 61 5.2 Cepstrum Editing based Data Augmentation 62 5.2.1 Cepstrum Editing as a Signal Preprocessing 62 5.2.2 Cepstrum Editing based Data Augmentation 64 5.3 Results and Discussion 65 5.3.1 Performance validation to rolling element bearing diagnosis 65 Chapter 6 Selective Parameter Freezing for Parameter Transfer with Small Dataset 71 6.1 Overall Procedure of Selective Parameter Freezing 72 6.2 Determination Sensitivity of Source Network Parameters 75 6.3 Case Study 1: Transfer to Different Fault Size 76 6.3.1 Performance by hyperparameter α 77 6.3.2 Effect of the number of training samples and network size 79 6.4 Case Study 2: Transfer from Artificial to Natural Fault 81 6.4.1 Diagnostic performance for proposed method 82 6.4.2 Visualization of frozen parameters by hyperparameter α 83 6.4.3 Visual inspection of feature space 85 6.5 Conclusion 87 Chapter 7 91 7.1 Contributions and Significance 91Docto

딥러닝 기반 음향 이상 강도 추정

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 기계항공공학부, 2019. 2. 윤병동.이 연구는 극단적인 정상과 이상 음향 신호만을 학습하여, 임의의 음향 신호의 이상 정도를 추정할 수 있는 딥러닝 알고리즘 기반 방법론에 대한 것이다. 우선 연속적으로 강도가 변화하는 이상 음향을 구현하기 위해 두 종류의 이상 신호를 실험적으로 합성하였다. 정상과 심한 이상 음향을 스펙트로그램으로 변환하여 다른 데이터로 이미 가중치가 학습된 CNN 모델로 분류를 시도한 결과, 아주 높은 수준의 정확도로 분류가 가능한 것이 확인되었다. 그러나 이 과정에서 학습된 모델로도 중간 정도의 이상 음향을 구분해낼 수 없었다. 이 한계점을 극복하기 위해서 우리는 잠재 공간의 특징 인자를 추출하였다. 우리는 특징 인자의 차원을 축소한 결과, 이상 정도의 증가에 따라 차원 축소된 인자 값이 서서히 변하는 현상을 관찰하였다. 이 현상은 정상 상태와 이상 상태의 특징 인자 군집 사이에 중간 정도의 이상을 가진 음향의 특징 인자를 위치시킬 수 있음을 시사한다. 마지막으로 이 방법론은 비음향 진동 데이터를 포함한 실제 환경에서 계측된 데이터들에 적용되었다. 제시된 방법론은 실제 데이터에 대해서도 유의미한 결과를 보였으며, 시주파수 영역 상에서 상태가 변화하는 이상에 공통적으로 적용될 수 있음을 제시하였다.This research proposes a deep learning-based method to estimate an intermediate severity fault state of acoustic data using a model trained only with normal and severe fault labels. First, two types of synthesized acoustic faults with five parameters were designed to simulate a gradually increasing fault. Then, a pretrained CNN model was applied to spectrogram images built from the data. The results from this model prove that classification of both normal and severe faults is possible with high accuracy. However, distinguishing intermediate faults was not possible, even with a fine-tuned model of highest accuracy. To overcome this limitation, latent space features were extracted using the model. Based on this information, the feature values were shown to gradually change as the severity of the fault increased in the reduced-dimension space. This phenomenon suggests that it is possible to map data with intermediate-level faults in the space somewhere between normal and severe fault clusters. The method was tested on real data, including non-acoustic vibrational data. It is anticipated that the proposed method can be applied not only to acoustic signals but also to any signals with a fault characteristic that gradually changes in the time-frequency domain as the fault propagates.Table of Contents Abstract i List of Tables vi List of Figures vii Chapter 1. Introduction 1 1.1 Motivation 1 1.2 Scope of the Research 3 1.3 Thesis Layout 6 Chapter 2. Research Background 7 2.1 Types of Acoustic Faults 7 2.2 Spectrogram 8 2.3 CNN Models 10 2.3.1 VGG-16 and VGG-19 11 2.3.2 ResNet-50 12 2.3.3 InceptionV3 13 2.3.4 Xception 15 2.4 Transfer Learning 16 2.5 Latent Space 17 2.5.1 Latent Space Visualization 17 Chapter 3. Proposed Estimation Method 18 3.1 Simulating Acoustic Fault 18 3.1.1 Modulation Fault 21 3.1.2 Impulsive Fault 22 3.2 Spectrogram Parameters 23 3.3 Transfer Learning and Fine-tuning 25 3.4 Latent Space Visualization 26 Chapter 4. Experiment Result 27 4.1 Synthesized Data 27 4.1.1 Transfer Learning Result 27 4.1.2 Prediction Result 28 4.1.3 Latent Space Visualization Result 32 4.2 Case Western Reserve University Bearing Dataset 35 4.2.1 Latent Space Visualization Result 36 4.3 Unbalanced Fan Data 37 4.3.1 Latent Space Visualization Result 37 Chapter 5. Conclusion and Future Work 39 5.1 Conclusion 39 5.2 Contribution 40 5.3 Future Work 41Maste

Automaattinen optinen tarkastus pintaliitosprosessissa

Pintaliitoksesta on tullut vallitseva tapa kiinnittää komponentteja piirilevykokoonpanojen valmistuksessa. Automaattinen optinen tarkastus (AOT, engl. AOI, Automated Optical Inspection) on ollut käytössä pintaliitosprosessissa vuosikymmenien ajan. Ensimmäiset AOT järjestelmät käyttivät yksinkertaista 2D kuvantamista, ja vaikka erilaisia 2D AOT järjestelmiä on vielä tänä päivänä käytössä, useissa nykyaikaisissa järjestelmissä hyödynnetään 3D kuvantamistekniikoita. Kuvankäsittelyn kehittyminen ja tietokoneiden laskentatehon kasvaminen mahdollistavat yhä tarkempien AOT järjestelmien toteuttamisen. Tässä työssä selvitetään, mitä hyötyjä saadaan AOT:n käytöstä pintaliitosprosessissa, mitä haasteita siinä on, sekä mitä tarkastuksia tehdään optisen tarkastuksen lisäksi. Lisäksi käydään lyhyesti läpi sekä pintaliitosprosessi että optinen tarkastus. Työ tehtiin kirjallisuusselvityksenä. Työn lähteissä keskityttiin erityisesti tutkimuksiin, joiden aiheena oli pintaliitosprosessissa käytettävien optisten tarkastusten kehittäminen. AOT on tärkeässä roolissa pintaliitosprosessin laadunvalvonnassa. Pintaliitosprosessissa AOT:illa tehdään tyypillisesti kolme eri tarkastusta: juotospastan tarkastus, reflow-juotosta edeltävä tarkastus ja reflow-juotoksen jälkeinen tarkastus. Eri vaiheiden tarkastuksilla voidaan sekä havaita että ehkäistä prosessissa tapahtuvia virheitä. Lisäksi tarkastukset antavat mahdollisuuksia prosessin säätöön ja tilastolliseen prosessinhallintaan. Löytämällä mahdolliset virheet aikaisin sekä ennaltaehkäisemällä virheiden muodostumista minimoidaan virheiden ja niiden korjaamisen aiheuttamat kustannukset. Haasteina AOT:llä on erityisesti nykyaikaisen kokoonpanon komponenttien pienuus ja suuri määrä. Juotospastan tarkastuksessa tarvitaan 3D-kuvantamista ja virherajojen asettaminen on hankalaa. Reflow-juotosta edeltävässä tarkastuksessa komponenttien heterogeenisyys voi aiheuttaa ongelmia, kun taas reflow-juotoksen jälkeisessä tarkastuksessa juotoksien heijastava pinta sekä tarkastettavien kohteiden ja virhetyyppien suuri määrä tekee tarkastuksesta haastavaa. Optisella tarkastuksella ei pystytä tarkastamaan alta juottuvia komponentteja, kuten BGA-paketteja (engl. Ball Grid Array), joiden käyttö on lisääntynyt piirilevykokoonpanoissa. ART (Au-tomaattinen Röntgen Tarkastus, engl. AXI, Automated X-ray Inspection) voidaan tehdä reflow-juotoksen jälkeen, joko optisen tarkastuksen lisäksi tai sen sijaan. ART:llä pystytään tarkasta-maan optiselta tarkastukselta peitossa olevat juotokset, sekä löytämään juotoksien sisällä mahdollisesti olevia virheitä. ART-järjestelmät ovat kuitenkin tyypillisesti hitaampia ja kalliimpia kuin AOT-järjestelmät. Reflow-juotoksen jälkeisen tarkastuksen lisäksi tehdään sähköisiä ja funktionaalisia tarkastuksia. Nämä tarkastukset ovat viimeiset tarkastukset prosessissa ja niillä varmistetaan, että tuote toimii oikein