Defocus Deblurring for Metal Surface Defect Using Multiple Inputs Deep Networks

학위논문(석사) -- 서울대학교대학원 : 공학전문대학원 응용공학과, 2022.2. 최진영.최근 딥러닝의 급속한 발전에 따라 산업계에서는 불량 검출, 불량 분류, 그리고 불량 분석 등 다양한 분야에 딥러닝 기술을 활용하고 있다. 2015년 발표된 ResNet의 경우 이미지 분류 정확도에서 인간을 뛰어 넘는 성능을 보여주었으며 이미지 분류의 기본 모델로 다양하게 사용되고 있다. 이러한 딥러닝의 뛰어난 성능은 대용량 데이터 분석 시 기존 엔지니어(Engineers)와 오퍼레이터(Operators)가 분석할 때보다 빠르고 정확하게 분석할 수 있게 하며 기업의 생산성 향상에 기여하고 있다. 본 논문에서는 광학 검사 중 발생할 수 있는 디포커스 블러(Defocus Blur) 상황에서 흐릿한 이미지를 선명하게 복원하고 복원된 이미지를 얼마나 정확히 분류 할 수 있는가에 대한 문제를 다룬다. 블러 필터(Blur Filter) 크기를 변화시키면서 디포커스 블러 이미지를 다양하게 생성하고 실 상황에서 강인한 분류 성능을 낼 수 있는 방안을 모색한다. 이미지 복원에서 사용되는 UNet 모델을 기초로 디포커스 디블러(Defocus Deblur) 완성도를 평가하며 보다 뛰어난 성능을 위해 새로운 블러 데이터셋을 구축하고 다중입력(Multiple Inputs) UNet (MIUNet)을 제안한다. 디포커스 디블러 성능에 대한 평가는 복원 전과 후의 이미지 분류 정확도를 이용해서 평가하며 이미지 분류 정확도 평가는 분류 성능이 뛰어난 ResNet을 이용한다. 블러 필터로 만들어진 디포커스 블러 디펙 이미지를 MIUNet으로 복원한 후 이미지 분류 정확도가 개선됨을 보인다. 본 연구를 통해 제조 현장에서 디포커스 디블러로 복원된 이미지의 사용 가능성과 디포커스 디블러 성능이 블러 정도에 따라 성능의 편차가 있다는 한계점을 동시에 확인한다. 실제 제조 현장 상황을 가정하여 선명한 이미지와 흐릿한 이미지가 섞인 케이스별로 디포커스 디블러를 적용한 결과 적용하기 전보다 이미지 분류 정확도가 개선됨을 보인다. 본 연구 결과를 제조 현장에 적용함으로써 디포커스 블러로 인해 정확하게 분류하지 못했던 이미지를 정확하게 분류할 수 있을 것으로 기대하며 이는 제조 경쟁력을 확보하는데 기여할 것이다.With the recent rapid development of deep learning, the industry uses deep learning technology in various fields such as defect detection, defect classification, and defect analysis. In the case of ResNet, published in 2015, it showed performance that surpasses humans in image classification accuracy and is widely used as a basic model for image classification. Such excellent performance of deep learning enables faster and more accurate analysis than existing engineers and operators when analyzing large data, and contributes to the improvement of corporate productivity. In this paper, we deal with the problem of how to clearly restore a blurred image and classify the restored image in a defocus blur situation that may occur during optical inspection. We create various defocus blur images while changing the blur filter size and research a method that can produce strong classification performance in actual situations. Based on the UNet model used in image restoration, we evaluate the performance of the defocus deblur, build a new blur dataset for better performance, and propose a multiple inputs UNet (MIUNet). The defocus deblur performance is evaluated using the image classification accuracy before and after restoration, and the high-performance ResNet is used to evaluate the image classification accuracy. It shows that after restoring the defocus blur defect image created by the blur filter to MIUNet, the image classification accuracy improves. In this study, we simultaneously confirm the usability of the image restored to the defocus deblur at the manufacturing site and the limit point that the defocus deblur performance varies depending on the degree of blurring. As a result of applying the defocus deblurring for each case where a clear image and a blurry image are mixed it is shown that the image classification accuracy is improved as compared with before the defocus deblurring. By applying the results of this research to the manufacturing site, it is expected that images that could not be accurately classified by the defocus blur can be accurately classified, which will contribute to ensuring manufacturing competitiveness.Ⅰ. 서론 1 1-1 연구 동기 1 1-2 문제정의 및 연구 내용 2 1-3 논문의 구성 3 Ⅱ. 관련 연구 4 2.1 관련 딥러닝 연구 4 2.1.1 이미지 분류 연구 현황 4 2.1.2 ResNet 8 2.1.3 UNet 10 2.2 블러 및 디블러 10 2.2.1 블러 종류 10 2.2.2 디포커스 블러 13 2.2.3 디포커스 디블러 15 Ⅲ. 본문 16 3.1 Multiple Inputs UNet 16 3.1.1 Multi Blur Dataset 16 3.1.2 MIUNet Architecture 19 3.2 실험 데이터 구성 및 실험방법 22 3.2.1 실험 데이터셋 구성 22 3.2.2 실험방법 25 3.3 실험결과 27 3.3.1 디포커스 디블러 결과 27 3.3.2 디포커스 디블러 후 이미지 분류 결과 31 Ⅳ. 결론 43석

Defocus Deblurring for Metal Surface Defect Using Multiple Inputs Deep Networks

최근 딥러닝의 급속한 발전에 따라 산업계에서는 불량 검출, 불량 분류, 그리고 불량 분석 등 다양한 분야에 딥러닝 기술을 활용하고 있다. 2015년 발표된 ResNet의 경우 이미지 분류 정확도에서 인간을 뛰어 넘는 성능을 보여주었으며 이미지 분류의 기본 모델로 다양하게 사용되고 있다. 이러한 딥러닝의 뛰어난 성능은 대용량 데이터 분석 시 기존 엔지니어(Engineers)와 오퍼레이터(Operators)가 분석할 때보다 빠르고 정확하게 분석할 수 있게 하며 기업의 생산성 향상에 기여하고 있다. 본 논문에서는 광학 검사 중 발생할 수 있는 디포커스 블러(Defocus Blur) 상황에서 흐릿한 이미지를 선명하게 복원하고 복원된 이미지를 얼마나 정확히 분류 할 수 있는가에 대한 문제를 다룬다. 블러 필터(Blur Filter) 크기를 변화시키면서 디포커스 블러 이미지를 다양하게 생성하고 실 상황에서 강인한 분류 성능을 낼 수 있는 방안을 모색한다. 이미지 복원에서 사용되는 UNet 모델을 기초로 디포커스 디블러(Defocus Deblur) 완성도를 평가하며 보다 뛰어난 성능을 위해 새로운 블러 데이터셋을 구축하고 다중입력(Multiple Inputs) UNet (MIUNet)을 제안한다. 디포커스 디블러 성능에 대한 평가는 복원 전과 후의 이미지 분류 정확도를 이용해서 평가하며 이미지 분류 정확도 평가는 분류 성능이 뛰어난 ResNet을 이용한다. 블러 필터로 만들어진 디포커스 블러 디펙 이미지를 MIUNet으로 복원한 후 이미지 분류 정확도가 개선됨을 보인다. 본 연구를 통해 제조 현장에서 디포커스 디블러로 복원된 이미지의 사용 가능성과 디포커스 디블러 성능이 블러 정도에 따라 성능의 편차가 있다는 한계점을 동시에 확인한다. 실제 제조 현장 상황을 가정하여 선명한 이미지와 흐릿한 이미지가 섞인 케이스별로 디포커스 디블러를 적용한 결과 적용하기 전보다 이미지 분류 정확도가 개선됨을 보인다. 본 연구 결과를 제조 현장에 적용함으로써 디포커스 블러로 인해 정확하게 분류하지 못했던 이미지를 정확하게 분류할 수 있을 것으로 기대하며 이는 제조 경쟁력을 확보하는데 기여할 것이다.With the recent rapid development of deep learning, the industry uses deep learning technology in various fields such as defect detection, defect classification, and defect analysis. In the case of ResNet, published in 2015, it showed performance that surpasses humans in image classification accuracy and is widely used as a basic model for image classification. Such excellent performance of deep learning enables faster and more accurate analysis than existing engineers and operators when analyzing large data, and contributes to the improvement of corporate productivity. In this paper, we deal with the problem of how to clearly restore a blurred image and classify the restored image in a defocus blur situation that may occur during optical inspection. We create various defocus blur images while changing the blur filter size and research a method that can produce strong classification performance in actual situations. Based on the UNet model used in image restoration, we evaluate the performance of the defocus deblur, build a new blur dataset for better performance, and propose a multiple inputs UNet (MIUNet). The defocus deblur performance is evaluated using the image classification accuracy before and after restoration, and the high-performance ResNet is used to evaluate the image classification accuracy. It shows that after restoring the defocus blur defect image created by the blur filter to MIUNet, the image classification accuracy improves. In this study, we simultaneously confirm the usability of the image restored to the defocus deblur at the manufacturing site and the limit point that the defocus deblur performance varies depending on the degree of blurring. As a result of applying the defocus deblurring for each case where a clear image and a blurry image are mixed it is shown that the image classification accuracy is improved as compared with before the defocus deblurring. By applying the results of this research to the manufacturing site, it is expected that images that could not be accurately classified by the defocus blur can be accurately classified, which will contribute to ensuring manufacturing competitiveness.Ⅰ. 서론 1 1-1 연구 동기 1 1-2 문제정의 및 연구 내용 2 1-3 논문의 구성 3 Ⅱ. 관련 연구 4 2.1 관련 딥러닝 연구 4 2.1.1 이미지 분류 연구 현황 4 2.1.2 ResNet 8 2.1.3 UNet 10 2.2 블러 및 디블러 10 2.2.1 블러 종류 10 2.2.2 디포커스 블러 13 2.2.3 디포커스 디블러 15 Ⅲ. 본문 16 3.1 Multiple Inputs UNet 16 3.1.1 Multi Blur Dataset 16 3.1.2 MIUNet Architecture 19 3.2 실험 데이터 구성 및 실험방법 22 3.2.1 실험 데이터셋 구성 22 3.2.2 실험방법 25 3.3 실험결과 27 3.3.1 디포커스 디블러 결과 27 3.3.2 디포커스 디블러 후 이미지 분류 결과 31 Ⅳ. 결론 43석

저손실 가변 RF MEMS 소자를 이용한 고성능 밀리미터파 회로에대한 연구

Thesis(doctoral)--서울대학교 대학원 :전기·컴퓨터공학부,2004.Docto

spatially combined v-band mmic coupled oscillator array in waveguide

본 논문은 V-band에서 동작하는 MMIC 결합 발진기 array에 관한 것이다. 제안된 발진기 array의 unit cell들은 한 개의 microstrip patch 안테나와 두개의 발진기가 결합된 push-pull 능동 안테나 구조로 되어 있다. 전체 발진기 array의 주파수 동기화는 각 unit cell의 microstrip patch 안테나 사이의 강한 전자기적 결합을 통해 이루어진다. 이로 인해 전체 array를 하나의 MMIC로 구현할 수 있었다. 제안된 구조로 설계된 2종의 V-band 1×2 결합 발진기 array가 0.15 um pHEMT MMIC 표준 공정을 이용해 제작되었다. 제작된 MMIC 칩은 도파관을 이용한 전력 결합 module로 구현되었다. 모듈 측정 결과, 첫 번째 array는 56.372 GHz에서 0.5 dBm의 출력을 나타내었고 다른 하나는 60.147 GHz에서 5.85 dBm의 출력을 나타내었다. In this paper, V-band MMIC coupled oscillator arrays are presented. In the proposed array, two push-pull patch antennas are synchronized by using strong electromagnetic coupling between two antennas. As a result, total size of the array is reduced and the array can be integrated in a single chip. To verify proposed array concept, two 1×2 arrays are designed and fabricated using standard 0.15 um gate length pHEMT MMIC process. The circuits are mounted in an oversized waveguide and measured. The first array shows 0.5 dBm at 56.372 GHz and the second one has an output of 5.85 dBm at 60.147 GHz.N

Design and implementation of single-balanced diode mixer at 35GHz

학위논문(석사) - 한국과학기술원 : 전기 및 전자공학과, 1993.2, [ [iii], 59 p. ]한국과학기술원 : 전기 및 전자공학과