Acoustic-based assembly defect detection system

학위논문(석사) -- 서울대학교대학원 : 공학전문대학원 응용공학과, 2022.2. 성우제.글로벌 제조업체들은 제품의 품질을 확보하기 위한 많은 노력에도 불구하고, 다양한 원인에 의한 생산 불량은 지속해서 발생한다. 생산 불량 제품이 소비자에게 전달될 경우 이것은 직접적인 비용 이외에도 브랜드 이미지를 일순간에 실추 시켜 기업경영에 타격을 줄 수 있는 중요한 문제이다. 최근 딥러닝 기술의 발전으로 제조 현장에서 이상 탐지(anomaly detection)기반의 많은 연구가 이루어지고 있다. 그러나 최근 연구된 관련 연구를 살펴보면 주로 비전(vision)검사를 통한 제품의 표면 결함을 다루거나 진동 데이터를 이용해 생산 설비의 상태 검사에 관한 연구가 대부분이다. 그러나 이러한 방식은 소리를 다루는 오디오 제품에 적용하기에는 적합하지 않다. 또한 하루에 수백, 수천 개를 생산하는 제조업에서 제품의 품질검사에 센서를 부착하기 위해서는 많은 시간과 비용이 소요된다. 본 연구는 단일 음향 센서로 측정한 스피커 출력데이터와 합성 곱 신경망을 활용하여 원시 오디오 신호에서 직접 표현을 학습하는 소리 분류에 대한 종단 간 접근 방법을 제시한다. 조립 결함의 분류 작업과 관련된 다양한 필터를 학습하기 위해 7개의 컨볼루션 레이어가 사용된다. 데이터셋은 여러 대의 스피커에서 출력데이터를 통해 수집되었으며, 일부 스피커 출력에서 학습한 지식이 다른 스피커 결함 여부를 판단 할 수 있음을 보였고, 평균 정확도 99\%를 달성하는 것으로 나타났다. 제안하는 조립결함 감지 기법은 기존의 2D 표현을 입력으로 사용하는 대부분의 방식보다 높은 성능을 보인다. 또한, 다른 아키텍처에 비해 적은 수의 매개변수를 가지고 있어, 실시간 제품 품질 검사에 효율적이다. 본 연구를 통해 제조 현장에서 TV, 차량용 AVN과 같이 스피커가 탑재된 제품에 대한 조립 공정 불량률을 감소시켜줄 것으로 기대한다.Despite many efforts by global manufacturers to secure product quality, production defects due to various causes continue to occur. If defective products are delivered to consumers, this is an important problem that can damage corporate management by instantly destroying brand image in addition to direct cost. Recently, with the development of deep learning technology, many studies based on anomaly detection are being conducted in manufacturing sites. However, if you look at the related studies that have been recently studied, most of them deal with the surface defects of products through vision inspection or the state inspection of production facilities using vibration data. However, these methods are not suitable for application to audio products that deal with sound. In addition, it takes a lot of time and money to attach a sensor to apply it to quality inspection of products in a manufacturing industry that produces hundreds or thousands of units per day. In this paper, we present an end-to-end approach to sound classification that learns representations directly from raw audio signals using speaker output data measured by a single acoustic sensor and a synthetic product neural network. Seven convolutional layers are used to learn various filters related to the classification task of assembly defects. The dataset was collected through output data from multiple speakers, and it was shown that the knowledge learned from the output of some speakers can determine whether other speakers are defective, with 99% accuracy. The proposed assembly defect detection method shows higher performance than most methods that use the existing 2D representation as input. In addition, it has fewer parameters compared to other architectures, making it efficient for real-time product quality inspection. Through this study, it is expected that the assembly process defect rate will be reduced for product groups with speakers installed inside the product, such as TVs and AVNs for vehicles.I. 서론 1 1.1 연구 배경 1 1.2 접근 4 1.3 연구보고서 구성 5 II. 관련 연구 6 2.1 합성곱 신경망 6 2.2 전이 학습 10 2.3 데이터 증강 11 2.4 시작 감지(Onset detection) 12 2.4.1 시간 영역 시작 감지 12 2.4.2 주파수 영역 시작 감지 13 2.5 음향 장면 분류 13 III. 문제 정의 방법론 14 3.1 조립 결함의 정의 14 3.2 제안된 종단간 아키텍쳐 17 3.2.1 1D CNN 토폴로지 19 3.2.2 네트워크 아키텍쳐 21 3.3 조립결함 오디오 데이터 증강 23 IV. 실험 및 평가 25 4.1 조립 결함 데이터셋 25 4.2 실험 환경 29 4.3 학습 방법 34 4.4 평가 36 4.4.1 네트워크별 성능 평가 38 4.4.2 스피커 지향성 분석 44 V. 결론 48 참고 문헌 51 Abstract 57석

2-isopropyl-6-methyl-4-pyrimidinol의 광촉매 산화반응용 TiO2 촉매의 개발

Thesis (doctoral)--서울대학교 대학원 :응용화학부,2004.Docto

Acoustic-based assembly defect detection system

글로벌 제조업체들은 제품의 품질을 확보하기 위한 많은 노력에도 불구하고, 다양한 원인에 의한 생산 불량은 지속해서 발생한다. 생산 불량 제품이 소비자에게 전달될 경우 이것은 직접적인 비용 이외에도 브랜드 이미지를 일순간에 실추 시켜 기업경영에 타격을 줄 수 있는 중요한 문제이다. 최근 딥러닝 기술의 발전으로 제조 현장에서 이상 탐지(anomaly detection)기반의 많은 연구가 이루어지고 있다. 그러나 최근 연구된 관련 연구를 살펴보면 주로 비전(vision)검사를 통한 제품의 표면 결함을 다루거나 진동 데이터를 이용해 생산 설비의 상태 검사에 관한 연구가 대부분이다. 그러나 이러한 방식은 소리를 다루는 오디오 제품에 적용하기에는 적합하지 않다. 또한 하루에 수백, 수천 개를 생산하는 제조업에서 제품의 품질검사에 센서를 부착하기 위해서는 많은 시간과 비용이 소요된다. 본 연구는 단일 음향 센서로 측정한 스피커 출력데이터와 합성 곱 신경망을 활용하여 원시 오디오 신호에서 직접 표현을 학습하는 소리 분류에 대한 종단 간 접근 방법을 제시한다. 조립 결함의 분류 작업과 관련된 다양한 필터를 학습하기 위해 7개의 컨볼루션 레이어가 사용된다. 데이터셋은 여러 대의 스피커에서 출력데이터를 통해 수집되었으며, 일부 스피커 출력에서 학습한 지식이 다른 스피커 결함 여부를 판단 할 수 있음을 보였고, 평균 정확도 99\%를 달성하는 것으로 나타났다. 제안하는 조립결함 감지 기법은 기존의 2D 표현을 입력으로 사용하는 대부분의 방식보다 높은 성능을 보인다. 또한, 다른 아키텍처에 비해 적은 수의 매개변수를 가지고 있어, 실시간 제품 품질 검사에 효율적이다. 본 연구를 통해 제조 현장에서 TV, 차량용 AVN과 같이 스피커가 탑재된 제품에 대한 조립 공정 불량률을 감소시켜줄 것으로 기대한다.Despite many efforts by global manufacturers to secure product quality, production defects due to various causes continue to occur. If defective products are delivered to consumers, this is an important problem that can damage corporate management by instantly destroying brand image in addition to direct cost. Recently, with the development of deep learning technology, many studies based on anomaly detection are being conducted in manufacturing sites. However, if you look at the related studies that have been recently studied, most of them deal with the surface defects of products through vision inspection or the state inspection of production facilities using vibration data. However, these methods are not suitable for application to audio products that deal with sound. In addition, it takes a lot of time and money to attach a sensor to apply it to quality inspection of products in a manufacturing industry that produces hundreds or thousands of units per day. In this paper, we present an end-to-end approach to sound classification that learns representations directly from raw audio signals using speaker output data measured by a single acoustic sensor and a synthetic product neural network. Seven convolutional layers are used to learn various filters related to the classification task of assembly defects. The dataset was collected through output data from multiple speakers, and it was shown that the knowledge learned from the output of some speakers can determine whether other speakers are defective, with 99% accuracy. The proposed assembly defect detection method shows higher performance than most methods that use the existing 2D representation as input. In addition, it has fewer parameters compared to other architectures, making it efficient for real-time product quality inspection. Through this study, it is expected that the assembly process defect rate will be reduced for product groups with speakers installed inside the product, such as TVs and AVNs for vehicles.I. 서론 1 1.1 연구 배경 1 1.2 접근 4 1.3 연구보고서 구성 5 II. 관련 연구 6 2.1 합성곱 신경망 6 2.2 전이 학습 10 2.3 데이터 증강 11 2.4 시작 감지(Onset detection) 12 2.4.1 시간 영역 시작 감지 12 2.4.2 주파수 영역 시작 감지 13 2.5 음향 장면 분류 13 III. 문제 정의 방법론 14 3.1 조립 결함의 정의 14 3.2 제안된 종단간 아키텍쳐 17 3.2.1 1D CNN 토폴로지 19 3.2.2 네트워크 아키텍쳐 21 3.3 조립결함 오디오 데이터 증강 23 IV. 실험 및 평가 25 4.1 조립 결함 데이터셋 25 4.2 실험 환경 29 4.3 학습 방법 34 4.4 평가 36 4.4.1 네트워크별 성능 평가 38 4.4.2 스피커 지향성 분석 44 V. 결론 48 참고 문헌 51 Abstract 57석

Candidates Campaign Strategies and Vote Shares in the 20th National Assembly Elections

선거에서 후보자가 유권자에게 제공하는 정보는 매우 중요하다. 짧은 선거운동 기간 동안 후보자가 유권자를 대상으로 다양한 홍보 전략을 펼치는 이유가 바로 여기에 있다. 이러한 인식하에 본 연구는 후보자의 홍보 전략을 탐구한다. 그 중에서도 후보자가 활용하는 홍보 매체, 특히 선거공보에 초점을 둔다. 우리는 선거결과에 영향을 미치는 변수로 후보자가 어떻게 선거를 규정하고 홍보하는가를 중요하게 고려한다. 구체적으로 제20대 총선 후보자의 선거공보를 인물, 정책, 매체 요인을 중심으로 살펴보고 이러한 특징이 득표율에 미치는 영향력을 측정한다. 이 연구의 회귀분석 결과에 따르면, 후보자가 자신의 이름을 강조할수록 득표율이 증가하는 반면, 정당명을 강조하는 경우 득표율이 감소하는 경향을 보인다. 또한 의정활동보다는 지역구 이익과 관련한 본인의 업적을 강조할 때 득표율이 상승하는 것으로 나타났다. 마지막으로, 유권자에게 다양한 소통 채널을 제공하는 것이 득표율에 긍정적인 영향을 미친다는 것을 확인할 수 있다. 이 연구의 경험적 결과는 후보자의 선거 전략이 선거 결과에 영향을 미칠 수 있음을 보여준다.Candidates develop and apply various campaign strategies to win elections. Examining campaign bulletins, this study grasps candidates campaign strategies. Furthermore, we estimate the influences of campaign strategies on vote shares. Campaign bulletin is one of the major campaign tools to communicate with voters. Analyzing campaign bulletins in the 20th National Assembly Elections, we focus on three different factors: candidate, policy, and media. This study tests the influences of each factor on election results. The regression results of this study show that stressing candidates names tends to increase vote shares. However, frequently exposing party names is more likely to affect vote shares negatively. In addition, advertising their activities that have brought economic benefits to their constituents tends to help incumbent candidates collect more votes. Finally, according to the regression results, providing various communication channels for voters can affect vote shares in a positive manner