생성적 적대 신경망을 활용한 악의적인 공격에 강인한 네트워크 훈련 방법

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·컴퓨터공학부, 2020. 8. 이정우.최근의 딥 러닝 기술의 놀라운 발전에도 불구하고 네트워크 신경망은 여전히 악의적인 공격에 취약하다. 악의적인 이미지를 훈련 데이터로 사용하여 이러한 문제를 해결하기 위한 많은 적대적 훈련 방법이 도입되었다. 하지만 이러한 기술에 사용되는 악의적인 이미지를 생성하는 방법은 항상 고정되어 있기 때문에, 네트워크 신경망은 이러한 공격에 대해서만 모델을 더 강인하게 만드는 과적합 학습을 수행하게 된다. 이 논문의 첫번째 파트에서는 생성적 적대 신경망을 활용한 새로운 방식의 적대적 훈련 방법이 제안되었다. 우리가 제안하는 방법은 분류기 네트워크 이외에 추가적으로 분류기의 약점을 찾아서 가장 효과적인 섭동을 생성하는 또 하나의 신경망을 추가하는 것이다. 이 생성기 네트워크는 분류기의 손실을 최대화하는 섭동을 생성하도록 훈련되며, 분류기 네트워크는 생성기 네트워크로부터 생성된 악의적인 이미지를 실제 레이블로 분류하도록 훈련된다. 즉, 두 네트워크는 서로 경쟁하며 최대-최소화 게임 (minimax game)을 수행하게 된다. 이러한 시나리오에서 생성기 네트워크는 분류기 네트워크의 약점을 실시간으로 찾아서 섭동을 생성하기 때문에 위에서 설명한 과적합 문제를 완화할 수 있다. 우리는 이론적으로 위 최적화 문제가 결국 적대적 손실 (adversarial loss)를 최소화하는 것과 같다는 것을 증명하였다. 다양한 데이터 세트를 사용한 실험 결과 우리의 방법이 기존의 적대적 훈련 알고리즘보다 우수한 것으로 밝혀졌다. 이 논문의 두 번째 파트에서는 심층 신경망 기반의 새로운 협업 필터링 알고리즘을 제시한다. 협업 필터링 기술은 기존까지는 행렬 분해, 최근접 이웃 알고리즘 등 전통적인 기계 학습 알고리즘이 사용된 반면, 본 논문에서는 심층 신경망을 본격적으로 활용하였다. 정규화 된 사용자 평가 벡터와 사용자 아이템 벡터가 심층 신경망의 입력으로 사용되었고, 실험 결과는 제안하는 방법이 전통적인 협업 필터링 기술에 비하여 매우 뛰어난 효과가 있음을 보여준다. 또한, 계산 복잡도를 획기적으로 줄이고, 성능저하가 거의 없는 실시간 예측 및 학습이 가능하다는 장점을 가지고 있다. 뿐만 아니라 제안하는 협업 필터링 알고리즘이 적대적인 훈련 알고리즘을 통하여 보다 적대적인 노이즈에 강인해질 수 있음을 실험적으로 확인하였다. 이러한 연구 결과들은 향후 인공지능 기술이 산업에 응용됨에 있어 매우 중요한 보안 문제들을 해결해 줄 것으로 기대된다.Despite the remarkable development of recent deep learning techniques, neural networks are still vulnerable to adversarial attacks. Many adversarial training methods were introduced as to solve this problem, using adversarial examples as a training data. However, these adversarial attack methods used in these techniques are fixed, making the model stronger only to attacks used in training, which is widely known as an overfitting problem. In the first part of this dissertation, I suggest a novel adversarial training approach. In addition to the classifier, our method adds another neural network that generates the most effective adversarial perturbation by finding the weakness of the classifier. This perturbation generator network is trained to produce perturbations that maximize the loss function of the classifier, and these adversarial examples train the classifier with a true label. In short, the two networks compete each other, performing a minimax game. In this scenario, attack patterns created by the generator network are adaptively altered to the classifier, mitigating the overfitting problem mentioned above. I theoretically proved that our minimax optimization problem is equivalent to minimizing the adversarial loss after all. I proposed a new evaluation method that can fairly measure the robustness of the network. Experiments with various datasets show that our method outperforms conventional adversarial training algorithms. In the second part of this dissertation, I propose a novel collaborative filtering algorithm based on deep neural networks, whereas existing collaborative filtering techniques use conventional machine learning algorithms such as baseline predictor, matrix factorization, KNN, etc. Normalized user-rating vector and normalized item-rating vector were used as inputs to a neural network. Experimental results show that the proposed method outperforms conventional collaborative filtering algorithms. The proposed method has another strong advantage that online operation is possible with little extra complexity and performance degradation. The results of these studies are expected to solve very important security problems when artificial intelligence technology is applied to the industry in the future.Chapter 1 Introduction １ 1.1 Overview １ 1.2 Contributions and Organization ６ 1.3 Notation １１ Chapter 2 Adversarial training and Generative Adversarial Networks １３ 2.1 Adversarial Attack Methods １３ 2.1.1 Fast Gradient Method (FGM) １６ 2.1.2 Projected Gradient Descent (PGD) １７ 2.1.3 Momentum Iterative method (MIM) １９ 2.1.4 JSMA ２１ 2.1.5 Deepfool ２２ 2.1.6 Carlini & Wagner ２３ 2.2 Adversarial training methods ２５ 2.2.1 Adversarial training with fast gradient method ２７ 2.2.2 Adversarial training with projected gradient descent ２９ 2.2.3 Ensemble Adversarial Training ３０ 2.3 Generative Adversarial Networks ３２ Chapter 3 Generative Adversarial Trainer with image classification task ３６ 3.1 Adversarial Training with generative adversarial trainer ３６ 3.2 Theoretical background ４２ 3.3 Evaluation method ４７ 3.4 Experiments ５３ 3.4.1 Experimental setup ５３ 3.4.2 Attack performance of the generative adversarial trainer ５７ 3.4.3 Defense performance on various attacks ６１ 3.4.4 Varying Hyper-parameters ６７ Chapter 4 Generative Adversarial Trainer with Collaborative Filtering ７０ 4.1 Introduction ７０ 4.2 Related Work ７３ 4.3 Problem Formulation ７７ 4.4 Deep Neural Network for Collaborative Filtering ７９ 4.4.1 The Neural Network Model ８０ 4.4.2 Online Collaborative Filtering ８４ 4.4.3 Generative Adversarial Trainer with Collaborative Filtering ８８ 4.5 Experiments ８９ 4.5.1 Movielens Dataset ８９ 4.5.2 Experiment Environments ９１ 4.5.3 Prediction Accuracy ９３ 4.5.4 Online Prediction Accuracy ９７ 4.5.5 Robust Collaborative Filtering １００ Chapter 5 Conclusion １０２ Bibliography １０６Docto

Effects of dietary protein level and yeast cell wall product on immune and stress response of calves

학위논문 (석사)-- 서울대학교 대학원 : 농생명공학부, 2011.8. 하종규.Maste

高速 라우터를 위한 多重 入力出力 버퍼형 交換機

Thesis (doctoral)--서울대학교 대학원 :전기. 컴퓨터공학부,2003.Docto

(A) study on the building of a hospital information system utilized by a client/server.

전자계산과/석사[한글] 본 논문에서는 클라이언트/서버를 이용하여 병원정보 시스템의 대상이 되는 업무들을 크게 4가지로 진료부문, 진료지원부문, 원무행정부문, 사무행정부문으로 분류하였으며, 각 부문별로 세부적으로 업무를 분석하였다. 각 부문별 업무를 전산화하기 위해서는 네트웍, 데이터베이스, 서버, 시스템운영체계, 네트웍운영체계 등 많은 관련된 기술들에 대하여 이론적으로 정리하였다. 특히 클라이언 트/서버 시스템을 구축하는데 있어서의 관련된 기법과 신기술에 관하여 기술하였으며, 또한 호스트 중심의 처리방법에서 단계적인 클라이언트/서버 시스템으로 전이과정을 간략하게 설명하였다. Y대학병원의 전산화의 기본원칙과 타병원과 다른 독특한 병원 운영제도의 환경에 맞는클라이언트/서버 방식을 이용하여 설계하였으며, 중앙 집중식으로 처리되었던 모든 업무를 분산하여 특정 시간대에 집중적으로 일어나는 Transaction을 여러대의 서버에 분산처리 함으로서 신속한 업무처리를 가져올 수 있었고 환자들에 대한 진료서비스도 한 차원높일 수 있었다. 모든 프로그램은 사용자의 편의성을 최우선으로 고려하여 윈도우환경으로 구축하였으며, 개발도구는 비쥬얼베이직으로 결정하였고 운영적인 측면을 고려하여 한가지로 통일하였다. 데이터베이스는 개인용데이터베이스와 호환이 잘되는 MS/SQL을 이용한 관계형 데이타베이스로 구축하였으며 실 사용자와의 자료교환도 쉽게 하였다. 모든 업무들이 오픈 시스템으로 구축되었기 때문에 앞으로의 어떠한 환경 변화에도 능동적으로 대처할 수 있고, 자체 인력으로 개발하였기 때문에 시스템 운영에도 탄력적이고, 능률적으로 대응할 수 있다는 장점이 있다. [영문] In this study, utilizing a client/server, all the business which can be the objects of a hospital information system are classified into 4 categories of business; clinic-service business, clinic-support business, hospital-business-administration business, and office- admininstration business. And each category of business was detailedly analysed respectively. In order to computerize each category of buinsess respectively, many technics related to 'network', 'database', 'a system to operate the server system', 'a system to operate the network', etc. were theoreticall refined and put in order. In particular, some technics related to the building of a client/server system and some new technics were also described, and the process for the host-centered data-processing method to change into a step-by-step client/server system was briefly explained in this study. Utilizing the basic principles of the computerization of 'Y' university and a client/server method suitable to the environment of a peculiar system to operate a hospital which differs from those systems for other hospitals, a hospital information system was designed, and with all kinds of business processed concentratively being dispersed, the transactoins concentratively happening in a specific time zone were dispersed and treated in several sets of servers, thereby resulting in rapid management of business as well as heightening the clinic service for patients to a higher level of service. In all the programs to build a hospital information system, the user's convenience was considered as a top priority, which was built in the environment of 'window'; in this, the tool to develop the programs was a 'Visual Basic'. In consideration of the aspect of operation, the programs were consolidated into one kind. The database was built into a relation-type database, utilizing the MS/SQL which is easily interchangeable or portable with personal database; and data exchange with real users was also made easy. Since all kinds of business concerned were built in an open system, this hospital information system can actively cope with any of environmental changes, and since this system was developed by manpower within an organization of a hospital, the system can flexibly and efficiently correspond to its operation.prohibitio

Influencing factors upon women's self-rated health in the Democratic Republic of the Congo : pregnant women and mother of children under

보건행정학과/석사콩고민주공화국의 평균수명은 2010년 기준 남자 47세, 여자 51세로 세계 최저수준이며 5세 미만 아동의 사망률이 인구 천 명당 540명(아프리카 평균 480명, 세계평균 210명)으로 모자보건분야 지표가 매우 열악한 실정이다. 21세기에 진입하면서 주관적 건강상태는 신체적 건강과 정신적 건강에 영향을 미치는 것으로 밝혀져 선진국 뿐만 아니라 개발도상국가의 국민들에게도 중요한 지표가 되었다. 본 연구의 목적은 콩고민주공화국 여성들 중 임산부와 5세 미만 아동의 모성(母性)을 중심으로 그들의 주관적 건강상태에 영향을 미치는 요인을 분석하여, 콩고민주공화국 모성들의 주관적 건강상태 증진에 유효한 프로그램 및 모자보건 사업 개발을 위한 기초자료를 제공함에 있다. 연구 목적을 달성하기 위하여 콩고민주공화국 내 반둔두 지역 2개 보건지역(Kenge, Boko)의 임산부와 5세 미만 아동의 모성 400명(Kenge-300명, Boko-100명)을 대상으로 주관적 건강상태에 영향을 미치리라 예상되는 요인을 응답자의 기본적 특성, 경제적 상태, 보건의료 서비스, 상병 양상으로 분류하여 설문조사를 실시하였다. 주관적 건강상태에 영향을 미치는 요인을 파악하기 위해 기본적 특성(연령, 종교, 교육수준, 읽을 수 있는 능력, 가구원 수, 자녀 수, 영양교육 경험 유무), 경제적 상태(직업별 가족의 주 수입원), 보건의료 서비스(의료보험 가입여부, 보건시설 이용경험 여부, 보건서비스 이용 시 비용 지불의사), 상병 양상(임신중독증 경험 여부, 최근 1년간 아팠던 경험)을 독립변수로 하여 각 변수들을 차례대로 고려한 위계적 로지스틱 회귀분석을 실시하였다. 그 결과, 영양교육 경험이 있는 응답자, 사무직에 종사하고 있는 응답자, 의료보험에 가입하지 않은 응답자, 최근 1년간 아팠던 경험이 없는 응답자가 주관적 건강상태가 좋다고 응답하였다. 본 연구의 결과는 콩고민주공화국의 주관적 건강상태 및 모자보건 향상을 위해서 보건과 영양분야의 지적 재산을 늘리기 위한 교육에 기반을 둔 프로그램을 개발하고, 해당 국가의 실태를 정확히 파악하여 정책을 개발해야 하며, 일상생활에서의 질병이 없도록 건강을 관리 할 수 있는 시스템을 사회 전반적인 측면에서 정립하여야 한다는 점을 시사한다.ope

ATM 交換機를 위한 스위칭 네트워크 構造 設計에 관한 硏究

Thesis (master`s)--서울대학교 대학원 :전기공학부,1999.Maste

Thermoresponsive Sulfone and Sulfoxide-Containing Polyacrylamides

A series of thermoresponsive polyacrylamides containing sulfide, sulfone, or sulfoxide was successfully prepared by reversible addition-fragmentation chain transfer (RAFT) polymerization. The thermal properties of polyacrylamides with sulfone or sulfoxide, which have not been studied before, were investigated for the first time. While poly[N-(2-(propylsulfonyl)ethyl)acrylamide] (P2SO2) with sulfone groups was water insoluble, poly[N-(2-(propylsulfinyl)ethyl)acrylamide] (P2SO) with sulfoxide groups was water soluble, indicating that the sulfoxide moiety is more hydrophilic than sulfone. By controlling the end of the polymer chain, we synthesized poly[N-(2-(ethylsulfonyl)ethyl)acrylamide] (P1SO2) and poly[N-(2-(butylsulfinyl)ethyl)acrylamide] (P3SO), which exhibit an lower critical solution temperature (LCST) in water around 24-26 degrees C. For adjusting a wide range of LCST, we synthesized the random copolymers by controlling the initial feed ratio of hydrophobic M2SO2 and hydrophilic M2SO. The amphiphilic block copolymers were also synthesized and assembled in water to yield the micelles. After adding H2O2 to this micellar solution, the hydrophobic block was oxidized and converted to a hydrophilic block, leading to the transformation of micelles to unimers

Thin Polymeric Films for Real-Time Colorimetric Detection of Hydrazine Vapor with Parts-per-Million Sensitivity

Thin colorimetric films based on polymers have received considerable attention because of their simplicity and cost-effectiveness in the sensing of hazardous gaseous substances. Here, thin polymeric films were prepared and used for the vapor-phase colorimetric detection of a hazardous hydrazine with high sensitivity. Photo-cross-linkable poly(N,N-dimethylacrylamide-co-azo-dicyano-co-N-(4-benzoylphenyl)acrylamide), p(DMA-co-M1-co-BPAm), hereafter referred to as P1, was used to create a polymeric film for tracing hydrazine vapor with real-time applicability. P1 was synthesized by postmodification of poly(DMA-co-FPDEA-co-BPAm), which was copolymerized via free radical polymerization of N,N-dimethylacrylamide (DMA), (E)-2-((4-((4-formylphenyl)diazenyl)phenyl)(methyl)amino) ethyl acrylate (FPDEA), and N-(4-benzoylphenyl)acrylamide) (BPAm). P1 displayed selective sensing properties toward hydrazine in tetrahydrofuran and semiaqueous media. The apparent color of P1 changed from red to yellow (a ∼69 nm blue shift) because of the hydrazine attack on the α-position of the dicyano group of M1, resulting in inhibition of the intramolecular charge transfer process. The heterogeneous film, F1, was prepared by the ultraviolet irradiation of spin-coated P1 on a quartz substrate. Amounts of hydrazine vapor as low as 10 parts-per-million were detectable by F1. The successful colorimetric detection of hydrazine was also achieved in various media, including different types of soil and water, demonstrating the potential of the system for various practical application