Kernel Belief Propagation

We propose a nonparametric generalization of belief propagation, Kernel Belief Propagation (KBP), for pairwise Markov random fields. Messages are represented as functions in a reproducing kernel Hilbert space (RKHS), and message updates are simple linear operations in the RKHS. KBP makes none of the assumptions commonly required in classical BP algorithms: the variables need not arise from a finite domain or a Gaussian distribution, nor must their relations take any particular parametric form. Rather, the relations between variables are represented implicitly, and are learned nonparametrically from training data. KBP has the advantage that it may be used on any domain where kernels are defined (Rd, strings, groups), even where explicit parametric models are not known, or closed form expressions for the BP updates do not exist. The computational cost of message updates in KBP is polynomial in the training data size. We also propose a constant time approximate message update procedure by representing messages using a small number of basis functions. In experiments, we apply KBP to image denoising, depth prediction from still images, and protein configuration prediction: KBP is faster than competing classical and nonparametric approaches (by orders of magnitude, in some cases), while providing significantly more accurate results

마르코프 랜덤 필드 학습 및 추론과 그래프 라쏘를 활용한 공정 이상 감지 및 진단 방법론

학위논문 (박사)-- 서울대학교 대학원 : 공과대학 화학생물공학부, 2019. 2. 이원보.Fault detection and diagnosis (FDD) is an essential part of safe plant operation. Fault detection refers to the process of detecting the occurrence of a fault quickly and accurately, and representative methods include the use of principal component analysis (PCA), and autoencoders (AE). Fault diagnosis is the process of isolating the root cause node of the fault, then determining the fault propagation path to identify the characteristic of the fault. Among the various methods, data-driven methods are the most widely-used, due to their applicability and good performance compared to analytical and knowledge-based methods. Although many studies have been conducted regarding FDD, no methodology for conducting every step of FDD exists, where the fault is effectively detected and diagnosed. Moreover, existing methods have limited applicability and show limited performance. Previous fault detection methods show loss of variable characteristics in dimensionality reduction methods and have large computational loads, leading to poor performance for complex faults. Likewise, preceding fault diagnosis methods show inaccurate fault isolation results, and biased fault propagation path analysis as a consequence of implementing knowledge-based characteristics for construction of digraphs of process variable relationships. Thus a comprehensive methodology for FDD which shows good performance for complex faults and variable relationships, is required. In this study, an efficient and effective comprehensive FDD methodology based on Markov random fields (MRF) modelling is proposed. MRFs provide an effective means for modelling complex variable relationships, and allows efficient computation of marginal probability of the process variables, leading to good performance regarding FDD. First, a fault detection framework for process variables, integrating the MRF modelling and structure learning with iterative graphical lasso is proposed. Graphical lasso is an algorithm for learning the structure of MRFs, and is applicable to large variable sets since it approximates the MRF structure by assuming the relationships between variables to be Gaussian. By iteratively applying the graphical lasso to monitored variables, the variable set is subdivided into smaller groups, and consequently the computational cost of MRF inference is mitigated allowing efficient fault detection. After variable groups are obtained through iterative graphical lasso, they are subject to the MRF monitoring framework that is proposed in this work. The framework obtains the monitoring statistics by calculating the probability density of the variable groups through kernel density estimation, and the monitoring limits are obtained separately for each group by using a false alarm rate of 5%. Second, a fault isolation and propagation path analysis methodology is proposed, where the conditional marginal probability of each variable is computed via inference, then is used to calculate the conditional contribution of individual variables during the occurrence of a fault. Using the kernel belief propagation (KBP) algorithm, which is an algorithm for learning and inferencing MRFs comprising continuous variables, the parameters of MRF are trained using normal process data, then the individual conditional contribution of each variable is calculated for every sample of the fault process data. By analyzing the magnitude and reaction speed of the conditional contribution of individual variables, the root fault node can be isolated and the fault propagation path can be determined effectively. Finally, the proposed methodology is verified by applying it to the well-known Tennessee Eastman process (TEP) model. Since the TEP has been used as a benchmark process over the past years for verifying various FDD methods, it serves the purpose of performance comparison. Also, since it consists of multiple units and has complex variable relationships such as recycle loops, it is suitable for verifying the performance of the proposed methodology. Application results show that the proposed methodology performs better compared to state-of-the-art FDD algorithms, in terms of both fault detection and diagnosis. Fault detection results showed that all 28 faults designed inside the TEP model were detected with a fault detection accuracy of over 95%, which is higher than any other previously proposed fault detection method. Also, the method showed good fault isolation and propagation path analysis results, where the root-cause node for every fault was detected correctly, and the characteristics of the initiated faults were identified through fault propagation path analysis.공정 이상의 감지 및 진단 시스템은 안전한 공정 운영에 필수적인 부분이다. 이상 감지는 이상이 발생했을 경우 즉각적으로 이를 정확하게 감지하는 프로세스를 의미하며, 대표적인 방법으로는 주성분 분석 및 오토인코더를 활용한 감지 방법론이 있다. 이상 진단은 결함의 근본 원인이 되는 노드를 격리하고, 이상의 전파 경로를 탐지하여 이상의 특성을 식별하는 프로세스이다. 공정 이상의 감지 및 진단 방법론에는 모델 분석 방법론, 지식 기반 방법론 등의 다양한 방법론이 있지만, 공정에 대한 적용 가능성과 성능 측면에서 가장 유용하다고 알려져 있는 데이터 기반 방법론이 널리 활용되고 있다. 공정 이상의 감지 및 진단에 대한 데이터 기반 방법론은 다방면으로 연구되어 왔지만, 이상 감지 및 진단을 모두 효과적으로 수행할 수 있는 방법론은 소수에 불과하며, 존재하고 있는 방법론들 역시 두 분야 모두에서 좋은 성능을 보여주고 있는 경우는 없다. 이는 기존 방법론들의 적용 가능성이 제한되어 있으며 공정에 적용시 제한된 성능을 보여주기 때문이다. 이상 감지의 경우, 대용량의 데이터를 처리할 때 발생하는 과부하로 인한 감지 능력의 저하, 차원 축소 방법론들을 사용할 시 이에 따른 변수 특성 반영의 부정확성, 그리고 축소된 차원에서의 계산으로 인하여 복합적인 형태의 이상을 감지해 내지 못하는 문제 등이 있다. 이상 진단의 경우 이상의 원인이 되는 노드의 격리 및 이상 전파 경로에 대한 분석이 부정확한 경우가 많은데, 이는 차원 축소로 인하여 공정 변수의 특성이 소실되는 성질이 있고, 방향성 그래프를 활용할 시 공정에 대한 선행 지식을 적용함으로써 편향된 이상 진단 결과가 나타나는 경우들이 발생하기 때문이다. 기존 방법론들에 대한 이러한 한계점들을 고려해 봤을때, 변수 각각의 특성이 소실되지 않도록하여 효과적으로 이상에 대한 감지와 진단을 모두 수행해 낼 수 있으면서도, 계산상의 효율성을 갖춘, 이상 감지 및 진단에 대한 통합된 방법론의 개발이 시급하다고 할 수 있다. 본 연구에서는 마르코프 랜덤 필드 모델링과 그래프 라쏘를 기반으로하여, 이상에 대한 감지 및 진단을 모두 수행해 낼 수 있는 통합적인 공정 모니터링 방법론을 제안한다. 마르코프 랜덤 필드는 비선형적이고 비정규적인 변수 관계를 효과적으로 모델링할 수 있게 해주고, 이상 발생 상황에서의 모니터링 통계값 계산시에 각 변수의 특성을 반영하여 확률 계산을 해 낼 수 있기 때문에 효과적인 이상 감지 및 진단 수단이 된다. 기본적으로 마르코프 랜덤 필드는 확률값 계산시의 부하가 크지만, 본 연구에서는 그래프 라쏘 방법론을 추가적으로 함께 활용하여 계산 상의 부하를 줄이고 효율적으로 이상 감지 및 진단을 해낼 수 있도록 하였다. 본 연구에서 제안된 내용들은 다음과 같다. 첫째, 공정 변수를 마르코프 랜덤 필드 형태로 모델링하고, 그래프 라쏘를 활용해 마르코프 랜덤 필드의 구조를 얻을 수 있는 방법론을 제시하였다. 그래프 라쏘는 마르코프 랜덤 필드의 구조를 파악하기 위한 방법론인데, 변수 간의 관계를 가우스 함수의 형태로 가정하기 때문에 다변수 시스템에서도 효율적으로 그래프 구조를 파악할 수 있도록 해준다. 본 연구에서는 반복적 그래프 라쏘를 제안하여 모든 공정 변수들이 상관관계가 높은 변수 집단으로 묶일 수 있도록 하였다. 이를 활용하면 전체 공정 변수 집단을 다수의 소집단으로 분류하고 각각에 대한 그래프 구조를 파악할 수 있게 되는데, 크게 두 가지의 효과를 얻을 수 있다. 우선적으로 마르코프 랜덤 필드 확률 계산의 대상이 되는 변수의 개수를 줄여줌으로써 계산 부하를 줄이고 효율적인 이상 감지가 이루어질 수 있도록 한다. 또한 상관관계가 높은 집단끼리 묶여서 모델링 된 그래프를 활용하여 이상의 진단 과정에서 공정 변수 간의 관계 파악 및 전파 경로 분석을 용이하도록 해준다. 두 번째로, 마르코프 랜덤 필드의 확률 추론을 기반으로 하여 효과적으로 이상 감지가 이루어질 수 있도록 하는 방법론을 제안하였다. 반복적 그래프 라쏘를 통해 얻어진 다수의 변수 소집단에 대하여 각각 확률 추론을 적용하여 이상 감지를 진행하게 되는데, 제안된 방법론에서는 커널 밀도 추정 방법론을 활용하였다. 정상 데이터를 활용하여 각 변수들에 대한 커널 밀도의 대역폭을 학습하고, 이상 데이터가 발생할 시 이를 활용한 커널 밀도 추정법을 사용하여 이상감시 통계치를 계산하게 된다. 이때 허위 진단율을 5%로 가정하여 각각의 소집단에 대한 공정 감지 기준선을 설정하였고, 이상감시 통계치가 공정 감시 기준선보다 낮게 될 경우 이상이 감지된다. 세 번째로, 이상 발생 시 원인이 되는 변수의 격리 및 이상 전파 경로 분석을 효과적으로 수행할 수 있는 방법론을 제시하였다. 제시된 방법론에서는 마르코프 랜덤 필드의 확률 추론 과정을 활용하여 이상 발생 시 각 변수의 조건부 한계 확률을 계산하고, 이를 활용해 새롭게 정의된 조건부 기여도 값을 계산하여, 이상에 대한 각 변수의 기여도를 파악할 수 있도록 한다. 이 과정에서는 커널 신뢰도 전파 방법론이 사용되는데, 이는 연속 변수를 가지는 마르코프 랜덤 필드에 대하여 확률 추론을 수행할 수 있도록 하는 방법론이다. 커널 신뢰도 전파법을 사용하면 정상 상태의 공정 데이터를 활용하여 마르코프 랜덤 필드를 구성하는 파라미터 값들을 학습하고, 이상 발생시 이상 데이터에 대하여 각 변수의 조건부 기여도 값을 계산할 수 있게 된다. 이 때 계산된 조건부 기여도 값의 크기와, 이상 발생 이후 각 변수의 조건부 기여도 값의 변화 반응 속도를 종합적으로 판단하여, 이상의 원인 변수에 대한 격리와 이상 전파 경로 분석을 효과적으로 수행할 수 있게 된다. 본 연구에서는 제안된 이상 감지 및 진단 방법론의 성능을 검증하기 위하여 테네시 이스트만 공정 모델에 이를 적용하고 결과를 분석하였다. 테네시 이스트만 공정은 수년간 공정 감시 방법론을 검증하기 위한 벤치마크 공정으로 널리 사용되어 왔기 때문에, 제시된 방법론을 이에 적용해 봄으로써 다른 공정 감시 방법론들과의 성능을 비교해 볼 수 있었다. 또한 다수의 단위 공정을 포함하고 있고, 순환적인 변수 관계 역시 포함하고 있기 때문에 제시된 방법론의 성능을 시험해 보기에 적합했다. 테네시 이스트만 공정 내부에는 28개 종류의 이상이 프로그램 상에 내장되어 있는데, 제시된 공정 감지 방법론을 적용한 결과 모든 이상에 대하여 96% 이상의 높은 이상 감지율을 나타내었다. 이는 기존에 제시된 공정 감시 방법론들에 비하여 월등히 높은 수치였다. 또한 이상 진단 성능을 분석해 본 결과, 모든 이상에 대하여 원인이 되는 노드를 효과적으로 파악할 수 있었고, 이상 전파 경로 역시 정확하게 탐지하여 기존 방법론들과는 차별화된 성능을 나타내었다. 제시된 방법론을 테네시 이스트만 공정에 적용해 봄으로써, 본 연구 내용이 공정 이상의 감지 및 진단에 대한 통합적인 방법론 중에서 가장 우수한 성능을 나타내는 것을 확인할 수 있었다.Contents Abstract i Contents iv List of Tables vii List of Figures ix 1 Introduction 1 1.1 Research Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Research Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 1.3 Outline of the Thesis . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2 Markov Random Fields Modelling, Graphical Lasso, and Optimal Structure Learning 10 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.2 Markov Random Fields . . . . . . . . . . . . . . . . . . . . . . . . . 12 2.3 Graphical Lasso . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 2.4 MRF Modelling & Structure Learning . . . . . . . . . . . . . . . . . 19 2.4.1 MRF modelling in process systems . . . . . . . . . . . . . . 19 2.4.2 Structure learning using iterative graphical lasso . . . . . . . 20 2.5 Application of Iterative Graphical Lasso on the TEP . . . . . . . . . . 24 3 Efficient Process Monitoring via the Integrated Use of Markov Random Fields Learning and the Graphical Lasso 31 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.2 MRF Monitoring Integrated with Graphical Lasso . . . . . . . . . . . 35 3.2.1 Step 1: Iterative graphical lasso . . . . . . . . . . . . . . . . 36 3.2.2 Step 2: MRF monitoring . . . . . . . . . . . . . . . . . . . . 36 3.3 Implementation of Glasso-MRF monitoring to the Tennessee Eastman process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 3.3.1 Tennessee Eastman process . . . . . . . . . . . . . . . . . . 41 3.3.2 Glasso-MRF monitoring on TEP . . . . . . . . . . . . . . . . 48 3.3.3 Fault detection accuracy comparison with other monitoring techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 3.3.4 Fault detection speed & fault propagation . . . . . . . . . . . 95 4 Process Fault Diagnosis via Markov Random Fields Learning and Inference 101 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 4.2 Preliminaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 4.2.1 Probabilistic graphical models & Markov random fields . . . 106 4.2.2 Kernel belief propagation . . . . . . . . . . . . . . . . . . . . 107 4.3 Fault Diagnosis via MRF Modeling . . . . . . . . . . . . . . . . . . 113 4.3.1 MRF structure learning via graphical lasso . . . . . . . . . . 116 4.3.2 Kernel belief propagation - bandwidth selection . . . . . . . . 116 4.3.3 Conditional contribution evaluation . . . . . . . . . . . . . . 117 4.4 Application Results & Discussion . . . . . . . . . . . . . . . . . . . 118 4.4.1 Two tank process . . . . . . . . . . . . . . . . . . . . . . . . 119 4.4.2 Tennessee Eastman process . . . . . . . . . . . . . . . . . . 137 5 Concluding Remarks 152 Bibliography 157 Nomenclature 169 Abstract (In Korean) 170Docto

Probabilistic Graphical Models in RapidMiner

This Report describes the technical background and usage of the GraphMod plug-in for RapidMiner. The plug-in enables RapidMiner to load factor graphs and interpret Label and Attributes which are contained in an Example as assignments to random variables. A set of examples which belong to the same Batch is treated as assignment to a whole factor graph. New operators allow the estimation of factor weights, the computation of the single-node marginal probability functions and the computation of the most probable assignment for each Labelnode with several methods. All algorithms are optimized for parallel execution on common multi-core processors and NVIDIA CUDA capable many-core processors (also known as Graphics Processing Unit)

Introductory Chapter: Prognostics - An Overview

Prognostics, in general, can be defined as “knowledge beforehand”. Prognostics is usually identified with medical issues. Nowadays, due to the new advances in technologies and information systems, prognostic is beginning to be employed in other fields, e.g. engineering, financial, business, et

Computing Functions of Random Variables via Reproducing Kernel Hilbert Space Representations

We describe a method to perform functional operations on probability distributions of random variables. The method uses reproducing kernel Hilbert space representations of probability distributions, and it is applicable to all operations which can be applied to points drawn from the respective distributions. We refer to our approach as {\em kernel probabilistic programming}. We illustrate it on synthetic data, and show how it can be used for nonparametric structural equation models, with an application to causal inference

Kernel-Based Just-In-Time Learning for Passing Expectation Propagation Messages

We propose an efficient nonparametric strategy for learning a message operator in expectation propagation (EP), which takes as input the set of incoming messages to a factor node, and produces an outgoing message as output. This learned operator replaces the multivariate integral required in classical EP, which may not have an analytic expression. We use kernel-based regression, which is trained on a set of probability distributions representing the incoming messages, and the associated outgoing messages. The kernel approach has two main advantages: first, it is fast, as it is implemented using a novel two-layer random feature representation of the input message distributions; second, it has principled uncertainty estimates, and can be cheaply updated online, meaning it can request and incorporate new training data when it encounters inputs on which it is uncertain. In experiments, our approach is able to solve learning problems where a single message operator is required for multiple, substantially different data sets (logistic regression for a variety of classification problems), where it is essential to accurately assess uncertainty and to efficiently and robustly update the message operator.Comment: accepted to UAI 2015. Correct typos. Add more content to the appendix. Main results unchange

Nonparametric Detection of Geometric Structures over Networks

Nonparametric detection of existence of an anomalous structure over a network is investigated. Nodes corresponding to the anomalous structure (if one exists) receive samples generated by a distribution q, which is different from a distribution p generating samples for other nodes. If an anomalous structure does not exist, all nodes receive samples generated by p. It is assumed that the distributions p and q are arbitrary and unknown. The goal is to design statistically consistent tests with probability of errors converging to zero as the network size becomes asymptotically large. Kernel-based tests are proposed based on maximum mean discrepancy that measures the distance between mean embeddings of distributions into a reproducing kernel Hilbert space. Detection of an anomalous interval over a line network is first studied. Sufficient conditions on minimum and maximum sizes of candidate anomalous intervals are characterized in order to guarantee the proposed test to be consistent. It is also shown that certain necessary conditions must hold to guarantee any test to be universally consistent. Comparison of sufficient and necessary conditions yields that the proposed test is order-level optimal and nearly optimal respectively in terms of minimum and maximum sizes of candidate anomalous intervals. Generalization of the results to other networks is further developed. Numerical results are provided to demonstrate the performance of the proposed tests.Comment: Submitted for journal publication in November 2015. arXiv admin note: text overlap with arXiv:1404.029