Prediction of operation vibration state of coal mine mechatronics equipment based on data mining

In order to explore the prediction of the operation vibration state of coal mine mechatronics equipment, the author proposes a method based on data mining in response to the problems of large amount of data in the operating state of coal mine electromechanical equipment, low data utilization, and slow speed of single-machine massive data mining, using Map Reduce technology, a dual Map Reduce mining prediction framework is proposed, establish a data mining prediction model for the running state of dual Map Reduce, using MapReduce1 to extract features of monitoring data, use MapReduce2 to predict and analyze feature data. Finally, by building the Hadoop platform, reveal the relationship between Hadoop cluster nodes and parallel processing speed, the efficiency of the data mining prediction framework is verified: Perform an experimental comparative analysis of the single prediction model and the proposed AGB combined prediction model, the prediction accuracy of the AGB combined prediction model is verified

Data Preparation in Machine Learning for Condition-based Maintenance

ABSTRACT: Using Machine Learning (ML) prediction to achieve a successful, cost-effective, Condition-Based Maintenance (CBM) strategy has become very attractive in the context of Industry 4.0. In other fields, it is well known that in order to benefit from the prediction capability of ML algorithms, the data preparation phase must be well conducted. Thus, the objective of this paper is to investigate the effect of data preparation on the ML prediction accuracy of Gas Turbines (GTs) performance decay. First a data cleaning technique for robust Linear Regression imputation is proposed based on the Mixed Integer Linear Programming. Then, experiments are conducted to compare the effect of commonly used data cleaning, normalization and reduction techniques on the ML prediction accuracy. Results revealed that the best prediction accuracy of GTs decay, found with the k-Nearest Neighbors ML algorithm, considerately deteriorate when changing the data preparation steps and/or techniques. This study has shown that, for effective CBM application in industry, there is a need to develop a systematic methodology for design and selection of adequate data preparation steps and techniques with the proposed ML algorithms

Fault Prognostics Using Logical Analysis of Data and Non-Parametric Reliability Estimation Methods

RÉSUMÉ : Estimer la durée de vie utile restante (RUL) d’un système qui fonctionne suivant différentes conditions de fonctionnement représente un grand défi pour les chercheurs en maintenance conditionnelle (CBM). En effet, il est difficile de comprendre la relation entre les variables qui représentent ces conditions de fonctionnement et la RUL dans beaucoup de cas en pratique à cause du degré élevé de corrélation entre ces variables et leur dépendance dans le temps. Il est également difficile, voire impossible, pour des experts d’acquérir et accumuler un savoir à propos de systèmes complexes, où l'échec de l'ensemble du système est vu comme le résultat de l'interaction et de la concurrence entre plusieurs modes de défaillance. Cette thèse présente des méthodologies pour le pronostic en CBM basé sur l'apprentissage automatique, et une approche de découverte de connaissances appelée Logical Analysis of Data (LAD). Les méthodologies proposées se composent de plusieurs implémentations de la LAD combinées avec des méthodes non paramétriques d'estimation de fiabilité. L'objectif de ces méthodologies est de prédire la RUL du système surveillé tout en tenant compte de l'analyse des modes de défaillance uniques ou multiples. Deux d’entre elles considèrent un mode de défaillance unique et une autre considère de multiples modes de défaillance. Les deux méthodologies pour le pronostic avec mode unique diffèrent dans la manière de manipuler les données. Les méthodologies de pronostique dans cette recherche doctorale ont été testées et validées sur la base d'un ensemble de tests bien connus. Dans ces tests, les méthodologies ont été comparées à des techniques de pronostic connues; le modèle à risques proportionnels de Cox (PHM), les réseaux de neurones artificiels (ANNs) et les machines à vecteurs de support (SVMs). Deux ensembles de données ont été utilisés pour illustrer la performance des trois méthodologies: l'ensemble de données du turboréacteur à double flux (turbofan) qui est disponible au sein de la base de données pour le développement d'algorithmes de pronostic de la NASA, et un autre ensemble de données obtenu d’une véritable application dans l'industrie. Les résultats de ces comparaisons indiquent que chacune des méthodologies proposées permet de prédire avec précision la RUL du système considéré. Cette recherche doctorale conclut que l’approche utilisant la LAD possède d’importants mérites et avantages qui pourraient être bénéfiques au domaine du pronostic en CBM. Elle est capable de gérer les données en CBM qui sont corrélées et variantes dans le temps. Son autre avantage et qu’elle génère un savoir interprétable qui est bénéfique au personnel de maintenance.----------ABSTRACT : Estimating the remaining useful life (RUL) for a system working under different operating conditions represents a big challenge to the researchers in the condition-based maintenance (CBM) domain. The reason is that the relationship between the covariates that represent those operating conditions and the RUL is not fully understood in many practical cases, due to the high degree of correlation between such covariates, and their dependence on time. It is also difficult or even impossible for the experts to acquire and accumulate the knowledge from a complex system, where the failure of the system is regarded as the result of interaction and competition between several failure modes. This thesis presents systematic CBM prognostic methodologies based on a pattern-based machine learning and knowledge discovery approach called Logical Analysis of Data (LAD). The proposed methodologies comprise different implementations of the LAD approach combined with non-parametric reliability estimation methods. The objective of these methodologies is to predict the RUL of the monitored system while considering the analysis of single or multiple failure modes. Three different methodologies are presented; two deal with single failure mode and one deals with multiple failure modes. The two methodologies for single mode prognostics differ in the way of representing the data. The prognostic methodologies in this doctoral research have been tested and validated based on a set of widely known tests. In these tests, the methodologies were compared to well-known prognostic techniques; the proportional hazards model (PHM), artificial neural networks (ANNs) and support vector machines (SVMs). Two datasets were used to illustrate the performance of the three methodologies: the turbofan engine dataset that is available at NASA prognostic data repository, and another dataset collected from a real application in the industry. The results of these comparisons indicate that each of the proposed methodologies provides an accurate prediction for the RUL of the monitored system. This doctoral research concludes that the LAD approach has attractive merits and advantages that add benefits to the field of prognostics. It is capable of dealing with the CBM data that are correlated and time-varying. Another advantage is its generation of an interpretable knowledge that is beneficial to the maintenance personnel

Multi-Criteria Inventory Classification and Root Cause Analysis Based on Logical Analysis of Data

RÉSUMÉ : La gestion des stocks de pièces de rechange donne un avantage concurrentiel vital dans de nombreuses industries, en passant par les entreprises à forte intensité capitalistique aux entreprises de service. En raison de la quantité élevée d'unités de gestion des stocks (UGS) distinctes, il est presque impossible de contrôler les stocks sur une base unitaire ou de porter la même attention à toutes les pièces. La gestion des stocks de pièces de rechange implique plusieurs intervenants soit les fabricants d'équipement d'origine (FEO), les distributeurs et les clients finaux, ce qui rend la gestion encore plus complexe. Des pièces de rechange critiques mal classées et les ruptures de stocks de pièces critiques ont des conséquences graves. Par conséquent il est essentiel de classifier les stocks de pièces de rechange dans des classes appropriées et d'employer des stratégies de contrôle conformes aux classes respectives. Une classification ABC et certaines techniques de contrôle des stocks sont souvent appliquées pour faciliter la gestion UGS. La gestion des stocks de pièces de rechange a pour but de fournir des pièces de rechange au moment opportun. La classification des pièces de rechange dans des classes de priorité ou de criticité est le fondement même de la gestion à grande échelle d’un assortiment très varié de pièces. L'objectif de la classification est de classer systématiquement les pièces de rechange en différentes classes et ce en fonction de la similitude des pièces tout en considérant leurs caractéristiques exposées sous forme d'attributs. L'analyse ABC traditionnelle basée sur le principe de Pareto est l'une des techniques les plus couramment utilisées pour la classification. Elle se concentre exclusivement sur la valeur annuelle en dollar et néglige d'autres facteurs importants tels que la fiabilité, les délais et la criticité. Par conséquent l’approche multicritères de classification de l'inventaire (MCIC) est nécessaire afin de répondre à ces exigences. Nous proposons une technique d'apprentissage machine automatique et l'analyse logique des données (LAD) pour la classification des stocks de pièces de rechange. Le but de cette étude est d'étendre la méthode classique de classification ABC en utilisant une approche MCIC. Profitant de la supériorité du LAD dans les modèles de transparence et de fiabilité, nous utilisons deux exemples numériques pour évaluer l'utilisation potentielle du LAD afin de détecter des contradictions dans la classification de l'inventaire et de la capacité sur MCIC. Les deux expériences numériques ont démontré que LAD est non seulement capable de classer les stocks mais aussi de détecter et de corriger les observations contradictoires en combinant l’analyse des causes (RCA). La précision du test a été potentiellement amélioré, non seulement par l’utilisation du LAD, mais aussi par d'autres techniques de classification d'apprentissage machine automatique tels que : les réseaux de neurones (ANN), les machines à vecteurs de support (SVM), des k-plus proches voisins (KNN) et Naïve Bayes (NB). Enfin, nous procédons à une analyse statistique afin de confirmer l'amélioration significative de la précision du test pour les nouveaux jeux de données (corrections par LAD) en comparaison aux données d'origine. Ce qui s’avère vrai pour les cinq techniques de classification. Les résultats de l’analyse statistique montrent qu'il n'y a pas eu de différence significative dans la précision du test quant aux cinq techniques de classification utilisées, en comparant les données d’origine avec les nouveaux jeux de données des deux inventaires.----------ABSTRACT : Spare parts inventory management plays a vital role in maintaining competitive advantages in many industries, from capital intensive companies to service networks. Due to the massive quantity of distinct Stock Keeping Units (SKUs), it is almost impossible to control inventory by individual item or pay the same attention to all items. Spare parts inventory management involves all parties, from Original Equipment Manufacturer (OEM), to distributors and end customers, which makes this management even more challenging. Wrongly classified critical spare parts and the unavailability of those critical items could have severe consequences. Therefore, it is crucial to classify inventory items into classes and employ appropriate control policies conforming to the respective classes. An ABC classification and certain inventory control techniques are often applied to facilitate SKU management. Spare parts inventory management intends to provide the right spare parts at the right time. The classification of spare parts into priority or critical classes is the foundation for managing a large-scale and highly diverse assortment of parts. The purpose of classification is to consistently classify spare parts into different classes based on the similarity of items with respect to their characteristics, which are exhibited as attributes. The traditional ABC analysis, based on Pareto's Principle, is one of the most widely used techniques for classification, which concentrates exclusively on annual dollar usage and overlooks other important factors such as reliability, lead time, and criticality. Therefore, multi-criteria inventory classification (MCIC) methods are required to meet these demands. We propose a pattern-based machine learning technique, the Logical Analysis of Data (LAD), for spare parts inventory classification. The purpose of this study is to expand the classical ABC classification method by using a MCIC approach. Benefiting from the superiority of LAD in pattern transparency and robustness, we use two numerical examples to investigate LAD’s potential usage for detecting inconsistencies in inventory classification and the capability on MCIC. The two numerical experiments have demonstrated that LAD is not only capable of classifying inventory, but also for detecting and correcting inconsistent observations by combining it with the Root Cause Analysis (RCA) procedure. Test accuracy improves potentially not only with the LAD technique, but also with other major machine learning classification techniques, namely artificial neural network (ANN), support vector machines (SVM), k-nearest neighbours (KNN) and Naïve Bayes (NB). Finally, we conduct a statistical analysis to confirm the significant improvement in test accuracy for new datasets (corrections by LAD) compared to original datasets. This is true for all five classification techniques. The results of statistical tests demonstrate that there is no significant difference in test accuracy in five machine learning techniques, either in the original or the new datasets of both inventories

Analytics of Sequential Time Data from Physical Assets

RÉSUMÉ: Avec l’avancement dans les technologies des capteurs et de l’intelligence artificielle, l'analyse des données est devenue une source d’information et de connaissance qui appuie la prise de décisions dans l’industrie. La prise de ces décisions, en se basant seulement sur l’expertise humaine n’est devenu suffisant ou souhaitable, et parfois même infaisable pour de nouvelles industries. L'analyse des données collectées à partir des actifs physiques vient renforcer la prise de décisions par des connaissances pratiques qui s’appuient sur des données réelles. Ces données sont utilisées pour accomplir deux tâches principales; le diagnostic et le pronostic. Les deux tâches posent un défi, principalement à cause de la provenance des données et de leur adéquation avec l’exploitation, et aussi à cause de la difficulté à choisir le type d'analyse. Ce dernier exige un analyste ayant une expertise dans les déférentes techniques d’analyse de données, et aussi dans le domaine de l’application. Les problèmes de données sont dus aux nombreuses sources inconnues de variations interagissant avec les données collectées, qui peuvent parfois être dus à des erreurs humaines. Le choix du type de modélisation est un autre défi puisque chaque modèle a ses propres hypothèses, paramètres et limitations. Cette thèse propose quatre nouveaux types d'analyse de séries chronologiques dont deux sont supervisés et les deux autres sont non supervisés. Ces techniques d'analyse sont testées et appliquées sur des différents problèmes industriels. Ces techniques visent à minimiser la charge de choix imposée à l'analyste. Pour l’analyse de séries chronologiques par des techniques supervisées, la prédiction de temps de défaillance d’un actif physique est faite par une technique qui porte le nom de ‘Logical Analysis of Survival Curves (LASC)’. Cette technique est utilisée pour stratifier de manière adaptative les courbes de survie tout au long d’un processus d’inspection. Ceci permet une modélisation plus précise au lieu d'utiliser un seul modèle augmenté pour toutes les données. L'autre technique supervisée de pronostic est un nouveau réseau de neurones de type ‘Long Short-Term Memory (LSTM) bidirectionnel’ appelé ‘Bidirectional Handshaking LSTM (BHLSTM)’. Ce modèle fait un meilleur usage des séquences courtes en faisant un tour de ronde à travers les données. De plus, le réseau est formé à l'aide d'une nouvelle fonction objective axée sur la sécurité qui force le réseau à faire des prévisions plus sûres. Enfin, étant donné que LSTM est une technique supervisée, une nouvelle approche pour générer la durée de vie utile restante (RUL) est proposée. Cette technique exige la formulation des hypothèses moins importantes par rapport aux approches précédentes. À des fins de diagnostic non supervisé, une nouvelle technique de classification interprétable est proposée. Cette technique est intitulée ‘Interpretable Clustering for Rule Extraction and Anomaly Detection (IC-READ)’. L'interprétation signifie que les groupes résultants sont formulés en utilisant une logique conditionnelle simple. Cela est pratique lors de la fourniture des résultats à des non-spécialistes. Il facilite toute mise en oeuvre du matériel si nécessaire. La technique proposée est également non paramétrique, ce qui signifie qu'aucun réglage n'est requis. Cette technique pourrait également être utiliser dans un contexte de ‘one class classification’ pour construire un détecteur d'anomalie. L'autre technique non supervisée proposée est une approche de regroupement de séries chronologiques à plusieurs variables de longueur variable à l'aide d'une distance de type ‘Dynamic Time Warping (DTW)’ modifiée. Le DTW modifié donne des correspondances plus élevées pour les séries temporelles qui ont des tendances et des grandeurs similaires plutôt que de se concentrer uniquement sur l'une ou l'autre de ces propriétés. Cette technique est également non paramétrique et utilise la classification hiérarchique pour regrouper les séries chronologiques de manière non supervisée. Cela est particulièrement utile pour décider de la planification de la maintenance. Il est également montré qu'il peut être utilisé avec ‘Kernel Principal Components Analysis (KPCA)’ pour visualiser des séquences de longueurs variables dans des diagrammes bidimensionnels.---------- ABSTRACT: Data analysis has become a necessity for industry. Working with inherited expertise only has become insufficient, expensive, not easily transferable, and mostly unavailable for new industries and facilities. Data analysis can provide decision-makers with more insight on how to manage their production, maintenance and personnel. Data collection requires acquisition and storage of observatory information about the state of the different production assets. Data collection usually takes place in a timely manner which result in time-series of observations. Depending on the type of data records available, the type of possible analyses will differ. Data labeled with previous human experience in terms of identifiable faults or fatigues can be used to build models to perform the expert’s task in the future by means of supervised learning. Otherwise, if no human labeling is available then data analysis can provide insights about similar observations or visualize these similarities through unsupervised learning. Both are challenging types of analyses. The challenges are two-fold; the first originates from the data and its adequacy, and the other is selecting the type of analysis which is a decision made by the analyst. Data challenges are due to the substantial number of unknown sources of variations inherited in the collected data, which may sometimes include human errors. Deciding upon the type of modelling is another issue as each model has its own assumptions, parameters to tune, and limitations. This thesis proposes four new types of time-series analysis, two of which are supervised requiring data labelling by certain events such as failure when, and the other two are unsupervised that require no such labelling. These analysis techniques are tested and applied on various industrial applications, namely road maintenance, bearing outer race failure detection, cutting tool failure prediction, and turbo engine failure prediction. These techniques target minimizing the burden of choice laid on the analyst working with industrial data by providing reliable analysis tools that require fewer choices to be made by the analyst. This in turn allows different industries to easily make use of their data without requiring much expertise. For prognostic purposes a proposed modification to the binary Logical Analysis of Data (LAD) classifier is used to adaptively stratify survival curves into long survivors and short life sets. This model requires no parameters to choose and completely relies on empirical estimations. The proposed Logical Analysis of Survival Curves show a 27% improvement in prediction accuracy than the results obtained by well-known machine learning techniques in terms of the mean absolute error. The other prognostic model is a new bidirectional Long Short-Term Memory (LSTM) neural network termed the Bidirectional Handshaking LSTM (BHLSTM). This model makes better use of short sequences by making a round pass through the given data. Moreover, the network is trained using a new safety oriented objective function which forces the network to make safer predictions. Finally, since LSTM is a supervised technique, a novel approach for generating the target Remaining Useful Life (RUL) is proposed requiring lesser assumptions to be made compared to previous approaches. This proposed network architecture shows an average of 18.75% decrease in the mean absolute error of predictions on the NASA turbo engine dataset. For unsupervised diagnostic purposes a new technique for providing interpretable clustering is proposed named Interpretable Clustering for Rule Extraction and Anomaly Detection (IC-READ). Interpretation means that the resulting clusters are formulated using simple conditional logic. This is very important when providing the results to non-specialists especially those in management and ease any hardware implementation if required. The proposed technique is also non-parametric, which means there is no tuning required and shows an average of 20% improvement in cluster purity over other clustering techniques applied on 11 benchmark datasets. This technique also can use the resulting clusters to build an anomaly detector. The last proposed technique is a whole multivariate variable length time-series clustering approach using a modified Dynamic Time Warping (DTW) distance. The modified DTW gives higher matches for time-series that have the similar trends and magnitudes rather than just focusing on either property alone. This technique is also non-parametric and uses hierarchal clustering to group time-series in an unsupervised fashion. This can be specifically useful for management to decide maintenance scheduling. It is shown also that it can be used along with Kernel Principal Components Analysis (KPCA) for visualizing variable length sequences in two-dimensional plots. The unsupervised techniques can help, in some cases where there is a lot of variation within certain classes, to ease the supervised learning task by breaking it into smaller problems having the same nature

Quantitative Risk Analysis using Real-time Data and Change-point Analysis for Data-informed Risk Prediction

Incidents in highly hazardous process industries (HHPI) are a major concern for various stakeholders due to the impact on human lives, environment, and potentially huge financial losses. Because process activities, location and products are unique, risk analysis techniques applied in the HHPI has evolved over the years. Unfortunately, some limitations of the various quantitative risk analysis (QRA) method currently employed means alternative or more improved methods are required. This research has obtained one such method called Big Data QRA Method. This method relies entirely on big data techniques and real-time process data to identify the point at which process risk is imminent and provide the extent of contribution of other components interacting up to the time index of the risk. Unlike the existing QRA methods which are static and based on unvalidated assumptions and data from single case studies, the big data method is dynamic and can be applied to most process systems. This alternative method is my original contribution to science and the practice of risk analysis The detailed procedure which has been provided in Chapter 9 of this thesis applies multiple change-point analysis and other big data techniques like, (a) time series analysis, (b) data exploration and compression techniques, (c) decision tree modelling, (d) linear regression modelling. Since the distributional properties of process data can change over time, the big data approach was found to be more appropriate. Considering the unique conditions, activities and the process systems use within the HHPI, the dust fire and explosion incidents at the Imperial Sugar Factory and the New England Wood Pellet LLC both of which occurred in the USA were found to be suitable case histories to use as a guide for evaluation of data in this research. Data analysis was performed using open source software packages in R Studio. Based on the investigation, multiple-change-point analysis packages strucchange and changepoint were found to be successful at detecting early signs of deteriorating conditions of component in process equipment and the main process risk. One such process component is a bearing which was suspected as the source of ignition which led to the dust fire and explosion at the Imperial Sugar Factory. As a result, this this research applies the big data QRA method procedure to bearing vibration data to predict early deterioration of bearings and final period when the bearing’s performance begins the final phase of deterioration to failure. Model-based identification of these periods provides an indication of whether the conditions of a mechanical part in process equipment at a particular moment represent an unacceptable risk. The procedure starts with selection of process operation data based on the findings of an incident investigation report on the case history of a known process incident. As the defining components of risk, both the frequency and consequences associated with the risk were obtained from the incident investigation reports. Acceptance criteria for the risk can be applied to the periods between the risks detected by the two change-point packages. The method was validated with two case study datasets to demonstrate its applicability as procedure for QRA. The procedure was then tested with two other case study datasets as examples of its application as a QRA method. The insight obtained from the validation and the applied examples led to the conclusion that big data techniques can be applied to real-time process data for risk assessment in the HHPI