Spanned patterns for the logical analysis of data

AbstractIn a finite dataset consisting of positive and negative observations represented as real valued n-vectors, a positive (negative) pattern is an interval in Rn with the property that it contains sufficiently many positive (negative) observations, and sufficiently few negative (positive) ones. A pattern is spanned if it does not include properly any other interval containing the same set of observations. Although large collections of spanned patterns can provide highly accurate classification models within the framework of the Logical Analysis of Data, no efficient method for their generation is currently known. We propose in this paper, an incrementally polynomial time algorithm for the generation of all spanned patterns in a dataset, which runs in linear time in the output; the algorithm resembles closely the Blake and Quine consensus method for finding the prime implicants of Boolean functions. The efficiency of the proposed algorithm is tested on various publicly available datasets. In the last part of the paper, we present the results of a series of computational experiments which show the high degree of robustness of spanned patterns

A Cross Entropy Algorithm for Classification with δ\delta−Patterns

International audienceA classification strategy based on $\delta$-patterns is developed via a combinatorial optimization problem related with the maximal clique generation problem on a graph. The proposed solution uses the cross entropy method and has the advantage to be particularly suitable for large datasets. This study is tailored for the particularities of the genomic data

Logical Analysis of Data (LAD) model for the early diagnosis of acute ischemic stroke

<p>Abstract</p> <p>Background</p> <p>Strokes are a leading cause of morbidity and the first cause of adult disability in the United States. Currently, no biomarkers are being used clinically to diagnose acute ischemic stroke. A diagnostic test using a blood sample from a patient would potentially be beneficial in treating the disease.</p> <p>Results</p> <p>A classification approach is described for differentiating between proteomic samples of stroke patients and controls, and a second novel predictive model is developed for predicting the severity of stroke as measured by the National Institutes of Health Stroke Scale (NIHSS). The models were constructed by applying the Logical Analysis of Data (LAD) methodology to the mass peak profiles of 48 stroke patients and 32 controls. The classification model was shown to have an accuracy of 75% when tested on an independent validation set of 35 stroke patients and 25 controls, while the predictive model exhibited superior performance when compared to alternative algorithms. In spite of their high accuracy, both models are extremely simple and were developed using a common set consisting of only 3 peaks.</p> <p>Conclusion</p> <p>We have successfully identified 3 biomarkers that can detect ischemic stroke with an accuracy of 75%. The performance of the classification model on the validation set and on cross-validation does not deteriorate significantly when compared to that on the training set, indicating the robustness of the model. As in the case of the LAD classification model, the results of the predictive model validate the function constructed on our support-set for approximating the severity scores of stroke patients. The correlation and root mean absolute error of the LAD predictive model are consistently superior to those of the other algorithms used (Support vector machines, C4.5 decision trees, Logistic regression and Multilayer perceptron).</p

Analyse logique de données pour estimer le taux de présence des passagers en transport aérien.

RÉSUMÉ Chaque année, dans l’industrie du transport aérien, des pertes de revenus additionnels estimées à des millions de dollars sont causées par des passagers absents. En effet, ces sièges qui ont été vendus mais qui seront inoccupés peuvent potentiellement être revendus à d’autres passagers si on est capable d’en estimer le nombre correctement. Cela génère des profits supplémentaires pour les compagnies aériennes, à condition de ne pas sur-utiliser cette façon de faire, car un passager à qui l’on refuse l’embarquement dû à un manque de place sur l’avion devient coûteux, puisqu’il faut le dédommager. Le projet de maîtrise consiste en l’élaboration d’un modèle permettant de mieux prévoir le nombre de sièges supplémentaires par rapport à la capacité initiale de la cabine que l’on peut se permettre de vendre, phénomène appelé la survente. L’approche retenue est le « Logical Analysis of Data », auquel nous ferons référence par la méthode LAD. Plus spécifiquement, le modèle classifie les passagers en trois groupes: présents, absents et incertains, chaque groupe possédant son propre taux de présence. La somme pondérée de ces trois groupes et de leurs taux respectifs constitue le nombre de personnes présentes prévues par la méthode LAD. Cette méthode a été retenue à cause de son originalité et de ses succès connus à ce jour. Elle se distingue des autres formes de data mining plus conventionnelles par le fait qu’elle fait preuve d’une certaine forme d’intelligence artificielle; à partir des caractéristiques des passagers, elle établit des combinaisons de conditions (appelées patrons) pour lesquels les passagers ciblés ont une plus forte tendance à être présents (ou absents). Les caractéristiques sont par exemple la classe de réservation, le jour de la semaine du départ, l’heure, l’origine de l’itinéraire…----------ABSTRACT In the airline industry, revenue losses are estimated to reach millions of dollars yearly due to passengers that don’t show up for their flights, this is referred to as «no-shows». A frequent practice in the airline industry is to overbook flights to make up for these losses. Some significant revenues can be generated by this practice if the forecasts are accurate. If the no-show forecast is too low, potential revenue loss will remain. On the other hand, if the forecast suggests too many no-shows, some passengers may be denied boarding. This has a direct negative impact on customer satisfaction, and it is difficult to determine the exact cost of customer’s frustration. The objective of this master’s project is to build a model that would improve the accuracy of predictions for show and no-show passengers, and consequently adjust the overbooking levels. The chosen method is known as the «Logical Analysis of Data», also referred to as LAD. Specifically, this method classifies all passengers into three groups: positive (showing up), negative (no-shows) and unclassified. Each of these three groups has its own show rate. The weighted sum of these groups and their show rate results in the total show rate for the evaluated group of passengers. This approach was chosen not only for its originality, but also for its success in various sectors. It differs from other conventional data mining methods by its ability to detect combinatory information about the passengers. The input consists of a number of observations (passengers), each described by a vector of attributes derived from characteristics such as booking class, day of the week, departure time, itinerary origin, … The LAD method detects sets of conditions on attributes for which the group of passengers respecting these conditions have a significantly higher or lower show rate

Multi-Criteria Inventory Classification and Root Cause Analysis Based on Logical Analysis of Data

RÉSUMÉ : La gestion des stocks de pièces de rechange donne un avantage concurrentiel vital dans de nombreuses industries, en passant par les entreprises à forte intensité capitalistique aux entreprises de service. En raison de la quantité élevée d'unités de gestion des stocks (UGS) distinctes, il est presque impossible de contrôler les stocks sur une base unitaire ou de porter la même attention à toutes les pièces. La gestion des stocks de pièces de rechange implique plusieurs intervenants soit les fabricants d'équipement d'origine (FEO), les distributeurs et les clients finaux, ce qui rend la gestion encore plus complexe. Des pièces de rechange critiques mal classées et les ruptures de stocks de pièces critiques ont des conséquences graves. Par conséquent il est essentiel de classifier les stocks de pièces de rechange dans des classes appropriées et d'employer des stratégies de contrôle conformes aux classes respectives. Une classification ABC et certaines techniques de contrôle des stocks sont souvent appliquées pour faciliter la gestion UGS. La gestion des stocks de pièces de rechange a pour but de fournir des pièces de rechange au moment opportun. La classification des pièces de rechange dans des classes de priorité ou de criticité est le fondement même de la gestion à grande échelle d’un assortiment très varié de pièces. L'objectif de la classification est de classer systématiquement les pièces de rechange en différentes classes et ce en fonction de la similitude des pièces tout en considérant leurs caractéristiques exposées sous forme d'attributs. L'analyse ABC traditionnelle basée sur le principe de Pareto est l'une des techniques les plus couramment utilisées pour la classification. Elle se concentre exclusivement sur la valeur annuelle en dollar et néglige d'autres facteurs importants tels que la fiabilité, les délais et la criticité. Par conséquent l’approche multicritères de classification de l'inventaire (MCIC) est nécessaire afin de répondre à ces exigences. Nous proposons une technique d'apprentissage machine automatique et l'analyse logique des données (LAD) pour la classification des stocks de pièces de rechange. Le but de cette étude est d'étendre la méthode classique de classification ABC en utilisant une approche MCIC. Profitant de la supériorité du LAD dans les modèles de transparence et de fiabilité, nous utilisons deux exemples numériques pour évaluer l'utilisation potentielle du LAD afin de détecter des contradictions dans la classification de l'inventaire et de la capacité sur MCIC. Les deux expériences numériques ont démontré que LAD est non seulement capable de classer les stocks mais aussi de détecter et de corriger les observations contradictoires en combinant l’analyse des causes (RCA). La précision du test a été potentiellement amélioré, non seulement par l’utilisation du LAD, mais aussi par d'autres techniques de classification d'apprentissage machine automatique tels que : les réseaux de neurones (ANN), les machines à vecteurs de support (SVM), des k-plus proches voisins (KNN) et Naïve Bayes (NB). Enfin, nous procédons à une analyse statistique afin de confirmer l'amélioration significative de la précision du test pour les nouveaux jeux de données (corrections par LAD) en comparaison aux données d'origine. Ce qui s’avère vrai pour les cinq techniques de classification. Les résultats de l’analyse statistique montrent qu'il n'y a pas eu de différence significative dans la précision du test quant aux cinq techniques de classification utilisées, en comparant les données d’origine avec les nouveaux jeux de données des deux inventaires.----------ABSTRACT : Spare parts inventory management plays a vital role in maintaining competitive advantages in many industries, from capital intensive companies to service networks. Due to the massive quantity of distinct Stock Keeping Units (SKUs), it is almost impossible to control inventory by individual item or pay the same attention to all items. Spare parts inventory management involves all parties, from Original Equipment Manufacturer (OEM), to distributors and end customers, which makes this management even more challenging. Wrongly classified critical spare parts and the unavailability of those critical items could have severe consequences. Therefore, it is crucial to classify inventory items into classes and employ appropriate control policies conforming to the respective classes. An ABC classification and certain inventory control techniques are often applied to facilitate SKU management. Spare parts inventory management intends to provide the right spare parts at the right time. The classification of spare parts into priority or critical classes is the foundation for managing a large-scale and highly diverse assortment of parts. The purpose of classification is to consistently classify spare parts into different classes based on the similarity of items with respect to their characteristics, which are exhibited as attributes. The traditional ABC analysis, based on Pareto's Principle, is one of the most widely used techniques for classification, which concentrates exclusively on annual dollar usage and overlooks other important factors such as reliability, lead time, and criticality. Therefore, multi-criteria inventory classification (MCIC) methods are required to meet these demands. We propose a pattern-based machine learning technique, the Logical Analysis of Data (LAD), for spare parts inventory classification. The purpose of this study is to expand the classical ABC classification method by using a MCIC approach. Benefiting from the superiority of LAD in pattern transparency and robustness, we use two numerical examples to investigate LAD’s potential usage for detecting inconsistencies in inventory classification and the capability on MCIC. The two numerical experiments have demonstrated that LAD is not only capable of classifying inventory, but also for detecting and correcting inconsistent observations by combining it with the Root Cause Analysis (RCA) procedure. Test accuracy improves potentially not only with the LAD technique, but also with other major machine learning classification techniques, namely artificial neural network (ANN), support vector machines (SVM), k-nearest neighbours (KNN) and Naïve Bayes (NB). Finally, we conduct a statistical analysis to confirm the significant improvement in test accuracy for new datasets (corrections by LAD) compared to original datasets. This is true for all five classification techniques. The results of statistical tests demonstrate that there is no significant difference in test accuracy in five machine learning techniques, either in the original or the new datasets of both inventories

Applicability and Interpretability of Logical Analysis of Data in Condition Based Maintenance

Résumé Cette thèse étudie l’applicabilité et l’adaptabilité d’une approche d’exploration de données basée sur l’intelligence artificielle proposée dans [Hammer, 1986] et appelée analyse logique de données (LAD) aux applications diagnostiques dans le domaine de la maintenance conditionnelle CBM). La plupart des technologies utilisées à ce jour pour la prise de décision dans la maintenance conditionnelle ont tendance à automatiser le processus de diagnostic, sans offrir aucune connaissance ajoutée qui pourrait être utile à l’opération de maintenance et au personnel de maintenance. Par comparaison à d’autres techniques de prise de décision dans le domaine de la CBM, la LAD possède deux avantages majeurs : (1) il s’agit d’une approche non statistique, donc les données n’ont pas à satisfaire des suppositions statistiques et (2) elle génère des formes interprétables qui pourraient aider à résoudre les problèmes de maintenance. Une étude sur l’application de la LAD dans la maintenance conditionnelle est présentée dans cette recherche dont l’objectif est (1) d’étudier l’applicabilité de la LAD dans des situations différentes qui nécessitent des considérations particulières concernant les types de données d’entrée et les décisions de maintenance, (2) d’adapter la méthode LAD aux exigences particulières qui se posent à partir de ces applications et (3) d’améliorer la méthodologie LAD afin d’augmenter l’exactitude de diagnostic et d’interprétation de résultats. Les aspects innovants de la recherche présentés dans cette thèse sont (1) l’application de la LAD dans la CBM pour la première fois dans des applications qui bénéficient des propriétés uniques de cette technologie et (2) les modifications innovatrices de la méthodologie de la LAD, en particulier dans le domaine de la génération des formes, afin d’améliorer ses performances dans le cadre de la CBM et dans le domaine de classification multiclasses. La recherche menée dans cette thèse a suivi une approche évolutive afin d’atteindre les objectifs énoncés ci-dessus. La LAD a été utilisée et adaptée à trois applications : (1) la détection des composants malveillants (Rogue) dans l’inventaire de pièces de rechange réparables d’une compagnie aérienne commerciale, (2) la détection et l’identification des défauts dans les transformateurs de puissance en utilisant la DGA et (3) la détection des défauts dans les rotors en utilisant des signaux de vibration. Cette recherche conclut que la LAD est une approche de prise de décision prometteuse qui ajoute d’importants avantages à la mise en oeuvre de la CBM dans l’industrie.----------Abstract This thesis studies the applicability and adaptability of a data mining artificial intelligence approach called Logical Analysis of Data (LAD) to diagnostic applications in Condition Based Maintenance (CBM). Most of the technologies used so far for decision support in CBM tend to automate the diagnostic process without offering any added knowledge that could be helpful to the maintenance operation and maintenance personnel. LAD possesses two key advantages over other decision making technologies used in CBM: (1) it is a non-statistical approach; as such no statistical assumptions are required for the input data, and (2) it generates interpretable patterns that could help solve maintenance problems. A study on the implementation of LAD in CBM is presented in this research whose objective are to study the applicability of LAD in different CBM situations requiring special considerations regarding the types of input data and maintenance decisions, adapt the LAD methodology to the particular requirements that arise from these applications, and improve the LAD methodology in line with the above two objectives in order to increase diagnosis accuracy and result interpretability. The novelty of the research presented in this thesis is (1) the application of LAD to CBM for the first time in applications that stand to benefit from the advantages that this technology provides; and (2) the innovative modifications to LAD methodology, particularly in the area of pattern generation, in order to improve its performance within the context of CBM. The research conducted in this thesis followed an evolutionary approach in order to achieve the objectives stated in the Introduction. The research applied LAD in three applications: (1) the detection of Rogue components within the spare part inventory of reparable components in a commercial airline company, (2) the detection and identification of faults in power transformers using DGA, and (3) the detection of faults in rotor bearings using vibration signals. This research concludes that LAD is a promising decision making approach that adds important benefits to the implementation of CBM in the industry

Applied Metaheuristic Computing

For decades, Applied Metaheuristic Computing (AMC) has been a prevailing optimization technique for tackling perplexing engineering and business problems, such as scheduling, routing, ordering, bin packing, assignment, facility layout planning, among others. This is partly because the classic exact methods are constrained with prior assumptions, and partly due to the heuristics being problem-dependent and lacking generalization. AMC, on the contrary, guides the course of low-level heuristics to search beyond the local optimality, which impairs the capability of traditional computation methods. This topic series has collected quality papers proposing cutting-edge methodology and innovative applications which drive the advances of AMC

Applied Methuerstic computing

For decades, Applied Metaheuristic Computing (AMC) has been a prevailing optimization technique for tackling perplexing engineering and business problems, such as scheduling, routing, ordering, bin packing, assignment, facility layout planning, among others. This is partly because the classic exact methods are constrained with prior assumptions, and partly due to the heuristics being problem-dependent and lacking generalization. AMC, on the contrary, guides the course of low-level heuristics to search beyond the local optimality, which impairs the capability of traditional computation methods. This topic series has collected quality papers proposing cutting-edge methodology and innovative applications which drive the advances of AMC