ADVANCES IN KNOWLEDGE DISCOVERY IN DATABASES

The Knowledge Discovery in Databases and Data Mining field proposes the development of methods and techniques for assigning useful meanings for data stored in databases. It gathers researches from many study fields like machine learning, pattern recognition, databases, statistics, artificial intelligence, knowledge acquisition for expert systems, data visualization and grids. While Data Mining represents a set of specific algorithms of finding useful meanings in stored data, Knowledge Discovery in Databases represents the overall process of finding knowledge and includes the Data Mining as one step among others such as selection, pre�processing, transformation and interpretation of mined data. This paper aims to point the most important steps that were made in the Knowledge Discovery in Databases field of study and to show how the overall process of discovering can be improved in the future.

The Signal Data Explorer: A high performance Grid based signal search tool for use in distributed diagnostic applications

We describe a high performance Grid based signal search tool for distributed diagnostic applications developed in conjunction with Rolls-Royce plc for civil aero engine condition monitoring applications. With the introduction of advanced monitoring technology into engineering systems, healthcare, etc., the associated diagnostic processes are increasingly required to handle and consider vast amounts of data. An exemplar of such a diagnosis process was developed during the DAME project, which built a proof of concept demonstrator to assist in the enhanced diagnosis and prognosis of aero-engine conditions. In particular it has shown the utility of an interactive viewing and high performance distributed search tool (the Signal Data Explorer) in the aero-engine diagnostic process. The viewing and search techniques are equally applicable to other domains. The Signal Data Explorer and search services have been demonstrated on the Worldwide Universities Network to search distributed databases of electrocardiograph data

21st Century Simulation: Exploiting High Performance Computing and Data Analysis

This paper identifies, defines, and analyzes the limitations imposed on Modeling and Simulation by outmoded paradigms in computer utilization and data analysis. The authors then discuss two emerging capabilities to overcome these limitations: High Performance Parallel Computing and Advanced Data Analysis. First, parallel computing, in supercomputers and Linux clusters, has proven effective by providing users an advantage in computing power. This has been characterized as a ten-year lead over the use of single-processor computers. Second, advanced data analysis techniques are both necessitated and enabled by this leap in computing power. JFCOM's JESPP project is one of the few simulation initiatives to effectively embrace these concepts. The challenges facing the defense analyst today have grown to include the need to consider operations among non-combatant populations, to focus on impacts to civilian infrastructure, to differentiate combatants from non-combatants, and to understand non-linear, asymmetric warfare. These requirements stretch both current computational techniques and data analysis methodologies. In this paper, documented examples and potential solutions will be advanced. The authors discuss the paths to successful implementation based on their experience. Reviewed technologies include parallel computing, cluster computing, grid computing, data logging, OpsResearch, database advances, data mining, evolutionary computing, genetic algorithms, and Monte Carlo sensitivity analyses. The modeling and simulation community has significant potential to provide more opportunities for training and analysis. Simulations must include increasingly sophisticated environments, better emulations of foes, and more realistic civilian populations. Overcoming the implementation challenges will produce dramatically better insights, for trainees and analysts. High Performance Parallel Computing and Advanced Data Analysis promise increased understanding of future vulnerabilities to help avoid unneeded mission failures and unacceptable personnel losses. The authors set forth road maps for rapid prototyping and adoption of advanced capabilities. They discuss the beneficial impact of embracing these technologies, as well as risk mitigation required to ensure success

Parallel detrended fluctuation analysis for fast event detection on massive PMU data

("(c) 2015 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other users, including reprinting/ republishing this material for advertising or promotional purposes, creating new collective works for resale or redistribution to servers or lists, or reuse of any copyrighted components of this work in other works.")Phasor measurement units (PMUs) are being rapidly deployed in power grids due to their high sampling rates and synchronized measurements. The devices high data reporting rates present major computational challenges in the requirement to process potentially massive volumes of data, in addition to new issues surrounding data storage. Fast algorithms capable of processing massive volumes of data are now required in the field of power systems. This paper presents a novel parallel detrended fluctuation analysis (PDFA) approach for fast event detection on massive volumes of PMU data, taking advantage of a cluster computing platform. The PDFA algorithm is evaluated using data from installed PMUs on the transmission system of Great Britain from the aspects of speedup, scalability, and accuracy. The speedup of the PDFA in computation is initially analyzed through Amdahl's Law. A revision to the law is then proposed, suggesting enhancements to its capability to analyze the performance gain in computation when parallelizing data intensive applications in a cluster computing environment

Solution of the problem to optimize two-stage allocation of the material flows

Purpose is to elaborate innovative and computationally efficient algorithm to solve a problem of two-stage allocation of the resource occupying continuously the specified area as well as to demonstrate the behaviour of the corresponding software developed with the application of advanced geoinformation resources. Methods. The paper involves mathematical models of continuous problems of optimal set partitioning with additional connections to describe two-stage problems of the material resource location-allocation. Methodological approach to the solution of such problems is based on the idea of their reducing to the problem of infinite-dimensional mathematical programming for which it is possible to obtain optimal solution in the analytical form with the help of the duality theory apparatus. Findings. Mathematical and algorithmic apparatus to solve continuous problems applied for the fuel and energy complex enterprises has been developed making it possible to obtain partitioning of the deposit area into the zones, which are allocated to the first-stage enterprises exclusively. The algorithm operation is demonstrated in terms of the model problem solution. It has been defined that the benefit of such an approach is in the reducing of the infinite-dimensional programming problem to the problem of finite-dimensional nonsmoth optimization since the obtained computational formulas contain the parameters which determination requires solving the auxiliary problem of the nondifferentiable function optimization. Originality. Contrary to the previously developed one, the proposed algorithm does not stipulate solution of the linear programming problem of transport type at each step of the iteration process. Such a problem is solved only once to find the volumes of product transportation between the first-stage and second-stage enterprises after defining all the optimal solution components. Practical implications. Software implementation of the algorithm on the basis of the advanced geoinformation technologies and resources, in terms of the solution of raw material flow allocation, makes it possible to reduce total costs for the management of material flows and their accompanying service flows throughout the whole logistic chain beginning from the flow origin up to its arrival to the end user.Мета. Розробка нового, ефективного з обчислювальної точки зору, алгоритму вирішення двоетапної задачі розподілу ресурсу, що безперервно займає задану область, а також демонстрація роботи відповідного програмного забезпечення, створеного із застосуванням сучасних геоінформаційних ресурсів. Методика. У роботі використано математичні моделі безперервних задач оптимального розбиття множин з додатковими зв’язками для опису двоетапних задач розміщення-розподілу матеріальних ресурсів. Методичний підхід вирішення таких задач заснований на ідеї зведення їх до задач нескінченномірного математичного програмування, для яких, в свою чергу, за допомогою застосування апарату теорії подвійності оптимальне рішення вдається отримати в аналітичному вигляді. Результати. Розроблено математичний і алгоритмічний апарати вирішення безперервних задач у застосуванні до підприємств паливно-енергетичного комплексу, що дозволяє отримувати розбиття району родовища на зони, за якими підприємства першого етапу закріплюються монопольно. Робота алгоритму показана на прикладі вирішення модельної задачі. Визначено, що виграшем описаного підходу є зведення задачі нескінченномірного програмування до задачі кінцево-мірної негладкою оптимізації, оскільки отримані розрахункові формули містять параметри, для визначення яких потрібно вирішити допоміжну задачу оптимізації недиференційованої функції. Наукова новизна. Представлений алгоритм, на відміну від раніше розробленого, не передбачає вирішення задачі лінійного програмування транспортного типу на кожному кроці ітераційного процесу. Така задача вирішується лише один раз для відшукання обсягів перевезень продукції між підприємствами першого і другого етапів після того, як знайдені інші компоненти оптимального рішення. Практична значимість. Програмна реалізація алгоритму на основі сучасних геоінформаційних технологій і ресурсів на прикладі сировинних потоків дозволяє зменшити сукупність витрат, пов’язаних з управлінням матеріальними і супутніми їм сервісними потоками по всьому логістичному ланцюгу, від моменту зародження потоку до надходження його кінцевому споживачеві.Цель. Разработка нового, эффективного с вычислительной точки зрения, алгоритма решения двухэтапной задачи распределения ресурса, непрерывно занимаемого заданную область, а также демонстрация работы соответствующего программного обеспечения, созданного с применением современных геоинформационных ресурсов. Методика. В работе использованы математические модели непрерывных задач оптимального разбиения множеств с дополнительными связями для описания двухэтапных задач размещения-распределения материальных ресурсов. Методический подход решения таких задач основан на идее сведения их к задачам бесконечномерного математического программирования, для которых, в свою очередь, с помощью применения аппарата теории двойственности оптимальное решение удается получить в аналитическом виде. Результаты. Разработан математический и алгоритмический аппарат решения непрерывных задач в применении к предприятиям топливно-энергетического комплекса, который позволяет получать разбиение района месторождения на зоны, за которыми предприятия первого этапа закрепляются монопольно. Работа алгоритма показана на примере решения модельной задачи. Определено, что выигрышем описанного подхода является сведение задачи бесконечномерного программирования к задаче конечномерной негладкой оптимизации, поскольку полученные расчетные формулы содержат параметры, для определения которых нужно решить вспомогательную задачу оптимизации недифференцируемой функции. Научная новизна. Представленный алгоритм, в отличие от ранее разработанного, не предусматривает решения задачи линейного программирования транспортного типа на каждом шаге итерационного процесса. Такая задача решается лишь один раз для отыскания объемов перевозок продукции между предприятиями первого и второго этапов после того, как найдены остальные компоненты оптимального решения. Практическая значимость. Программная реализация алгоритма на основе современных геоинформационных технологий и ресурсов на примере решения задачи распределения сырьевых потоков позволяет уменьшить совокупность издержек, связанных с управлением материальными и сопутствующими им сервисными потоками по всей логистической цепи, от момента зарождения потока до поступления его конечному потребителю.The study has been carried out in terms of the support, provision with the initial data (for correct problem statement and search for optimal solution), and cooperation of research scientists of the Institute of Geotechnical Mechanics named by N. Poljakov of National Academy of Sciences of Ukraine and the Department of System Analysis and Control of Dnipro University of Technology