Unsupervised tracking of time-evolving data streams and an application to short-term urban traffic flow forecasting

I am indebted to many people for their help and support I receive during my Ph.D. study and research at DIBRIS-University of Genoa. First and foremost, I would like to express my sincere thanks to my supervisors Prof.Dr. Masulli, and Prof.Dr. Rovetta for the invaluable guidance, frequent meetings, and discussions, and the encouragement and support on my way of research. I thanks all the members of the DIBRIS for their support and kindness during my 4 years Ph.D. I would like also to acknowledge the contribution of the projects Piattaforma per la mobili\ue0 Urbana con Gestione delle INformazioni da sorgenti eterogenee (PLUG-IN) and COST Action IC1406 High Performance Modelling and Simulation for Big Data Applications (cHiPSet). Last and most importantly, I wish to thanks my family: my wife Shaimaa who stays with me through the joys and pains; my daughter and son whom gives me happiness every-day; and my parents for their constant love and encouragement

Evolving fuzzy and neuro-fuzzy approaches in clustering, regression, identification, and classification: A Survey

Major assumptions in computational intelligence and machine learning consist of the availability of a historical dataset for model development, and that the resulting model will, to some extent, handle similar instances during its online operation. However, in many real world applications, these assumptions may not hold as the amount of previously available data may be insufficient to represent the underlying system, and the environment and the system may change over time. As the amount of data increases, it is no longer feasible to process data efficiently using iterative algorithms, which typically require multiple passes over the same portions of data. Evolving modeling from data streams has emerged as a framework to address these issues properly by self-adaptation, single-pass learning steps and evolution as well as contraction of model components on demand and on the fly. This survey focuses on evolving fuzzy rule-based models and neuro-fuzzy networks for clustering, classification and regression and system identification in online, real-time environments where learning and model development should be performed incrementally. (C) 2019 Published by Elsevier Inc.Igor Škrjanc, Jose Antonio Iglesias and Araceli Sanchis would like to thank to the Chair of Excellence of Universidad Carlos III de Madrid, and the Bank of Santander Program for their support. Igor Škrjanc is grateful to Slovenian Research Agency with the research program P2-0219, Modeling, simulation and control. Daniel Leite acknowledges the Minas Gerais Foundation for Research and Development (FAPEMIG), process APQ-03384-18. Igor Škrjanc and Edwin Lughofer acknowledges the support by the ”LCM — K2 Center for Symbiotic Mechatronics” within the framework of the Austrian COMET-K2 program. Fernando Gomide is grateful to the Brazilian National Council for Scientific and Technological Development (CNPq) for grant 305906/2014-3

Розробка методики навчання штучних нейронних мереж для інтелектуальних систем підтримки прийняття рішень

The method of training artificial neural networks for intelligent decision support systems is developed. A distinctive feature of the proposed method is that it provides training not only of the synaptic weights of the artificial neural network, but also the type and parameters of the membership function. If it is impossible to provide the specified quality of functioning of artificial neural networks due to the learning of the parameters of the artificial neural network, the architecture of artificial neural networks is trained. The choice of architecture, type and parameters of the membership function is based on the computing resources of the tool and taking into account the type and amount of information supplied to the input of the artificial neural network. Due to the use of the proposed methodology, there is no accumulation of errors of training artificial neural networks as a result of processing information that is fed to the input of artificial neural networks. Also, a distinctive feature of the developed method is that the preliminary calculation data are not required for data calculation. The development of the proposed methodology is due to the need to train artificial neural networks for intelligent decision support systems in order to process more information with the uniqueness of decisions made. According to the results of the study, it is found that the mentioned training method provides on average 10–18 % higher efficiency of training artificial neural networks and does not accumulate errors during training. This method will allow training artificial neural networks through the learning of parameters and architecture, identifying effective measures to improve the efficiency of artificial neural networks. This methodology will allow reducing the use of computing resources of decision support systems and developing measures aimed at improving the efficiency of training artificial neural networks; increasing the efficiency of information processing in artificial neural networksРазработана методика обучения искусственных нейронных сетей для интеллектуальных систем поддержки принятия решений. Отличительная особенность предлагаемой методики заключается в том, что она проводит обучение не только синаптических весов искусственной нейронной сети, но и вида и параметров функции принадлежности. В случае невозможности обеспечить заданное качество функционирования искусственных нейронных сетей за счет обучения параметров искусственной нейронной сети происходит обучение архитектуры искусственных нейронных сетей. Выбор архитектуры, вида и параметров функции принадлежности происходит с учетом вычислительных ресурсов средства и с учетом типа и количества информации, поступающей на вход искусственной нейронной сети. За счет использования предложенной методики не происходит накопления ошибки обучения искусственных нейронных сетей в результате обработки информации, поступающей на вход искусственных нейронных сетей. Также отличительной особенностью разработанной методики является то, что для вычисления данных не нужны предварительные расчетные данные. Разработка предложенной методики обусловлена необходимостью проведения обучения искусственных нейронных сетей для интеллектуальных систем поддержки принятия решений, с целью обработки большего количества информации, при однозначности решений, которые принимаются. По результатам исследования установлено, что указанная методика обучения обеспечивает в среднем на 10–18 % более высокую эффективность обучения искусственных нейронных сетей и не накапливает ошибок в ходе обучения. Данная методика позволит проводить обучение искуственных нейронных сетей за счёт обучения параметров и архитектуры, определить еффективные мероприятия для повышения еффективности функционирования искуственных нейронных сетей. Использование данной методики позволит уменьшить использование вычислительных ресурсов систем поддержки принятия решений и определить мероприятия для повышения еффективности обучения искуственных нейронных сетей; повысить оперативность обработки информации в искуственных нейронных сетяхРозроблено методику навчання штучних нейронних мереж для інтелектуальних систем підтримки прийняття рішень. Відмінна особливість запропонованої методики полягає в тому, що вона проводить навчання не тільки синаптичних ваг штучної нейронної мережі, але й виду та параметрів функції належності. В разі неможливості забезпечити задану якість функціонування штучних нейронних мереж за рахунок навчання параметрів штучної нейронної мережі відбувається навчання архітектури штучних нейронних мереж. Вибір архітектури, виду та параметрів функції належності відбувається з врахуванням обчислювальних ресурсів засобу та з врахуванням типу та кількості інформації, що надходить на вхід штучної нейронної мережі. За рахунок використання запропонованої методики не відбувається накопичення помилки навчання штучних нейронних мереж в результаті обробки інформації, що надходить на вхід штучних нейронних мереж. Також відмінною особливістю розробленої методики є те, що для обчислення даних не потрібні попередні розрахункові дані. Розробка запропонованої методики обумовлена необхідністю проведення навчання штучних нейронних мереж для інтелектуальних систем підтримки прийняття рішень, з метою обробки більшої кількості інформації, при однозначності рішень, що приймаються. За результатами дослідження встановлено, що зазначена методика навчання забезпечує в середньому на 10–18 % більшу високу ефективність навчання штучних нейронних мереж та не накопичує помилок в ході навчання. Зазначена методика дозволить проводити навчання штучних нейронних мереж за рахунок навчання параметрів та архітектури, визначити ефективні заходи для підвищення ефективності функціонування штучних нейронних мереж. Використання зазначеної методики дозволить зменшити використання обчислювальних ресурсів систем підтримки прийняття рішень та виробити заходи, що спрямовані на підвищення ефективності навчання штучних нейронних мереж; підвищити оперативність обробки інформації в штучних нейронних мережа

Розробка методики навчання штучних нейронних мереж для інтелектуальних систем підтримки прийняття рішень

The method of training artificial neural networks for intelligent decision support systems is developed. A distinctive feature of the proposed method is that it provides training not only of the synaptic weights of the artificial neural network, but also the type and parameters of the membership function. If it is impossible to provide the specified quality of functioning of artificial neural networks due to the learning of the parameters of the artificial neural network, the architecture of artificial neural networks is trained. The choice of architecture, type and parameters of the membership function is based on the computing resources of the tool and taking into account the type and amount of information supplied to the input of the artificial neural network. Due to the use of the proposed methodology, there is no accumulation of errors of training artificial neural networks as a result of processing information that is fed to the input of artificial neural networks. Also, a distinctive feature of the developed method is that the preliminary calculation data are not required for data calculation. The development of the proposed methodology is due to the need to train artificial neural networks for intelligent decision support systems in order to process more information with the uniqueness of decisions made. According to the results of the study, it is found that the mentioned training method provides on average 10–18 % higher efficiency of training artificial neural networks and does not accumulate errors during training. This method will allow training artificial neural networks through the learning of parameters and architecture, identifying effective measures to improve the efficiency of artificial neural networks. This methodology will allow reducing the use of computing resources of decision support systems and developing measures aimed at improving the efficiency of training artificial neural networks; increasing the efficiency of information processing in artificial neural networksРазработана методика обучения искусственных нейронных сетей для интеллектуальных систем поддержки принятия решений. Отличительная особенность предлагаемой методики заключается в том, что она проводит обучение не только синаптических весов искусственной нейронной сети, но и вида и параметров функции принадлежности. В случае невозможности обеспечить заданное качество функционирования искусственных нейронных сетей за счет обучения параметров искусственной нейронной сети происходит обучение архитектуры искусственных нейронных сетей. Выбор архитектуры, вида и параметров функции принадлежности происходит с учетом вычислительных ресурсов средства и с учетом типа и количества информации, поступающей на вход искусственной нейронной сети. За счет использования предложенной методики не происходит накопления ошибки обучения искусственных нейронных сетей в результате обработки информации, поступающей на вход искусственных нейронных сетей. Также отличительной особенностью разработанной методики является то, что для вычисления данных не нужны предварительные расчетные данные. Разработка предложенной методики обусловлена необходимостью проведения обучения искусственных нейронных сетей для интеллектуальных систем поддержки принятия решений, с целью обработки большего количества информации, при однозначности решений, которые принимаются. По результатам исследования установлено, что указанная методика обучения обеспечивает в среднем на 10–18 % более высокую эффективность обучения искусственных нейронных сетей и не накапливает ошибок в ходе обучения. Данная методика позволит проводить обучение искуственных нейронных сетей за счёт обучения параметров и архитектуры, определить еффективные мероприятия для повышения еффективности функционирования искуственных нейронных сетей. Использование данной методики позволит уменьшить использование вычислительных ресурсов систем поддержки принятия решений и определить мероприятия для повышения еффективности обучения искуственных нейронных сетей; повысить оперативность обработки информации в искуственных нейронных сетяхРозроблено методику навчання штучних нейронних мереж для інтелектуальних систем підтримки прийняття рішень. Відмінна особливість запропонованої методики полягає в тому, що вона проводить навчання не тільки синаптичних ваг штучної нейронної мережі, але й виду та параметрів функції належності. В разі неможливості забезпечити задану якість функціонування штучних нейронних мереж за рахунок навчання параметрів штучної нейронної мережі відбувається навчання архітектури штучних нейронних мереж. Вибір архітектури, виду та параметрів функції належності відбувається з врахуванням обчислювальних ресурсів засобу та з врахуванням типу та кількості інформації, що надходить на вхід штучної нейронної мережі. За рахунок використання запропонованої методики не відбувається накопичення помилки навчання штучних нейронних мереж в результаті обробки інформації, що надходить на вхід штучних нейронних мереж. Також відмінною особливістю розробленої методики є те, що для обчислення даних не потрібні попередні розрахункові дані. Розробка запропонованої методики обумовлена необхідністю проведення навчання штучних нейронних мереж для інтелектуальних систем підтримки прийняття рішень, з метою обробки більшої кількості інформації, при однозначності рішень, що приймаються. За результатами дослідження встановлено, що зазначена методика навчання забезпечує в середньому на 10–18 % більшу високу ефективність навчання штучних нейронних мереж та не накопичує помилок в ході навчання. Зазначена методика дозволить проводити навчання штучних нейронних мереж за рахунок навчання параметрів та архітектури, визначити ефективні заходи для підвищення ефективності функціонування штучних нейронних мереж. Використання зазначеної методики дозволить зменшити використання обчислювальних ресурсів систем підтримки прийняття рішень та виробити заходи, що спрямовані на підвищення ефективності навчання штучних нейронних мереж; підвищити оперативність обробки інформації в штучних нейронних мережа

Giga-Investments: Modelling the Valuation of Very Large Industrial Real Investments

In this doctoral dissertation characteristics of very large industrial real investments (VLIRI) are investigated and a special group of VLIRI is defined as giga-investments. The investment decision-making regarding to giga-investments is discussed from the points of view of discounted cash-flow based methods and real option valuation. Based on the bacground of establishing giga-investments, state-of-the-art in capital budgeting (including real options) and by applying fuzzy numbers a novel method for the evaluation and profitability analysis of giga-investments is presented. Application of the method is illustrated and issues regarding investment decision-making of large industrial real investments are discussed.Real Options; Fuzzy Real Option Valuation; Giga-Investments; Very Large Industrial Real Investments; Dissertation

The flare likelihood and region eruption forecasting (FLARECAST) project: flare forecasting in the big data & machine learning era

The European Union funded the FLARECAST project, that ran from January 2015 until February 2018. FLARECAST had a research-to-operations (R2O) focus, and accordingly introduced several innovations into the discipline of solar flare forecasting. FLARECAST innovations were: first, the treatment of hundreds of physical properties viewed as promising flare predictors on equal footing, extending multiple previous works; second, the use of fourteen (14) different machine learning techniques, also on equal footing, to optimize the immense Big Data parameter space created by these many predictors; third, the establishment of a robust, three-pronged communication effort oriented toward policy makers, space-weather stakeholders and the wider public. FLARECAST pledged to make all its data, codes and infrastructure openly available worldwide. The combined use of 170+ properties (a total of 209 predictors are now available) in multiple machine-learning algorithms, some of which were designed exclusively for the project, gave rise to changing sets of best-performing predictors for the forecasting of different flaring levels, at least for major flares. At the same time, FLARECAST reaffirmed the importance of rigorous training and testing practices to avoid overly optimistic pre-operational prediction performance. In addition, the project has (a) tested new and revisited physically intuitive flare predictors and (b) provided meaningful clues toward the transition from flares to eruptive flares, namely, events associated with coronal mass ejections (CMEs). These leads, along with the FLARECAST data, algorithms and infrastructure, could help facilitate integrated space-weather forecasting efforts that take steps to avoid effort duplication. In spite of being one of the most intensive and systematic flare forecasting efforts to-date, FLARECAST has not managed to convincingly lift the barrier of stochasticity in solar flare occurrence and forecasting: solar flare prediction thus remains inherently probabilistic

Correntropy-Based Evolving Fuzzy Neural System

In this paper, a correntropy-based evolving fuzzy neural system (correntropy-EFNS) is proposed for approximation of nonlinear systems. Different from the commonly used meansquare error criterion, correntropy has a strong outliers rejection ability through capturing the higher moments of the error distribution. Considering the merits of correntropy, this paper brings contributions to build EFNS based on the correntropy concept to achieve a more stable evolution of the rule base and update of the rule parameters instead of the commonly used meansquare error criterion. The correntropy-EFNS (CEFNS) begins with an empty rule base and all rules are evolved online based on the correntropy criterion. The consequent part parameters are tuned based on the maximum correntropy criterion where the correntropy is used as the cost function so as to improve the non-Gaussian noise rejection ability. The steady-state convergence performance of the CEFNS is studied through the calculation of the steady-state excess mean square error (EMSE) in two cases: i) Gaussian noise; and ii) non-Gaussian noise. Finally, the CEFNS is validated through a benchmark system identification problem, a Mackey-Glass time series prediction problem as well as five other real-world benchmark regression problems under both noise-free and noisy conditions. Compared with other evolving fuzzy neural systems, the simulation results show that the proposed CEFNS produces better approximation accuracy using the least number of rules and training time and also owns superior non-Gaussian noise handling capability

Fuzzy Sets, Fuzzy Logic and Their Applications

The present book contains 20 articles collected from amongst the 53 total submitted manuscripts for the Special Issue “Fuzzy Sets, Fuzzy Loigic and Their Applications” of the MDPI journal Mathematics. The articles, which appear in the book in the series in which they were accepted, published in Volumes 7 (2019) and 8 (2020) of the journal, cover a wide range of topics connected to the theory and applications of fuzzy systems and their extensions and generalizations. This range includes, among others, management of the uncertainty in a fuzzy environment; fuzzy assessment methods of human-machine performance; fuzzy graphs; fuzzy topological and convergence spaces; bipolar fuzzy relations; type-2 fuzzy; and intuitionistic, interval-valued, complex, picture, and Pythagorean fuzzy sets, soft sets and algebras, etc. The applications presented are oriented to finance, fuzzy analytic hierarchy, green supply chain industries, smart health practice, and hotel selection. This wide range of topics makes the book interesting for all those working in the wider area of Fuzzy sets and systems and of fuzzy logic and for those who have the proper mathematical background who wish to become familiar with recent advances in fuzzy mathematics, which has entered to almost all sectors of human life and activity

Particle Swarm Optimized Autonomous Learning Fuzzy System

The antecedent and consequent parts of a first-order evolving intelligent system (EIS) determine the validity of the learning results and overall system performance. Nonetheless, the state-of-the-art techniques mostly stress on the novelty from the system identification point of view but pay less attention to the optimality of the learned parameters. Using the recently introduced autonomous learning multiple model (ALMMo) system as the implementation basis, this paper introduces a particles warm-based approach for EIS optimization. The proposed approach is able to simultaneously optimize the antecedent and consequent parameters of ALMMo and effectively enhance the system performance by iteratively searching for optimal solutions in the problem spaces. In addition, the proposed optimization approach does not adversely influence the “one pass” learning ability of ALMMo. Once the optimization process is complete, ALMMo can continue to learn from new data to incorporate unseen data patterns recursively without a full retraining. Experimental studies with a number of real-world benchmark problems validate the proposed concept and general principles. It is also verified that the proposed optimization approach can be applied to other types of EISs with similar operating mechanisms