Hierarchical Clustering of Ensemble Prediction Using LOOCV Predictable Horizon for Chaotic Time Series

Recently, we have presented a method of ensemble prediction of chaotic time series. The method employs strong learners capable of making predictions with small error, where usual ensemble mean does not work well owing to the long term unpredictability of chaotic time series. Thus, we have developed a method to select a representative prediction from a set of plausible predictions by means of using LOOCV (leave-one-out cross-validation) measure to estimate predictable horizon. Although we have shown the effectiveness of the method, it sometimes fails to select the representative prediction with long predictable horizon. In order to cope with this problem, this paper presents a method to select multiple candidates of representative prediction by means of employing hierarchical K-means clustering with K = 2. From numerical experiments, we show the effectiveness of the method and an analysis of the property of LOOCV predictable horizon.The 2017 IEEE Symposium Series on Computational Intelligence (IEEE SSCI 2017), November 27 to December 1, 2017, Honolulu, Hawaii, US

DATA-DRIVEN ANALYTICAL MODELS FOR IDENTIFICATION AND PREDICTION OF OPPORTUNITIES AND THREATS

During the lifecycle of mega engineering projects such as: energy facilities, infrastructure projects, or data centers, executives in charge should take into account the potential opportunities and threats that could affect the execution of such projects. These opportunities and threats can arise from different domains; including for example: geopolitical, economic or financial, and can have an impact on different entities, such as, countries, cities or companies. The goal of this research is to provide a new approach to identify and predict opportunities and threats using large and diverse data sets, and ensemble Long-Short Term Memory (LSTM) neural network models to inform domain specific foresights. In addition to predicting the opportunities and threats, this research proposes new techniques to help decision-makers for deduction and reasoning purposes. The proposed models and results provide structured output to inform the executive decision-making process concerning large engineering projects (LEPs). This research proposes new techniques that not only provide reliable timeseries predictions but uncertainty quantification to help make more informed decisions. The proposed ensemble framework consists of the following components: first, processed domain knowledge is used to extract a set of entity-domain features; second, structured learning based on Dynamic Time Warping (DTW), to learn similarity between sequences and Hierarchical Clustering Analysis (HCA), is used to determine which features are relevant for a given prediction problem; and finally, an automated decision based on the input and structured learning from the DTW-HCA is used to build a training data-set which is fed into a deep LSTM neural network for time-series predictions. A set of deeper ensemble programs are proposed such as Monte Carlo Simulations and Time Label Assignment to offer a controlled setting for assessing the impact of external shocks and a temporal alert system, respectively. The developed model can be used to inform decision makers about the set of opportunities and threats that their entities and assets face as a result of being engaged in an LEP accounting for epistemic uncertainty

The European Lake Microbiome: A Study in Complexity

While it is known that microbes play many indispensable roles in ecosystems, the relationship between microbiomes and their environment is far from being well-understood. In part, this is the case because the methods necessary for studying environmental microbiomes, such as Next- Generation Sequencing and high-dimensional Machine Learning, have been developed relatively recently. However, the complex nature of ecosystems and environmental microbiomes acts as a further barrier to progress in this field of research. This thesis develops methods and concepts used to gain insight into the ecology of micro- biomes in lakes. It is based around two metabarcoding datasets sampled from lakes in Austria and the whole of Europe, respectively, and attempts to elucidate the microbiome’s relationship to environmental parameters. To this end, a tool for GPS-based dataset enhancement and a ma- chine learning framework for measuring microbiome covariation is developed. Building on this, the latent structure of the microbiome is estimated. In the discussion, a novel theory of informa- tion transmission in complex environments is described. Taken together, the work included herein presents a thorough analysis of the European lake microbiome that takes the complexity of the study object into account. The results point to- wards parameters that act as drivers of lake microbiome structure as well as microorganisms that might act as keystone species for ecosystem functioning. Furthermore, this work might provide the basis for considerable future progress in the study of environmental microbiomes

Computational Optimizations for Machine Learning

The present book contains the 10 articles finally accepted for publication in the Special Issue “Computational Optimizations for Machine Learning” of the MDPI journal Mathematics, which cover a wide range of topics connected to the theory and applications of machine learning, neural networks and artificial intelligence. These topics include, among others, various types of machine learning classes, such as supervised, unsupervised and reinforcement learning, deep neural networks, convolutional neural networks, GANs, decision trees, linear regression, SVM, K-means clustering, Q-learning, temporal difference, deep adversarial networks and more. It is hoped that the book will be interesting and useful to those developing mathematical algorithms and applications in the domain of artificial intelligence and machine learning as well as for those having the appropriate mathematical background and willing to become familiar with recent advances of machine learning computational optimization mathematics, which has nowadays permeated into almost all sectors of human life and activity

Large Scale Kernel Methods for Fun and Profit

Kernel methods are among the most flexible classes of machine learning models with strong theoretical guarantees. Wide classes of functions can be approximated arbitrarily well with kernels, while fast convergence and learning rates have been formally shown to hold. Exact kernel methods are known to scale poorly with increasing dataset size, and we believe that one of the factors limiting their usage in modern machine learning is the lack of scalable and easy to use algorithms and software. The main goal of this thesis is to study kernel methods from the point of view of efficient learning, with particular emphasis on large-scale data, but also on low-latency training, and user efficiency. We improve the state-of-the-art for scaling kernel solvers to datasets with billions of points using the Falkon algorithm, which combines random projections with fast optimization. Running it on GPUs, we show how to fully utilize available computing power for training kernel machines. To boost the ease-of-use of approximate kernel solvers, we propose an algorithm for automated hyperparameter tuning. By minimizing a penalized loss function, a model can be learned together with its hyperparameters, reducing the time needed for user-driven experimentation. In the setting of multi-class learning, we show that – under stringent but realistic assumptions on the separation between classes – a wide set of algorithms needs much fewer data points than in the more general setting (without assumptions on class separation) to reach the same accuracy. The first part of the thesis develops a framework for efficient and scalable kernel machines. This raises the question of whether our approaches can be used successfully in real-world applications, especially compared to alternatives based on deep learning which are often deemed hard to beat. The second part aims to investigate this question on two main applications, chosen because of the paramount importance of having an efficient algorithm. First, we consider the problem of instance segmentation of images taken from the iCub robot. Here Falkon is used as part of a larger pipeline, but the efficiency afforded by our solver is essential to ensure smooth human-robot interactions. In the second instance, we consider time-series forecasting of wind speed, analysing the relevance of different physical variables on the predictions themselves. We investigate different schemes to adapt i.i.d. learning to the time-series setting. Overall, this work aims to demonstrate, through novel algorithms and examples, that kernel methods are up to computationally demanding tasks, and that there are concrete applications in which their use is warranted and more efficient than that of other, more complex, and less theoretically grounded models

Advances in Evolutionary Algorithms

With the recent trends towards massive data sets and significant computational power, combined with evolutionary algorithmic advances evolutionary computation is becoming much more relevant to practice. Aim of the book is to present recent improvements, innovative ideas and concepts in a part of a huge EA field

Safety and Reliability - Safe Societies in a Changing World

The contributions cover a wide range of methodologies and application areas for safety and reliability that contribute to safe societies in a changing world. These methodologies and applications include: - foundations of risk and reliability assessment and management - mathematical methods in reliability and safety - risk assessment - risk management - system reliability - uncertainty analysis - digitalization and big data - prognostics and system health management - occupational safety - accident and incident modeling - maintenance modeling and applications - simulation for safety and reliability analysis - dynamic risk and barrier management - organizational factors and safety culture - human factors and human reliability - resilience engineering - structural reliability - natural hazards - security - economic analysis in risk managemen

Atti del XXXV Convegno Nazionale di Idraulica e Costruzioni Idrauliche

La XXXV edizione del Convegno Nazionale di Idraulica e Costruzioni Idrauliche (IDRA16), co-organizzata dal Gruppo Italiano di Idraulica (GII) e dal Dipartimento di Ingegneria Civile, Chimica, Ambientale, e dei Materiali (DICAM) dell’Alma Mater Studiorum - Università di Bologna, si è svolta a Bologna dal 14 al 16 settembre 2016. Il Convegno Nazionale è tornato pertanto ad affacciarsi all’ombra del “Nettuno”, dopo l’edizione del 1982 (XVIII edizione). Il titolo della XXXV edizione, “Ambiente, Risorse, Energia: le sfide dell’Ingegneria delle acque in un mondo che cambia”, sottolinea l’importanza e la complessità delle tematiche che rivestono la sfera dello studio e del governo delle risorse idriche. Le sempre più profonde interconnessioni tra risorse idriche, sviluppo economico e benessere sociale, infatti, spronano sia l’Accademia che l’intera comunità tecnico-scientifica nazionale ed internazionale all’identificazione ed alla messa in atto di strategie di gestione innovative ed ottimali: sfide percepite quanto mai necessarie in un contesto ambientale in continua evoluzione, come quello in cui viviamo. La XXXV edizione del Convegno di Idraulica e Costruzioni Idrauliche, pertanto, si è posta come punto d’incontro della comunità tecnico-scientifica italiana per la discussione a tutto tondo di tali problematiche, offrendo un programma scientifico particolarmente ricco e articolato, che ha coperto tutti gli ambiti riconducibili all’Ingegneria delle Acque. L’apertura dei lavori del Convegno si è svolta nella storica cornice della Chiesa di Santa Cristina, uno dei luoghi più caratteristici e belli della città ed oggi luogo privilegiato per l’ascolto della musica classica, mentre le attività di presentazione e discussione scientifica si sono svolte principalmente presso la sede della Scuola di Ingegneria e Architettura dell’Università di Bologna sita in Via Terracini. Il presente volume digitale ad accesso libero (licenza Creative Commons 4.0) raccoglie le memorie brevi pervenute al Comitato Scientifico di IDRA16 ed accettate per la presentazione al convegno a valle di un processo di revisione tra pari. Il volume articola dette memorie in sette macro-tematiche, che costituiscono i capitoli del volume stesso: I. meccanica dei fluidi; II. ambiente marittimo e costiero; III. criteri, metodi e modelli per l’analisi dei processi idrologici e la gestione delle acque; IV. gestione e tutela dei corpi idrici e degli ecosistemi; V. valutazione e mitigazione del rischio idrologico e idraulico; VI. dinamiche acqua-società: sviluppo sostenibile e gestione del territorio; VII. monitoraggio, open-data e software libero. Ciascuna macro-tematica raggruppa più sessioni specialistiche autonome sviluppatesi in parallelo durante le giornate del Convegno, i cui titoli vengono richiamati all’interno del presente volume. La vastità e la diversità delle tematiche affrontate, che ben rappresentano la complessità delle numerose sfide dell’Ingegneria delle Acque, appaiono evidenti dalla consultazione dell’insieme di memorie brevi presentate. La convinta partecipazione della Comunità Scientifica Italiana è dimostrata dalle oltre 350 memorie brevi, distribuite in maniera pressoché uniforme tra le sette macro-tematiche di riferimento. Dette memorie sono sommari estesi di lunghezza variabile redatti in lingua italiana, o inglese. In particolare, la possibilità di stesura in inglese è stata concessa con l’auspicio di portare la visibilità del lavoro presentato ad un livello sovranazionale, grazie alla pubblicazione open access del volume degli Atti del Convegno. Il volume si divide in tre parti: la parte iniziale è dedicata alla presentazione del volume ed all’indice generale dei contributi divisi per macro-tematiche; la parte centrale raccoglie le memorie brevi; la terza parte riporta l’indice analitico degli Autori, che chiude il volume

Atti del XXXV Convegno Nazionale di Idraulica e Costruzioni Idrauliche

La XXXV edizione del Convegno Nazionale di Idraulica e Costruzioni Idrauliche (IDRA16), co-organizzata dal Gruppo Italiano di Idraulica (GII) e dal Dipartimento di Ingegneria Civile, Chimica, Ambientale, e dei Materiali (DICAM) dell’Alma Mater Studiorum - Università di Bologna, si è svolta a Bologna dal 14 al 16 settembre 2016. Il Convegno Nazionale è tornato pertanto ad affacciarsi all’ombra del “Nettuno”, dopo l’edizione del 1982 (XVIII edizione). Il titolo della XXXV edizione, “Ambiente, Risorse, Energia: le sfide dell’Ingegneria delle acque in un mondo che cambia”, sottolinea l’importanza e la complessità delle tematiche che rivestono la sfera dello studio e del governo delle risorse idriche. Le sempre più profonde interconnessioni tra risorse idriche, sviluppo economico e benessere sociale, infatti, spronano sia l’Accademia che l’intera comunità tecnico-scientifica nazionale ed internazionale all’identificazione ed alla messa in atto di strategie di gestione innovative ed ottimali: sfide percepite quanto mai necessarie in un contesto ambientale in continua evoluzione, come quello in cui viviamo. La XXXV edizione del Convegno di Idraulica e Costruzioni Idrauliche, pertanto, si è posta come punto d’incontro della comunità tecnico-scientifica italiana per la discussione a tutto tondo di tali problematiche, offrendo un programma scientifico particolarmente ricco e articolato, che ha coperto tutti gli ambiti riconducibili all’Ingegneria delle Acque. L’apertura dei lavori del Convegno si è svolta nella storica cornice della Chiesa di Santa Cristina, uno dei luoghi più caratteristici e belli della città ed oggi luogo privilegiato per l’ascolto della musica classica, mentre le attività di presentazione e discussione scientifica si sono svolte principalmente presso la sede della Scuola di Ingegneria e Architettura dell’Università di Bologna sita in Via Terracini. Il presente volume digitale ad accesso libero (licenza Creative Commons 4.0) raccoglie le memorie brevi pervenute al Comitato Scientifico di IDRA16 ed accettate per la presentazione al convegno a valle di un processo di revisione tra pari. Il volume articola dette memorie in sette macro-tematiche, che costituiscono i capitoli del volume stesso: I. meccanica dei fluidi; II. ambiente marittimo e costiero; III. criteri, metodi e modelli per l’analisi dei processi idrologici e la gestione delle acque; IV. gestione e tutela dei corpi idrici e degli ecosistemi; V. valutazione e mitigazione del rischio idrologico e idraulico; VI. dinamiche acqua-società: sviluppo sostenibile e gestione del territorio; VII. monitoraggio, open-data e software libero. Ciascuna macro-tematica raggruppa più sessioni specialistiche autonome sviluppatesi in parallelo durante le giornate del Convegno, i cui titoli vengono richiamati all’interno del presente volume. La vastità e la diversità delle tematiche affrontate, che ben rappresentano la complessità delle numerose sfide dell’Ingegneria delle Acque, appaiono evidenti dalla consultazione dell’insieme di memorie brevi presentate. La convinta partecipazione della Comunità Scientifica Italiana è dimostrata dalle oltre 350 memorie brevi, distribuite in maniera pressoché uniforme tra le sette macro-tematiche di riferimento. Dette memorie sono sommari estesi di lunghezza variabile redatti in lingua italiana, o inglese. In particolare, la possibilità di stesura in inglese è stata concessa con l’auspicio di portare la visibilità del lavoro presentato ad un livello sovranazionale, grazie alla pubblicazione open access del volume degli Atti del Convegno. Il volume si divide in tre parti: la parte iniziale è dedicata alla presentazione del volume ed all’indice generale dei contributi divisi per macro-tematiche; la parte centrale raccoglie le memorie brevi; la terza parte riporta l’indice analitico degli Autori, che chiude il volume