System Identification with Time-Aware Neural Sequence Models

Established recurrent neural networks are well-suited to solve a wide variety of prediction tasks involving discrete sequences. However, they do not perform as well in the task of dynamical system identification, when dealing with observations from continuous variables that are unevenly sampled in time, for example due to missing observations. We show how such neural sequence models can be adapted to deal with variable step sizes in a natural way. In particular, we introduce a time-aware and stationary extension of existing models (including the Gated Recurrent Unit) that allows them to deal with unevenly sampled system observations by adapting to the observation times, while facilitating higher-order temporal behavior. We discuss the properties and demonstrate the validity of the proposed approach, based on samples from two industrial input/output processes.Comment: 34th AAAI Conference on Artificial Intelligence (AAAI 2020

Structure-preserving neural networks

We develop a method to learn physical systems from data that employs feedforward neural networks and whose predictions comply with the first and second principles of thermodynamics. The method employs a minimum amount of data by enforcing the metriplectic structure of dissipative Hamiltonian systems in the form of the so-called General Equation for the Non-Equilibrium Reversible-Irreversible Coupling, GENERIC (Öttinger and Grmela (1997) [36]). The method does not need to enforce any kind of balance equation, and thus no previous knowledge on the nature of the system is needed. Conservation of energy and dissipation of entropy in the prediction of previously unseen situations arise as a natural by-product of the structure of the method. Examples of the performance of the method are shown that comprise conservative as well as dissipative systems, discrete as well as continuous ones

Hybrid Physics-informed Neural Networks for Dynamical Systems

Ordinary differential equations can describe many dynamic systems. When physics is well understood, the time-dependent responses are easily obtained numerically. The particular numerical method used for integration depends on the application. Unfortunately, when physics is not fully understood, the discrepancies between predictions and observed responses can be large and unacceptable. In this thesis, we show how to directly implement integration of ordinary differential equations through recurrent neural networks using Python. We leveraged modern machine learning frameworks, such as TensorFlow and Keras. Besides offering basic models capabilities (such as multilayer perceptrons and recurrent neural networks) and optimization methods, these frameworks offer powerful automatic differentiation. With that, our approach\u27s main advantage is that one can implement hybrid models combining physics-informed and data-driven kernels, where data-driven kernels are used to reduce the gap between predictions and observations. In order to illustrate our approach, we used two case studies. The first one consisted of performing fatigue crack growth integration through Euler\u27s forward method using a hybrid model combining a data-driven stress intensity range model with a physics-based crack length increment model. The second case study consisted of performing model parameter identification of a dynamic two-degree-of-freedom system through Runge-Kutta integration. Additionally, we performed a numerical experiment for fleet prognosis with hybrid models. The problem consists of predicting fatigue crack length for a fleet of aircraft. The hybrid models are trained using full input observations (far-field loads) and very limited output observations (crack length data for only a portion of the fleet). The results demonstrate that our proposed physics-informed recurrent neural network can model fatigue crack growth even when the observed distribution of crack length does not match the fleet distribution

Regulação de geradores de fluxo pela variação da rotação

O balanço energético de um conjunto moto-bomba na presença do inversor de freqüência é o tema principal desta Dissertação de Mestrado. Dessa forma, um simulador (software) foi desenvolvido para realização desta tarefa. Esse software considera, durante a simulação do sistema, tanto as características de funcionamento do conjunto moto-bomba, como também, as características físicas e geométricas da instalação hidráulica em que esse conjunto estará atuando. As instalações de abastecimento de água potável por bombeamento, existentes nas cidades para o abastecimento das residências, são referidas neste trabalho. Deste modo, dadas as características de funcionamento do conjunto moto-bomba (diagrama colina), as características física e geométrica da rede hidráulica (isométrico da instalação) e o consumo mensal de água potável das residências beneficiadas por essa rede, então, o balanço energético do sistema (na presença do inversor de freqüência) poderá ser realizado. As ferramentas matemáticas utilizadas nessa Dissertação foram as combinações do método de simulação de Monte Carlo e das Redes Neurais Artificiais. A Figura 1 ilustra didaticamente os princípios básicos de funcionamento do simulador aqui desenvolvido. Como pode ser observado nesta Figura, um editor gráfico permite a entrado do isométrico da rede hidráulica. Por outro lado, a Rede Neural foi utilizada para prever o comportamento do conjunto moto-bomba através da interpolação do diagrama colina. Medidas hidrométricas foram realizadas em campo, e, desta forma, foi possível armazenar no computador o comportamento estatístico dos consumidores de água potável. Assim sendo, o método da Transposição dos Resultados permitirá prever o comportamento do consumo de água (de qualquer outra instalação hidráulica) sem a necessidade de novas medições hidrométricas. Deste modo, o computador estará apto a aplicar o método de Monte Carlo, para a realização do balanço energético do sistema, para qualquer outra instalação hidráulica além daquela ensaiada nesta Dissertação

Regulação de geradores de fluxo pela variação da rotação

O balanço energético de um conjunto moto-bomba na presença do inversor de freqüência é o tema principal desta Dissertação de Mestrado. Dessa forma, um simulador (software) foi desenvolvido para realização desta tarefa. Esse software considera, durante a simulação do sistema, tanto as características de funcionamento do conjunto moto-bomba, como também, as características físicas e geométricas da instalação hidráulica em que esse conjunto estará atuando. As instalações de abastecimento de água potável por bombeamento, existentes nas cidades para o abastecimento das residências, são referidas neste trabalho. Deste modo, dadas as características de funcionamento do conjunto moto-bomba (diagrama colina), as características física e geométrica da rede hidráulica (isométrico da instalação) e o consumo mensal de água potável das residências beneficiadas por essa rede, então, o balanço energético do sistema (na presença do inversor de freqüência) poderá ser realizado. As ferramentas matemáticas utilizadas nessa Dissertação foram as combinações do método de simulação de Monte Carlo e das Redes Neurais Artificiais. A Figura 1 ilustra didaticamente os princípios básicos de funcionamento do simulador aqui desenvolvido. Como pode ser observado nesta Figura, um editor gráfico permite a entrado do isométrico da rede hidráulica. Por outro lado, a Rede Neural foi utilizada para prever o comportamento do conjunto moto-bomba através da interpolação do diagrama colina. Medidas hidrométricas foram realizadas em campo, e, desta forma, foi possível armazenar no computador o comportamento estatístico dos consumidores de água potável. Assim sendo, o método da Transposição dos Resultados permitirá prever o comportamento do consumo de água (de qualquer outra instalação hidráulica) sem a necessidade de novas medições hidrométricas. Deste modo, o computador estará apto a aplicar o método de Monte Carlo, para a realização do balanço energético do sistema, para qualquer outra instalação hidráulica além daquela ensaiada nesta Dissertação

Machine learning approaches to complex time series

It has been noted that there are numerous similarities between the behaviour of chaotic and stochastic systems. The theoretical links between chaotic and stochastic systems are investigated based on the evolution of the density of dynamics and an equivalency relationship based on the invariant measure of an ergodic system. It is shown that for simple chaotic systems an equivalent stochastic model can be analytically derived when the initial position in state space is only known to a limited precision. Based on this a new methodology for the modelling of complex nonlinear time series displaying chaotic behaviour with stochastic models is proposed. This consists of using a stochastic model to learn the evolution of the density of the dynamics of the chaotic system by estimating initial and transitional density functions directly from a time series. A number of models utilising this methodology are proposed, based on Markov chains and hidden Markov models. These are implemented and their performance and characteristics compared using computer simulation with several standard techniques