Exploring Interpretable LSTM Neural Networks over Multi-Variable Data

For recurrent neural networks trained on time series with target and exogenous variables, in addition to accurate prediction, it is also desired to provide interpretable insights into the data. In this paper, we explore the structure of LSTM recurrent neural networks to learn variable-wise hidden states, with the aim to capture different dynamics in multi-variable time series and distinguish the contribution of variables to the prediction. With these variable-wise hidden states, a mixture attention mechanism is proposed to model the generative process of the target. Then we develop associated training methods to jointly learn network parameters, variable and temporal importance w.r.t the prediction of the target variable. Extensive experiments on real datasets demonstrate enhanced prediction performance by capturing the dynamics of different variables. Meanwhile, we evaluate the interpretation results both qualitatively and quantitatively. It exhibits the prospect as an end-to-end framework for both forecasting and knowledge extraction over multi-variable data.Comment: Accepted to International Conference on Machine Learning (ICML), 201

An autoencoder wavelet based deep neural network with attention mechanism for multi-step prediction of plant growth

Acknowledgements This research was supported as part of SMARTGREEN, an Interreg project supported by the North Sea Programme of the European Regional Development Fund of the European Union. We would like to thank all growers (UK and EU), for providing us with the presented data sets. We also wish to thank the reviewers of the paper. Their valuable feedback, suggestions and comments helped us to improve the quality of this work.Peer reviewedPostprin

Вейвлет-анализ как инструмент исследования характеристик дорожного движения для интеллектуальных транспортных систем в условиях недостающих данных

Мероприятия по получению достоверной информации о текущем состоянии транспортных потоков являются необходимыми для реализации эффективных методов управления, предлагаемых современными интеллектуальными транспортными системами. Часто встречающейся проблемой при получении характеристик транспортных потоков с технических устройств является потеря исходных данных, которая приводит к необходимости решения задачи анализа неэквидистантных временных рядов. Эффективным подходом к исследованию неэквидистантных данных выступает спектральный анализ, требующий приведения неэквидистантного процесса к равномерному виду, например, восстановлением пропущенных отсчетов, что ведет к появлению погрешности датирования. Таким образом, цель работы — разработка метода и программного обеспечения для вейвлет-анализа характеристик транспортных потоков в частотной и временной областях без восстановления пропущенных отсчетов. Для анализа и интерпретации нестационарных неэквидистантных временных рядов, полученных из систем мониторинга транспортных потоков, предлагается использовать метод вейвлет-преобразования с подстройкой интервалов дискретизации, результатом которого является частотно-временная развертка с равномерным представлением. Вейвлет-анализ применен к макроскопическим характеристикам транспортного потока, описывающим динамическое состояние транспортной сети в масштабе города или области. Программное обеспечение, реализующее предложенный метод вейвлет-анализа характеристик транспортных потоков, разработано с использованием атрибутно-ориентированного подхода на фреймворке интеллектуальной транспортной геоинформационной системы ITSGIS. Интеграция разработанного программного обеспечения с интеллектуальной транспортной системой выполняется на трех уровнях: уровень данных — получение исходных данных от систем мониторинга; уровень бизнес-логики — представление обработанных данных для сервисов интеллектуальной транспортной системы; уровень представления пользователю — встраивание визуальных компонентов в пользовательские интерфейсы ITSGIS. Вейвлет-анализ характеристик транспортных потоков проведен с использованием вейвлетов Морле на примере трех различных по интенсивности и скорости движения участков автодорог в городе Орхус (Дания). В качестве набора данных для анализа выступает недельный интервал с понедельника по воскресенье. Выполнен анализ данных о средней скорости, числе транспортных средств и среднем времени прохождения участка улично-дорожной сети. Построены и проанализированы вейвлет-спектры и скейлограммы, выявлены общие зависимости в частотном расположении экстремумов, выявлены различия в спектральной мощности

Вейвлет-анализ как инструмент исследования характеристик дорожного движения для интеллектуальных транспортных систем в условиях недостающих данных

A frequent problem of traffic flow characteristics acquisition is data loss, which leads to uneven time series analysis. An effective approach to uneven data analysis is the spectral analysis, which requires obtaining process with a constant sampling interval, for example, by restoring missing data, which leads to the appearance of dating error. Thus, the main purpose of this study is to develop a method and software for wavelet analysis of traffic flow characteristics without restoring the missing data. To analyze and interpret non-stationary uneven time series obtained from traffic monitoring systems, we propose the wavelet transformation method with adjustment of the sampling intervals, which results in a time-frequency domain with a constant sampling interval. Wavelet analysis is applied to the macroscopic traffic flow characteristics. We developed the software for traffic flow wavelet analysis on the "ITSGIS" intelligent transport geo-information framework using the attribute-oriented approach. Wavelet analysis of traffic flows characteristics using Morlet wavelets was accomplished for data analysis of the city of Aarhus, Denmark. Wavelet spectra and scalograms were constructed and analyzed, general dependencies in the frequency distribution of extremes, and differences in spectral power were revealed. The developed software is being experimentally tested in solving practical problems of municipalities and road agencies in Russia.Мероприятия по получению достоверной информации о текущем состоянии транспортных потоков являются необходимыми для реализации эффективных методов управления, предлагаемых современными интеллектуальными транспортными системами. Часто встречающейся проблемой при получении характеристик транспортных потоков с технических устройств является потеря исходных данных, которая приводит к необходимости решения задачи анализа неэквидистантных временных рядов. Эффективным подходом к исследованию неэквидистантных данных выступает спектральный анализ, требующий приведения неэквидистантного процесса к равномерному виду, например, восстановлением пропущенных отсчетов, что ведет к появлению погрешности датирования. Таким образом, цель работы — разработка метода и программного обеспечения для вейвлет-анализа характеристик транспортных потоков в частотной и временной областях без восстановления пропущенных отсчетов. Для анализа и интерпретации нестационарных неэквидистантных временных рядов, полученных из систем мониторинга транспортных потоков, предлагается использовать метод вейвлет-преобразования с подстройкой интервалов дискретизации, результатом которого является частотно-временная развертка с равномерным представлением. Вейвлет-анализ применен к макроскопическим характеристикам транспортного потока, описывающим динамическое состояние транспортной сети в масштабе города или области. Программное обеспечение, реализующее предложенный метод вейвлет-анализа характеристик транспортных потоков, разработано с использованием атрибутно-ориентированного подхода на фреймворке интеллектуальной транспортной геоинформационной системы ITSGIS. Интеграция разработанного программного обеспечения с интеллектуальной транспортной системой выполняется на трех уровнях: уровень данных — получение исходных данных от систем мониторинга; уровень бизнес-логики — представление обработанных данных для сервисов интеллектуальной транспортной системы; уровень представления пользователю — встраивание визуальных компонентов в пользовательские интерфейсы ITSGIS. Вейвлет-анализ характеристик транспортных потоков проведен с использованием вейвлетов Морле на примере трех различных по интенсивности и скорости движения участков автодорог в городе Орхус (Дания). В качестве набора данных для анализа выступает недельный интервал с понедельника по воскресенье. Выполнен анализ данных о средней скорости, числе транспортных средств и среднем времени прохождения участка улично-дорожной сети. Построены и проанализированы вейвлет-спектры и скейлограммы, выявлены общие зависимости в частотном расположении экстремумов, выявлены различия в спектральной мощности

Framework for collaborative intelligence in forecasting day-ahead electricity price

Electricity price forecasting in wholesale markets is an essential asset for deciding bidding strategies and operational schedules. The decision making process is limited if no understanding is given on how and why such electricity price points have been forecast. The present article proposes a novel framework that promotes human–machine collaboration in forecasting day-ahead electricity price in wholesale markets. The framework is based on a new model architecture that uses a plethora of statistical and machine learning models, a wide range of exogenous features, a combination of several time series decomposition methods and a collection of time series characteristics based on signal processing and time series analysis methods. The model architecture is supported by open-source automated machine learning platforms that provide a baseline reference used for comparison purposes. The objective of the framework is not only to provide forecasts, but to promote a human-in-the-loop approach by providing a data story based on a collection of model-agnostic methods aimed at interpreting the mechanisms and behavior of the new model architecture and its predictions. The framework has been applied to the Spanish wholesale market. The forecasting results show good accuracy on mean absolute error (1.859, 95% HDI [0.575, 3.924] EUR (MWh)−1) and mean absolute scaled error (0.378, 95% HDI [0.091, 0.934]). Moreover, the framework demonstrates its human-centric capabilities by providing graphical and numeric explanations that augments understanding on the model and its electricity price point forecasts