Towards improving numerical weather predictions by evolutionary computing techniques

Weather forecasting is complex and not always accurate, moreover, it is generally defined by its very nature as a process that has to deal with uncertainties. In a previous work, a new weather prediction scheme was presented, which uses evolutionary computing methods, particularly, Genetic Algorithms in order to find the most timely 'optimal' values of model closure parameters that appear in physical parametrization schemes which are coupled with numerical weather prediction (NWP) models. Currently, these parameters are specified manually. Our hypothesis is that the NWP model forecast skill is sensitive to the specified parameter values. And thus, by finding 'optimal' values of these parameters, we aim to enhance prediction quality. In this work however, the same scheme is extended by introducing different ways of prediction evaluation during the process of searching closure parameter values. To verify our new scheme, we show prediction results of an experimental case using historical data of a well known weather catastrophe: Hurricane Katrina that occurred in 2005 in the Gulf of Mexico. Obtained results provide significant enhancement in weather prediction. © 2012 Published by Elsevier Ltd

A Review on the Application of Natural Computing in Environmental Informatics

Natural computing offers new opportunities to understand, model and analyze the complexity of the physical and human-created environment. This paper examines the application of natural computing in environmental informatics, by investigating related work in this research field. Various nature-inspired techniques are presented, which have been employed to solve different relevant problems. Advantages and disadvantages of these techniques are discussed, together with analysis of how natural computing is generally used in environmental research.Comment: Proc. of EnviroInfo 201

Data Science and Ebola

Data Science---Today, everybody and everything produces data. People produce large amounts of data in social networks and in commercial transactions. Medical, corporate, and government databases continue to grow. Sensors continue to get cheaper and are increasingly connected, creating an Internet of Things, and generating even more data. In every discipline, large, diverse, and rich data sets are emerging, from astrophysics, to the life sciences, to the behavioral sciences, to finance and commerce, to the humanities and to the arts. In every discipline people want to organize, analyze, optimize and understand their data to answer questions and to deepen insights. The science that is transforming this ocean of data into a sea of knowledge is called data science. This lecture will discuss how data science has changed the way in which one of the most visible challenges to public health is handled, the 2014 Ebola outbreak in West Africa.Comment: Inaugural lecture Leiden Universit

A novel soft computing approach based on FIR to model and predict energy dynamic systems

Tesi en modalitat compendi de publicacionsWe are facing a global climate crisis that is demanding a change in the status quo of how we produce, distribute and consume energy. In the last decades, this is being redefined through Smart Grids(SG), an intelligent electrical network more observable, controllable, automated, fully integrated with energy services and the end-users. Most of the features and proposed SG scenarios are based on reliable, robust and fast energy predictions. For instance, for proper planning activities, such as generation, purchasing, maintenance and investment; for demand side management, like demand response programs; for energy trading, especially at local level, where productions and consumptions are more stochastics and dynamic; better forecasts also increase grid stability and thus supply security. A large variety of Artificial Intelligence(AI) techniques have been applied in the field of Short-term electricity Load Forecasting(SLF) at consumer level in low-voltage system, showing a better performance than classical techniques. Inaccuracy or failure in the SLF process may be translated not just in a non-optimal (low prediction accuracy) solution but also in frustration of end-users, especially in new services and functionalities that empower citizens. In this regard, some limitations have been observed in energy forecasting models based on AI such as robustness, reliability, accuracy and computation in the edge. This research proposes and develops a new version of Fuzzy Inductive Reasoning(FIR), called Flexible FIR, to model and predict the electricity consumption of an entity in the low-voltage grid with high uncertainties, and information missing, as well as the capacity to be deployed either in the cloud or locally in a new version of Smart Meters(SMs) based on Edge Computing(EC). FIR has been proved to be a powerful approach for model identification and system ’s prediction over dynamic and complex processes in different real world domains but not yet in the energy domain. Thus, the main goal of this thesis is to demonstrate that a new version of FIR, more robust, reliable and accurate can be a referent Soft Computing(SC) methodology to model and predict dynamic systems in the energy domain and that it is scalable to an EC integration. The core developments of Flexible FIR have been an algorithm that can cope with missing information in the input values, as well as learn from instances with Missing Values(MVs) in the knowledge-based, without compromising significantly the accuracy of the predictions. Moreover, Flexible FIR comes with new forecasting strategies that can cope better with loss of causality of a variable and dispersion of output classes than classical k nearest neighbours, making the FIR forecasting process more reliable and robust. Furthermore, Flexible FIR addresses another major challenge modelling with SC techniques, which is to select best model parameters. One of the most important parameters in FIR is the number k of nearest neighbours to be used in the forecast process. The challenge to select the optimal k, dynamically, is addressed through an algorithm, called KOS(K nearest neighbour Optimal Selection), which has been developed and tested also with real world data. It computes a membership aggregation function of all the neighbours with respect their belonging to the output classes.While with KOS the optimal parameter k is found online, with other approaches such as genetic algorithms or reinforcement learning is not, which increases the computational time.Ens trobem davant una crisis climàtica global que exigeix un canvi al status quo de la manera que produïm, distribuïm i consumim energia. En les darreres dècades, està sent redefinit gràcies a les xarxa elèctriques intel·ligents(SG: Smart Grid) amb millor observabilitat, control, automatització, integrades amb nous serveis energètics i usuaris finals. La majoria de les funcionalitats i escenaris de les SG es basen en prediccions de la càrrega elèctrica confiables, robustes i ràpides. Per les prediccions de càrregues elèctriques a curt termini(SLF: Short-term electricity Load Forecasting), a nivell de consumidors al baix voltatge, s’han aplicat una gran varietat de tècniques intel·ligència Artificial(IA) mostrant millor rendiment que tècniques estadístiques tradicionals. Un baix rendiment en SLF, pot traduir-se no només en una solució no-òptima (baixa precisió de predicció) sinó també en la frustració dels usuaris finals, especialment en nous serveis i funcionalitats que empoderarien als ciutadans. En el marc d’aquesta investigació es proposa i desenvolupa una nova versió de la metodologia del Raonament Inductiu Difús(FIR: Fuzzy Inductive Reasoning), anomenat Flexible FIR, capaç de modelar i predir el consum d’electricitat d’una entitat amb un grau d’incertesa molt elevat, inclús amb importants carències d’informació (missing values). A més, Flexible FIR té la capacitat de desplegar-se al núvol, així como localment, en el que podria ser una nova versió de Smart Meters (SM) basada en tecnologia d’Edge Computing (EC). FIR ja ha demostrat ser una metodologia molt potent per la generació de models i prediccions en processos dinàmics en diferents àmbits, però encara no en el de l’energia. Per tant, l’objectiu principal d’aquesta tesis és demostrar que una versió millorada de FIR, més robusta, fiable i precisa pot consolidar-se com una metodologia Soft Computing SC) de referencia per modelar i predir sistemes dinàmics en aplicacions per al sector de l’energia i que és escalable a una integració d’EC. Les principals millores de Flexible FIR han estat, en primer lloc, el desenvolupament i test d’un algorisme capaç de processar els valors d’entrada d’un model FIR tot i que continguin Missing Values (MV). Addicionalment, aquest algorisme també permet aprendre d’instàncies amb MV en la matriu de coneixement d’un model FIR, sense comprometre de manera significativa la precisió de les prediccions. En segon lloc, s’han desenvolupat i testat noves estratègies per a la fase de predicció, comportant-se millor que els clàssics k veïns més propers quan ens trobem amb pèrdua de causalitat d’una variable i dispersió en les classes de sortida, aconseguint un procés d’aprenentatge i predicció més confiable i robust. En tercer lloc, Flexible FIR aborda un repte molt comú en tècniques de SC: l’òptima parametrització del model. En FIR, un dels paràmetres més determinants és el número k de veïns més propers que s’utilitzaran durant la fase de predicció. La selecció del millor valor de k es planteja de manera dinàmica a través de l’algorisme KOS (K nearest neighbour Optimal Selection) que s’ha desenvolupat i testat també amb dades reals. Mentre que amb KOS el paràmetre òptim de k es calcula online, altres enfocaments mitjançant algoritmes genètics o aprenentatge per reforç el càlcul és offline, incrementant significativament el temps de resposta, sent a més a més difícil la implantació en escenaris d’EC. Aquestes millores fan que Flexible FIR es pugui adaptar molt bé en aplicacions d’EC. En aquest sentit es proposa el concepte d’un SM de segona generació basat en EC, que integra Flexible FIR com mòdul de predicció d’electricitat executant-se en el propi dispositiu i un agent EC amb capacitat per el trading d'energia produïda localment. Aquest agent executa un innovador mecanisme basat en incentius, anomenat NRG-X-Change que utilitza una nova moneda digital descentralitzada per l’intercanvi d’energia, que s’anomena NRGcoin.Estamos ante una crisis climática global que exige un cambio del status quo de la manera que producimos, distribuimos y consumimos energía. En las últimas décadas, este status quo está siendo redefinido debido a: la penetración de las energías renovables y la generación distribuida; nuevas tecnologías como baterías y paneles solares con altos rendimientos; y la forma en que se consume la energía, por ejemplo, a través de vehículos eléctricos o con la electrificación de los hogares. Estas palancas requieren una red eléctrica inteligente (SG: Smart Grid) con mayor observabilidad, control, automatización y que esté totalmente integrada con nuevos servicios energéticos, así como con sus usuarios finales. La mayoría de las funcionalidades y escenarios de las redes eléctricas inteligentes se basan en predicciones de la energía confiables, robustas y rápidas. Por ejemplo, para actividades de planificación como la generación, compra, mantenimiento e inversión; para la gestión de la demanda, como los programas de demand response; en el trading de electricidad, especialmente a nivel local, donde las producciones y los consumos son más estocásticos y dinámicos; una mejor predicción eléctrica también aumenta la estabilidad de la red y, por lo tanto, mejora la seguridad. Para las predicciones eléctricas a corto plazo (SLF: Short-term electricity Load Forecasting), a nivel de consumidores en el bajo voltaje, se han aplicado una gran variedad de técnicas de Inteligencia Artificial (IA) mostrando mejor rendimiento que técnicas estadísticas convencionales. Un bajo rendimiento en los modelos predictivos, puede traducirse no solamente en una solución no-óptima (baja precisión de predicción) sino también en frustración de los usuarios finales, especialmente en nuevos servicios y funcionalidades que empoderan a los ciudadanos. En este sentido, se han identificado limitaciones en modelos de predicción de energía basados en IA, como la robustez, fiabilidad, precisión i computación en el borde. En el marco de esta investigación se propone y desarrolla una nueva versión de la metodología de Razonamiento Inductivo Difuso (FIR: Fuzzy Inductive Reasoning), que hemos llamado Flexible FIR, capaz de modelar y predecir el consumo de electricidad de una entidad con altos grados de incertidumbre e incluso con importantes carencias de información (missing values). Además, Flexible FIR tiene la capacidad de desplegarse en la nube, así como localmente, en lo que podría ser una nueva versión de Smart Meters (SM) basada en tecnología de Edge Computing (EC). En el pasado, ya se ha demostrado que FIR es una metodología muy potente para la generación de modelos y predicciones en procesos dinámicos, sin embargo, todavía no ha sido demostrado en el campo de la energía. Por tanto, el objetivo principal de esta tesis es demostrar que una versión mejorada de FIR, más robusta, fiable y precisa puede consolidarse como metodología Soft Computing (SC) de referencia para modelar y predecir sistemas dinámicos en aplicaciones para el sector de la energía y que es escalable hacia una integración de EC. Las principales mejoras en Flexible FIR han sido, en primer lugar, el desarrollo y testeo de un algoritmo capaz de procesar los valores de entrada en un modelo FIR a pesar de que contengan Missing Values (MV). Además, dicho algoritmo también permite aprender de instancias con MV en la matriz de conocimiento de un modelo FIR, sin comprometer de manera significativa la precisión de las predicciones. En segundo lugar, se han desarrollado y testeado nuevas estrategias para la fase de predicción de un modelo FIR, comportándose mejor que los clásicos k vecinos más cercanos ante la pérdida de causalidad de una variable y dispersión de clases de salida, consiguiendo un proceso de aprendizaje y predicción más confiable y robusto. En tercer lugar, Flexible FIR aborda un desafío muy común en técnicas de SC: la óptima parametrización del modelo. En FIR, uno de los parámetros más determinantes es el número k de vecinos más cercanos que se utilizarán en la fase de predicción. La selección del mejor valor de k se plantea de manera dinámica a través del algoritmo KOS (K nearest neighbour Optimal Selection) que se ha desarrollado y probado también con datos reales. Dicho algoritmo calcula una función de membresía agregada, de todos los vecinos, con respecto a su pertenencia a las clases de salida. Mientras que con KOS el parámetro óptimo de k se calcula online, otros enfoques mediante algoritmos genéticos o aprendizaje por refuerzo, el cálculo es offline incrementando significativamente el tiempo de respuesta, siendo además difícil su implantación en escenarios de EC. Estas mejoras hacen que Flexible FIR se adapte muy bien en aplicaciones de EC, en las que la analítica de datos en streaming debe ser fiable, robusta y con un modelo suficientemente ligero para ser ejecutado en un IoT Gateway o dispositivos más pequeños. También, en escenarios con poca conectividad donde el uso de la computación en la nube es limitado y los parámetros del modelo se calculan localmente. Con estas premisas, en esta tesis, se propone el concepto de un SM de segunda generación basado en EC, que integra Flexible FIR como módulo de predicción de electricidad ejecutándose en el dispositivo y un agente EC con capacidad para el trading de energía producida localmente. Dicho agente ejecuta un novedoso mecanismo basado en incentivos, llamado NRG-X-Change que utiliza una nueva moneda digital descentralizada para el intercambio de energía, llamada NRGcoin.Postprint (published version

Quantitative modelling of the human–Earth System a new kind of science?

The five grand challenges set out for Earth System Science by the International Council for Science in 2010 require a true fusion of social science, economics and natural science—a fusion that has not yet been achieved. In this paper we propose that constructing quantitative models of the dynamics of the human–Earth system can serve as a catalyst for this fusion. We confront well-known objections to modelling societal dynamics by drawing lessons from the development of natural science over the last four centuries and applying them to social and economic science. First, we pose three questions that require real integration of the three fields of science. They concern the coupling of physical planetary boundaries via social processes; the extension of the concept of planetary boundaries to the human–Earth System; and the possibly self-defeating nature of the United Nation’s Millennium Development Goals. Second, we ask whether there are regularities or ‘attractors’ in the human–Earth System analogous to those that prompted the search for laws of nature. We nominate some candidates and discuss why we should observe them given that human actors with foresight and intentionality play a fundamental role in the human–Earth System. We conclude that, at sufficiently large time and space scales, social processes are predictable in some sense. Third, we canvass some essential mathematical techniques that this research fusion must incorporate, and we ask what kind of data would be needed to validate or falsify our models. Finally, we briefly review the state of the art in quantitative modelling of the human–Earth System today and highlight a gap between so-called integrated assessment models applied at regional and global scale, which could be filled by a new scale of model

Car Parking Availability Prediction: A Comparative Study of LSTM and Random Forest Regression Approaches

Drivers spend an enormous amount of time searching for parking spots every year. Waste of time, emission of carbon and air pollution have been issues in hunting for parking spots without proper prediction. In this paper, we have proposed to build a framework based on Recurrent Neural Network (RNN) using Long Short Term Memory (LSTM) and Random Forest Regression model to provide prediction of parking availability and compared results afterwards. A real-world case of parking spots availability consisting of 5,500 parking spots in Kuala Lumpur City Centre (KLCC), Malaysia, has been used for regression implementation in this comparative analysis. The results showed that random forest outperformed LSTM approach based on performance metrics

Analysis, Characterization, Prediction and Attribution of Extreme Atmospheric Events with Machine Learning: a Review

Atmospheric Extreme Events (EEs) cause severe damages to human societies and ecosystems. The frequency and intensity of EEs and other associated events are increasing in the current climate change and global warming risk. The accurate prediction, characterization, and attribution of atmospheric EEs is therefore a key research field, in which many groups are currently working by applying different methodologies and computational tools. Machine Learning (ML) methods have arisen in the last years as powerful techniques to tackle many of the problems related to atmospheric EEs. This paper reviews the ML algorithms applied to the analysis, characterization, prediction, and attribution of the most important atmospheric EEs. A summary of the most used ML techniques in this area, and a comprehensive critical review of literature related to ML in EEs, are provided. A number of examples is discussed and perspectives and outlooks on the field are drawn.Comment: 93 pages, 18 figures, under revie