A novel soft computing approach based on FIR to model and predict energy dynamic systems

Tesi en modalitat compendi de publicacionsWe are facing a global climate crisis that is demanding a change in the status quo of how we produce, distribute and consume energy. In the last decades, this is being redefined through Smart Grids(SG), an intelligent electrical network more observable, controllable, automated, fully integrated with energy services and the end-users. Most of the features and proposed SG scenarios are based on reliable, robust and fast energy predictions. For instance, for proper planning activities, such as generation, purchasing, maintenance and investment; for demand side management, like demand response programs; for energy trading, especially at local level, where productions and consumptions are more stochastics and dynamic; better forecasts also increase grid stability and thus supply security. A large variety of Artificial Intelligence(AI) techniques have been applied in the field of Short-term electricity Load Forecasting(SLF) at consumer level in low-voltage system, showing a better performance than classical techniques. Inaccuracy or failure in the SLF process may be translated not just in a non-optimal (low prediction accuracy) solution but also in frustration of end-users, especially in new services and functionalities that empower citizens. In this regard, some limitations have been observed in energy forecasting models based on AI such as robustness, reliability, accuracy and computation in the edge. This research proposes and develops a new version of Fuzzy Inductive Reasoning(FIR), called Flexible FIR, to model and predict the electricity consumption of an entity in the low-voltage grid with high uncertainties, and information missing, as well as the capacity to be deployed either in the cloud or locally in a new version of Smart Meters(SMs) based on Edge Computing(EC). FIR has been proved to be a powerful approach for model identification and system ’s prediction over dynamic and complex processes in different real world domains but not yet in the energy domain. Thus, the main goal of this thesis is to demonstrate that a new version of FIR, more robust, reliable and accurate can be a referent Soft Computing(SC) methodology to model and predict dynamic systems in the energy domain and that it is scalable to an EC integration. The core developments of Flexible FIR have been an algorithm that can cope with missing information in the input values, as well as learn from instances with Missing Values(MVs) in the knowledge-based, without compromising significantly the accuracy of the predictions. Moreover, Flexible FIR comes with new forecasting strategies that can cope better with loss of causality of a variable and dispersion of output classes than classical k nearest neighbours, making the FIR forecasting process more reliable and robust. Furthermore, Flexible FIR addresses another major challenge modelling with SC techniques, which is to select best model parameters. One of the most important parameters in FIR is the number k of nearest neighbours to be used in the forecast process. The challenge to select the optimal k, dynamically, is addressed through an algorithm, called KOS(K nearest neighbour Optimal Selection), which has been developed and tested also with real world data. It computes a membership aggregation function of all the neighbours with respect their belonging to the output classes.While with KOS the optimal parameter k is found online, with other approaches such as genetic algorithms or reinforcement learning is not, which increases the computational time.Ens trobem davant una crisis climàtica global que exigeix un canvi al status quo de la manera que produïm, distribuïm i consumim energia. En les darreres dècades, està sent redefinit gràcies a les xarxa elèctriques intel·ligents(SG: Smart Grid) amb millor observabilitat, control, automatització, integrades amb nous serveis energètics i usuaris finals. La majoria de les funcionalitats i escenaris de les SG es basen en prediccions de la càrrega elèctrica confiables, robustes i ràpides. Per les prediccions de càrregues elèctriques a curt termini(SLF: Short-term electricity Load Forecasting), a nivell de consumidors al baix voltatge, s’han aplicat una gran varietat de tècniques intel·ligència Artificial(IA) mostrant millor rendiment que tècniques estadístiques tradicionals. Un baix rendiment en SLF, pot traduir-se no només en una solució no-òptima (baixa precisió de predicció) sinó també en la frustració dels usuaris finals, especialment en nous serveis i funcionalitats que empoderarien als ciutadans. En el marc d’aquesta investigació es proposa i desenvolupa una nova versió de la metodologia del Raonament Inductiu Difús(FIR: Fuzzy Inductive Reasoning), anomenat Flexible FIR, capaç de modelar i predir el consum d’electricitat d’una entitat amb un grau d’incertesa molt elevat, inclús amb importants carències d’informació (missing values). A més, Flexible FIR té la capacitat de desplegar-se al núvol, així como localment, en el que podria ser una nova versió de Smart Meters (SM) basada en tecnologia d’Edge Computing (EC). FIR ja ha demostrat ser una metodologia molt potent per la generació de models i prediccions en processos dinàmics en diferents àmbits, però encara no en el de l’energia. Per tant, l’objectiu principal d’aquesta tesis és demostrar que una versió millorada de FIR, més robusta, fiable i precisa pot consolidar-se com una metodologia Soft Computing SC) de referencia per modelar i predir sistemes dinàmics en aplicacions per al sector de l’energia i que és escalable a una integració d’EC. Les principals millores de Flexible FIR han estat, en primer lloc, el desenvolupament i test d’un algorisme capaç de processar els valors d’entrada d’un model FIR tot i que continguin Missing Values (MV). Addicionalment, aquest algorisme també permet aprendre d’instàncies amb MV en la matriu de coneixement d’un model FIR, sense comprometre de manera significativa la precisió de les prediccions. En segon lloc, s’han desenvolupat i testat noves estratègies per a la fase de predicció, comportant-se millor que els clàssics k veïns més propers quan ens trobem amb pèrdua de causalitat d’una variable i dispersió en les classes de sortida, aconseguint un procés d’aprenentatge i predicció més confiable i robust. En tercer lloc, Flexible FIR aborda un repte molt comú en tècniques de SC: l’òptima parametrització del model. En FIR, un dels paràmetres més determinants és el número k de veïns més propers que s’utilitzaran durant la fase de predicció. La selecció del millor valor de k es planteja de manera dinàmica a través de l’algorisme KOS (K nearest neighbour Optimal Selection) que s’ha desenvolupat i testat també amb dades reals. Mentre que amb KOS el paràmetre òptim de k es calcula online, altres enfocaments mitjançant algoritmes genètics o aprenentatge per reforç el càlcul és offline, incrementant significativament el temps de resposta, sent a més a més difícil la implantació en escenaris d’EC. Aquestes millores fan que Flexible FIR es pugui adaptar molt bé en aplicacions d’EC. En aquest sentit es proposa el concepte d’un SM de segona generació basat en EC, que integra Flexible FIR com mòdul de predicció d’electricitat executant-se en el propi dispositiu i un agent EC amb capacitat per el trading d'energia produïda localment. Aquest agent executa un innovador mecanisme basat en incentius, anomenat NRG-X-Change que utilitza una nova moneda digital descentralitzada per l’intercanvi d’energia, que s’anomena NRGcoin.Estamos ante una crisis climática global que exige un cambio del status quo de la manera que producimos, distribuimos y consumimos energía. En las últimas décadas, este status quo está siendo redefinido debido a: la penetración de las energías renovables y la generación distribuida; nuevas tecnologías como baterías y paneles solares con altos rendimientos; y la forma en que se consume la energía, por ejemplo, a través de vehículos eléctricos o con la electrificación de los hogares. Estas palancas requieren una red eléctrica inteligente (SG: Smart Grid) con mayor observabilidad, control, automatización y que esté totalmente integrada con nuevos servicios energéticos, así como con sus usuarios finales. La mayoría de las funcionalidades y escenarios de las redes eléctricas inteligentes se basan en predicciones de la energía confiables, robustas y rápidas. Por ejemplo, para actividades de planificación como la generación, compra, mantenimiento e inversión; para la gestión de la demanda, como los programas de demand response; en el trading de electricidad, especialmente a nivel local, donde las producciones y los consumos son más estocásticos y dinámicos; una mejor predicción eléctrica también aumenta la estabilidad de la red y, por lo tanto, mejora la seguridad. Para las predicciones eléctricas a corto plazo (SLF: Short-term electricity Load Forecasting), a nivel de consumidores en el bajo voltaje, se han aplicado una gran variedad de técnicas de Inteligencia Artificial (IA) mostrando mejor rendimiento que técnicas estadísticas convencionales. Un bajo rendimiento en los modelos predictivos, puede traducirse no solamente en una solución no-óptima (baja precisión de predicción) sino también en frustración de los usuarios finales, especialmente en nuevos servicios y funcionalidades que empoderan a los ciudadanos. En este sentido, se han identificado limitaciones en modelos de predicción de energía basados en IA, como la robustez, fiabilidad, precisión i computación en el borde. En el marco de esta investigación se propone y desarrolla una nueva versión de la metodología de Razonamiento Inductivo Difuso (FIR: Fuzzy Inductive Reasoning), que hemos llamado Flexible FIR, capaz de modelar y predecir el consumo de electricidad de una entidad con altos grados de incertidumbre e incluso con importantes carencias de información (missing values). Además, Flexible FIR tiene la capacidad de desplegarse en la nube, así como localmente, en lo que podría ser una nueva versión de Smart Meters (SM) basada en tecnología de Edge Computing (EC). En el pasado, ya se ha demostrado que FIR es una metodología muy potente para la generación de modelos y predicciones en procesos dinámicos, sin embargo, todavía no ha sido demostrado en el campo de la energía. Por tanto, el objetivo principal de esta tesis es demostrar que una versión mejorada de FIR, más robusta, fiable y precisa puede consolidarse como metodología Soft Computing (SC) de referencia para modelar y predecir sistemas dinámicos en aplicaciones para el sector de la energía y que es escalable hacia una integración de EC. Las principales mejoras en Flexible FIR han sido, en primer lugar, el desarrollo y testeo de un algoritmo capaz de procesar los valores de entrada en un modelo FIR a pesar de que contengan Missing Values (MV). Además, dicho algoritmo también permite aprender de instancias con MV en la matriz de conocimiento de un modelo FIR, sin comprometer de manera significativa la precisión de las predicciones. En segundo lugar, se han desarrollado y testeado nuevas estrategias para la fase de predicción de un modelo FIR, comportándose mejor que los clásicos k vecinos más cercanos ante la pérdida de causalidad de una variable y dispersión de clases de salida, consiguiendo un proceso de aprendizaje y predicción más confiable y robusto. En tercer lugar, Flexible FIR aborda un desafío muy común en técnicas de SC: la óptima parametrización del modelo. En FIR, uno de los parámetros más determinantes es el número k de vecinos más cercanos que se utilizarán en la fase de predicción. La selección del mejor valor de k se plantea de manera dinámica a través del algoritmo KOS (K nearest neighbour Optimal Selection) que se ha desarrollado y probado también con datos reales. Dicho algoritmo calcula una función de membresía agregada, de todos los vecinos, con respecto a su pertenencia a las clases de salida. Mientras que con KOS el parámetro óptimo de k se calcula online, otros enfoques mediante algoritmos genéticos o aprendizaje por refuerzo, el cálculo es offline incrementando significativamente el tiempo de respuesta, siendo además difícil su implantación en escenarios de EC. Estas mejoras hacen que Flexible FIR se adapte muy bien en aplicaciones de EC, en las que la analítica de datos en streaming debe ser fiable, robusta y con un modelo suficientemente ligero para ser ejecutado en un IoT Gateway o dispositivos más pequeños. También, en escenarios con poca conectividad donde el uso de la computación en la nube es limitado y los parámetros del modelo se calculan localmente. Con estas premisas, en esta tesis, se propone el concepto de un SM de segunda generación basado en EC, que integra Flexible FIR como módulo de predicción de electricidad ejecutándose en el dispositivo y un agente EC con capacidad para el trading de energía producida localmente. Dicho agente ejecuta un novedoso mecanismo basado en incentivos, llamado NRG-X-Change que utiliza una nueva moneda digital descentralizada para el intercambio de energía, llamada NRGcoin.Postprint (published version

Performance measurement under increasing environmental uncertainty in the context of interval type-2 fuzzy logic based robotic sailing

Performance measurement of robotic controllers based on fuzzy logic, operating under uncertainty, is a subject area which has been somewhat ignored in the current literature. In this paper standard measures such as RMSE are shown to be inappropriate for use under conditions where the environmental uncertainty changes significantly between experiments. An overview of current methods which have been applied by other authors is presented, followed by a design of a more sophisticated method of comparison. This method is then applied to a robotic control problem to observe its outcome compared with a single measure. Results show that the technique described provides a more robust method of performance comparison than less complex methods allowing better comparisons to be drawn

Logic-based Technologies for Intelligent Systems: State of the Art and Perspectives

Together with the disruptive development of modern sub-symbolic approaches to artificial intelligence (AI), symbolic approaches to classical AI are re-gaining momentum, as more and more researchers exploit their potential to make AI more comprehensible, explainable, and therefore trustworthy. Since logic-based approaches lay at the core of symbolic AI, summarizing their state of the art is of paramount importance now more than ever, in order to identify trends, benefits, key features, gaps, and limitations of the techniques proposed so far, as well as to identify promising research perspectives. Along this line, this paper provides an overview of logic-based approaches and technologies by sketching their evolution and pointing out their main application areas. Future perspectives for exploitation of logic-based technologies are discussed as well, in order to identify those research fields that deserve more attention, considering the areas that already exploit logic-based approaches as well as those that are more likely to adopt logic-based approaches in the future

Fuzzy Clustering Using the Convex Hull as Geometrical Model

A new approach to fuzzy clustering is proposed in this paper. It aims to relax some constraints imposed by known algorithms using a generalized geometrical model for clusters that is based on the convex hull computation. A method is also proposed in order to determine suitable membership functions and hence to represent fuzzy clusters based on the adopted geometrical model. The convex hull is not only used at the end of clustering analysis for the geometric data interpretation but also used during the fuzzy data partitioning within an online sequential procedure in order to calculate the membership function. Consequently, a pure fuzzy clustering algorithm is obtained where clusters are fitted to the data distribution by means of the fuzzy membership of patterns to each cluster. The numerical results reported in the paper show the validity and the efficacy of the proposed approach with respect to other well-known clustering algorithms

From interval-valued data to general type-2 fuzzy sets

In this paper, a new approach is presented to model interval-based data using fuzzy sets (FSs). Specifically, we show how both crisp and uncertain intervals (where there is uncertainty about the endpoints of intervals) collected from individual or multiple survey participants over single or repeated surveys can be modeled using type-1, interval type-2, or general type-2 FSs based on zSlices. The proposed approach is designed to minimize any loss of information when transferring the interval-based data into FS models, and to avoid, as much as possible, assumptions about the distribution of the data. Furthermore, our approach does not rely on data preprocessing or outlier removal, which can lead to the elimination of important information. Different types of uncertainty contained within the data, namely intra- and inter-source uncertainty, are identified and modeled using the different degrees of freedom of type-2 FSs, thus providing a clear representation and separation of these individual types of uncertainty present in the data. We provide full details of the proposed approach, as well as a series of detailed examples based on both real-world and synthetic data. We perform comparisons with analogue techniques to derive FSs from intervals, namely the interval approach and the enhanced interval approach, and highlight the practical applicability of the proposed approach

Fusion of an Ensemble of Augmented Image Detectors for Robust Object Detection

A significant challenge in object detection is accurate identification of an object's position in image space, whereas one algorithm with one set of parameters is usually not enough, and the fusion of multiple algorithms and/or parameters can lead to more robust results. Herein, a new computational intelligence fusion approach based on the dynamic analysis of agreement among object detection outputs is proposed. Furthermore, we propose an online versus just in training image augmentation strategy. Experiments comparing the results both with and without fusion are presented. We demonstrate that the augmented and fused combination results are the best, with respect to higher accuracy rates and reduction of outlier influences. The approach is demonstrated in the context of cone, pedestrian and box detection for Advanced Driver Assistance Systems (ADAS) applications.Comment: 21 pages, 12 figures, journal paper, MDPI Sensors, 201

Applications in security and evasions in machine learning : a survey

In recent years, machine learning (ML) has become an important part to yield security and privacy in various applications. ML is used to address serious issues such as real-time attack detection, data leakage vulnerability assessments and many more. ML extensively supports the demanding requirements of the current scenario of security and privacy across a range of areas such as real-time decision-making, big data processing, reduced cycle time for learning, cost-efficiency and error-free processing. Therefore, in this paper, we review the state of the art approaches where ML is applicable more effectively to fulfill current real-world requirements in security. We examine different security applications' perspectives where ML models play an essential role and compare, with different possible dimensions, their accuracy results. By analyzing ML algorithms in security application it provides a blueprint for an interdisciplinary research area. Even with the use of current sophisticated technology and tools, attackers can evade the ML models by committing adversarial attacks. Therefore, requirements rise to assess the vulnerability in the ML models to cope up with the adversarial attacks at the time of development. Accordingly, as a supplement to this point, we also analyze the different types of adversarial attacks on the ML models. To give proper visualization of security properties, we have represented the threat model and defense strategies against adversarial attack methods. Moreover, we illustrate the adversarial attacks based on the attackers' knowledge about the model and addressed the point of the model at which possible attacks may be committed. Finally, we also investigate different types of properties of the adversarial attacks