Energy Data Analytics for Smart Meter Data

The principal advantage of smart electricity meters is their ability to transfer digitized electricity consumption data to remote processing systems. The data collected by these devices make the realization of many novel use cases possible, providing benefits to electricity providers and customers alike. This book includes 14 research articles that explore and exploit the information content of smart meter data, and provides insights into the realization of new digital solutions and services that support the transition towards a sustainable energy system. This volume has been edited by Andreas Reinhardt, head of the Energy Informatics research group at Technische Universität Clausthal, Germany, and Lucas Pereira, research fellow at Técnico Lisboa, Portugal

Privacy-preserving energy management techniques and delay-sensitive transmission strategies for smart grids

The smart grid (SG) is the enhancement of the traditional electricity grid that allows bidirectional flow of electricity and information through the integration of advanced monitoring, communication and control technologies. In this thesis, we focus on important design problems affecting particularly two critical enabling components of the SG infrastructure : smart meters (SMs) and wireless sensor networks (WSNs). SMs measure the energy consumption of the users and transmit their readings to the utility provider in almost real-time. SM readings enable real-time optimization of load management. However, possible misuse of SM readings raises serious privacy concerns for the users. The challenge is thus to design techniques that can increase the privacy of the users while maintaining the monitoring capabilities SMs provide. Demand-side energy management (EM), achieved thanks to the utilization of storage units and alternative energy sources, has emerged as a potential technique to tackle this challenge. WSNs consist of a large number of low power sensors, which monitor physical parameters and transmit their measurements to control centers (CCs) over wireless links. CCs utilize these measurements to reconstruct the system state. For the reliable management of the SG, near real-time and accurate reconstruction of the system state at the CC is crucial. Thus, low complexity delay-constrained transmission strategies, which enable sensors to accurately transmit their measurements to CCs, should be investigated rigorously. To address these challenges, this dissertation investigates and designs privacy-preserving EM techniques for SMs and delay-constrained transmission strategies for WSNs. The proposed EM techniques provide privacy to SM users while maintaining the operational benefits SMs provide. On the other hand, the proposed transmission strategies enable WSNs to meet low latency transmission requirements, which in turn, facilitate real-time and accurate state reconstruction; and hence, the efficient and robust management of the SG. First, we consider an SM system with energy harvesting and storage units. Representing the system with a discrete-time finite state model, we study stochastic EM policies from a privacy-energy efficiency trade-off perspective, where privacy is measured by information leakage rate and energy efficiency is measured by wasted energy rate. We propose EM policies that take stochastic output load decisions based on the harvested energy, the input load and the state of the battery. For the proposed policies, we characterize the fundamental trade-off between user's privacy and energy efficiency. Second, we consider an SM system with a storage unit. Considering a discrete-time power consumption and pricing model, we study EM policies from a privacy-cost trade-off perspective, where privacy is measured by the load variance as well as mutual information. Assuming non-causal knowledge of the power demand profile and prices, we characterize the optimal EM policy based on the solution of an optimization problem. Then, assuming that the power demand profile is known only causally, we obtain the optimal EM policy based on dynamic programming, and also propose a low complexity heuristic policy. For the proposed policies, we characterize the trade-off between user's privacy and energy cost. Finally, we study the delay-constrained linear transmission (LT) of composite Gaussian measurements from a sensor to a CC over a point-to-point fading channel. Assuming that the channel state information (CSI) is known by both the encoder and decoder, we propose the optimal LT strategy in terms of the average mean-square error (MSE) distortion under a strict delay constraint, and two LT strategies under general delay constraints. Assuming that the CSI is known only by the decoder, we propose the optimal LT strategy in terms of the average MSE distortion under a strict delay constraint.La red de energía inteligente (SG) es la mejora de la red eléctrica tradicional. En esta tesis, nos enfocamos en las problemáticas asociadas al diseño de dos de los componentes más críticos de la infraestructura de la SG : los medidores inteligentes (SMs) y las redes de sensores inalámbricos (WSNs). Los SMs miden el consumo de energía de los usuarios y transmiten sus medidas al proveedor de servicio casi en tiempo real. Las medidas de SM permiten la optimización en tiempo real de la gestión de carga en la red. Sin embargo, el posible mal uso de estas medidas plantea preocupaciones graves en cuanto a la privacidad de los usuarios. El desafío es, por lo tanto, diseñar técnicas que puedan aumentar la privacidad de los usuarios manteniendo las capacidades de supervisión que proveen los SMs. Una solución tecnológica es el diseño de sistemas de gestión de energía (EM) inteligentes compuestos por dispositivos de almacenamiento y generación alternativa de energía. Las WSNs se componen de un gran número de sensores, que miden parámetros físicos y transmiten sus mediciones a los centros de control (CCs) mediante enlaces inalámbricos. Los CCs utilizan estas mediciones para estimar el estado del sistema. Para una gestión fiable de la SG, una buena reconstrucción del estado del sistema en tiempo real es crucial. Por ello, es preciso investigar estrategias de transmisión con estrictos requisitos de complejidad y limitaciones de latencia. Para afrontar estos desafíos, esta tesis investiga y diseña técnicas de EM para preservar la privacidad de los usuarios de SM y estrategias de transmisión para WSNs con limitaciones de latencia. Las técnicas de EM propuestas proporcionan privacidad a los consumidores de energía manteniendo los beneficios operacionales para la SG. Las estrategias de transmisión propuestas permiten a las WSNs satisfacer los requisitos de baja latencia necesarios para la reconstrucción precisa del estado en tiempo real; y por lo tanto, la gestión eficiente y robusta de la SG. En primer lugar, consideramos el diseño de un sistema de SM con una unidad de almacenamiento y generación de energía renovable. Representando el sistema con un modelo de estados finitos y de tiempo discreto, proponemos políticas estocásticas de EM. Para las políticas propuestas, caracterizamos la relación fundamental existente entre la privacidad y la eficiencia de energía del usuario, donde la privacidad se mide mediante la tasa de fuga de información y la eficiencia de energía se mide mediante la tasa de energía perdida. En segundo lugar, consideramos el diseño de un sistema de SM con una unidad de almacenamiento. Considerando un modelo de tiempo discreto, estudiamos la relación existente entre la privacidad y el coste de la energía, donde la privacidad se mide por la variación de la carga, así como la información mutua. Suponiendo que el perfil de la demanda de energía y los precios son conocidos de antemano, caracterizamos la política de EM óptima. Suponiendo que la demanda de energía es conocida sólo para el tiempo actual, obtenemos la política de EM óptima mediante programación dinámica, y proponemos una política heurística de baja complejidad. Para las políticas propuestas, caracterizamos la relación existente entre la privacidad y el coste de energía del usuario. Finalmente, consideramos el diseño de estrategias de transmisión lineal (LT) de mediciones Gaussianas compuestas desde un sensor a un CC sobre un canal punto a punto con desvanecimientos. Suponiendo que la información del estado del canal (CSI) es conocida tanto por el trasmisor como por el receptor, proponemos la estrategia de LT óptima en términos de la distorsión de error cuadrático medio (MSE) bajo una restricción de latencia estricta y dos estrategias de LT para restricciones de latencia arbitrarias. Suponiendo que la CSI es conocida sólo en el receptor, proponemos la estrategia de LT óptima en términos de la distorsión de MSE bajo una restricción de latencia estricta.La xarxa d'energia intel·ligent (SG) és la millora de la xarxa elèctrica tradicional. En aquesta tesi, ens enfoquem en les problemàtiques associades al disseny de dos dels components més crítics de la infraestructura de la SG : els mesuradors de consum intel·ligents(SMs) i les xarxes de sensors sense fils (WSNs).Els SMs mesuren el consum d'energia dels usuaris i transmeten les seves mesures al proveïdor de servei gairebé en temps real. Les mesures de SM permeten l'optimització en temps real de la gestió de càrrega a la xarxa. No obstant això, el possible mal ús d'aquestes mesures planteja preocupacions greus en quant a la privacitat dels usuaris. El desafiament és, per tant, dissenyar tècniques que puguin augmentar la privadesa dels usuaris mantenint les capacitats de supervisió que proveeixen els SMs. Una solució tecnològica és el disseny de sistemes de gestió d'energia (EM) intel·ligents compostos per dispositius d'emmagatzematge i generació alternativa d'energia.Les WSNs es componen d'un gran nombre de sensors, que mesuren paràmetres físics i transmeten les seves mesures als centres de control (CCs) mitjançant enllaços sense fils. Els CCs utilitzen aquestes mesures per estimar l'estat del sistema. Per a una gestió fiable de la SG, una bona reconstrucció de l'estat del sistema en temps real és crucial. Per això, cal investigar estratègies de transmissió amb estrictes requisits de complexitat i limitacions de latència. Per d'afrontar aquests desafiaments, aquesta tesi investiga i dissenya tècniques d'EM per preservar la privacitat dels usuaris de SM i estratègies de transmissió per WSNs amb limitacions de latència. Les tècniques d'EM propostes proporcionen privacitats als consumidors d'energia mantenint els beneficis operacionals per la SG. Les estratègies de transmissió proposades permeten a les WSNs satisfer els requisits de baixa latència necessaris per a la reconstrucció precisa de l'estat en temps real; i per tant, la gestió eficient i robusta de la SG.En primer lloc, considerem el disseny d'un sistema de SM amb una unitat d'emmagatzematge i generació d'energia renovable. Representant el sistema amb un model d'estats finits i de temps discret, proposem polítiques estocàstiques d'EM. Per a les polítiques propostes, caracteritzem la relació fonamental existent entre la privadesa i l'eficiència d'energia de l'usuari, on la privacitat es mesura mitjançant la taxa de fugida d'informació i l'eficiència d'energia es mesura mitjançant la taxa d'energia perduda.En segon lloc, considerem el disseny d'un sistema de SM amb una unitat d'emmagatzematge. Considerant un model de temps discret, estudiem la relació existent entre la privacitat el cost de l'energia, on la privacitat es mesura per la variació de la càrrega, així com mitjançant la informació mútua. Suposant que la corba de la demanda d'energia i els preus són coneguts per endavant, caracteritzem la política d'EM òptima. Suposant que la demanda d'energia és coneguda només per al temps actual, obtenim la política d'EM òptima mitjançant programació dinàmica, i proposem una política heurística de baixa complexitat. Per a les polítiques propostes, caracteritzem la relació existent entre la privacitat i el cost d'energia de l'usuari.Finalment, considerem el disseny d'estratègies de transmissió lineal (LT) de mesures Gaussianes compostes des d'un sensor a un CC sobre un canal punt a punt amb esvaïments. Suposant que la informació de l'estat del canal (CSI) és coneguda tant pel transmissor com pel receptor, proposem l'estratègia de LT òptima en termes de la distorsió d'error quadràtic mitjà (MSE) sota una restricció de latència estricta. A més, proposem dues estratègies de LT per a restriccions de latència arbitràries. Finalment, suposant que la CSI és coneguda només en el receptor, proposem l'estratègia de LT òptima en termes de la distorsió de MSE sota una restricció de latència estricta

Gridchain: an investigation of privacy for the future local distribution grid

As part of building the smart grid, there is a massive deployment of so-called smart meters that aggregate information and communicate with the back-end office, apart from measuring properties of the local network. Detailed measurements and communication of, e.g., consumption allows for remote billing, but also in finding problems in the distribution of power and overall to provide data to be used to plan future upgrades of the network. From a security perspective, a massive deployment of such Internet of Things (IoT) components increases the risk that some may be compromised or that collected data are used for privacy-sensitive inference of the consumption of households. In this paper, we investigate the privacy concerns regarding detailed readings of smart meters for billing purposes. We present Gridchain, a solution where households can opt-in to hide their consumption patterns and thus make Non-Intrusive Load Monitoring (NILM) more challenging. Households form groups where they can trade real consumption among themselves to achieve reported consumption that would be resistant to NILM. Gridchain is built on a publish/subscribe model and uses a permissioned blockchain to record any trades, meaning that dishonest households can be discovered and punished if they steal from other households in the group or the electricity company in the end. We implement and release a proof of concept of Gridchain and use public datasets to allow reproducibility. Our results show that even if an attacker has access to the reported electricity consumption of any member of a Gridchain group, this reported consumption is significantly far from the actual consumption to allow for a detailed fingerprint of the household activities

Generation of Synthetic Multi-Resolution Time Series Load Data

The availability of large datasets is crucial for the development of new power system applications and tools; unfortunately, very few are publicly and freely available. We designed an end-to-end generative framework for the creation of synthetic bus-level time-series load data for transmission networks. The model is trained on a real dataset of over 70 Terabytes of synchrophasor measurements spanning multiple years. Leveraging a combination of principal component analysis and conditional generative adversarial network models, the scheme we developed allows for the generation of data at varying sampling rates (up to a maximum of 30 samples per second) and ranging in length from seconds to years. The generative models are tested extensively to verify that they correctly capture the diverse characteristics of real loads. Finally, we develop an open-source tool called LoadGAN which gives researchers access to the fully trained generative models via a graphical interface

A Distributed and Real-time Machine Learning Framework for Smart Meter Big Data

The advanced metering infrastructure allows smart meters to collect high-resolution consumption data, thereby enabling consumers and utilities to understand their energy usage at different levels, which has led to numerous smart grid applications. Smart meter data, however, poses different challenges to developing machine learning frameworks than classic theoretical frameworks due to their big data features and privacy limitations. Therefore, in this work, we aim to address the challenges of building machine learning frameworks for smart meter big data. Specifically, our work includes three parts: 1) We first analyze and compare different learning algorithms for multi-level smart meter big data. A daily activity pattern recognition model has been developed based on non-intrusive load monitoring for appliance-level smart meter data. Then, a consensus-based load profiling and forecasting system has been proposed for individual building level and higher aggregated level smart meter data analysis; 2) Following discussion of multi-level smart meter data analysis from an offline perspective, a universal online functional analysis model has been proposed for multi-level real-time smart meter big data analysis. The proposed model consists of a multi-scale load dynamic profiling unit based on functional clustering and a multi-scale online load forecasting unit based on functional deep neural networks. The two units enable online tracking of the dynamic cluster trajectories and online forecasting of daily multi-scale demand; 3) To enable smart meter data analysis in the distributed environment, FederatedNILM was proposed, which is then combined with differential privacy to provide privacy guarantees for the appliance-level distributed machine learning framework. Based on federated deep learning enhanced with two schemes, namely the utility optimization scheme and the privacy-preserving scheme, the proposed distributed and privacy-preserving machine learning framework enables electric utilities and service providers to offer smart meter services on a large scale