Activity Detection And Modeling Using Smart Meter Data: Concept And Case Studies

Electricity consumed by residential consumers counts for a significant part of global electricity consumption and utility companies can collect high-resolution load data thanks to the widely deployed advanced metering infrastructure. There has been a growing research interest toward appliance load disaggregation via nonintrusive load monitoring. As the electricity consumption of appliances is directly associated with the activities of consumers, this paper proposes a new and more effective approach, i.e., activity disaggregation. We present the concept of activity disaggregation and discuss its advantage over traditional appliance load disaggregation. We develop a framework by leverage machine learning for activity detection based on residential load data and features. We show through numerical case studies to demonstrate the effectiveness of the activity detection method and analyze consumer behaviors by time-dependent activity modeling. Last but not least, we discuss some potential use cases that can benefit from activity disaggregation and some future research directions.Comment: 2020 IEEE Power & Energy Society General Meetin

On the Relationship Between Sampling Rate and Hidden Markov Models Accuracy in Non-intrusive Load Monitoring

Providing domestic energy consumers with a detailed breakdown of their electricity consumption, at the appliance level, empowers the consumer to better manage that consumption and reduce their over- all electricity demand. Non-Intrusive Load Monitoring (NILM) is one method of achieving this breakdown and makes use of one sensor which measures overall combined electricity usage. As all appliances are measured in combination in NILM this consumption must be disaggregated to extract appliance level consumption. Machine learning techniques can be adopted to perform this disaggregation with various levels of accuracy, with Hidden Markov Model (HMM) derivatives ordering among the most accurate results. This work investigates how sensor sampling rate affects disaggregation accuracy obtained through HMM

Desagregação de consumos energéticos usando Machine Learning

Nowadays, we are surrounded by electric appliances. Either at home by the washing machine, kettle, or oven, or work by the computer, cellphone, or printer. Such devices help us daily, but their popularization increased the energy consumption to concerning values. In an attempt to reduce energy consumption, governments started enforcing policies regarding energy education to teach homeowners how to reduce energy wastage on the demand side. One of those policies was the deployment of smart meters, which allow the consumer to know how much energy is being consumed at any given time through a display on the household energy meter. Even though this measure was well received, the studies show that the best results in energy conservation are obtained through real-time appliance level feedback. To get such feedback, one can either measure every outlet in a household, which is unviable for a broad deployment solution, or disaggregate the energy recorded by the smart meter. NILM or Non-Intrusive Load Monitoring is the name we give to the second option where we use the aggregated readings of a household to find the energy consumed by each appliance. There were many proposals to solve NILM ranging from HMMs to GSP, where deep learning models showed remarkable results, obtaining state-of-the-art results. With the intent to create a complete NILM solution, Withus partnered with the University of Aveiro and proposed this dissertation. The initial objective was to develop a machine learning model to solve NILM. Still, during the background analysis, we found the need to create a new dataset which led to the expansion of the initial proposal to include the dataset preprocessing and conversion. Regarding NILM, we proposed three new deep learning models: a convolutional neural network with residual blocks, a recurrent neural network, and a multilayer perceptron that uses discrete wavelet transforms as features. These models went through multiple iterations, being evaluated first in the simpler ON/OFF classification task and later modified and evaluated for the disaggregation task. We compared our models to the state-of-the-art ones proposed in NILMTK, where they presented better results than the real-time alternative, dAE, reducing the NRMSE on average by 49%. We also got close to the best option that classified with a 30 min delay, Seq2Point, increasing the error on average by 17%. Besides that, we also analyze the best models from the previous comparison on the benefit of transfer learning between datasets, where the results show a marginal performance improvement when using transfer learning. This document presents the solution outline definition, the multiple options considered for dataset processing and the best solution, the models’ evolution and results, and the comparison with the state-of-the-art models regarding generalization to different houses and under transfer learning.Hoje em dia estamos rodeados de dispositivos elétricos. Quer seja em casa, pela máquina de lavar, o microondas ou o forno ou no emprego pelo computador, o telemóvel ou a impressora. Estes dispositivos ajudam-nos diariamente, mas com a sua popularização o consumo energético atingiu valores preocupantes. Numa tentativa de reduzir o consumo energético, os governos começaram a introduzir políticas de educação energética para ensinar os consumidores a reduzir o desperdício energético. Uma das medidas foi a implementação generalizada de smart meters, que permitem ao consumidor saber quanta energia está a ser consumida a qualquer altura através de um ecrã no contador da casa. Mesmo sendo bem recebida, esta medida não é suficiente uma vez que os estudos indicam que os melhores resultados são obtidos através de feedback ao nível do dispositivo em tempo real. Para obtermos este feedback existem duas formas, podemos medir cada tomada numa dada casa, o que é inviável para uma implementação em larga escala, ou desagregar a energia registrada pelo smart meter que já está presente na casa. NILM ou Non-Intrusive Load Monitoring é o nome dado à segunda opção onde a energia agregada da casa é usada para descobrirmos a energia consumida por cada dispositivo elétrico. Para resolver este problema foram propostas várias alternativas, desde HMMs a GSP, onde os modelos de deep learning obtiveram resultados notáveis sendo agora o estado da arte. Com o objetivo de produzir um sistema NILM completo, a Withus juntou-se à Universidade de Aveiro e juntos propuseram esta dissertação. O objetivo inicial era o desenvolvimento de um modelo de machine learning para desagregar consumos elétricos. Contudo, durante análise do estado da arte, deparamo-nos com a necessidade de criar um novo dataset, o que levou à extensão da proposta inicial para incluir também o pré-processamento e conversão do dataset. Para desagregação de consumos elétricos propusemos três modelos: uma rede neuronal convolucional com blocos residuais, uma rede neuronal recorrente e um multilayer perceptron que usa discrete wavelet transforms como features. Estes modelos passaram por diversas iterações, sendo avaliados primeiro na tarefa de classificação ON/OFF e depois modificados e avaliados para desagregação. Os modelos foram ainda comparados com os do estado da arte presentes no NILMTK, onde apresentaram melhores resultados que a alternativa real-time, dAE, diminuindo o NRMSE em média 49% ficando próximos da melhor alternativa que classifica com atraso, Seq2Point, apresentando um erro pior, em média, de 17%. Para além disso, também analisamos os melhores modelos da experiência anterior no benefício de usar transfer learning entre datasets, onde os resultados mostram uma melhoria marginal quando usamos transfer learning. Este documento apresenta a definição do esboço da solução, as múltiplas opções consideradas para processamento de dataset e qual a melhor, a evolução dos modelos, os seus resultados e a comparação com os modelos do estado da arte na capacidade de generalização entre diferentes casas e de transfer learning entre datasets.Mestrado em Engenharia Informátic

Non-intrusive load monitoring techniques for activity of daily living recognition

Esta tesis nace con la motivación de afrontar dos grandes problemas de nuestra era: la falta de recursos energéticos y el envejecimiento de la población. Respecto al primer problema, nace en la primera década de este siglo el concepto de Smart Grids con el objetivo de alcanzar la eficiencia energética. Numerosos países comienzan a realizar despliegues masivos de contadores inteligentes ("Smart Meters"), lo que despierta el interés de investigadores que comienzan a desarrollar nuevas técnicas para predecir la demanda. Así, los sistemas NILM (Non-Intrusive Load Monitoring) tratan de predecir el consumo individual de los dispositivos conectados a partir de un único sensor: el contador inteligente. Por otra parte, los grandes avances en la medicina moderna han permitido que nuestra esperanza de vida aumente considerablemente. No obstante, esta longevidad, junto con la baja fertilidad en los países desarrollados, tiene un efecto secundario: el envejecimiento de la población. Unos de los grandes avances es la incorporación de la tecnología en la vida cotidiana, lo que ayuda a los más mayores a llevar una vida independiente. El despliegue de una red de sensores dentro de la vivienda permite su monitorización y asistencia en las tareas cotidianas. Sin embargo, son intrusivos, no escalables y, en algunas ocasiones, de alto coste, por lo que no están preparados para hacer frente al incremento de la demanda de esta comunidad. Esta tesis doctoral nace de la motivación de afrontar estos problemas y tiene dos objetivos principales: lograr un modelo de monitorización sostenible para personas mayores y, a su vez, dar un valor añadido a los sistemas NILM que despierte el interés del usuario final. Con este objetivo, se presentan nuevas técnicas de monitorización basadas en NILM, aunando lo mejor de ambos campos. Esto supone un ahorro considerable de recursos en la monitorización, ya que únicamente se necesita un sensor: el contador inteligente; lo cual da escalabilidad a estos sistemas. Las contribuciones de esta tesis se dividen en dos bloques principales. En el primero se proponen nuevas técnicas NILM optimizadas para la detección de la actividad humana. Así, se desarrolla una propuesta basada en detección de eventos (conexiones de dispositivos) en tiempo real y su clasificación a un dispositivo. Con el objetivo de que pueda integrarse en contadores inteligentes. Cabe destacar que el clasificador se basa en modelos generalizados de dispositivos y no necesita conocimiento específico de la vivienda. El segundo bloque presenta tres nuevas técnicas de monitorización de personas mayores basadas en NILM. El objetivo es proporcionar una monitorización básica pero eficiente y altamente escalable, ahorrando en recursos. Los procesos Cox, log Gaussian Cox Processes (LGCP), monitorizan un único dispositivo si la rutina está estrechamente ligada a este. Así, se propone un sistema de alarmas si se detectan cambios en el comportamiento. LGCP tiene la ventaja de poder modelar periodicidades e incertidumbres propias del comportamiento humano. Cuando la rutina no depende de un único dispositivo, se proponen dos técnicas: una basada en gaussianas mixtas, Gaussian Mixture Models (GMM); y la otra basada en la Teoría de la Evidencia de Dempster-Shafer (DST). Ambas monitorizan y detectan deterioros en la actividad, causados por enfermedades como la demencia y el alzhéimer. Únicamente DST usa incertidumbres que simulan mejor el comportamiento humano y, por tanto, permite alarmas en caso de un repentino desvío. Finalmente, todas las propuestas han sido validadas mediante la evaluación de métricas y la obtención de resultados experimentales. Para ello, se han usado medidas de escenarios reales que han sido recopiladas en bases de datos. Los resultados obtenidos han sido satisfactorios, demostrando que este tipo de monitorización es posible y muy beneficioso para nuestra sociedad. Además, se ha dado a lugar nuevas propuestas que serán desarrolladas en el futuro. Códigos UNESCO: 120320 - sistemas de control medico, 332201 – distribución de la energía, 120701 – análisis de actividades, 120304 – inteligencia artificial, 120807 – plausibilidad, 221402 – patrones

Hardware and software platforms to deploy and evaluate non-intrusive load monitoring systems

The work in this PhD thesis addresses the practical implications of deploying and testing Non-Intrusive Load Monitoring (NILM) and eco-feedback solutions in real-world scenarios. The contributions to this topic are centered around the design and development of NILM frameworks that have been deployed in the wild, supporting long-term research in ecofeedback and also serving the purpose of producing real-world datasets and furthering the state of the art regarding the performance metrics used to evaluate NILM algorithms. This thesis consists of three main parts: i) the development of tools and datasets for NILM and eco-feedback research, ii) the design, implementation and deployment of NILM and eco-feedback technologies in real world scenarios, and iii) an experimental comparison of performance metrics for event detection and event classification algorithms. In the first part we describe the Energy Monitoring and Disaggregation Data Format (EMD-DF) and the SustData and SustDataED public datasets. In second part we discuss the development and deployment of two hardware and software platforms in real households, to support eco-feedback research. We then report on more than five years of experience in deploying and maintaining such platforms. Our findings suggest that the main practical issues can be divided in two categories, technological (e.g., system installation) and social (e.g., maintaining a steady sample throughout the whole study). In the final part of this thesis we analyze experimentally the behavior of a number of performance metrics for event detection and event classification, identifying clusters and relationships between the different measures. Our results evidence some considerable differences in the behavior of the performance metrics when applied to the different problems.O trabalho desenvolvido nesta tese de doutoramento aborda as implicações praticas da instalação e avaliação de soluções de monitorização não intrusiva de cargas elétricas (NILM) e eco-feedback em cenários reais. As contribuições para este tópico estão centradas em torno da concepção e desenvolvimento de plataformas NILM que foram instaladas em ambientes não controlados, suportando a pesquisa de longo termo em eco-feedback e servindo também o propósito de produzir conjuntos de dados científicos, bem como promover o avanço do estado da arte acerca das métricas de desempenho utilizadas para avaliar algoritmos NILM. Esta tese é constituída por três partes principais: i) o desenvolvimento de ferramentas e conjuntos de dados científicos para investigação em NILM e eco-feedback, ii) a concepção, desenho e instalação de tecnologias NILM e eco-feedback em cenários reais, e iii) uma comparação experimental de métricas de desempenho para algoritmos de detecção e de classificação de eventos. Na primeira parte descrevemos o Energy Monitoring and Disaggregation Data Format (EMD-DF) e os conjuntos de dados científicos SustData e SustDataED. Na segunda parte discutimos o desenvolvimento e instalação de duas plataformas de hardware e software em residências atuais com a finalidade de suportar a investigação em eco-feedback. Aqui, reportamos sobre mais de cinco anos de experiência na instalação e manutenção destes sistemas. Os nossos resultados sugerem que as principais implicações práticas podem ser divididas em duas categorias, físicas (e.g., instalação do sistema) e sociais (e.g., manter uma amostra constante ao longo de todo o estudo). Na terceira parte analisamos experimentalmente o comportamento de uma série de métricas de desempenho quando estas são utilizadas para avaliar algoritmos de detecção e de classificação de eventos. Calculamos as correlações lineares e não lineares entre os vários pares de métricas, e com base nesses valores procuramos agrupar as métricas que evidenciam um comportamento semelhante. Os nossos resultados sugerem a existência de diferenças evidentes no comportamento das métricas quando aplicadas a ambos dos problemas.Fundação para a Ciência e a Tecnologi