Slope-based shape cluster method for smart metering load profiles

Cluster analysis is used to study the group of load profiles from smart meters to improve the operability in distribution network. The traditional K-means clustering analysis method employs Euclidean distance as similarity measurement, which is insufficient in reflecting the shape similarities of load profiles. In this work, we propose a novel shape cluster method based on the segmented slope of load profiles. Compared with traditional K-means and two improved algorithms, the proposed method can improve the clustering accuracy and efficiency by capturing the shape features of smart metering load profiles

Dynamic segmentation techniques applied to load profiles of electric energy consumption from domestic users

[EN] The electricity sector is currently undergoing a process of liberalization and separation of roles, which is being implemented under the regulatory auspices of each Member State of the European Union and, therefore, with different speeds, perspectives and objectives that must converge on a common horizon, where Europe will benefit from an interconnected energy market in which producers and consumers can participate in free competition. This process of liberalization and separation of roles involves two consequences or, viewed another way, entails a major consequence from which other immediate consequence, as a necessity, is derived. The main consequence is the increased complexity in the management and supervision of a system, the electrical, increasingly interconnected and participatory, with connection of distributed energy sources, much of them from renewable sources, at different voltage levels and with different generation capacity at any point in the network. From this situation the other consequence is derived, which is the need to communicate information between agents, reliably, safely and quickly, and that this information is analyzed in the most effective way possible, to form part of the processes of decision taking that improve the observability and controllability of a system which is increasing in complexity and number of agents involved. With the evolution of Information and Communication Technologies (ICT), and the investments both in improving existing measurement and communications infrastructure, and taking the measurement and actuation capacity to a greater number of points in medium and low voltage networks, the availability of data that informs of the state of the network is increasingly higher and more complete. All these systems are part of the so-called Smart Grids, or intelligent networks of the future, a future which is not so far. One such source of information comes from the energy consumption of customers, measured on a regular basis (every hour, half hour or quarter-hour) and sent to the Distribution System Operators from the Smart Meters making use of Advanced Metering Infrastructure (AMI). This way, there is an increasingly amount of information on the energy consumption of customers, being stored in Big Data systems. This growing source of information demands specialized techniques which can take benefit from it, extracting a useful and summarized knowledge from it. This thesis deals with the use of this information of energy consumption from Smart Meters, in particular on the application of data mining techniques to obtain temporal patterns that characterize the users of electrical energy, grouping them according to these patterns in a small number of groups or clusters, that allow evaluating how users consume energy, both during the day and during a sequence of days, allowing to assess trends and predict future scenarios. For this, the current techniques are studied and, proving that the current works do not cover this objective, clustering or dynamic segmentation techniques applied to load profiles of electric energy consumption from domestic users are developed. These techniques are tested and validated on a database of hourly energy consumption values for a sample of residential customers in Spain during years 2008 and 2009. The results allow to observe both the characterization in consumption patterns of the different types of residential energy consumers, and their evolution over time, and to assess, for example, how the regulatory changes that occurred in Spain in the electricity sector during those years influenced in the temporal patterns of energy consumption.[ES] El sector eléctrico se halla actualmente sometido a un proceso de liberalización y separación de roles, que está siendo aplicado bajo los auspicios regulatorios de cada Estado Miembro de la Unión Europea y, por tanto, con distintas velocidades, perspectivas y objetivos que deben confluir en un horizonte común, en donde Europa se beneficiará de un mercado energético interconectado, en el cual productores y consumidores podrán participar en libre competencia. Este proceso de liberalización y separación de roles conlleva dos consecuencias o, visto de otra manera, conlleva una consecuencia principal de la cual se deriva, como necesidad, otra consecuencia inmediata. La consecuencia principal es el aumento de la complejidad en la gestión y supervisión de un sistema, el eléctrico, cada vez más interconectado y participativo, con conexión de fuentes distribuidas de energía, muchas de ellas de origen renovable, a distintos niveles de tensión y con distinta capacidad de generación, en cualquier punto de la red. De esta situación se deriva la otra consecuencia, que es la necesidad de comunicar información entre los distintos agentes, de forma fiable, segura y rápida, y que esta información sea analizada de la forma más eficaz posible, para que forme parte de los procesos de toma de decisiones que mejoran la observabilidad y controlabilidad de un sistema cada vez más complejo y con más agentes involucrados. Con el avance de las Tecnologías de Información y Comunicaciones (TIC), y las inversiones tanto en mejora de la infraestructura existente de medida y comunicaciones, como en llevar la obtención de medidas y la capacidad de actuación a un mayor número de puntos en redes de media y baja tensión, la disponibilidad de datos sobre el estado de la red es cada vez mayor y más completa. Todos estos sistemas forman parte de las llamadas Smart Grids, o redes inteligentes del futuro, un futuro ya no tan lejano. Una de estas fuentes de información proviene de los consumos energéticos de los clientes, medidos de forma periódica (cada hora, media hora o cuarto de hora) y enviados hacia las Distribuidoras desde los contadores inteligentes o Smart Meters, mediante infraestructura avanzada de medida o Advanced Metering Infrastructure (AMI). De esta forma, cada vez se tiene una mayor cantidad de información sobre los consumos energéticos de los clientes, almacenada en sistemas de Big Data. Esta cada vez mayor fuente de información demanda técnicas especializadas que sepan aprovecharla, extrayendo un conocimiento útil y resumido de la misma. La presente Tesis doctoral versa sobre el uso de esta información de consumos energéticos de los contadores inteligentes, en concreto sobre la aplicación de técnicas de minería de datos (data mining) para obtener patrones temporales que caractericen a los usuarios de energía eléctrica, agrupándolos según estos mismos patrones en un número reducido de grupos o clusters, que permiten evaluar la forma en que los usuarios consumen la energía, tanto a lo largo del día como durante una secuencia de días, permitiendo evaluar tendencias y predecir escenarios futuros. Para ello se estudian las técnicas actuales y, comprobando que los trabajos actuales no cubren este objetivo, se desarrollan técnicas de clustering o segmentación dinámica aplicadas a curvas de carga de consumo eléctrico diario de clientes domésticos. Estas técnicas se prueban y validan sobre una base de datos de consumos energéticos horarios de una muestra de clientes residenciales en España durante los años 2008 y 2009. Los resultados permiten observar tanto la caracterización en consumos de los distintos tipos de consumidores energéticos residenciales, como su evolución en el tiempo, y permiten evaluar, por ejemplo, cómo influenciaron en los patrones temporales de consumos los cambios regulatorios que se produjeron en España en el sector eléctrico durante esos años.[CA] El sector elèctric es troba actualment sotmès a un procés de liberalització i separació de rols, que s'està aplicant davall els auspicis reguladors de cada estat membre de la Unió Europea i, per tant, amb distintes velocitats, perspectives i objectius que han de confluir en un horitzó comú, on Europa es beneficiarà d'un mercat energètic interconnectat, en el qual productors i consumidors podran participar en lliure competència. Aquest procés de liberalització i separació de rols comporta dues conseqüències o, vist d'una altra manera, comporta una conseqüència principal de la qual es deriva, com a necessitat, una altra conseqüència immediata. La conseqüència principal és l'augment de la complexitat en la gestió i supervisió d'un sistema, l'elèctric, cada vegada més interconnectat i participatiu, amb connexió de fonts distribuïdes d'energia, moltes d'aquestes d'origen renovable, a distints nivells de tensió i amb distinta capacitat de generació, en qualsevol punt de la xarxa. D'aquesta situació es deriva l'altra conseqüència, que és la necessitat de comunicar informació entre els distints agents, de forma fiable, segura i ràpida, i que aquesta informació siga analitzada de la manera més eficaç possible, perquè forme part dels processos de presa de decisions que milloren l'observabilitat i controlabilitat d'un sistema cada vegada més complex i amb més agents involucrats. Amb l'avanç de les tecnologies de la informació i les comunicacions (TIC), i les inversions, tant en la millora de la infraestructura existent de mesura i comunicacions, com en el trasllat de l'obtenció de mesures i capacitat d'actuació a un nombre més gran de punts en xarxes de mitjana i baixa tensió, la disponibilitat de dades sobre l'estat de la xarxa és cada vegada major i més completa. Tots aquests sistemes formen part de les denominades Smart Grids o xarxes intel·ligents del futur, un futur ja no tan llunyà. Una d'aquestes fonts d'informació prové dels consums energètics dels clients, mesurats de forma periòdica (cada hora, mitja hora o quart d'hora) i enviats cap a les distribuïdores des dels comptadors intel·ligents o Smart Meters, per mitjà d'infraestructura avançada de mesura o Advanced Metering Infrastructure (AMI). D'aquesta manera, cada vegada es té una major quantitat d'informació sobre els consums energètics dels clients, emmagatzemada en sistemes de Big Data. Aquesta cada vegada major font d'informació demanda tècniques especialitzades que sàpiguen aprofitar-la, extraient-ne un coneixement útil i resumit. La present tesi doctoral versa sobre l'ús d'aquesta informació de consums energètics dels comptadors intel·ligents, en concret sobre l'aplicació de tècniques de mineria de dades (data mining) per a obtenir patrons temporals que caracteritzen els usuaris d'energia elèctrica, agrupant-los segons aquests mateixos patrons en una quantitat reduïda de grups o clusters, que permeten avaluar la forma en què els usuaris consumeixen l'energia, tant al llarg del dia com durant una seqüència de dies, i que permetent avaluar tendències i predir escenaris futurs. Amb aquesta finalitat, s'estudien les tècniques actuals i, en comprovar que els treballs actuals no cobreixen aquest objectiu, es desenvolupen tècniques de clustering o segmentació dinàmica aplicades a corbes de càrrega de consum elèctric diari de clients domèstics. Aquestes tècniques es proven i validen sobre una base de dades de consums energètics horaris d'una mostra de clients residencials a Espanya durant els anys 2008 i 2009. Els resultats permeten observar tant la caracterització en consums dels distints tipus de consumidors energètics residencials, com la seua evolució en el temps, i permeten avaluar, per exemple, com van influenciar en els patrons temporals de consums els canvis reguladors que es van produir a Espanya en el sector elèctric durant aquests anys.Benítez Sánchez, IJ. (2015). Dynamic segmentation techniques applied to load profiles of electric energy consumption from domestic users [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/59236TESI

Residential Sector Energy Consumption at the Spotlight: From Data to Knowledge

Energy consumption is at the core of economic development, but its severe impacts on resources depletion and climate change have justified a call for its general reduction across all economic activities. Lowering households’ energy demand is a key factor to achieve carbon dioxide emission reductions as it has an important energy-saving potential. Households in the European Union (EU28) countries have a significant weight (25%) in the total final energy consumption. However, a wide range of variation is observed within the residential sector from 7.6 to 37.4 GJ per capita/annum, with the lowest consumption indicator observed in Southern EU countries. Energy consumption in the residential sector is a complex issue, explained by a combination of different factors. To pinpoint how to reduce energy consumption effectively while deliver energy services, we need to look not just at technology, but also to the factors that drive how and in what extent people consume energy, including the way they interact with technology (i.e., energy efficiency). The main objective of this research is to understand the differences in energy consumption arising from different socio-demographic, technologic, behavioral and economic characteristics of residential households. This research brings to the spotlight the needs and benefits of looking deeper into residential sector energy consumption in a southern European country. Portugal and the municipality of Évora, in particular, were selected as case studies. Residential sector consumption is a moving target, which increase the complexity of adequate policies and instruments that have to address the bottleneck between increase demand for e.g. climatization due to current lack of thermal comfort and to comply with objectives of increased energy efficiency which ultimately intend to reduce energy consumption. This calls for different levels of knowledge to feed multiscale policies. This dissertation expands the understanding of energy consumption patterns at households, consumers’ role in energy consumption profiles, indoor thermal comfort, and the levels of satisfaction from energy services demand. In a country potentially highly impacted by climate change, with low levels of income and significant lower energy consumption per capita compared to the EU28 average, looking into these issues gains even more importance. The work combines detailed analysis at different spatial (national, city and consumers level) and time scales (hour to annual) taking advantage of diverse methods and datasets including smart meters’ data, door to door surveys and energy simulation and optimization modelling. The results identify (i) ten distinct residential sector consumer groups (e.g., under fuel poverty); (ii) daily and annual consumption patterns (W, U and flat); (iii) major energy consumption determinants such as the physical characteristics of dwellings, particularly the year of construction and floor area; climatization equipment ownership and use, and occupants’ profiles (mainly number and monthly income). It is (iv) recognized that inhabitants try to actively control space heating, but without achieving indoor thermal comfort levels. The results also show (v) that technology can overweight the impact of practices and lifestyle changes for some end-uses as space heating and lighting. Nevertheless, important focus should be given to the evolution in the future of uncertain parameters related with consumer behavior, especially those on climatization, related to thermal comfort and equipment’s use. Furthermore, the research work presents a (vi) bottom-up methodology to project detailed energy end-uses demand, and (vii) an integrated framework for city energy planning. This work sets the ground for the definition of tailor-made policy recommendations for targeted consumer groups (e.g., vulnerable consumers) and climatization behavior/practices to reduce peak demand, social support policies, energy efficiency instruments and measures, renewable energy sources integration, and energy systems planning

New Challenges on Web Architectures for the Homogenization of the Heterogeneity of Smart Objects in the Internet of Things

Aquesta tesi tracta de dues de les noves tecnologies relacionades amb la Internet of Things (IoT) i la seva integració amb el camp de les Smart Grids (SGs); aquestes tecnologies son la Web of Things (WoT) i la Social Internet of Things (SIoT). La WoT és una tecnologia que s’espera que proveeixi d’un entorn escalable i interoperable a la IoT usant la infraestructura web existent, els protocols web y la web semàntica. També s’espera que la SIoT contribueixi a solucionar els reptes d’escalabilitat i capacitat de descobriment creant una xarxa social d’agents (objectes i humans). Per explorar la sinergia entre aquestes tecnologies, l’objectiu és el de proporcionar evidència pràctica i empírica, generalment en forma de prototips d’implementació i experimentació empírica. En relació amb la WoT i les SGs, s’ha creat un prototip per al Web of Energy (WoE) que té com a objectiu abordar els desafiaments presents en el domini les SGs. El prototip és capaç de proporcionar interoperabilitat i homogeneïtat entre diversos protocols. El disseny d’implementació es basa en el Model d’Actors, que també proporciona escalabilitat del prototip. L’experimentació mostra que el prototip pot gestionar la transmissió de missatges per a aplicacions de les SGs que requereixen que la comunicació es realitzi sota llindars de temps crítics. També es pren una altra direcció d’investigació similar, menys centrada en les SGs, però per a una gamma més àmplia de dominis d’aplicació. S’integra la descripció dels fluxos d’execució com a màquines d’estats finits utilitzant ontologies web (Resource Description Framework (RDF)) i metodologies de la WoT (les accions es realitzen basant-se en peticions Hyper-Text Transfer Protocol/Secure (HTTP/S) a Uniform Resource Locators (URLs)). Aquest flux d’execució, que també pot ser un plantilla per a permetre una configuració flexible en temps d’execució, s’implementa i interpreta com si fos (i mitjançant) un Virtual Object (VO). L’objectiu de la plantilla és ser reutilitzable i poder-se compartir entre múltiples desplegaments de la IoT dins el mateix domini d’aplicació. A causa de les tecnologies utilitzades, la solució no és adequada per a aplicacions de temps crític (llindar de temps relativament baix i rígid). No obstant això, és adequat per a aplicacions que no demanden resposta en un temps crític i que requereixen el desplegament de VOs similars en el que fa referència al flux d’execució. Finalment, el treball s’enfoca en una altra tecnologia destinada a millorar l’escalabilitat i la capacitat de descobriment en la IoT. La SIoT està sorgint com una nova estructura de la IoT que uneix els nodes a través de relacions significatives. Aquestes relacions tenen com a objectiu millorar la capacitat de descobriment; en conseqüència, millora la escalabilitat d’una xarxa de la IoT. En aquest treball s’aplica aquest nou paradigma per optimitzar la gestió de l’energia en el costat de la demanda a les SGs. L’objectiu és aprofitar les característiques de la SIoT per ajudar a la creació de Prosumer Community Groups (PCGs) (grups d’usuaris que consumeixen o produeixen energia) amb el mateix objectiu d’optimització en l’ús de l’energia. La sinergia entre la SIoT i les SGs s’ha anomenat Social Internet of Energy (SIoE). Per tant, amb la SIoE i amb el focus en un desafiament específic, s’estableix la base conceptual per a la integració entre la SIoT i les SGs. Els experiments inicials mostren resultats prometedors i aplanen el camí per a futures investigacions i avaluacions de la proposta. Es conclou que el WoT i la SIoT són dos paradigmes complementaris que nodreixen l’evolució de la propera generació de la IoT. S’espera que la propera generació de la IoT sigui un Multi-Agent System (MAS) generalitzat. Alguns investigadors ja estan apuntant a la Web i les seves tecnologies (per exemple, Web Semàntica, HTTP/S)—i més concretamente a la WoT — com a l’entorn que nodreixi a aquests agents. La SIoT pot millorar tant l’entorn com les relacions entre els agents en aquesta fusió. Les SGs també poden beneficiar-se dels avenços de la IoT, ja que es poden considerar com una aplicació específica d’aquesta última.  Esta tesis trata de dos de las novedosas tecnologías relacionadas con la Internet of Things (IoT) y su integración con el campo de las Smart Grids (SGs); estas tecnologías son laWeb of Things (WoT) y la Social Internet of Things (SIoT). La WoT es una tecnología que se espera que provea de un entorno escalable e interoperable a la IoT usando la infraestructura web existente, los protocolos web y la web semántica. También se espera que la SIoT contribuya a solucionar los retos de escalabilidad y capacidad de descubrimiento creando una red social de agentes (objetos y humanos). Para explorar la sinergia entre estas tecnologías, el objetivo es el de proporcionar evidencia práctica y empírica, generalmente en forma de prototipos de implementación y experimentación empírica. En relación con la WoT y las SGs, se ha creado un prototipo para la Web of Energy (WoE) que tiene como objetivo abordar los desafíos presentes en el dominio las SGs. El prototipo es capaz de proporcionar interoperabilidad y homogeneidad entre diversos protocolos. El diseño de implementación se basa en el Modelo de Actores, que también proporciona escalabilidad del prototipo. La experimentación muestra que el prototipo puede manejar la transmisión de mensajes para aplicaciones de las SGs que requieran que la comunicación se realice bajo umbrales de tiempo críticos. También se toma otra dirección de investigación similar, menos centrada en las SGs, pero para una gama más amplia de dominios de aplicación. Se integra la descripción de los flujos de ejecución como máquinas de estados finitos utilizando ontologías web (Resource Description Framework (RDF)) y metodologías de la WoT (las acciones se realizan basándose en peticiones Hyper-Text Transfer Protocol/Secure (HTTP/S) a Uniform Resource Locators (URLs)). Este flujo de ejecución, que también puede ser una plantilla para permitir una configuración flexible en tiempo de ejecución, se implementa e interpreta como si fuera (y a través de) un Virtual Object (VO). El objetivo de la plantilla es que sea reutilizable y se pueda compartir entre múltiples despliegues de la IoT dentro del mismo dominio de aplicación. Debido a las tecnologías utilizadas, la solución no es adecuada para aplicaciones de tiempo crítico (umbral de tiempo relativamente bajo y rígido). Sin embargo, es adecuado para aplicaciones que no demandan respuesta en un tiempo crítico y que requieren el despliegue de VOs similares en cuanto al flujo de ejecución. Finalmente, el trabajo se enfoca en otra tecnología destinada a mejorar la escalabilidad y la capacidad de descubrimiento en la IoT. La SIoT está emergiendo como una nueva estructura de la IoT que une los nodos a través de relaciones significativas. Estas relaciones tienen como objetivo mejorar la capacidad de descubrimiento; en consecuencia, mejora la escalabilidad de una red de la IoT. En este trabajo se aplica este nuevo paradigma para optimizar la gestión de la energía en el lado de la demanda en las SGs. El objetivo es aprovechar las características de la SIoT para ayudar en la creación de Prosumer Community Groups (PCGs) (grupos de usuarios que consumen o producen energía) con el mismo objetivo de optimización en el uso de la energía. La sinergia entre la SIoT y las SGs ha sido denominada Social Internet of Energy (SIoE). Por lo tanto, con la SIoE y con el foco en un desafío específico, se establece la base conceptual para la integración entre la SIoT y las SG. Los experimentos iniciales muestran resultados prometedores y allanan el camino para futuras investigaciones y evaluaciones de la propuesta. Se concluye que la WoT y la SIoT son dos paradigmas complementarios que nutren la evolución de la próxima generación de la IoT. Se espera que la próxima generación de la IoT sea un Multi-Agent System (MAS) generalizado. Algunos investigadores ya están apuntando a la Web y sus tecnologías (por ejemplo,Web Semántica, HTTP/S)—y más concretamente a la WoT — como el entorno que nutra a estos agentes. La SIoT puede mejorar tanto el entorno como las relaciones entre los agentes en esta fusión. Como un campo específico de la IoT, las SGs también pueden beneficiarse de los avances de la IoT.This thesis deals with two novel Internet of Things (IoT) technologies and their integration to the field of the Smart Grid (SG); these technologies are the Web of Things (WoT) and the Social Internet of Things (SIoT). The WoT is an enabling technology expected to provide a scalable and interoperable environment to the IoT using the existing web infrastructure, web protocols and the semantic web. The SIoT is expected to expand further and contribute to scalability and discoverability challenges by creating a social network of agents (objects and humans). When exploring the synergy between those technologies, we aim at providing practical and empirical evidence, usually in the form of prototype implementations and empirical experimentation. In relation to the WoT and SG, we create a prototype for the Web of Energy (WoE), that aims at addressing challenges present in the SG domain. The prototype is capable of providing interoperability and homogeneity among diverse protocols. The implementation design is based on the Actor Model, which also provides scalability in regards to the prototype. Experimentation shows that the prototype can handle the transmission of messages for time-critical SG applications. We also take another similar research direction less focused on the SG, but for a broader range of application domains. We integrate the description of flows of execution as Finite-State Machines (FSMs) using web ontologies (Resource Description Framework (RDF)) and WoT methodologies (actions are performed on the basis of calls Hyper Text Transfer Protocol/ Secure (HTTP/S) to a Uniform Resource Locator (URL)). This execution flow, which can also be a template to allow flexible configuration at runtime, is deployed and interpreted as (and through) a Virtual Object (VO). The template aims to be reusable and shareable among multiple IoT deployments within the same application domain. Due to the technologies used, the solution is not suitable for time-critical applications. Nevertheless, it is suitable for non-time-critical applications that require the deployment of similar VOs. Finally, we focus on another technology aimed at improving scalability and discoverability in IoT. The SIoT is emerging as a new IoT structure that links nodes through meaningful relationships. These relationships aim at improving discoverability; consequently, improving the scalability of an IoT network. We apply this new paradigm to optimize energy management at the demand side in a SG. Our objective is to harness the features of the SIoT to aid in the creation of Prosumer Community Group (PCG) (groups of energy users that consume or produce energy) with the same Demand Side Management (DSM) goal. We refer to the synergy between SIoT and SG as Social Internet of Energy (SIoE). Therefore, with the SIoE and focusing on a specific challenge, we set the conceptual basis for the integration between SIoT and SG. Initial experiments show promising results and pave the way for further research and evaluation of the proposal. We conclude that the WoT and the SIoT are two complementary paradigms that nourish the evolution of the next generation IoT. The next generation IoT is expected to be a pervasive Multi-Agent System (MAS). Some researchers are already pointing at the Web and its technologies (e.g. Semantic Web, HTTP/S) — and more concretely at the WoT — as the environment nourishing the agents. The SIoT can enhance both the environment and the relationships between agents in this fusion. As a specific field of the IoT, the SG can also benefit from IoT advancements