Reserve costs allocation model for energy and reserve market simulation

This paper proposes a new model to allocate reserve costs among the involved players, considering the characteristics of the several entities, and the particular circumstances at each moment. The proposed model is integrated in the Multi-Agent Simulator of Competitive Electricity Markets (MASCEM), which enables complementing the multi-agent simulation of diverse electricity market models, by including the joint simulation of energy and reserve markets. In this context, the proposed model allows allocating the payment of reserve costs that result from the reserve market. A simulation based on real data from the Iberian electricity market - MIBEL, is presented. Simulation results show the advantages of the proposed model in sharing the reserve costs fairly and accordingly to the different circumstances. This work thus contributes the study of novel market models towards the evolution of power and energy systems by adapting current models to the new paradigm of high penetration of renewable energy generation.This work has received funding from the European Union's Horizon 2020 research and innovation programme under the Marie Sklodowska-Curie grant agreement No 641794 (project DREAM-GO) and a grant agreement No 703689 (project ADAPT); and from FEDER Funds through COMPETE program and from National Funds through FCT under the project UID/EEA/00760/2013info:eu-repo/semantics/publishedVersio

Enabling Communications in Heterogeneous Multi-Agent Systems: Electricity Markets Ontology

Electricity markets worldwide are complex and dynamic environments with very particular characteristics, resulting from their restructuring and evolution into regional and continental scales, along with the constant changes brought by the increasing necessity for an adequate integration of renewable energy sources. The rising complexity and unpredictability in electricity markets has increased the need for the intervenient entities in foreseeing market behaviour. Several modelling tools directed to the study of restructured wholesale electricity markets have emerged. However, they have a common limitation: the lack of interoperability between the various systems to allow the exchange of information and knowledge, to test different market models and to allow market players from different systems to interact in common market environments. This paper proposes the Electricity Markets Ontology, which integrates the essential necessary concepts related with electricity markets, while enabling an easier cooperation and adequate communication between related systems. Additionally, it can be extended and complemented according to the needs of other simulators and real systems in this are

MASCEM: Optimizing the performance of a multi-agent system

The electricity market sector has suffered massive changes in the last few decades. The worldwide electricity market restructuring has been conducted to potentiate the increase in competitiveness and thus decrease electricity prices. However, the complexity in this sector has grown significantly as well, with the emergence of several new types of players, interacting in a constantly changing environment. Several electricity market simulators have been introduced in recent years with the purpose of sup-porting operators, regulators, and the involved players in understanding and dealing with this complex environment. This paper presents a new, enhanced version of MASCEM (Multi-Agent System for Competitive Electricity Markets), an electricity market simulator with over ten years of existence, which had to be restructured in order to be able to face the highly demanding requirements that the decision support in this field requires. This restructuring optimizes the performance of MASCEM, both in results and execution time.info:eu-repo/semantics/publishedVersio

Bid definition method for electricity markets based on an adaptive multiagent system

Electricity markets are complex environments with very particular characteristics. MASCEM is a market simulator developed to allow deep studies of the interactions between the players that take part in the electricity market negotiations. This paper presents a new proposal for the definition of MASCEM players’ strategies to negotiate in the market. The proposed methodology is multiagent based, using reinforcement learning algorithms to provide players with the capabilities to perceive the changes in the environment, while adapting their bids formulation according to their needs, using a set of different techniques that are at their disposal. Each agent has the knowledge about a different method for defining a strategy for playing in the market, the main agent chooses the best among all those, and provides it to the market player that requests, to be used in the market. This paper also presents a methodology to manage the efficiency/effectiveness balance of this method, to guarantee that the degradation of the simulator processing times takes the correct measure

Adaptive learning in agents behaviour: a framework for electricity markets simulation

Electricity markets are complex environments with very particular characteristics. A critical issue regarding these specific characteristics concerns the constant changes they are subject to. This is a result of the electricity markets’ restructuring, which was performed so that the competitiveness could be increased, but it also had exponential implications in the increase of the complexity and unpredictability in those markets scope. The constant growth in markets unpredictability resulted in an amplified need for market intervenient entities in foreseeing market behaviour. The need for understanding the market mechanisms and how the involved players’ interaction affects the outcomes of the markets, contributed to the growth of usage of simulation tools. Multi-agent based software is particularly well fitted to analyze dynamic and adaptive systems with complex interactions among its constituents, such as electricity markets. This dissertation presents ALBidS – Adaptive Learning strategic Bidding System, a multiagent system created to provide decision support to market negotiating players. This system is integrated with the MASCEM electricity market simulator, so that its advantage in supporting a market player can be tested using cases based on real markets’ data. ALBidS considers several different methodologies based on very distinct approaches, to provide alternative suggestions of which are the best actions for the supported player to perform. The approach chosen as the players’ actual action is selected by the employment of reinforcement learning algorithms, which for each different situation, simulation circumstances and context, decides which proposed action is the one with higher possibility of achieving the most success. Some of the considered approaches are supported by a mechanism that creates profiles of competitor players. These profiles are built accordingly to their observed past actions and reactions when faced with specific situations, such as success and failure. The system’s context awareness and simulation circumstances analysis, both in terms of results performance and execution time adaptation, are complementary mechanisms, which endow ALBidS with further adaptation and learning capabilities.Os mercados de electricidade sofreram um processo de reestruturação que originou um aumento considerável da competitividade neste sector e, consequentemente, criou novos desafios na operação das entidades nele envolvidas. De forma a ultrapassar estes desafios é essencial para os profissionais uma compreensão detalhada dos princípios destes mercados e de como gerir os seus investimentos num ambiente tão dinâmico e competitivo. A crescente necessidade de entender estes mecanismos e a forma como a interacção das entidades envolvidas afecta os resultados destes mercados levou a uma grande procura de ferramentas de software, nomeadamente simulação, para analisar possíveis resultados de cada contexto de mercado para as várias entidades participantes. Os sistemas multi-agente são adequados à análise de sistemas dinâmicos e adaptativos com interacções complexas entre os seus constituintes, e portanto, várias ferramentas de modelação dirigidas para o estudo dos mercados reestruturados de electricidade usam este tipo de técnicas. Tirando partido destes simuladores, é possível estudar vários tipos de mercados e a interacção entre as entidades neles envolvidas. No entanto, todos estes simuladores apresentam lacunas no que diz respeito ao apoio à decisão a essas entidades, nomeadamente na gestão dos seus investimentos. Um aspecto tão relevante como é a utilização de todo este suporte de simulação para permitir aos agentes de mercado realmente aprenderem com a experiência de mercado e desenvolveram capacidades para analisar contextos de negociação e adaptar automaticamente os seus comportamentos estratégicos de acordo com as circunstâncias, não é considerado na amplitude que é requerida. É neste âmbito que esta dissertação contribui, utilizando técnicas de inteligência artificial para oferecer um apoio relevante e eficaz às decisões estratégicas das empresas envolvidas nestes tipos de negociação. O principal objectivo deste trabalho é dotar essas entidades de capacidades que lhes permitam apresentar comportamentos inteligentes e adaptativos na sua actuação nos mercados de electricidade de forma a serem capazes de atingir os seus objectivos da melhor forma possível, sendo capazes de reconhecer e actuar em conformidade com os contextos em que estão inseridas. De forma a atingir este objectivo, foi desenvolvido o sistema ALBidS – Adaptive Learning strategic Bidding System (sistema de aprendizagem adaptativa para licitações estratégias). Este sistema está implementado como um sistema multi-agente independente, em que cada agente é responsável pela execução de uma abordagem estratégica diferente. Este sistema está integrado com o simulador MASCEM, para que seja possível testar e validar as contribuições dadas num contexto de simulação de mercados já implementado e consolidado. Sendo este simulador uma ferramenta que simula mercados de electricidade permitindo a utilização de informação obtida a partir de mercados de electricidade reais, garante-se, assim, também que as conclusões retiradas deste trabalho são apoiadas por experimentação baseada em casos reais ou quase reais. A definição das estratégias de oferta dos agentes de mercado é baseada na aprendizagem adaptativa por parte das entidades, considerando o histórico do sistema, através da informação disponível, incluindo informação recolhida durante a utilização do próprio sistema multi-agente. Para isso são propostos e testados vários algoritmos e metodologias de aprendizagem e análise de dados, para que conjuntamente contribuam para que os agentes possam tomar as melhores decisões em cada momento de acordo com o contexto identificado. Um contributo importante do trabalho está na proposta destes algoritmos, na sua combinação e na obtenção de conhecimento relativo à utilização criteriosa dos algoritmos considerados em função do contexto, utilizando o conceito de context awareness. A análise destes contextos é efectuada por um mecanismo desenvolvido para esse efeito, analisando as características específicas de cada dia e período de negociação. São estudados e analisados vários algoritmos baseados em abordagens diversas, para que seja possível contemplar formas distintas de resolver problemas, dependendo de circunstâncias concretas. Entre estas abordagens, podem referir-se: redes neuronais artificiais dinâmicas; teoria de jogos; médias/regressões lineares; abordagens económicas, tendo em conta a análise macroeconómica e sectorial, e também a análise interna das empresas no que diz respeito aos seus investimentos e perspectivas de crescimento; algoritmos de Inteligência Artificial (IA), como os algoritmos Roth-Erev e o Q-Learning de aprendizagem por reforço; uma abordagem baseada na teoria do determinismo, em que são analisadas todas as variáveis intervenientes na obtenção dos resultados pelo simulador; e outras propostas de algoritmos de aprendizagem e análise de dados específicos para determinadas situações, bem como a combinação de algoritmos de tipos diversos. Numa camada superior aos algoritmos mencionados foi implementado um mecanismo de aprendizagem por reforço, baseado em estatísticas e em probabilidades, que é responsável por escolher em cada altura a proposta de licitação que dá mais garantias de sucesso. Com o passar do tempo, vão sendo actualizadas as estatísticas, através da análise dos resultados de cada proposta. Este mecanismo permite que em cada momento sejam escolhidos os algoritmos que estão a ter os melhores resultados para cada situação e contexto. Ao serem considerados vários algoritmos, de naturezas completamente distintas, consegue-se uma maior probabilidade de haver sempre algum a oferecer bons resultados. Existe também a possibilidade de se definir as preferências e parametrizações relativas a cada algoritmo individualmente, e também de se definirem preferências relativas ao desempenho dos algoritmos no que diz respeito à eficiência computacional, permitindo que o utilizador escolha a relação eficiência/probabilidade de sucesso, de acordo com as suas preferências. O sistema excluirá então, automaticamente, os algoritmos que usualmente requerem um maior tempo de processamento, quando esse tempo não corresponde a soluções proporcionalmente melhores. Desta forma, garante-se que o sistema estará a utilizar o seu tempo de processamento em abordagens que oferecem melhores respostas no menor tempo possível. Como apoio ao funcionamento adequado das estratégias implementadas foi criado um mecanismo de definição de perfis dos agentes competidores. Desta forma é possível obter previsões acerca das acções esperadas dos outros agentes participantes no mercado, tendo em conta as suas acções passadas e as reacções verificadas quando confrontados com situações específicas, como o sucesso ou o falhanço