1,447 research outputs found

    Deep Reinforcement Learning for Distribution Network Operation and Electricity Market

    Full text link
    The conventional distribution network and electricity market operation have become challenging under complicated network operating conditions, due to emerging distributed electricity generations, coupled energy networks, and new market behaviours. These challenges include increasing dynamics and stochastics, and vast problem dimensions such as control points, measurements, and multiple objectives, etc. Previously the optimization models were often formulated as conventional programming problems and then solved mathematically, which could now become highly time-consuming or sometimes infeasible. On the other hand, with the recent advancement of artificial intelligence technologies, deep reinforcement learning (DRL) algorithms have demonstrated their excellent performances in various control and optimization fields. This indicates a potential alternative to address these challenges. In this thesis, DRL-based solutions for distribution network operation and electricity market have been investigated and proposed. Firstly, a DRL-based methodology is proposed for Volt/Var Control (VVC) optimization in a large distribution network, to effectively control bus voltages and reduce network power losses. Further, this thesis proposes a multi-agent (MA)DRL-based methodology under a complex regional coordinated VVC framework, and it can address spatial and temporal uncertainties. The DRL algorithm is also improved to adapt to the applications. Then, an integrated energy and heating systems (IEHS) optimization problem is solved by a MADRL-based methodology, where conventionally this could only be solved by simplifications or iterations. Beyond the applications in distribution network operation, a new electricity market service pricing method based on a DRL algorithm is also proposed. This DRL-based method has demonstrated good performance in this virtual storage rental service pricing problem, whereas this bi-level problem could hardly be solved directly due to a non-convex and non-continuous lower-level problem. These proposed methods have demonstrated advantageous performances under comprehensive case studies, and numerical simulation results have validated the effectiveness and high efficiency under different sophisticated operation conditions, solution robustness against temporal and spatial uncertainties, and optimality under large problem dimensions

    Condition-based maintenance—an extensive literature review

    Get PDF
    This paper presents an extensive literature review on the field of condition-based maintenance (CBM). The paper encompasses over 4000 contributions, analysed through bibliometric indicators and meta-analysis techniques. The review adopts Factor Analysis as a dimensionality reduction, concerning the metric of the co-citations of the papers. Four main research areas have been identified, able to delineate the research field synthetically, from theoretical foundations of CBM; (i) towards more specific implementation strategies (ii) and then specifically focusing on operational aspects related to (iii) inspection and replacement and (iv) prognosis. The data-driven bibliometric results have been combined with an interpretative research to extract both core and detailed concepts related to CBM. This combined analysis allows a critical reflection on the field and the extraction of potential future research directions

    Artificial virtuous agents in a multi‐agent tragedy of the commons

    Get PDF
    Although virtue ethics has repeatedly been proposed as a suitable framework for the development of artificial moral agents (AMAs), it has been proven difficult to approach from a computational perspective. In this work, we present the first technical implementation of artificial virtuous agents (AVAs) in moral simulations. First, we review previous conceptual and technical work in artificial virtue ethics and describe a functionalistic path to AVAs based on dispositional virtues, bottom-up learning, and top-down eudaimonic reward. We then provide the details of a technical implementation in a moral simulation based on a tragedy of the commons scenario. The experimental results show how the AVAs learn to tackle cooperation problems while exhibiting core features of their theoretical counterpart, including moral character, dispositional virtues, learning from experience, and the pursuit of eudaimonia. Ultimately, we argue that virtue ethics provides a compelling path toward morally excellent machines and that our work provides an important starting point for such endeavors

    Distributed Planning for Self-Organizing Production Systems

    Get PDF
    FĂŒr automatisierte Produktionsanlagen gibt es einen fundamentalen Tradeoff zwischen Effizienz und FlexibilitĂ€t. In den meisten FĂ€llen sind die AblĂ€ufe nicht nur durch den physischen Aufbau der Produktionsanlage, sondern auch durch die spezielle zugeschnittene Programmierung der Anlagensteuerung fest vorgegeben. Änderungen mĂŒssen aufwĂ€ndig in einer Vielzahl von Systemen nachgezogen werden. Das macht die Herstellung kleiner StĂŒckzahlen unrentabel. In dieser Dissertation wird ein Ansatz entwickelt, um eine automatische Anpassung des Verhaltens von Produktionsanlagen an wechselnde AuftrĂ€ge und Rahmenbedingungen zu erreichen. Dabei kommt das Prinzip der Selbstorganisation durch verteilte Planung zum Einsatz. Die aufeinander aufbauenden Ergebnisse der Dissertation sind wie folgt: 1. Es wird ein Modell von Produktionsanlagen entwickelt, dass nahtlos von der detaillierten Betrachtung physikalischer Produktionsprozesse bis hin zu Lieferbeziehungen zwischen Unternehmen skaliert. Im Vergleich zu existierenden Modellen von Produktionsanlagen werden weniger limitierende Annahmen gestellt. In diesem Sinne ist der Modellierungsansatz ein Kandidat fĂŒr eine hĂ€ufig geforderte "Theorie der Produktion". 2. FĂŒr die so modellierten Szenarien wird ein Algorithmus zur Optimierung der nebenlĂ€ufigen AblĂ€ufe entwickelt. Der Algorithmus verbindet Techniken fĂŒr die kombinatorische und die kontinuierliche Optimierung: Je nach Detailgrad und Ausgestaltung des modellierten Szenarios kann der identische Algorithmus kombinatorische Fertigungsfeinplanung (Scheduling) vornehmen, weltweite Lieferbeziehungen unter Einbezug von Unsicherheiten und Risiko optimieren und physikalische Prozesse prĂ€diktiv regeln. DafĂŒr werden Techniken der Monte-Carlo Baumsuche (die auch bei Deepminds Alpha Go zum Einsatz kommen) weiterentwickelt. Durch Ausnutzung zusĂ€tzlicher Struktur in den Modellen skaliert der Ansatz auch auf große Szenarien. 3. Der Planungsalgorithmus wird auf die verteilte Optimierung durch unabhĂ€ngige Agenten ĂŒbertragen. DafĂŒr wird die sogenannte "Nutzen-Propagation" als Koordinations-Mechanismus entwickelt. Diese ist von der Belief-Propagation zur Inferenz in Probabilistischen Graphischen Modellen inspiriert. Jeder teilnehmende Agent hat einen lokalen Handlungsraum, in dem er den Systemzustand beobachten und handelnd eingreifen kann. Die Agenten sind an der Maximierung der Gesamtwohlfahrt ĂŒber alle Agenten hinweg interessiert. Die dafĂŒr notwendige Kooperation entsteht ĂŒber den Austausch von Nachrichten zwischen benachbarten Agenten. Die Nachrichten beschreiben den erwarteten Nutzen fĂŒr ein angenommenes Verhalten im Handlungsraum beider Agenten. 4. Es wird eine Beschreibung der wiederverwendbaren FĂ€higkeiten von Maschinen und Anlagen auf Basis formaler Beschreibungslogiken entwickelt. Ausgehend von den beschriebenen FĂ€higkeiten, sowie der vorliegenden AuftrĂ€ge mit ihren notwendigen Produktionsschritten, werden ausfĂŒhrbare Aktionen abgeleitet. Die ausfĂŒhrbaren Aktionen, mit wohldefinierten Vorbedingungen und Effekten, kapseln benötigte Parametrierungen, programmierte AblĂ€ufe und die Synchronisation von Maschinen zur Laufzeit. Die Ergebnisse zusammenfassend werden Grundlagen fĂŒr flexible automatisierte Produktionssysteme geschaffen -- in einer Werkshalle, aber auch ĂŒber Standorte und Organisationen verteilt -- welche die ihnen innewohnenden Freiheitsgrade durch Planung zur Laufzeit und agentenbasierte Koordination gezielt einsetzen können. Der Bezug zur Praxis wird durch Anwendungsbeispiele hergestellt. Die Machbarkeit des Ansatzes wurde mit realen Maschinen im Rahmen des EU-Projekts SkillPro und in einer Simulationsumgebung mit weiteren Szenarien demonstriert

    A Review of Predictive and Prescriptive Offshore Wind Farm Operation and Maintenance

    Get PDF
    Offshore wind farms are a rapidly developing source of clean, low-carbon energy and as they continue to grow in scale and capacity, so does the requirement for their efficient and optimised operation and maintenance. Historically, approaches to maintenance have been purely reactive. However, there is a movement in offshore wind, and wider industry in general, towards more proactive, condition-based maintenance approaches which rely on operational data-driven decision making. This paper reviews the current efforts in proactive maintenance strategies, both predictive and prescriptive, of which the latter is an evolution of the former. Both use operational data to determine whether a turbine component will fail in order to provide sufficient warning to carry out necessary maintenance. Prescriptive strategies also provide optimised maintenance actions, incorporating predictions into a wider maintenance plan to address predicted failure modes. Beginning with a summary of common techniques used across both strategies, this review moves on to discuss their respective applications in offshore wind operation and maintenance. This review concludes with suggested areas for future work, underlining the need for models which can be simply incorporated by site operators and integrate live data whilst handling uncertainties. A need for further focus on medium-term planning strategies is also highlighted along with consideration of the question of how to quantify the impact of a proactive maintenance strategy

    Machine Learning for Ad Publishers in Real Time Bidding

    Get PDF
    • 

    corecore