1,447 research outputs found
Deep Reinforcement Learning for Distribution Network Operation and Electricity Market
The conventional distribution network and electricity market operation have become challenging under complicated network operating conditions, due to emerging distributed electricity generations, coupled energy networks, and new market behaviours. These challenges include increasing dynamics and stochastics, and vast problem dimensions such as control points, measurements, and multiple objectives, etc. Previously the optimization models were often formulated as conventional programming problems and then solved mathematically, which could now become highly time-consuming or sometimes infeasible. On the other hand, with the recent advancement of artificial intelligence technologies, deep reinforcement learning (DRL) algorithms have demonstrated their excellent performances in various control and optimization fields. This indicates a potential alternative to address these challenges.
In this thesis, DRL-based solutions for distribution network operation and electricity market have been investigated and proposed. Firstly, a DRL-based methodology is proposed for Volt/Var Control (VVC) optimization in a large distribution network, to effectively control bus voltages and reduce network power losses. Further, this thesis proposes a multi-agent (MA)DRL-based methodology under a complex regional coordinated VVC framework, and it can address spatial and temporal uncertainties. The DRL algorithm is also improved to adapt to the applications. Then, an integrated energy and heating systems (IEHS) optimization problem is solved by a MADRL-based methodology, where conventionally this could only be solved by simplifications or iterations. Beyond the applications in distribution network operation, a new electricity market service pricing method based on a DRL algorithm is also proposed. This DRL-based method has demonstrated good performance in this virtual storage rental service pricing problem, whereas this bi-level problem could hardly be solved directly due to a non-convex and non-continuous lower-level problem. These proposed methods have demonstrated advantageous performances under comprehensive case studies, and numerical simulation results have validated the effectiveness and high efficiency under different sophisticated operation conditions, solution robustness against temporal and spatial uncertainties, and optimality under large problem dimensions
Condition-based maintenanceâan extensive literature review
This paper presents an extensive literature review on the field of condition-based
maintenance (CBM). The paper encompasses over 4000 contributions, analysed through bibliometric
indicators and meta-analysis techniques. The review adopts Factor Analysis as a dimensionality
reduction, concerning the metric of the co-citations of the papers. Four main research areas have been
identified, able to delineate the research field synthetically, from theoretical foundations of CBM;
(i) towards more specific implementation strategies (ii) and then specifically focusing on operational
aspects related to (iii) inspection and replacement and (iv) prognosis. The data-driven bibliometric
results have been combined with an interpretative research to extract both core and detailed concepts
related to CBM. This combined analysis allows a critical reflection on the field and the extraction of
potential future research directions
Artificial virtuous agents in a multiâagent tragedy of the commons
Although virtue ethics has repeatedly been proposed as a suitable framework for the development of artificial moral agents (AMAs), it has been proven difficult to approach from a computational perspective. In this work, we present the first technical implementation of artificial virtuous agents (AVAs) in moral simulations. First, we review previous conceptual and technical work in artificial virtue ethics and describe a functionalistic path to AVAs based on dispositional virtues, bottom-up learning, and top-down eudaimonic reward. We then provide the details of a technical implementation in a moral simulation based on a tragedy of the commons scenario. The experimental results show how the AVAs learn to tackle cooperation problems while exhibiting core features of their theoretical counterpart, including moral character, dispositional virtues, learning from experience, and the pursuit of eudaimonia. Ultimately, we argue that virtue ethics provides a compelling path toward morally excellent machines and that our work provides an important starting point for such endeavors
Distributed Planning for Self-Organizing Production Systems
FĂŒr automatisierte Produktionsanlagen gibt es einen fundamentalen Tradeoff
zwischen Effizienz und FlexibilitÀt. In den meisten FÀllen sind die AblÀufe
nicht nur durch den physischen Aufbau der Produktionsanlage, sondern auch durch
die spezielle zugeschnittene Programmierung der Anlagensteuerung fest
vorgegeben. Ănderungen mĂŒssen aufwĂ€ndig in einer Vielzahl von Systemen
nachgezogen werden. Das macht die Herstellung kleiner StĂŒckzahlen unrentabel.
In dieser Dissertation wird ein Ansatz entwickelt, um eine automatische
Anpassung des Verhaltens von Produktionsanlagen an wechselnde AuftrÀge und
Rahmenbedingungen zu erreichen. Dabei kommt das Prinzip der Selbstorganisation
durch verteilte Planung zum Einsatz. Die aufeinander aufbauenden Ergebnisse der
Dissertation sind wie folgt:
1. Es wird ein Modell von Produktionsanlagen entwickelt, dass nahtlos von der
detaillierten Betrachtung physikalischer Produktionsprozesse bis hin zu
Lieferbeziehungen zwischen Unternehmen skaliert. Im Vergleich zu
existierenden Modellen von Produktionsanlagen werden weniger limitierende
Annahmen gestellt. In diesem Sinne ist der Modellierungsansatz ein Kandidat
fĂŒr eine hĂ€ufig geforderte "Theorie der Produktion".
2. FĂŒr die so modellierten Szenarien wird ein Algorithmus zur Optimierung der
nebenlĂ€ufigen AblĂ€ufe entwickelt. Der Algorithmus verbindet Techniken fĂŒr die
kombinatorische und die kontinuierliche Optimierung: Je nach Detailgrad und
Ausgestaltung des modellierten Szenarios kann der identische Algorithmus
kombinatorische Fertigungsfeinplanung (Scheduling) vornehmen, weltweite
Lieferbeziehungen unter Einbezug von Unsicherheiten und Risiko optimieren und
physikalische Prozesse prĂ€diktiv regeln. DafĂŒr werden Techniken der
Monte-Carlo Baumsuche (die auch bei Deepminds Alpha Go zum Einsatz kommen)
weiterentwickelt. Durch Ausnutzung zusÀtzlicher Struktur in den Modellen
skaliert der Ansatz auch auf groĂe Szenarien.
3. Der Planungsalgorithmus wird auf die verteilte Optimierung durch unabhÀngige
Agenten ĂŒbertragen. DafĂŒr wird die sogenannte "Nutzen-Propagation" als
Koordinations-Mechanismus entwickelt. Diese ist von der Belief-Propagation
zur Inferenz in Probabilistischen Graphischen Modellen inspiriert. Jeder
teilnehmende Agent hat einen lokalen Handlungsraum, in dem er den
Systemzustand beobachten und handelnd eingreifen kann. Die Agenten sind an
der Maximierung der Gesamtwohlfahrt ĂŒber alle Agenten hinweg interessiert.
Die dafĂŒr notwendige Kooperation entsteht ĂŒber den Austausch von Nachrichten
zwischen benachbarten Agenten. Die Nachrichten beschreiben den erwarteten
Nutzen fĂŒr ein angenommenes Verhalten im Handlungsraum beider Agenten.
4. Es wird eine Beschreibung der wiederverwendbaren FĂ€higkeiten von Maschinen
und Anlagen auf Basis formaler Beschreibungslogiken entwickelt. Ausgehend von
den beschriebenen FÀhigkeiten, sowie der vorliegenden AuftrÀge mit ihren
notwendigen Produktionsschritten, werden ausfĂŒhrbare Aktionen abgeleitet. Die
ausfĂŒhrbaren Aktionen, mit wohldefinierten Vorbedingungen und Effekten,
kapseln benötigte Parametrierungen, programmierte AblÀufe und die
Synchronisation von Maschinen zur Laufzeit.
Die Ergebnisse zusammenfassend werden Grundlagen fĂŒr flexible automatisierte
Produktionssysteme geschaffen -- in einer Werkshalle, aber auch ĂŒber Standorte
und Organisationen verteilt -- welche die ihnen innewohnenden Freiheitsgrade
durch Planung zur Laufzeit und agentenbasierte Koordination gezielt einsetzen
können. Der Bezug zur Praxis wird durch Anwendungsbeispiele hergestellt. Die
Machbarkeit des Ansatzes wurde mit realen Maschinen im Rahmen des EU-Projekts
SkillPro und in einer Simulationsumgebung mit weiteren Szenarien demonstriert
A Review of Predictive and Prescriptive Offshore Wind Farm Operation and Maintenance
Offshore wind farms are a rapidly developing source of clean, low-carbon energy and as they continue to grow in scale and capacity, so does the requirement for their efficient and optimised operation and maintenance. Historically, approaches to maintenance have been purely reactive. However, there is a movement in offshore wind, and wider industry in general, towards more proactive, condition-based maintenance approaches which rely on operational data-driven decision making. This paper reviews the current efforts in proactive maintenance strategies, both predictive and prescriptive, of which the latter is an evolution of the former. Both use operational data to determine whether a turbine component will fail in order to provide sufficient warning to carry out necessary maintenance. Prescriptive strategies also provide optimised maintenance actions, incorporating predictions into a wider maintenance plan to address predicted failure modes. Beginning with a summary of common techniques used across both strategies, this review moves on to discuss their respective applications in offshore wind operation and maintenance. This review concludes with suggested areas for future work, underlining the need for models which can be simply incorporated by site operators and integrate live data whilst handling uncertainties. A need for further focus on medium-term planning strategies is also highlighted along with consideration of the question of how to quantify the impact of a proactive maintenance strategy
- âŠ