Fusion of Model-free Reinforcement Learning with Microgrid Control: Review and Vision

Challenges and opportunities coexist in microgrids as a result of emerging large-scale distributed energy resources (DERs) and advanced control techniques. In this paper, a comprehensive review of microgrid control is presented with its fusion of model-free reinforcement learning (MFRL). A high-level research map of microgrid control is developed from six distinct perspectives, followed by bottom-level modularized control blocks illustrating the configurations of grid-following (GFL) and grid-forming (GFM) inverters. Then, mainstream MFRL algorithms are introduced with an explanation of how MFRL can be integrated into the existing control framework. Next, the application guideline of MFRL is summarized with a discussion of three fusing approaches, i.e., model identification and parameter tuning, supplementary signal generation, and controller substitution, with the existing control framework. Finally, the fundamental challenges associated with adopting MFRL in microgrid control and corresponding insights for addressing these concerns are fully discussed.Comment: 14 pages, 4 figures, published on IEEE Transaction on Smart Grid 2022 Nov 15. See: https://ieeexplore-ieee-org.utk.idm.oclc.org/stamp/stamp.jsp?arnumber=995140

Active Training and Assistance Device for an Individually Adaptable Strength and Coordination Training

Das Altern der Weltbevölkerung, insbesondere in der westlichen Welt, stellt die Menschheit vor eine große Herausforderung. Zu erwarten sind erhebliche Auswirkungen auf den Gesundheitssektor, der im Hinblick auf eine steigende Anzahl von Menschen mit altersbedingtem körperlichem und kognitivem Abbau und dem damit erhöhten Bedürfnis einer individuellen Versorgung vor einer großen Aufgabe steht. Insbesondere im letzten Jahrhundert wurden viele wissenschaftliche Anstrengungen unternommen, um Ursache und Entwicklung altersbedingter Erkrankungen, ihr Voranschreiten und mögliche Behandlungen, zu verstehen. Die derzeitigen Modelle zeigen, dass der entscheidende Faktor für die Entwicklung solcher Krankheiten der Mangel an sensorischen und motorischen Einflüssen ist, diese wiederum sind das Ergebnis verringerter Mobilität und immer weniger neuer Erfahrungen. Eine Vielzahl von Studien zeigt, dass erhöhte körperliche Aktivität einen positiven Effekt auf den Allgemeinzustand von älteren Erwachsenen mit leichten kognitiven Beeinträchtigungen und den Menschen in deren unmittelbarer Umgebung hat. Diese Arbeit zielt darauf ab, älteren Menschen die Möglichkeit zu bieten, eigenständig und sicher ein individuelles körperliches Training zu absolvieren. In den letzten zwei Jahrzehnten hat die Forschung im Bereich der robotischen Bewegungsassistenten, auch Smarte Rollatoren genannt, den Fokus auf die sensorische und kognitive Unterstützung für ältere und eingeschränkte Personen gesetzt. Durch zahlreiche Bemühungen entstand eine Vielzahl von Ansätzen zur Mensch-Rollator-Interaktion, alle mit dem Ziel, Bewegung und Navigation innerhalb der Umgebung zu unterstützen. Aber trotz allem sind Trainingsmöglichkeiten zur motorischen Aktivierung mittels Smarter Rollatoren noch nicht erforscht. Im Gegensatz zu manchen Smarten Rollatoren, die den Fokus auf Rehabilitationsmöglichkeiten für eine bereits fortgeschrittene Krankheit setzen, zielt diese Arbeit darauf ab, kognitive Beeinträchtigungen in einem frühen Stadium soweit wie möglich zu verlangsamen, damit die körperliche und mentale Fitness des Nutzers so lang wie möglich aufrechterhalten bleibt. Um die Idee eines solchen Trainings zu überprüfen, wurde ein Prototyp-Gerät namens RoboTrainer-Prototyp entworfen, eine mobile Roboter-Plattform, die mit einem zusätzlichen Kraft-Momente-Sensor und einem Fahrradlenker als Eingabe-Schnittstelle ausgestattet wurde. Das Training beinhaltet vordefinierte Trainingspfade mit Markierungen am Boden, entlang derer der Nutzer das Gerät navigieren soll. Der Prototyp benutzt eine Admittanzgleichung, um seine Geschwindigkeit anhand der Eingabe des Nutzers zu berechnen. Desweiteren leitet das Gerät gezielte Regelungsaktionen bzw. Verhaltensänderungen des Roboters ein, um das Training herausfordernd zu gestalten. Die Pilotstudie, die mit zehn älteren Erwachsenen mit beginnender Demenz durchgeführt wurde, zeigte eine signifikante Steigerung ihrer Interaktionsfähigkeit mit diesem Gerät. Sie bewies ebenfalls den Nutzen von Regelungsaktionen, um die Komplexität des Trainings ständig neu anzupassen. Obwohl diese Studie die Durchführbarkeit des Trainings zeigte, waren Grundfläche und mechanische Stabilität des RoboTrainer-Prototyps suboptimal. Deswegen fokussiert sich der zweite Teil dieser Arbeit darauf, ein neues Gerät zu entwerfen, um die Nachteile des Prototyps zu beheben. Neben einer erhöhten mechanischen Stabilität, ermöglicht der RoboTrainer v2 eine Anpassung seiner Grundfläche. Dieses spezifische Merkmal der Smarten Rollatoren dient vor allem dazu, die Unterstützungsfläche für den Benutzer anzupassen. Das ermöglicht einerseits ein agiles Training mit gesunden Personen und andererseits Rehabilitations-Szenarien bei Menschen, die körperliche Unterstützung benötigen. Der Regelungsansatz für den RoboTrainer v2 erweitert den Admittanzregler des Prototypen durch drei adaptive Strategien. Die erste ist die Anpassung der Sensitivität an die Eingabe des Nutzers, abhängig von der Stabilität des Nutzer-Rollater-Systems, welche Schwankungen verhindert, die dann passieren können, wenn die Hände des Nutzers versteifen. Die zweite Anpassung beinhaltet eine neuartige nicht-lineare, geschwindigkeits-basierende Änderung der Admittanz-Parameter, um die Wendigkeit des Rollators zu erhöhen. Die dritte Anpassung erfolgt vor dem eigentlichen Training in einem Parametrierungsprozess, wo nutzereigene Interaktionskräfte gemessen werden, um individuelle Reglerkonstanten fein abzustimmen und zu berechnen. Die Regelungsaktionen sind Verhaltensänderungen des Gerätes, die als Bausteine für unterstützende und herausfordernde Trainingseinheiten mit dem RoboTrainer dienen. Sie nutzen das virtuelle Kraft-Feld-Konzept, um die Bewegung des Gerätes in der Trainingsumgebung zu beeinflussen. Die Bewegung des RoboTrainers wird in der Gesamtumgebung durch globale oder, in bestimmten Teilbereichen, durch räumliche Aktionen beeinflusst. Die Regelungsaktionen erhalten die Absicht des Nutzers aufrecht, in dem sie eine unabhängige Admittanzdynamik implementieren, um deren Einfluss auf die Geschwindigkeit des RoboTrainers zu berechnen. Dies ermöglicht die entscheidende Trennung von Reglerzuständen, um während des Trainings passive und sichere Interaktionen mit dem Gerät zu erreichen. Die oben genannten Beiträge wurden getrennt ausgewertet und in zwei Studien mit jeweils 22 bzw. 13 jungen, gesunden Erwachsenen untersucht. Diese Studien ermöglichen einen umfassenden Einblick in die Zusammenhänge zwischen unterschiedlichen Funktionalitäten und deren Einfluss auf die Nutzer. Sie bestätigen den gesamten Ansatz, sowie die gemachten Vermutungen im Hinblick auf die Gestaltung einzelner Teile dieser Arbeit. Die Einzelergebnisse dieser Arbeit resultieren in einem neuartigen Forschungsgerät für physische Mensch-Roboter-Interaktionen während des Trainings mit Erwachsenen. Zukünftige Forschungen mit dem RoboTrainer ebnen den Weg für Smarte Rollatoren als Hilfe für die Gesellschaft im Hinblick auf den bevorstehenden demographischen Wandel

A review on economic and technical operation of active distribution systems

© 2019 Elsevier Ltd Along with the advent of restructuring in power systems, considerable integration of renewable energy resources has motivated the transition of traditional distribution networks (DNs) toward new active ones. In the meanwhile, rapid technology advances have provided great potentials for future bulk utilization of generation units as well as the energy storage (ES) systems in the distribution section. This paper aims to present a comprehensive review of recent advancements in the operation of active distribution systems (ADSs) from the viewpoint of operational time-hierarchy. To be more specific, this time-hierarchy consists of two stages, and at the first stage of this time-hierarchy, four major economic factors, by which the operation of traditional passive DNs is evolved to new active DNs, are described. Then the second stage of the time-hierarchy refers to technical management and power quality correction of ADSs in terms of static, dynamic and transient periods. In the end, some required modeling and control developments for the optimal operation of ADSs are discussed. As opposed to previous review papers, potential applications of devices in the ADS are investigated considering their operational time-intervals. Since some of the compensating devices, storage units and generating sources may have different applications regarding the time scale of their utilization, this paper considers real scenario system operations in which components of the network are firstly scheduled for the specified period ahead; then their deviations of operating status from reference points are modified during three time-intervals covering static, dynamic and transient periods

Modelling and Control of a 2-DOF Robot Arm with Elastic Joints for Safe Human-Robot Interaction

Collaborative robots (or cobots) are robots that can safely work together or interact with humans in a common space. They gradually become noticeable nowadays. Compliant actuators are very relevant for the design of cobots. This type of actuation scheme mitigates the damage caused by unexpected collision. Therefore, elastic joints are considered to outperform rigid joints when operating in a dynamic environment. However, most of the available elastic robots are relatively costly or difficult to construct. To give researchers a solution that is inexpensive, easily customisable, and fast to fabricate, a newly-designed low-cost, and open-source design of an elastic joint is presented in this work. Based on the newly design elastic joint, a highly-compliant multi-purpose 2-DOF robot arm for safe human-robot interaction is also introduced. The mechanical design of the robot and a position control algorithm are presented. The mechanical prototype is 3D-printed. The control algorithm is a two loops control scheme. In particular, the inner control loop is designed as a model reference adaptive controller (MRAC) to deal with uncertainties in the system parameters, while the outer control loop utilises a fuzzy proportional-integral controller to reduce the effect of external disturbances on the load. The control algorithm is first validated in simulation. Then the effectiveness of the controller is also proven by experiments on the mechanical prototype.publishedVersio

Digitalization of Offshore Wind Farm Systems

Master's thesis in Offshore Technology: Industrial asset managementThis thesis investigates how new digital technologies and digitalization can help further evolve the offshore wind industry using the Industry 4.0 concept as a basis and explores how technologies within this concept can contribute to an offshore wind farm that overcomes some of these challenges. The study focuses on an offshore wind farm from a systems perspective, including respective modules, and where the Industry 4.0 technologies can be applied. Following this is the establishment of a systematic digitalization framework and a proposal on how to cope with increased volumes of data, connectivity, and complexity.publishedVersio

High-performance motor drives

This article reviews the present state and trends in the development of key parts of controlled induction motor drive systems: converter topologies, modulation methods, as well as control and estimation techniques. Two- and multilevel voltage-source converters, current-source converters, and direct converters are described. The main part of all the produced electric energy is used to feed electric motors, and the conversion of electrical power into mechanical power involves motors ranges from less than 1 W up to several dozen megawatts

Volt/var control with high solar PV penetration in distribution systems and its impact on the transmision grid

With increasing distributed energy resources (DERs), both the distribution and transmission power systems are witnessing new challenges and opportunities. Voltage rise and voltage fluctuations are becoming major issues in the distribution network due to high solar PV penetration. Nevertheless, the volt/var control (VCC) capability of solar PV devices (inverter based DERs, in general) opens up various opportunities for both the distribution and transmission systems. In this work, we address the challenges in the distribution network and also explore the potential opportunities for the transmission system that can be provided by VCC capability of DERs in high PV penetration environment. The first part of our work addresses the voltage challenges faced by the distribution system due to solar PV penetration by utilizing VVC capabilities of PV smart inverters. In this part, we focus on the slope sensitive local droop VVC recommended by the recent integration standards IEEE1547, rule21 and addresses their major challenges i.e. selection of appropriate parameters under changing conditions, issue of control being vulnerable to instability (or voltage oscillations) and bad set-point tracking performance i.e. high steady state error (SSE). This is achieved by proposing a local real-time adaptive VVC which has two major features i.e. a) it is able to ensure both low SSE and control stability simultaneously without compromising any of the objectives, and; b) it dynamically adapts its parameters to ensure good performance in a wide range of external disturbances such as sudden cloud cover, cloud intermittency and substation voltage change. Moreover, the adaptive control does not depend on the feeder topology information. The proposed control is implementation friendly as it fits well within the integration standard framework and depends only on the local bus information. The performance is compared with the existing droop VVC methods under several scenarios on a large unbalanced 3-phase feeder (IEEE 123 bus test system) with detailed secondary side modeling. The second part of our work focus on investigating the impact of DER VVC on the bulk transmission grid. We present a hypothesis that the multitudes of inverter-based DERs can be envisioned as geographically distributed reactive power (var) devices (mini-SVCs) that can offer enhanced var flexibility to a future grid as an ancillary service. To facilitate this vision, a systematic methodology is proposed to construct an aggregated var capability curve of a distribution system with DERs at the substation level, analogous to a conventional bulk generator. Since such capability curve will be contingent to the operating conditions and network constraints, an optimal power flow (OPF) based approach is proposed that takes curtailment flexibility, unbalanced nature of system and coupling with grid side voltage into account along with changing operating conditions. Further, the influence of several other factors such as revised integration standard 1547 on the capability curve is thoroughly investigated on an IEEE 37 bus distribution test system. In the last part of the work, we investigate the DERs\u27 impact on the long-term voltage stability assessment on an integrated T-D system. Finally, a T-D cosimulation is employed to demonstrate how DER aggregated flexibility and var support can potentially enhance the transmission grid performance on an integrated T-D test system