OPTool - Documentation v1.2

The OPTool package is an implementation of various state-of-the-art iterative optimization algorithms for differentiable cost functions along with algorithms to solve linear equations. Users can use the toolbox to solve optimization problems, although the code was written to researchers that want to compare their proposals with state-of-the-art implementation. New algorithms can be easily added and the software will be updated to have the most comprehensive list of solvers possible. It also comes with implemented functions to return optimal parameters for these algorithms based on a control-theoretical formulation of the algorithms

Solving Two-Person Zero-Sum Stochastic Games With Incomplete Information Using Learning Automata With Artificial Barriers

Learning automata (LA) with artificially absorbing barriers was a completely new horizon of research in the 1980s (Oommen, 1986). These new machines yielded properties that were previously unknown. More recently, absorbing barriers have been introduced in continuous estimator algorithms so that the proofs could follow a martingale property, as opposed to monotonicity (Zhang et al., 2014), (Zhang et al., 2015). However, the applications of LA with artificial barriers are almost nonexistent. In that regard, this article is pioneering in that it provides effective and accurate solutions to an extremely complex application domain, namely that of solving two-person zero-sum stochastic games that are provided with incomplete information. LA have been previously used (Sastry et al., 1994) to design algorithms capable of converging to the game's Nash equilibrium under limited information. Those algorithms have focused on the case where the saddle point of the game exists in a pure strategy. However, the majority of the LA algorithms used for games are absorbing in the probability simplex space, and thus, they converge to an exclusive choice of a single action. These LA are thus unable to converge to other mixed Nash equilibria when the game possesses no saddle point for a pure strategy. The pioneering contribution of this article is that we propose an LA solution that is able to converge to an optimal mixed Nash equilibrium even though there may be no saddle point when a pure strategy is invoked. The scheme, being of the linear reward-inaction ( $L_{R-I}$ ) paradigm, is in and of itself, absorbing. However, by incorporating artificial barriers, we prevent it from being ``stuck'' or getting absorbed in pure strategies. Unlike the linear reward-εpenalty ( $L_{R-ε P}$ ) scheme proposed by Lakshmivarahan and Narendra almost four decades ago, our new scheme achieves the same goal with much less parameter tuning and in a more elegant manner. This article includes the nontrial proofs of the theoretical results characterizing our scheme and also contains experimental verification that confirms our theoretical findings.acceptedVersio

A resilient continuous-time consensus method using a switching topology

DynamiCITY ( NORTE-01-0145-FEDER-000073 ), funded by NORTE2020/PORTUGAL2020 , through the European Regional Development Fund . Publisher Copyright: © 2022 The Author(s)This paper addresses the design problem of a resilient consensus algorithm for agents with continuous-time dynamics. The main proposal is that by incorporating a switching mechanism selecting the network topology to avoid malicious nodes from communicating, the remaining nodes will converge to a value closer to the original steady-state without the attacker being present. The switching occurs at discrete-time steps where each node evaluates the reputation score of the neighbors and deactivates/ignores edges in the network. We explore the proposed method with illustrative examples ranging from static topologies to dynamic ones, considering directed and undirected graphs, presenting several attacking scenarios that are successfully mitigated with our method. Finally, we compare the best undetectable attacking strategy and the commonly used approach named MSR, highlighting the advantages of our method.publishersversionpublishe

Desynchronization for Decentralized Medium Access Control based on Gauss-Seidel Iterations

We address the Desynchronization problem of achieving an equally spaced transmission schedule in a cooperative fashion. This problem arises in a shared medium communication and is of importance to achieve a fair multiple access schedule at the Medium Access Control (MAC) layer in the context of Wireless Sensor Networks (WSNs). In this paper, we investigate the convergence rate of different optimization algorithms and the potential benefits of addressing the problem as a solution of a set of linear equations. Initial results suggest that the Gauss-Seidel method can yield a faster convergence than previously proposed methods that employ a version of the Nesterov’s method. Our approach also poses an interesting path for future research given the benefits of using other more advanced methods to solve systems of linear equations. Through simulations, we provide evidence to support future research on optimizing the parameter selection and also on categorizing the conditions under which one solution might be better in detriment of another

Presentation of "Desynchronization for Decentralized Medium Access Control based on Gauss-Seidel Iterations"

Wireless Sensor Networks (WSNs) - a network composed of nodes using a wireless medium in Time Division Multiple Access (TDMA). No centralized infrastructure - implies the need for a decentralized algorithm to perform desynchronization of transmission. Applicable to surveillance - a group of vigilant robots that want to periodically visit sites to be monitore

Presentation of "Desynchronization for Decentralized Medium Access Control based on Gauss-Seidel Iterations"

Desynchronization for Decentralized Medium Access Control based on Gauss-Seidel Iteration

Combinatorial Problems in Energy Networks - Graph-theoretic Models and Algorithms

Energienetze bilden das Rückgrat unserer Gesellschaft, die unter anderem unsere Nahrungskette und andere wichtige Infrastrukturen, wie die Wasser- und Wärmeversorgung, bestimmen. Um die grundlegenden menschlichen Bedürfnisse zu befriedigen, müssen wir ein nachhaltigeres und umweltfreundlicheres Verhalten im Allgemeinen und in Energienetzen im Speziellen an den Tag legen. In dieser Arbeit geht es um Energienetze, wobei wir uns auf Stromnetze spezialisieren und uns darauf fokussieren, wie wir die vorhandene Infrastruktur besser ausnutzen können. Wir merken an, dass die Ergebnisse aus dieser Arbeit auch auf andere Energienetze übertragen werden können [Gro+19] und bestimmte auftretende Phänomene legen es nahe, dass sich einige Ergebnisse eventuell auch auf Verkehrsnetze übertragen lassen. Diese Arbeit besteht aus vier inhaltlichen Teilen. Der erste Teil beschäftigt sich mit der Funktionsweise und Struktur von elektrischen Flüssen. Der zweite und dritte inhaltliche Teil der Arbeit beschäftigt sich jeweils mit der effizienten Ausnutzung der vorhandenen Energienetzinfrastruktur. Dabei verstehen wir hier unter effizienter Ausnutzung entweder die Maximierung der Gesamterzeugung und die damit verbundene Erweiterung des Betriebspunktes oder die Minimierung der Erzeugungskosten verstehen. Das elektrische Netz besteht aus drei Spannungsebenen, die wir als Hoch-, Mittel-, und Niederspannungsebene bezeichnen. Das traditionelle elektrische Netz ist auf eine zentrale Energieversorgung ausgelegt, bei der die Erzeuger sich in der Hochspannungsebene befinden. Der elektrische Fluss im klassischen Sinne fließt von der Hoch- in die Mittel- und Niederspannungsebene. Die industriellen Verbraucher befinden sich zumeist auf der Mittelspannungsebene, während sich die Haushalte und kleineren Industrien in der Niederspannungsebene befinden. Durch nachhaltige Erzeuger, die ihre Energie aus erneuerbaren Energien wie beispielsweise Wind gewinnen, findet nun ein Paradigmenwechsel im elektrischen Netz statt. Diese nachhaltigen Erzeuger befinden sich zumeist im Nieder- und Mittelspannungsnetz und der elektrische Fluss könnte nun bidirektional fließen. Dieser Paradigmenwechsel kann zu Engpässen und anderen Problemen führen, da das elektrische Netz für ein solches Szenario nicht konzipiert ist. Eine Hauptaufgabe dieser Arbeit war die Identifizierung von Problemstellungen in elektrischen Netzen. Die extrahierten Problemstellungen haben wir dann in graphentheoretische Modelle übersetzt und Algorithmen entwickelt, die oftmals Gütegarantien besitzen. Wir haben uns dabei zunächst auf die Modellierung von elektrischen Netzen und das Verhalten von Flüssen in diesen Netzen mit Hilfe von Graphentheorie konzentriert. Zur Modellierung des elektrischen Flusses nutzen wir eine linearisierte Modellierung, die mehrere vereinfachende Annahmen trifft. Diese linearisierte Modellierung ist für Hochspannungsnetze im Allgemeinen eine gute Annäherung und macht das Entscheidungsproblem für elektrische Flüsse, das heißt, ob ein gültiger elektrischer Fluss für eine bestimmte Konfiguration des Netzes und für einen bestimmten Verbrauch und eine bestimmte Erzeugung existiert, in Polynomialzeit lösbar. Leistungsfluss. Fokusiert man sich auf das vereinfachte Zulässigkeitsproblem von elektrischen Flüssen und den Maximalen Leistungsflüssen, so existieren verschiedene mathematische Formulierungen, die den Leistungsfluss beschreiben. Auf allgemeinen Graphen ist es oftmals der Fall, dass graphentheoretischen Flüsse keine zulässigen Leistungsflüsse darstellen. Im Gegensatz zu graphentheoretischen Flüssen balancieren sich Leistungsflüsse. Wir diskutieren diese Eigenschaft aus graphentheoretischer Sicht. Die verschiedenen mathematischen Formulierungen geben uns strukturelle Einblicke in das Leistungsflussproblem. Sie zeigen uns die Dualität der zwei Kirchhoffschen Regeln. Diese nutzen wir um einen algorithmischen Ansatz zur Berechnung von Leistungsflüssen zu formulieren, der zu einem Algorithmus für Leistungsflüsse auf planaren Graphen führen könnte. Die Einschränkung auf planare zweifachzusammenhängende Graphen ist vertretbar, da elektrische Netze im Allgemeinen planar sind [COC12,S.13]. Zudem hilft uns diese Sichtweise, um Analogien zu anderen geometrischen Problemen herzustellen. Kontinuierliche Änderungen. Da graphentheoretische Flüsse sich in vielen Fällen anders als elektrische Flüsse verhalten, haben wir versucht, das Stromnetz mittels Kontrolleinheiten so auszustatten, dass der elektrische Fluss den gleichen Wert hat wie der graphentheoretische Fluss. Um dieses Ziel zu erreichen, platzieren wir die Kontrolleinheiten entweder an den Knoten oder an den Kanten. Durch eine Suszeptanz-Skalierung, die durch die Kontrolleinheiten ermöglicht wird, ist es nun prinzipiell möglich jeden graphentheoretischen Fluss elektrisch zulässig zu machen. Dabei konnten wir zeigen, dass das gezielte Platzieren von Kontrolleinheiten die Kosten der Erzeugung von elektrischer Leistung durch Generatoren im elektrischen Netz senken kann und den Betriebspunkt des Netzes in vielen Fällen auch erweitert. Platziert man Kontrolleinheiten so, dass der verbleibende Teil (d.h. das Netz ohne die Kontrolleinheiten) ein Baum oder Kaktus unter geeigneter Begrenzung der Kapazitäten ist, so ist es möglich, jeden graphentheoretischen Fluss als elektrisch zulässigen Fluss mit gleichwertigen Kosten zu realisieren. Die Kostensenkung und die Erweiterung des Betriebspunktes konnten wir experimentell auf IEEE-Benchmark-Daten bestätigen. Diskrete Änderungen. Die oben beschriebenen Kontrolleinheiten sind eine idealisierte, aktuell nicht realisierbare Steuereinheit, da sie den elektrischen Fluss im gesamten Leistungsspektrum einstellen können. Damit ist vor allem gemeint, dass sie den elektrischen Fluss auf einer Leitung von „Die Leitung ist abgeschaltet.“ bis zur maximalen Kapazität stufenlos einstellen können. Diese Idealisierung ist auch ein großer Kritikpunkt an der Modellierung. Aus diesem Grund haben wir versucht, unser Modell realistischer zu gestalten. Wir haben zwei mögliche Modellierungen identifiziert. In der ersten Modellierung können Leitungen ein- und ausgeschaltet werden. Dieser Prozess wird als Switching bezeichnet und kann in realen Netzen mittels Circuit Breakers (dt. Leistungsschaltern) realisiert werden. Die zweite Modellierung kommt der Kontrolleinheiten-Modellierung sehr nahe und beschäftigt sich mit der Platzierung von Kontrolleinheiten, die die Suszeptanz innerhalb eines gewissen Intervalls einstellen können. Diese wirkt im ersten Moment wie eine Verallgemeinerung der Schaltungsflussmodellierung. Nutzt man jedoch eine realistischere Modellierung der Kontrolleinheiten, so ist das Einstellen der Suszeptanz durch ein Intervall begrenzt, das das Ausschalten einer Leitung nicht mit beinhaltet. Sowohl ein optimales (im Sinne der Minimierung der Gesamterzeugungskosten oder der Maximierung des Durchsatzes) Platzieren von Switches als auch ein optimales Platzieren von Kontrolleinheiten ist im Allgemeinen NP-schwer [LGH14]. Diese beiden Probleme ergänzen sich dahingehend, dass man den maximalen graphentheoretischen Fluss, mit den zuvor genannten Platzierungen annähern kann. Für Switching konnten wir zeigen, dass das Problem bereits schwer ist, wenn der Graph serien-parallel ist und das Netzwerk nur einen Erzeuger und einen Verbraucher besitzt [Gra+18]. Wir haben sowohl für den Maximalen Übertragungsschaltungsfluss (engl. Maximum Transmission Switching Flow; kurz MTSF) als auch für den optimalen Übertragungsschaltungsfluss (engl. Optimal Switching Flow; kurz OSF) erste algorithmische Ansätze vorgeschlagen und gezeigt, dass sie auf bestimmten graphentheoretischen Strukturen exakt sind, und dass auf anderen graphentheoretischen Strukturen Gütegarantien möglich sind [Gra+18]. Die Algorithmen haben wir dann auf allgemeinen Netzen evaluiert. Simulationen führen zu guten Ergebnissen auf den NESTA-Benchmark-Daten. Erweiterungsplanung auf der Grünen Wiese. Eine vom Rest der Arbeit eher losgelöste Fragestellung war die Verkabelung von Windturbinen. Unter Verwendung einer Metaheuristik haben wir gute Ergebnisse im Vergleich zu einem „Mixed Integer Linear Program“ (MILP; dt. gemischt-ganzzahliges lineares Programm) erzielt, das wir nach einer Stunde abgebrochen haben. Die Modellierung der Problemstellung und die Evaluation des Algorithmus haben wir auf der ACM e-Energy 2017 veröffentlicht [Leh+17]. Schlusswort. Abschließend kann man sagen, dass mit dieser Arbeit allgemeine, tiefliegende Aussagen über elektrische Netze getroffen wurden, unter der Berücksichtigung struktureller Eigenschaften unterschiedlicher Netzklassen. Diese Arbeit zeigt wie das Netz ausgestaltet sein muss, um bestimmte Eigenschaften garantieren zu können und zeigt verschiedene Lösungsansätze mit oft beweisbaren Gütegarantien auf