Enabling energy systems research on HPC

Energy systems research strongly relies on large modeling frameworks. Many of them use linear optimization approaches to calculate blueprints for ideal future energy systems, which become increasingly complex and so do the models. The state-of-the-art to compute them is the application of shared-memory computers combined with approaches to reduce their size. We overcome this and implement a full automatized workflow on HPC using a newly developed solver for distributed memory architectures. Moreover, we address the challenge of uncertainty in scenario analysis by performing sophisticated parameter variations for large-scale power system models, which cannot be solved in the conventional way. Preliminary results show that we are able to identify clusters of future energy system designs, which perform well from different perspectives of energy system research and also consider disruptive events. However, we also see that our approach provides most insights when being applied to rather complex than simple models

A multi-perspective approach for exploring the scenario space of future power systems

There are many possible future energy systems – many of them unforeseen. We explore the range of parameter uncertainty and quantify parameter interrelations to generate multiple scenarios. Only sensible parameter combinations remain as in-puts to an energy system optimization and coupled models. In the past, computa-tional limitations have been a major obstacle to calculate such an enormous space of scenarios. Opposed to that, we use high-performance computing. To utilize the HPC-system efficiently the parallel solver for linear programs PIPS-IPM++ is applied. We integrate it into a tool chain of different components including sce-nario generation, energy system optimization and results evaluation and tackle the challenge of coupling a large diversity of software packages in a fully automated HPC workflow. This enables the calculation of all scenarios in a matter of days. Furthermore, we use a set of 37 indicators to provide a comprehensive assess-ment of the simulated energy systems. In this way, we cover multiple perspec-tives, such as system adequacy, security of supply or behavior of market actors. Whereas scenarios with low spatial resolution do not lead to clear results, higher resolutions do. Yet, we identified three clusters of scenarios, among which a group with high natural gas dependency is found. This allows to study disruptive events like price shocks in a vast parameter space and to identify countermeasures for the long-term

Szenarien mit Energieinfrastrukturausfällen unter Einbezug multipler Parameterunsicherheiten

Der Einsatz von Modellen zur Erstellung und Untersuchung von Szenarien ist ein wesentliches Instrument der Energiesystemanalyse. Für die Politikberatung ist die Frage nach der Verlässlichkeit von solchen Szenarien von großer Wichtigkeit, da diese mit großen Unsicherheiten behaftet sein können. Diesem Problem wird in im Forschungsprojekt UNSEEN begegnet: durch das Abfahren eines sehr großen Parameterraums konnten bereits mehr als 1000 Energieszenarien automatisch generiert, berechnet und ausgewertet werden, darunter auch 100 räumlich hoch-aufgelöste Stromsystemmodelle Deutschlands. Letztere Modelle eignen sich auch zur Untersuchung der Auswirkungen von Ausfällen der darin explizit modellierten Energieinfrastrukturen, also von Kraftwerksstandorten, Übertragungsnetzleitungen und Umspannwerken. Der wesentlichen Herausforderung, dafür eine Vielzahl aufwendiger Modellrechnungen performant durchzuführen, begegnen wir mittles eines auf High-Performance-Computing angepassten Modellierungs-Workflows, welcher den entstehenden Szenarioraum auf Basis multi-kriterieller Indikatoren (u. a. zu Angemessenheit, Betriebssicherheit und Wirtschaftlichkeit) bewertbar macht. Die ersten Analysen dieses Szenarioraums zeigen, dass >Best-Perfoming< Szenarien verhältnismäßige geringe Zubauraten für Windkraft aufweisen, bei einer Reduktion der CO2-Emissionen im Stromsektor um 85%-89% gegenüber 1990

Enabling energy systems research on HPC

Energy systems research strongly relies on large modeling frameworks. Many of them use linear optimization approaches to calculate blueprints for ideal future energy systems, which become increasingly complex, as do the models. The state of the art is to compute them with shared-memory computers combined with approaches to reduce the model size. We overcome this and implement a fully automated workflow on HPC using a newly developed solver for distributed memory architectures. Moreover, we address the challenge of uncertainty in scenario analysis by performing sophisticated parameter variations for large-scale power system models, which cannot be solved in the conventional way. Preliminary results show that we are able to identify clusters of future energy system designs, which perform well from different perspectives of energy system research and also consider disruptive events. Furthermore, we also observe that our approach provides the most insights when being applied to complex rather than simple models

How to explore a large scenario space of future power systems? - A multi-perspective analysis for Germany

Motivation and research question: There are four challenges in energy systems analysis. The first is that future pathways are highly contingent on assumptions [1]. The second is computational limitations. The third is that, given a certain methodology, only few aspects of scenarios are usually analyzed [2]. The fourth is the identification of desirable futures within the target triangle of energy supply (affordability, security, sustainability). Addressing these problems means to create many scenarios using powerful hardware and software (problem 1), to sample from a huge parameter space (problem 2), coupling different tools, (problem 3), and to evaluate scenarios from multi-dimensional perspectives (problem 4). Methods We implemented a high-performance computing (HPC) workflow on the supercomputer JUWELS [3]. To utilize this HPC system efficiently, the parallel solver for linear programs, PIPS-IPM++ [4], has been applied. This solver is part of a tool chain including scenario generation, energy system optimization (REMix [5]), agent-based market simulation (AMIRIS [6]) and results evaluation based on a set of multi-dimensional indicators. In particular, we coupled a large diversity of software packages in a fully automated workflow (JUBE [7]) enabling the calculation of a multitude of large-scale scenario analyses in a matter of days. The real-world problem investigated is future power supply in Germany. It is either modeled as market where the interactions of decentral actors are simulated, or operation and investment planning are optimized from a central planner’s perspective. For the latter, the model comprises 479 network nodes that represent unique locations of transformer substations in the transmission grid. Neighboring countries, different weather profiles and techno-economic parameters are also part of the parametrization. To sample the huge parameter space [8], a literature research considering about 50 sources derives statistical descriptors of the most important parameter values to be varied. Results and conclusions First results with 1000 simplified optimization models proof the plausibility of our approach. As next step, we investigated 120 spatially fully resolved power systems. We compiled a set of more than 40 indicators [9] to provide comprehensive assessments of the simulated power systems cover quantities, such as electricity prices, energy self-sufficiency rate, ecosystem quality or grid congestion. Our results show correlations between indicators as expected, e.g., a high renewable energy penetration corresponds to low CO2-emissions, etc. Points of interest are all scenarios where a majority of indicators show values one standard deviation above or below the mean of all scenarios. Overall, there are few points of interest, i.e. systems where many indicators would point to a system that is satisfactory concerning system affordability, security and sustainability. Yet, differences between scenarios are small, i.e. t-tests between desirable and undesirable systems are not significant. With our final results, we expect to pave the way to more robust energy system modeling, e.g. evaluating systems in terms of resilience by extending our methodology for both unit commitment modeling and scenarios of infrastructure outages. This enables the derivation of measures for preparing for disruptive events like price shocks in the vast parameter space

A multi-perspective approach for exploring the scenario space of future power systems

There are many possible future energy systems – many of them unforeseen. We explore the range of parameter uncertainty and quantify parameter interrelations to generate multiple scenarios. Only sensible parameter combinations remain as in-puts to an energy system optimization and coupled models. In the past, computa-tional limitations have been a major obstacle to calculate such an enormous space of scenarios. Opposed to that, we use high-performance computing. To utilize the HPC-system efficiently the parallel solver for linear programs PIPS-IPM++ is applied. We integrate it into a tool chain of different components including sce-nario generation, energy system optimization and results evaluation and tackle the challenge of coupling a large diversity of software packages in a fully automated HPC workflow. This enables the calculation of all scenarios in a matter of days. Furthermore, we use a set of 37 indicators to provide a comprehensive assess-ment of the simulated energy systems. In this way, we cover multiple perspec-tives, such as system adequacy, security of supply or behavior of market actors. Whereas scenarios with low spatial resolution do not lead to clear results, higher resolutions do. Yet, we identified three clusters of scenarios, among which a group with high natural gas dependency is found. This allows to study disruptive events like price shocks in a vast parameter space and to identify countermeasures for the long-term

Szenarien mit Energieinfrastrukturausfällen unter Einbezug multipler Parameterunsicherheiten

Der Einsatz von Modellen zur Erstellung und Untersuchung von Szenarien ist ein wesentliches Instrument der Energiesystemanalyse. Für die Politikberatung ist die Frage nach der Verlässlichkeit solcher Szenarien von großer Wichtigkeit, da diese mit großen Unsicherheiten behaftet sind. Diesem Problem wird im Forschungsprojekt UNSEEN begegnet. Durch das Abfahren eines sehr großen Parameterraums konnten bereits mehr als 1000 Energieszenarien automatisch generiert, berechnet und ausgewertet werden, darunter auch 100 räumlich hoch-aufgelöste Stromsystemmodelle Deutschlands. Letztere Modelle eignen sich auch zur Untersuchung der Auswirkungen von Ausfällen der darin explizit modellierten Energieinfrastrukturen, also von Kraftwerksstandorten, Übertragungsnetzleitungen und Umspannwerken. Um eine Vielzahl aufwendiger Modellrechnungen performant durchzuführen, wurde ein auf High-Performance-Computing angepasster Modellierungs-Workflows entwickelt. Er macht den entstehenden Szenarioraum auf Basis multi-kriterieller Indikatoren (u. a. zu Angemessenheit, Betriebssicherheit und Wirtschaftlichkeit) bewertbar. Die ersten Analysen dieses Szenarioraumes zeigen, dass „Best-Perfoming“ Szenarien verhältnismäßige geringe Zubauraten für Windkraft aufweisen, bei einer Reduktion der CO2-Emissionen im Stromsektor um 85%-89% gegenüber 1990

Tackling challenges in energy system research with HPC

Energy system optimization models are one of the central instruments for the successful realization of the energy transition towards renewable sources. We have identified three major challenges to overcome the current limitations in energy system research. First, studying the future is subject to large uncertainties and these uncertainties are usually tackled with modeling of just a small subset of all possible scenarios. This has proven to be inadequate since most models are highly sensitive to input data. Second, the widely-used commercial solvers show poor scalability and are limited to single shared-memory compute nodes. Thus, models are defined with a lower resolution and technological diversity than necessary. The third challenge is that single models usually tend to investigate only certain aspects of an energy system, which do not cover all parts of future pathways. To overcome those limitations, we inspect the conceivable parameter space by using a hitherto unattained number of model-based scenarios. Therefore, we have implemented an automated parameter sampling based on a broad literature review, and a self-developed distributed-memory solver that outperforms commercial solvers. In addition, we have coupled different types of models in an automated, parallelized workflow. We use this workflow for a case study of the German power system. By evaluating more than 3600 scenarios, we observe a clear dominance of photovoltaics in future system designs. Efficiently leveraging the capability of HPC by combining those approaches could be a game changer for the energy-system analysis community and could ensure a better applicability for real world policy support

Evaluation of Uncertainties in Linear-Optimizing Energy System Models Using Neural Networks - Compendium

Für die Energiesystemforschung sind Software-Modelle ein Kernelement zur Analyse von Szenarien. Das Forschungsprojekt UNSEEN hatte das Ziel eine bisher unerreichte Anzahl an modellbasierten Energieszenarien zu berechnen, um Unsicherheiten – vor allem unter Nutzung linear optimierender Energiesystem-Modelle - besser bewerten zu können. Hierfür wurden umfangreiche Parametervariationen auf Energieszenarien angewendet und das wesentliche methodische Hindernis in diesem Zusammenhang adressiert: die rechnerische Beherrschbarkeit der zu lösenden mathematischen Optimierungsprobleme. Im Vorläuferprojekt BEAM-ME wurde mit der Entwicklung und Anwendung des Open-Source-Lösers PIPS-IPM++ die Grundlage für den Einsatz von High-Performance-Computing (HPC) zur Lösung dieser Modelle gelegt. In UNSEEN war dieser Löser die zentrale Komponente eines Workflows, welcher zur Generierung, Lösung und multi-kriteriellen Bewertung von Energieszenarien auf dem Hochleistungscomputer JUWELS am Forschungszentrum Jülich implementiert wurde. Zur effizienten Generierung und Kommunikation von Modellinstanzen für Methoden der mathematischen Optimierung auf HPC wurde eine weitere Workflow-Komponente von der GAMS Software GmbH entwickelt: der Szenariogenerator. Bei der Weiterentwicklung von Lösungsalgorithmen für linear optimierende Energie-Systemmodelle standen gemischt-ganzzahlige Optimierungsprobleme im Fokus, welche für die Modellierung konkreter Infrastrukturen und Maßnahmen zur Umsetzung der Energiewende gelöst werden müssen. Die in diesem Zusammenhang stehenden Arbeiten zur Entwicklung von Algorithmen wurden von der Technischen Universität Berlin verantwortet. Bei Design und Implementierung dieser Methoden wurde sie vom Zuse Instituts Berlin unterstützt

Evaluation of Uncertainties in Linear-Optimizing Energy System Models - Compendium

Für die Energiesystemforschung sind Software-Modelle ein Kernelement zur Analyse von Szenarien. Das Forschungsprojekt UNSEEN hatte das Ziel eine bisher unerreichte Anzahl an modellbasierten Energieszenarien zu berechnen, um Unsicherheiten – vor allem unter Nutzung linear optimierender Energiesystem-Modelle - besser bewerten zu können. Hierfür wurden umfangreiche Parametervariationen auf Energieszenarien angewendet und das wesentliche methodische Hindernis in diesem Zusammenhang adressiert: die rechnerische Beherrschbarkeit der zu lösenden mathematischen Optimierungsprobleme. Im Vorläuferprojekt BEAM-ME wurde mit der Entwicklung und Anwendung des Open-Source-Lösers PIPS-IPM++ die Grundlage für den Einsatz von High-Performance-Computing (HPC) zur Lösung dieser Modelle gelegt. In UNSEEN war dieser Löser die zentrale Komponente eines Workflows, welcher zur Generierung, Lösung und multi-kriteriellen Bewertung von Energieszenarien auf dem Hochleistungscomputer JUWELS am Forschungszentrum Jülich implementiert wurde. Zur effizienten Generierung und Kommunikation von Modellinstanzen für Methoden der mathematischen Optimierung auf HPC wurde eine weitere Workflow-Komponente von der GAMS Software GmbH entwickelt: der Szenariogenerator. Bei der Weiterentwicklung von Lösungsalgorithmen für linear optimierende Energie-Systemmodelle standen gemischt-ganzzahlige Optimierungsprobleme im Fokus, welche für die Modellierung konkreter Infrastrukturen und Maßnahmen zur Umsetzung der Energiewende gelöst werden müssen. Die in diesem Zusammenhang stehenden Arbeiten zur Entwicklung von Algorithmen wurden von der Technischen Universität Berlin verantwortet. Bei Design und Implementierung dieser Methoden wurde sie vom Zuse Instituts Berlin unterstützt