R&D for computational cognitive and social models : foundations for model evaluation through verification and validation (final LDRD report).

Sandia National Laboratories is investing in projects that aim to develop computational modeling and simulation applications that explore human cognitive and social phenomena. While some of these modeling and simulation projects are explicitly research oriented, others are intended to support or provide insight for people involved in high consequence decision-making. This raises the issue of how to evaluate computational modeling and simulation applications in both research and applied settings where human behavior is the focus of the model: when is a simulation 'good enough' for the goals its designers want to achieve? In this report, we discuss two years' worth of review and assessment of the ASC program's approach to computational model verification and validation, uncertainty quantification, and decision making. We present a framework that extends the principles of the ASC approach into the area of computational social and cognitive modeling and simulation. In doing so, we argue that the potential for evaluation is a function of how the modeling and simulation software will be used in a particular setting. In making this argument, we move from strict, engineering and physics oriented approaches to V&V to a broader project of model evaluation, which asserts that the systematic, rigorous, and transparent accumulation of evidence about a model's performance under conditions of uncertainty is a reasonable and necessary goal for model evaluation, regardless of discipline. How to achieve the accumulation of evidence in areas outside physics and engineering is a significant research challenge, but one that requires addressing as modeling and simulation tools move out of research laboratories and into the hands of decision makers. This report provides an assessment of our thinking on ASC Verification and Validation, and argues for further extending V&V research in the physical and engineering sciences toward a broader program of model evaluation in situations of high consequence decision-making

AMIRIS – ein agentenbasiertes Simulationsmodell zur akteursspezifischen Analyse techno-ökonomischer und soziotechnischer Effekte bei der Strommarktintegration und Refinanzierung erneuerbarer Energien

Mit den steigenden Anteilen der Wind- und Solarstromerzeugung als fluktuierenden erneuerbaren Energien (FEE) wurden in den vergangenen Jahren aus der Energiewirtschaft, der Wissenschaft und Politik Forderungen laut, die FEE im Interesse einer effizienteren Förderung „besser“ in die liberalisierten Strommärkte zu integrieren (sog. Marktintegration der EE). Gefordert wird u. a., dass die FEE in Zukunft ähnlich wie die thermischen Kraftwerke ihre Stromproduktion an den Preissignalen der Großhandels-Strommärkte ausrichten, um somit zum besseren Ausgleich von Angebot und Nachfrage beizutragen. In die Diskussion zur grundlegenden Reform des EEG 2014 wurde u. a. die Einführung einer fixen statt variablen Marktprämie, einer kapazitiven Vergütung sowie die wettbewerbliche Ausschreibung anstatt administrativer Förderhöhen eingebracht. Investitionen in FEE-Anlagen als kapitalintensive Technologien sehen sich jedoch bei verstärkter Marktintegration unter den heute vorherrschenden Marktbedingungen – die primär auf einen thermischen Kraftwerkspark ausgelegt sind - zunehmenden Investitions- und Betriebsrisiken ausgesetzt, die durch Risikoaufschläge bei Eigen- und Fremdkapital in die Investitionskosten eingepreist werden. Neben steigenden Preisrisiken durch stärkere Preisvolatilitäten bei höheren FEE-Anteilen ergeben sich in Abhängigkeit der Förderinstrumente jedoch auch neue Mengenrisiken, da mit der Einführung der FEE-Direktvermarktung diese bei entsprechend niedrigen Preisen marktgetrieben abgeregelt werden. Durch den bereits in der Vergangenheit nachgewiesenen Merit-Order-Effekt und den Marktwertverlust der FEE durch den sog. Gleichzeitigkeitseffekt, stellt sich damit die Frage, ob sich ein System mit hohen Anteilen an FEE zukünftig rein marktendogen auf Basis eines Grenzkostenmarktes refinanzieren lässt. Mit Hilfe des im Rahmen der Dissertation weiterentwickelten agentenbasierten Strommarktmodells AMIRIS wurden zur Beantwortung der Fragestellung unterschiedliche Szenarioanalysen durchgeführt und auf der Akteurs- und Systemebene ausgewertet. Die stündlich aufgelösten Simulationsläufe von 2015-2035 zur Entwicklung der Refinanzierungsbedingungen der FEE, der FEE-Marktwerte sowie der assoziierten Fördereffizienz zur Erreichung der FEE-Ziele bei Anwendung einer variablen oder fixen Markt- sowie Kapazitätsprämie kommen dabei zu dem Ergebnis, dass die Refinanzierung eines allein marktendogenen Ausbaus von FEE-Anlagen unter den Bedingungen eines grenzkostenbasierten Strommarktes nicht möglich ist. Dies liegt primär an den zunehmend marktgetrieben abgeregelten Strommengen sowie den Marktwertverlusten durch den Gleichzeitigkeitseffekt. Problem ist hierbei, dass keiner der Anlagenbetreiber zum Zeitpunkt der Investition realistisch abschätzen kann, welcher Anteil der meteorologisch erzeugbaren Strommenge sich letztendlich am Markt absetzen lässt. Denn die vermarktbaren Strommengen hängen nicht nur vom Förderinstrument, sondern vor allem von der zukünftigen Flexibilität im System ab. Hinzu kommt, dass sich im Referenzszenario mit keinem der diskutierten Instrumente auch nur annäherungsweise die EE-Ausbauziele bis 2035 erreichen lassen. Zusätzlich kommt es beim derzeit implementierten EE-Direktvermarktungssystem über die Strombörse mit Wettbewerb zwischen den dezentralen Direktvermarktern bei der variablen Marktprämie zu ineffizienten Abregelungsentscheidungen, da in diesem Förderregime der Anreiz besteht, die stromgestehungskostentechnisch günstigsten FEE-Anlagen als erstes abzuregeln. Mit zunehmendem Anteil der FEE-Einspeisung wird es zukünftig bei einem dezentralen Direktvermarktungssystem außerdem zu hohen Informationsasymmetrien und damit einer ineffizienten Preisbildung im Stromgroßhandel kommen. Dies liegt an der Unkenntnis anderer Marktteilnehmer über die dezentrale Entscheidung abzuregelnder FEE-Mengen. Ein zentrales Direktvermarktungssystem mit einem sog. ‚Single-Buyer‘-Konzept könnte hier Abhilfe schaffen. Entgegen der vorherrschenden ökonomischen Theorie erweist sich die variable Marktprämie jedoch in allen untersuchten Szenarien als dynamisch effizienter als eine fixe Marktprämie, die wiederum effizienter wirkt als eine variable und fixe Kapazitätsprämie. Den größten Einfluss auf die absoluten als auch relativen Marktwerte der FEE; haben neben den Förderinstrumenten in absteigender Reihenfolge vor allem neue Stromverbraucher (P2X), ein zentrales statt dezentrales Direktvermarktungssystem, ein gleichmäßigeres Ausbauverhältnis zwischen Wind- und PV-Anlagen, eine gleichmäßigere Verteilung der Windanlagen zwischen Nord- und Süddeutschland, der flexible Einsatz von Biomasseanlagen, der Einsatz von Strom-zu-Strom-Speichern und zu relativ kleinen Anteilen auch eine systemdienlichere Auslegung der Anlagen (Schwachwindanlagen). Bessere Anreize zur Hebung der Flexibilitätspotentiale und damit bessere Integrationsmöglichkeiten der FEE bietet die Integration über die Stromvertriebe statt über den Stromgroßhandel.With the increasing shares of wind and solar power generation as variable renewable energies (VRE), demands have been made in recent years from the energy industry, science and politics to integrate the VRE 'better' into the liberalised electricity markets in the interest of more efficient promotion (so-called market integration of renewables). One of the demands is that the VRE, like thermal power plants, should in future align its electricity production with the price signals of the wholesale electricity markets in order to contribute to a better balance between supply and demand. The discussion on the fundamental reform of the EEG 2014 included the introduction of a fixed instead of a variable market premium, a capacitive remuneration and a competitive tendering procedure instead of administrative subsidy amounts. Investments in VRE plants as capital-intensive technologies, however, are exposed to increasing investment and operating risks under today's prevailing market conditions - which are primarily designed for a thermal power plant park - as a result of increased market integration. In addition to rising price risks due to greater price volatility in the case of higher VRE shares, there are also new volume risks, depending on the support instruments used, as the introduction of VRE direct-marketing means that the power can be curtailed on a market-driven basis at correspondingly low prices. The merit order effect already proven in the past and the loss in market value of VRE due to the so-called simultaneity effect raise the question of whether a system with a high shares of VRE can be refinanced purely marketendogenously on the basis of a marginal cost market in the future. With the help of the agent-based electricity market model AMIRIS, which was further developed within the framework of the dissertation, different scenario analyses were carried out to answer the question and evaluated at the actor and system level. The hourly resolved simulation runs of 2015-2035 for the development of the refinancing conditions of the VRE, the VRE market values as well as the associated support efficiency in order to achieve the VRE targets with the application of a variable or fixed market and capacity premium come to the conclusion that the refinancing of a market endogenous expansion of VRE plants is not possible under the conditions of a marginal cost based electricity market. This is primarily due to the increasingly market-driven curtailment of VRE electricity volumes and the loss of market value due to the simultaneity effect. The problem here is that none of the plant operators can realistically estimate at the time of the investment what share of the meteorologically producible quantity of electricity can ultimately be sold on the market. This is because the quantities of electricity that can be marketed depend not only on the funding instrument, but above all on the future flexibility of the system. In addition, none of the instruments discussed in the reference scenario can even come close to achieving the renewable energy expansion targets by 2035. In addition, the currently implemented direct marketing system for renewables via the power exchange with competition between the decentralised direct marketers leads to inefficient curtailment decisions with regard to the variable market premium, since in this support regime there is an incentive to curtail the VRE plants with the lowest levelized-cost of electricity (LCOE) first. As the share of VRE increases, a decentralised direct marketing system will in future also lead to high information asymmetries and thus inefficient pricing in electricity wholesale. This is due to the unawareness of other market participants about the decentralised decision to curtailment VRE volumes. A central direct marketing system with a so-called 'single buyer' concept could remedy this situation. Contrary to the prevailing economic theory, the variable market premium proves to be dynamically more efficient than a fixed market premium in all scenarios examined, which in turn is more efficient than a variable and fixed capacity premium. The greatest influence on the absolute as well as relative market values of the VRE is exerted in descending order by new electricity consumers (P2X), a central instead of decentralised direct marketing system, a more even expansion ratio between wind and PV plants, a more even distribution of wind plants between northern and southern Germany, the flexible use of biomass plants, the use of electricity to electricity storage units and to relatively small proportions also a more system-oriented design of the plants (weakwind turbines). Better incentives to increase the flexibility potentials and thus better integration possibilities of the VRE are offered by the integration via the electricity utilities instead of the wholesale market