Envisioning Model-Based Performance Engineering Frameworks.

Abstract Our daily activities depend on complex software systems that must guarantee certain performance. Several approaches have been devised in the last decade to validate software systems against performance requirements. However, software designers still encounter problems in the interpretation of performance analysis results (e.g., mean values, probability distribution functions) and in the definition of design alternatives (e.g., to split a software component in two and redeploy one of them) aimed at fulfilling performance requirements. This paper describes a general model-based performance engineering framework to support designers in dealing with such problems aimed at enhancing the system. The framework relies on a formalization of the knowledge needed in order to characterize performance flaws and provide alternative system design. Such knowledge can be instantiated based on the techniques devised for interpreting performance analysis results and providing feedback to designers. Three techniques are considered in this paper for instantiating the framework and the main challenges to face during such process are pointed out and discussed

Interim research assessment 2003-2005 - Computer Science

This report primarily serves as a source of information for the 2007 Interim Research Assessment Committee for Computer Science at the three technical universities in the Netherlands. The report also provides information for others interested in our research activities

On the connection of probabilistic model checking, planning, and learning for system verification

This thesis presents approaches using techniques from the model checking, planning, and learning community to make systems more reliable and perspicuous. First, two heuristic search and dynamic programming algorithms are adapted to be able to check extremal reachability probabilities, expected accumulated rewards, and their bounded versions, on general Markov decision processes (MDPs). Thereby, the problem space originally solvable by these algorithms is enlarged considerably. Correctness and optimality proofs for the adapted algorithms are given, and in a comprehensive case study on established benchmarks it is shown that the implementation, called Modysh, is competitive with state-of-the-art model checkers and even outperforms them on very large state spaces. Second, Deep Statistical Model Checking (DSMC) is introduced, usable for quality assessment and learning pipeline analysis of systems incorporating trained decision-making agents, like neural networks (NNs). The idea of DSMC is to use statistical model checking to assess NNs resolving nondeterminism in systems modeled as MDPs. The versatility of DSMC is exemplified in a number of case studies on Racetrack, an MDP benchmark designed for this purpose, flexibly modeling the autonomous driving challenge. In a comprehensive scalability study it is demonstrated that DSMC is a lightweight technique tackling the complexity of NN analysis in combination with the state space explosion problem.Diese Arbeit präsentiert Ansätze, die Techniken aus dem Model Checking, Planning und Learning Bereich verwenden, um Systeme verlässlicher und klarer verständlich zu machen. Zuerst werden zwei Algorithmen für heuristische Suche und dynamisches Programmieren angepasst, um Extremwerte für Erreichbarkeitswahrscheinlichkeiten, Erwartungswerte für Kosten und beschränkte Varianten davon, auf generellen Markov Entscheidungsprozessen (MDPs) zu untersuchen. Damit wird der Problemraum, der ursprünglich mit diesen Algorithmen gelöst wurde, deutlich erweitert. Korrektheits- und Optimalitätsbeweise für die angepassten Algorithmen werden gegeben und in einer umfassenden Fallstudie wird gezeigt, dass die Implementierung, namens Modysh, konkurrenzfähig mit den modernsten Model Checkern ist und deren Leistung auf sehr großen Zustandsräumen sogar übertrifft. Als Zweites wird Deep Statistical Model Checking (DSMC) für die Qualitätsbewertung und Lernanalyse von Systemen mit integrierten trainierten Entscheidungsgenten, wie z.B. neuronalen Netzen (NN), eingeführt. Die Idee von DSMC ist es, statistisches Model Checking zur Bewertung von NNs zu nutzen, die Nichtdeterminismus in Systemen, die als MDPs modelliert sind, auflösen. Die Vielseitigkeit des Ansatzes wird in mehreren Fallbeispielen auf Racetrack gezeigt, einer MDP Benchmark, die zu diesem Zweck entwickelt wurde und die Herausforderung des autonomen Fahrens flexibel modelliert. In einer umfassenden Skalierbarkeitsstudie wird demonstriert, dass DSMC eine leichtgewichtige Technik ist, die die Komplexität der NN-Analyse in Kombination mit dem State Space Explosion Problem bewältigt

A methodology for cost-benefit analysis of information security technologies

The file attached to this record is the author's final peer reviewed version. The Publisher's final version can be found by following the DOI link.Although information security technologies (such as digital rights management products) has been proven effective and successful in protecting the confidentiality of sensitive information by providing access control, these technologies have not been widely adopted and used to their potential. One reason for this could be that cost and benefit of these products have not been analysed in a systematic and quantitative manner to date. As a result, companies do not have an established procedure to evaluate the cost and benefit of implementing these products. In this document, the benefits of implementing a digital rights management product in enterprises are quantified using stochastic Petri nets models and are compared with the security needs of a corporation and potential costs incurred by the implementation process. An evaluating procedure for implementing these products is established. This procedure has the potential to be used to improve the ability of a corporation to make sensible security investment decisions

Mastering operational limitations of LEO satellites – The GOMX-3 approach

When working with space systems the keyword is resources. For a satellite in orbit all resources are sparse and the most critical resource of all is power. It is therefore crucial to have detailed knowledge on how much power is available for an energy harvesting satellite in orbit at every time – especially when in eclipse, where it draws its power from onboard batteries. This paper addresses this problem by a two-step procedure to perform task scheduling for low-earth-orbit (LEO) satellites exploiting formal methods. It combines cost-optimal reachability analyses of priced timed automata networks with a realistic kinetic battery model capable of capturing capacity limits as well as stochastic fluctuations. The procedure is in use for the automatic and resource-optimal day-ahead scheduling of GOMX-3, a power-hungry nanosatellite currently orbiting the earth. We explain how this approach has overcome existing problems, has led to improved designs, and has provided new insights

Model-based development of energy-efficient automation systems

Der Energieverbrauch ist ein immer wichtigeres Entscheidungskriterium, das bei der Suche nach guten architektonischen und gestalterischen Alternativen technischer Systeme einbezogen werden muss. Diese Monographie stellt eine Methodik für das modellbasierte Engineering energieeffizienter Automatisierungssysteme vor. In dieser Monografie wird ein eingebettetes System als eine Kombination der Prozessorhardware und des Softwareteils betrachtet. Im entwickelten Verfahren wird der erste Teil durch ein Betriebsmodell (operational model) beschrieben, das alle möglichen Zustände und Übergänge des betrachteten Systems darstellt. Der letzte Teil wird durch ein Anwendungsmodell (application model) repräsentiert, das den Arbeitsablauf eines konkreten für dieses System erstellten Programms widerspiegelt. Gemeinsam werden die beiden Modelle in ein stochastisches Petri-Netz umgewandelt, um eine Analyse des Systems zu ermöglichen. Die entwickelten Transformationsregeln werden vorgestellt und mathematisch beschrieben. Es ist dann möglich, die Leistungsaufnahme des Systems mittels einer Standardauswertung von Petri-Netzen vorherzusagen. Die UML (vereinheitlichte Modellierungssprache) wird in dieser Monographie für die Modellierung der Echtzeitsysteme verwendet. Die mit dem MARTE-Profil (Modellierung und Analyse der Echtzeit- und eingebetteten Systeme) erweiterten Zustandsübergangsdiagramme sind für die Modellierung und Leistungsbewertung ausgewählt. Die vorgestellte Methodik wird durch eine Implementierung der notwendigen Algorithmen und grafischen Editoren in der integrierten Entwicklungsumgebung TimeNET unterstützt. Die entwickelte Erweiterung implementiert die vorgestellte Methode zur Modellierung und Bewertung des Energieverbrauchs basierend auf den erweiterten UML-Modellen, die nun automatisch in ein stochastisches Petri-Netz transformiert werden können. Der Energieverbrauch des Systems kann dann durch die Analyse-Module für stochastische Petri-Netze von TimeNET vorhergesagt werden. Die Vorteile der vorgeschlagenen Methode werden anhand von Anwendungsbeispielen demonstriert.Power consumption is an increasingly important decision criterion that has to be included in the search for good architectural and design alternatives of technical systems. This monograph presents a methodology for the model-based engineering of energy-aware automation systems. In this monograph, an embedded system is considered as an alliance of the processor hardware and the software part. In the developed method, the former part is described by an operational model, which depicts all possible states and transitions of the system under consideration. The latter part is represented by an application model, which reflects the workflow of a concrete program created for this system. Together, these two models are translated into one stochastic Petri net to make analyzing of the system possible. The developed transformation rules are presented and described mathematically. It is then possible to predict the system’s power consumption by a standard evaluation of Petri nets. The Unified Modeling Language (UML) is used in this monograph for modeling of real-time systems. State machine diagrams extended with the MARTE profile (Modeling and Analysis of Real-Time and Embedded Systems) are chosen for modeling and performance evaluation. The presented methodology is supported by an implementation of the necessary algorithms and graphical editors in the software tool TimeNET. The developed extension implements the presented method for power consumption modeling and evaluation based on the extended UML models, which now can be automatically transformed into a stochastic Petri net. The system’s power consumption can be then predicted by the standard Petri net analysis modules of TimeNET. The methodology is validated and its advantages are demonstrated using application examples