Compositional Probabilistic Analysis of Temporal Properties over Stochastic Detectors

Run-time monitoring is a vital part of safety-critical systems. However, early-stage assurance of monitoring quality is currently limited: it relies either on complex models that might be inaccurate in unknown ways, or on data that would only be available once the system has been built. To address this issue, we propose a compositional framework for modeling and analysis of noisy monitoring systems. Our novel 3-value detector model uses probability spaces to represent atomic (non-composite) detectors, and it composes them into a temporal logic-based monitor. The error rates of these monitors are estimated by our analysis engine, which combines symbolic probability algebra, independence inference, and estimation from labeled detection data. Our evaluation on an autonomous underwater vehicle found that our framework produces accurate estimates of error rates while using only detector traces, without any monitor traces. Furthermore, when data is scarce, our approach shows higher accuracy than non-compositional data-driven estimates from monitor traces. Thus, this work enables accurate evaluation of logical monitors in early design stages before deploying them

Certifying Software Component Performance Specifications

In component-based software engineering, performance prediction approaches support the design of business information systems on the architectural level. They are based on behavior specifications of components. This work presents a round-trip approach for using, assessing, and certifying the accuracy of parameterized, probabilistic, deterministic, and concurrent performance specifications. Its applicability and effectiveness are demonstrated using the CoCoME benchmark

Model Checking Cyber-Physical Systems

2017 - 2018Cyber-Physical Systems (CPSs) are integrations of computation with physical processes. Applications of CPS arguably have the potential to overshadow the 20-th century IT revolution. Nowadays, CPSs application to many sectors like Smart Grids, Transportation, and Health help us run our lives and businesses smoothly, successfully and safely. Since malfunctions in these CPSs can have serious, expensive, sometimes fatal consequences, Simulation-based Veri cation (SBV) tools are vital to minimize the probability of errors occurring during the development process and beyond. Their applicability is supported by the increasingly widespread use of Model Based Design (MBD) tools. MBD enables the simulation of CPS models in order to check for their correct behaviour from the very initial design phase. The disadvantage is that SBV for complex CPSs is an extremely resources and time-consuming process, which typically requires several months of simulation. Current SBV tools are aimed at accelerating the veri cation process with mul- tiple simulators working simultaneously. To this end, they compute all the scenarios in advance in such a way as to split and simulate them in parallel. Nevertheless, there are still limitations that prevent a more widespread adop- tion of SBV tools. To this end, we present a MBD methodology aiming the acausual modeling and veri cation via formal-methods, speci cally the model checking techniques, the system under veri cation (SUV). Our approach relies basically on: Firstly, the analysis of the steady-states of the CPS and the bound- ing technique of the system's state in parallel with the simulation in order to identify the state space of the system simulating it only once, then represent it as a Finite State Machine (FSM). Secondly, exhaustively verify the resulted FSM using a symbolic model checker and express the desired properties in classical temporal logic. The application to a power management system is presented as a case study. [edited by Author]XXX cicl

Predictive Runtime Verification of Stochastic Systems

Runtime Verification (RV) is the formal analysis of the execution of a system against some properties at runtime. RV is particularly useful for stochastic systems that have a non-zero probability of failure at runtime. The standard RV assumes constructing a monitor that checks only the currently observed execution of the system against the given properties. This dissertation proposes a framework for predictive RV, where the monitor instead checks the current execution with its finite extensions against some property. The extensions are generated using a prediction model, that is built based on execution samples randomly generated from the system. The thesis statement is that predictive RV for stochastic systems is feasible, effective, and useful. The feasibility is demonstrated by providing a framework, called Prevent, that builds a predictive monitor by using trained prediction models to finitely extend an execution path, and computing the probabilities of the extensions that satisfy or violate the given property. The prediction model is trained using statistical learning techniques from independent and identically distributed samples of system executions. The prediction is the result of a quantitative bounded reachability analysis on the product of the prediction model and the automaton specifying the property. The analysis results are computed offline and stored in a lookup table. At runtime the monitor obtains the state of the system on the prediction model based on the observed execution, directly or by approximation, and uses the lookup table to retrieve the computed probability that the system at the current state will satisfy or violate the given property within some finite number of steps. The effectiveness of Prevent is shown by applying abstraction when constructing the prediction model. The abstraction is on the observation space based on extracting the symmetry relation between symbols that have similar probabilities to satisfy a property. The abstraction may introduce nondeterminism in the final model, which is handled by using a hidden state variable when building the prediction model. We also demonstrate that, under the convergence conditions of the learning algorithms, the prediction results from the abstract models are the same as the concrete models. Finally, the usefulness of Prevent is indicated in real-world applications by showing how it can be applied for predicting rare properties, properties with very low but non-zero probability of satisfaction. More specifically, we adjust the training algorithm that uses the samples generated by importance sampling to generate the prediction models for rare properties without increasing the number of samples and without having a negative impact on the prediction accuracy

Physically informed runtime verification for cyber physical systems

textCyber-physical systems (CPS) are an integration of computation with physical processes. CPS have gained popularity both in industry and the research community and are represented by many varied mission critical applications. Debugging CPS is important, but the intertwining of the cyber and physical worlds makes it very difficult. Formal methods, simulation, and testing are not sufficient in guarantee required correctness. Runtime Verification (RV) provides a perfect complement. However the state of the art in RV lacks either efficiency or expressiveness, and very few RV technologies are specifically designed for CPS. The CPS community requires an intuitive, expressive, and practical RV middleware toolset to improve the state of the art. In this proposal, I take an incremental and realistic approach to identify and address the research challenges in CPS verification and validation. Firstly, I carry out a systematic analysis of the state of the art and state of the practice in verifying and validating CPS using a structured on-line survey, semi-structured interviews, and an exhaustive literature review. From the findings obtained, I identify the key research gaps and propose research directions to address these research gaps. My second work is to work on the most pertinent research direction proposed, which is to provide a practical and physically informed runtime verification tool-sets specifically designed for CPS as a sound foundation to the trial and error practice identified as the state of the art in verifying and validating CPS. I create an expressive yet intuitive language (BraceAssertion) to specify CPS properties. I develop a framework (BraceBind) to supplement CPS runtime verification with a real time simulation environment which is able to integrate physical models from various simulation platform. Based on BraceAssertion and BraceBind, which collectively captures the combination of logical content and physical environment, I develop a practical runtime verification framework (Brace), which is efficient, effective, expressive in capturing both local and global properties, and guarantee predictable runtime monitors behavior even with unpredictable surge of events. I evaluate the tool-set with increasingly complex real CPS applications of smart agent systems.Electrical and Computer Engineerin

Bestimmung der Dienstgütezuverlässigkeit in zusammengesetzten Dienstleistungen im Internet der Dienste

Das Anbieten, die Vermittlung und der Konsum von Softwarekomponenten nach dem Paradigma „Software-as-a-Service“ über das Internet wird zunehmend populärer. Diese so genannten elektronischen Dienstleistungen unterschiedlicher Komplexität werden auf Netzwerkservern zur Verfügung gestellt und können von anderen Anwendungen eingebunden werden. Damit können Ressourcen für die Entwicklung und das Betreiben eigener Dienste eingespart werden. Traditionelle Beispiele solcher Dienste sind Währungsumrechnungen oder Wettervorhersagen , aber auch komplexere Geschäftsprozesse, wie z.B. Rechnungsprüfdienste , werden vermehrt als elektronische Dienste bereitgestellt. Voraussetzung für die Akzeptanz der elektronischen Dienstleistungen ist die Absicherung deren Dienstgüte (engl. Quality of Service). Die Dienstgüte gibt Auskunft darüber, wie gut ein Dienst seine Funktion erbringt. Klassische Parameter sind Antwortzeit oder Verfügbarkeit. Die Betrachtung der Dienstgüte hat für den Dienstnutzer als auch für den Dienstanbieter Vorteile: Durch die Angabe der Dienstgüte kann sich der Dienstanbieter von seiner Konkurrenz abgrenzen, während der zukünftige Dienstnutzer in der Lage ist, die Performanz seiner Systeme, welche den Dienst integrieren, abzuschätzen. Beide Parteien streben eine möglichst hohe Dienstgüte an. Die Bestimmung der Dienstgüte in zusammengesetzten Dienstleistungen wurde in den letzten Jahren viel diskutiert. In diesem Zusammenhang ist besonders die Dienstgütezuverlässigkeit eines Dienstes wichtig. Die Dienstgütezuverlässigkeit gibt an, wie sicher es einem Dienst gelingt, seine Qualitätsversprechen einzuhalten. Je nach Kontext spricht man von relativer oder absoluter Dienstgütezuverlässigkeit. Die relative Dienstgütezuverlässigkeit bezieht sich auf die Fähigkeit eines Dienstes seine Dienstgütegarantien während der nächsten Interaktion einzuhalten, während sich die absolute Dienstgütezuverlässigkeit auf den Zeitraum der nächsten n Interaktionen bezieht. Verletzt ein Dienst eine Dienstgütegarantie, weil er beispielsweise nicht in der vorgegebenen Zeit antwortet, so gefährdet der Dienstnutzer die Performanz seiner Systeme, während der Dienstanbieter mit Strafzahlungen zu rechnen hat. Die Bestimmung der Dienstgütezuverlässigkeit einer zusammengesetzten Dienstleistung hat verschiedene Vorteile. Sie gestattet dem Dienstanbieter z.B. drohende Qualitätsverschlechterungen vorherzusagen und auf diese geeignet zu reagieren. Auch der Dienstnutzer profitiert von der Existenz der Dienstgütezuverlässigkeit. Er kann z.B. das Risiko für seine Systeme besser kalkulieren. Ziel dieser Arbeit ist die Bestimmung der Dienstgütezuverlässigkeit in zusammengesetzten Dienstleistungen. Zu diesem Zweck wird die Dienstgütezuverlässigkeit von Teildiensten auf Basis ihrer Monitoring-Historie vorhergesagt. Die Monitoring-Historie protokolliert für jeden Dienst und jede Dienstgütegarantie, ob in vergangenen Interaktionen Dienstgüteverletzungen stattgefundenen haben. Die Dienstgütezuverlässigkeit eines Teildienstes wird als Verletzungswahrscheinlichkeit gemessen, die angibt, wie wahrscheinlich eine Dienstgüteverletzung durch den Teildienst ist. Für die Vorhersage der relativen Verletzungswahrscheinlichkeit kommt eine Markov-Kette erster Ordnung zum Einsatz. Die Bestimmung der absoluten Verletzungswahrscheinlichkeit beruht auf den Prinzipien der allgemeinen Stochastik. Die Berechnungszeit beträgt in beiden Fällen wenige Millisekunden. Beide Verfahren liefern äußerst zuverlässige Vorhersagewerte. Auf Basis der Verletzungswahrscheinlichkeiten der Teildienste wird die Dienstgütezuverlässigkeit der zusammengesetzten Dienstleistung bestimmt. Sie kann detailliert in Form der Verletzungsmatrix oder als einfacher numerischer Wert in Form der Verletzungszahl angegeben werden. Die Verletzungsmatrix einer Dienstgütegarantie enthält die Eintrittswahrscheinlichkeit für jede mögliche Anzahl von Dienstgüteverletzungen. Ihre Aufstellung erfordert exponentiellen Aufwand. Demgegenüber besitzt die Verletzungszahl eine lineare Berechnungszeit. Sie gibt die Belastung einer Dienstleistung mit Dienstgüteverletzungen an. Die Dienstgütezuverlässig ist dabei umso geringer je kleiner die Werte der Verletzungsmatrix und Verletzungszahl sind

Bestimmung der Dienstgütezuverlässigkeit in zusammengesetzten Dienstleistungen im Internet der Dienste

Das Anbieten, die Vermittlung und der Konsum von Softwarekomponenten nach dem Paradigma „Software-as-a-Service“ über das Internet wird zunehmend populärer. Diese so genannten elektronischen Dienstleistungen unterschiedlicher Komplexität werden auf Netzwerkservern zur Verfügung gestellt und können von anderen Anwendungen eingebunden werden. Damit können Ressourcen für die Entwicklung und das Betreiben eigener Dienste eingespart werden. Traditionelle Beispiele solcher Dienste sind Währungsumrechnungen oder Wettervorhersagen , aber auch komplexere Geschäftsprozesse, wie z.B. Rechnungsprüfdienste , werden vermehrt als elektronische Dienste bereitgestellt. Voraussetzung für die Akzeptanz der elektronischen Dienstleistungen ist die Absicherung deren Dienstgüte (engl. Quality of Service). Die Dienstgüte gibt Auskunft darüber, wie gut ein Dienst seine Funktion erbringt. Klassische Parameter sind Antwortzeit oder Verfügbarkeit. Die Betrachtung der Dienstgüte hat für den Dienstnutzer als auch für den Dienstanbieter Vorteile: Durch die Angabe der Dienstgüte kann sich der Dienstanbieter von seiner Konkurrenz abgrenzen, während der zukünftige Dienstnutzer in der Lage ist, die Performanz seiner Systeme, welche den Dienst integrieren, abzuschätzen. Beide Parteien streben eine möglichst hohe Dienstgüte an. Die Bestimmung der Dienstgüte in zusammengesetzten Dienstleistungen wurde in den letzten Jahren viel diskutiert. In diesem Zusammenhang ist besonders die Dienstgütezuverlässigkeit eines Dienstes wichtig. Die Dienstgütezuverlässigkeit gibt an, wie sicher es einem Dienst gelingt, seine Qualitätsversprechen einzuhalten. Je nach Kontext spricht man von relativer oder absoluter Dienstgütezuverlässigkeit. Die relative Dienstgütezuverlässigkeit bezieht sich auf die Fähigkeit eines Dienstes seine Dienstgütegarantien während der nächsten Interaktion einzuhalten, während sich die absolute Dienstgütezuverlässigkeit auf den Zeitraum der nächsten n Interaktionen bezieht. Verletzt ein Dienst eine Dienstgütegarantie, weil er beispielsweise nicht in der vorgegebenen Zeit antwortet, so gefährdet der Dienstnutzer die Performanz seiner Systeme, während der Dienstanbieter mit Strafzahlungen zu rechnen hat. Die Bestimmung der Dienstgütezuverlässigkeit einer zusammengesetzten Dienstleistung hat verschiedene Vorteile. Sie gestattet dem Dienstanbieter z.B. drohende Qualitätsverschlechterungen vorherzusagen und auf diese geeignet zu reagieren. Auch der Dienstnutzer profitiert von der Existenz der Dienstgütezuverlässigkeit. Er kann z.B. das Risiko für seine Systeme besser kalkulieren. Ziel dieser Arbeit ist die Bestimmung der Dienstgütezuverlässigkeit in zusammengesetzten Dienstleistungen. Zu diesem Zweck wird die Dienstgütezuverlässigkeit von Teildiensten auf Basis ihrer Monitoring-Historie vorhergesagt. Die Monitoring-Historie protokolliert für jeden Dienst und jede Dienstgütegarantie, ob in vergangenen Interaktionen Dienstgüteverletzungen stattgefundenen haben. Die Dienstgütezuverlässigkeit eines Teildienstes wird als Verletzungswahrscheinlichkeit gemessen, die angibt, wie wahrscheinlich eine Dienstgüteverletzung durch den Teildienst ist. Für die Vorhersage der relativen Verletzungswahrscheinlichkeit kommt eine Markov-Kette erster Ordnung zum Einsatz. Die Bestimmung der absoluten Verletzungswahrscheinlichkeit beruht auf den Prinzipien der allgemeinen Stochastik. Die Berechnungszeit beträgt in beiden Fällen wenige Millisekunden. Beide Verfahren liefern äußerst zuverlässige Vorhersagewerte. Auf Basis der Verletzungswahrscheinlichkeiten der Teildienste wird die Dienstgütezuverlässigkeit der zusammengesetzten Dienstleistung bestimmt. Sie kann detailliert in Form der Verletzungsmatrix oder als einfacher numerischer Wert in Form der Verletzungszahl angegeben werden. Die Verletzungsmatrix einer Dienstgütegarantie enthält die Eintrittswahrscheinlichkeit für jede mögliche Anzahl von Dienstgüteverletzungen. Ihre Aufstellung erfordert exponentiellen Aufwand. Demgegenüber besitzt die Verletzungszahl eine lineare Berechnungszeit. Sie gibt die Belastung einer Dienstleistung mit Dienstgüteverletzungen an. Die Dienstgütezuverlässig ist dabei umso geringer je kleiner die Werte der Verletzungsmatrix und Verletzungszahl sind

Monitoring probabilistic properties

Monitoring allows for checking if a system fulfils its requirements at runtime. This is required for quality assurance purposes. Currently several approaches exist to monitor standard and timing properties. However, a current challenge is to provide a comprehensive approach for monitoring probabilistic properties, as they are used to formulate performance, reliability, safety, and availability requirements. The main problem of these probabilistic properties is that there is no binary acceptance condition. To overcome this problem, this paper describes a monitoring approach called ProMo that is based on acceptance sampling and sequential hypothesis testing. This approach is validated based on several experiments that have been performed on an example system which provides medical assistance in remote areas