Probabilistic Reachability for Parametric Markov Models

Abstract. Given a parametric Markov model, we consider the problem of computing the rational function expressing the probability of reaching a given set of states. To attack this principal problem, Daws has suggested to first convert the Markov chain into a finite automaton, from which a regular expression is computed. Afterwards, this expression is evaluated to a closed form function representing the reachability probability. This paper investigates how this idea can be turned into an effective procedure. It turns out that the bottleneck lies in the growth of the regular expression relative to the number of states (nΘ(logn)). We therefore proceed differently, by tightly intertwining the regular expression computation with its evaluation. This allows us to arrive at an effective method that avoids this blow up in most practical cases. We give a detailed account of the approach, also extending to parametric models with rewards and with non-determinism. Experimental evidence is provided, illustrating that our implementation provides meaningful insights on non-trivial models.

Le problème de la valeur dans les jeux stochastiques

La théorie des jeux est un outils standard quand il s'agit de l'étude des systèmes réactifs. Ceci est une conséquence de la variété des modèle de jeux tant au niveau de l'interaction des joueurs qu'au niveau de l'information que chaque joueur possède.Dans cette thèse, on étudie le problème de la valeur pour des jeux où les joueurs possèdent une information parfaite, information partiel et aucune information. Dans le cas où les joueurs possèdent une information parfaite sur l'état du jeu,on étudie le problème de la valeur pour des jeux dont les objectifs sont des combinaisons booléennes d'objectifs qualitatifs et quantitatifs.Pour les jeux stochastiques à un joueur, on montre que les valeurs sont calculables en temps polynomiale et on montre que les stratégies optimalespeuvent être implementées avec une mémoire finie.On montre aussi que notre construction pour la conjonction de parité et de la moyenne positivepeut être étendue au cadre des jeux stochastiques à deux joueurs. Dans le cas où les joueurs ont une information partielle,on étudie le problème de la valeur pour la condition d'accessibilité.On montre que le calcul de l'ensemble des états à valeur 1 est un problème indécidable,on introduit une sous classe pour laquelle ce problème est décidable.Le problème de la valeur 1 pour cette sous classe est PSPACE-complet dansle cas de joueur aveugle et dans EXPTIME dans le cas de joueur avec observations partielles.Game theory proved to be very useful in the fieldof verification of open reactive systems. This is due to the widevariety of games' model that differ in the way players interactand the amount of information players have.In this thesis, we study the value problem forgames where players have full knowledge on their current configurationof the game, partial knowledge, and no knowledge.\\In the case where players have perfect information,we study the value problem for objectives that consist in combinationof qualitative and quantitative conditions.In the case of one player stochastic games, we show thatthe values are computable in polynomial time and show thatthe optimal strategies exist and can be implemented with finite memory.We also showed that our construction for parity and positive-average Markov decisionprocesses extends to the case of two-player stochastic games.\\In the case where the players have partial information,we study the value problem for reachability objectives.We show that computing the set of states with value 1 is an undecidableproblem and introduce a decidable subclass for the value 1 problem.This sub class is PSPACE-complete in the case of blind controllersand EXPTIME is the setting of games with partial observations.BORDEAUX1-Bib.electronique (335229901) / SudocSudocFranceF

ProbMela and Verification of Markov Decision Processes

Markov decision processes (MDP) can serve as operational model for probabilistic distributed systems and yield the basis for model checking algorithms against qualitative or quantitative properties. In this paper, we summarize the main steps of a quantitative analysis for a given MDP and formula of linear temporal logic, give an introduction to the modelling language ProbMela which provides a simple and intuitive way to describe complex systems with a MDP-semantics and present the basic features of the MDP model checker LiQuor.