A Markov Chain Model Checker

Markov chains are widely used in the context of performance and reliability evaluation of systems of various nature. Model checking of such chains with respect to a given (branching) temporal logic formula has been proposed for both the discrete [17,6] and the continuous time setting [4,8]. In this paper, we describe a prototype model checker for discrete and continuous-time Markov chains, the Erlangen Twente Markov Chain Checker $(E \vdash MC^2$), where properties are expressed in appropriate extensions of CTL. We illustrate the general bene ts of this approach and discuss the structure of the tool. Furthermore we report on first successful applications of the tool to non-trivial examples, highlighting lessons learned during development and application of $(E \vdash MC^2$)

Bayesian inference for queueing networks and modeling of internet services

Modern Internet services, such as those at Google, Yahoo!, and Amazon, handle billions of requests per day on clusters of thousands of computers. Because these services operate under strict performance requirements, a statistical understanding of their performance is of great practical interest. Such services are modeled by networks of queues, where each queue models one of the computers in the system. A key challenge is that the data are incomplete, because recording detailed information about every request to a heavily used system can require unacceptable overhead. In this paper we develop a Bayesian perspective on queueing models in which the arrival and departure times that are not observed are treated as latent variables. Underlying this viewpoint is the observation that a queueing model defines a deterministic transformation between the data and a set of independent variables called the service times. With this viewpoint in hand, we sample from the posterior distribution over missing data and model parameters using Markov chain Monte Carlo. We evaluate our framework on data from a benchmark Web application. We also present a simple technique for selection among nested queueing models. We are unaware of any previous work that considers inference in networks of queues in the presence of missing data.Comment: Published in at http://dx.doi.org/10.1214/10-AOAS392 the Annals of Applied Statistics (http://www.imstat.org/aoas/) by the Institute of Mathematical Statistics (http://www.imstat.org

Periodic review base-stock replenishment policy with endogenous lead times.

In this paper, we consider a two stage supply chain where the retailer's inventory is controlled by the periodic review, base-stock level (R,S) replenishment policy and the replenishment lead times are endogenously generated by the manufacturer's production system with finite capacity. We extend the work of Benjaafar and Kim (2004) who study the effect of demand variability in a continuously reviewed base-stock policy with single unit demands. In our analysis, we allow for demand in batches of variable size, which is a common setting in supply chains. A procedure is developed using matrix analytic methods to provide an exact calculation of the lead time distribution, which enables the computation of the distribution of lead time demand and consequently the safety stock in an exact way instead of using approximations. Treating the lead time as an endogenous stochastic variable has a substantial impact on safety stock. We numerically show that the exogenous lead time assumption may dramatically degrade customer service.Production/inventory systems; Base-stock replenishment policy; endogenous lead times; Safety stock; Phase-type distribution; Matrix-analytical methods;

Decomposition of discrete-time open tandem queues with Poisson arrivals and general service times

In der Grobplanungsphase vernetzter Logistik- und Produktionssysteme ist man häufig daran interessiert, mit geringem Berechnungsaufwand eine zufriedenstellende Approximation der Leistungskennzahlen des Systems zu bestimmen. Hierbei bietet die Modellierung mittels zeitdiskreter Methoden gegenüber der zeitkontinuierlichen Modellierung den Vorteil, dass die gesamte Wahrscheinlichkeitsverteilung der Leistungskenngrößen berechnet werden kann. Da Produktions- und Logistiksysteme in der Regel so konzipiert sind, dass sie die Leistung nicht im Durchschnitt, sondern mit einer bestimmten Wahrscheinlichkeit (z.B. 95%) zusichern, können zeitdiskrete Warteschlangenmodelle detailliertere Informationen über die Leistung des Systems (wie z.B. der Warte- oder Durchlaufzeit) liefern. Für die Analyse vernetzter zeitdiskreter Bediensysteme sind Dekompositionsmethoden häufig der einzig praktikable und recheneffiziente Ansatz, um stationäre Leistungsmaße in den einzelnen Bediensystemen zu berechnen. Hierbei wird das Netzwerk in die einzelnen Knoten zerlegt und diese getrennt voneinander analysiert. Der Ansatz basiert auf der Annahme, dass der Punktprozess des Abgangsstroms stromaufwärts liegender Stationen durch einen Erneuerungsprozess approximiert werden kann, und so eine unabhängige Analyse der Bediensysteme möglich ist. Die Annahme der Unabhängigkeit ermöglicht zwar eine effiziente Berechnung, führt jedoch zu teilweise starken Approximationsfehlern in den berechneten Leistungskenngrößen. Der Untersuchungsgegenstand dieser Arbeit sind offene zeitdiskrete Tandem-Netzwerke mit Poisson-verteilten Ankünften am stromaufwärts liegenden Bediensystem und generell verteilten Bedienzeiten. Das Netzwerk besteht folglich aus einem stromaufwärts liegenden M/G/1-Bediensystem und einem stromabwärts liegenden G/G/1-System. Diese Arbeit verfolgt drei Ziele, (1) die Defizite des Dekompositionsansatzes aufzuzeigen und dessen Approximationsgüte mittels statistischer Schätzmethoden zu bestimmen, (2) die Autokorrelation des Abgangsprozesses des M/G/1-Systems zu modellieren um die Ursache des Approximationsfehlers erklären zu können und (3) einen Dekompositionsansatz zu entwickeln, der die Abhängigkeit des Abgangsstroms berücksichtigt und so beliebig genaue Annäherungen der Leistungskenngrößen ermöglicht. Im ersten Teil der Arbeit wird die Approximationsgüte des Dekompositionsverfahrens am stromabwärts liegenden G/G/1-Bediensystem mit Hilfe von Linearer Regression (Punktschätzung) und Quantilsregression (Intervallschätzung) bestimmt. Beide Schätzverfahren werden jeweils auf die relativen Fehler des Erwartungswerts und des 95%-Quantils der Wartezeit im Vergleich zu den simulierten Ergebnissen berechnet. Als signifikante Einflussfaktoren auf die Approximationsgüte werden die Auslastung des Systems und die Variabilität des Ankunftsstroms identifiziert. Der zweite Teil der Arbeit fokussiert sich auf die Berechnung der Autokorrelation im Abgangsstroms des M/G/1-Bediensystems. Aufeinanderfolgende Zwischenabgangszeiten sind miteinander korreliert, da die Abgangszeit eines Kunden von dem Systemzustand abhängt, den der vorherige Kunde bei dessen Abgang zurückgelassen hat. Die Autokorrelation ist ursächlich für den Dekompositionsfehler, da die Ankunftszeiten am stromabwärts liegenden Bediensystem nicht unabhängig identisch verteilt sind. Im dritten Teil der Arbeit wird ein neuer Dekompositionsansatz vorgestellt, der die Abhängigkeit im Abgangsstroms des M/G/1-Systems mittels eines semi-Markov Prozesses modelliert. Um eine explosionsartige Zunahme des Zustandsraums zu verhindern, wird ein Verfahren eingeführt, das den Zustandsraum der eingebetteten Markov-Kette beschränkt. Numerischen Auswertungen zeigen, dass die mit stark limitierten Zustandsraum erzielten Ergebnisse eine bessere Approximation bieten als der bisherige Dekompositionsansatz. Mit zunehmender Größe des Zustandsraums konvergieren die Leistungskennzahlen beliebig genau

A tool for model-checking Markov chains

Markov chains are widely used in the context of the performance and reliability modeling of various systems. Model checking of such chains with respect to a given (branching) temporal logic formula has been proposed for both discrete [34, 10] and continuous time settings [7, 12]. In this paper, we describe a prototype model checker for discrete and continuous-time Markov chains, the Erlangen-Twente Markov Chain Checker EÎMC2, where properties are expressed in appropriate extensions of CTL. We illustrate the general benefits of this approach and discuss the structure of the tool. Furthermore, we report on successful applications of the tool to some examples, highlighting lessons learned during the development and application of EÎMC2

Crossings states and sets of states in P\'olya random walks

We consider the P\'olya random walk in $\mathbb{Z}^2$. The paper establishes a number of results for the distributions and expectations of the number of usual (undirected) and specifically defined in the paper up- and down-directed state-crossings and different sets of states crossings. One of the most important results of this paper is that the expected number of undirected state-crossings $\mathbf{n}$ is equal to 1 for any state $\mathbf{n}\in\mathbb{Z}^2\setminus\{\mathbf{0}\}$. As well, the results of the paper are extended to $d$-dimensional random walks, $d\geq2$, in bounded areas.Comment: Dear readers. I made a tremendous work to revise this paper after referee report. There are 30 pages of 11pt format, 4 figures and 1 tabl