State space exploration in Markov Models

Abstract

Performance and dependability analysis is usually based on Markov models. One of the main problems faced by the analyst is the large state space cardinality of the Markov chain associated with the model, which precludes not only the model solution, but also the generation of the transition rate matrix. However, in many real system models, most of the probability mass is concentred in a small number of states in comparison with the whole state space. Therefore, performability measures may be accurately evaluated from these "high probable" states. In this paper, we present as algorithm to generate the most probable state the is more efficient than previous algorithms in the literature. We also address the problem of calculating measures of interest and show how bounds on some measures can b efficiently calculated.Análise de desempenho e dependabilidade baseia-se usualmente em modelos Markovianos. Um dos principais problemas que o analista encontra é a grande cardinalidade do espaço de estados da cadeias de Markov associada ao modelo, o que impede não somente a solução do modelo, mas também a geração da matriz de transição de estados. Entretanto, em muitos modelos de sistemas reais, a maioria da massa de probabilidade está concentrada em um pequeno número de estados em comparação com a totalidade do espaço dos estados. Por conseguinte, medidas de desempenhabilidade ('performability') podem ser avaliadas com precisão a partir desses estados mais prováveis. Neste artigo, apresentamos um algoritmo de geração dos estados mais prováveis que é mais eficiente que algoritmos anteriormente propostos na literatura. Abordaremos também o problema de cálculo das medidas de interesse e mostraremos como limites para algumas medidas podem ser eficientemente calculados