Positive invariance of polyhedrons and comparison of Markov reward models with different state spaces

The attached file may be somewhat different from the published versionInternational audienceIn this paper, we discuss the comparison of expected rewards for discrete-time reward Markov chains with different state spaces. Necessary and sufficient conditions for such a comparison are derived. Due to the special nature of the introduced binary relation, a criterion may be formulated in terms of an inclusion of polyhedral sets. Then, algebraic and geometric forms are easily obtained from Haar's Lemma. Our results allow us to discuss some earlier results on the stochastic comparison of functions of Markov chains

Idempotent versions of Haar’s Lemma: links between comparison of discrete event systems with different state spaces and control

summary:Haar's Lemma (1918) deals with the algebraic characterization of the inclusion of polyhedral sets. This Lemma has been involved many times in automatic control of linear dynamical systems via positive invariance of polyhedrons. More recently, it has been used to characterize stochastic comparison w.r.t. linear/integral ordering of Markov (reward) chains. In this paper we develop a state space oriented approach to the control of Discrete Event Systems (DES) based on the remark that most of control constraints of practical interest are naturally expressed as the inclusion of two systems of linear (w.r.t. idempotent semiring or semifield operations) inequalities. Thus, we establish tropical version of Haar's Lemma to obtain the algebraic characterization of such inclusion. As in the linear case this Lemma exhibits the links between two apparently different problems: comparison of DES and control via positive invariance. Our approach to the control differs from the ones based on formal series and is a kind of dual approach of the geometric one recently developed. Control oriented applications of the main results of the paper are given. One of these applications concerns the study of transportation networks which evolve according to a time table. Although complexity of calculus is discussed the algorithmic implementation needs further work and is beyond the scope of this paper

Approche de commande de systèmes à événements discrets via des techniques de comparaison stochastique

Ce travail porte sur la commande de systèmes à événements discrets via des techniques de comparaison stochastique. Les systèmes à événements discrets sont des systèmes dynamiques qui évoluent de façon discontinue. On s intéresse en particulier à ceux de ces systèmes qui peuvent être représentés par des itérés de fonctions linéaires aléatoires (chaînes de Markov), ou par des itérés de fonctions linéaires dans l'algèbre des dioïdes (systèmes max-plus linéaires). D'abord, nous nous sommes intéressés à l'évaluation de mesures quantitatives du comportement en régime transitoire de chaînes de Markov. Pour les processus issus du monde réel, on se heurte au problème de l explosion combinatoire du temps de calculs et de la taille de l'espace d états. Pour y remédier, des techniques d'agrégation bornantes basées sur la comparaison de chaînes de Markov de dimensions différentes, dont le but principal est le calcul de bornes, sont proposées. Ces méthodes de comparaison sont inspirées par la théorie des ordres stochastiques et sont formulées sous la forme de plusieurs critères, à savoir un critère géométrique basé sur l inclusion de polyèdres, un critère d invariance positive d ensembles, et un critère algébrique basé sur le Lemme de Haar donné en 1918. Des concepts similaires peuvent être énoncés pour des systèmes max-plus linéaires. Comme pour les chaînes de Markov, des techniques de comparaison de systèmes max-plus linéaires sont proposées, dont les deux objectifs principaux sont la simplification de modèles et le contrôle via l invariance positive d ensembles. Enfin, nous explorons la propriété d invariance positive d ensemble max-plus linéaires et en particulier des ensembles max-plus ellipsoïdaux. Ces ensembles ne sont autres que des ensembles polyédriques dans l algèbre linéaire habituelle. Les caractérisations d invariance positive de telles classes de systèmes max-plus linéaires sont formulées sous la forme d inclusion de polyèdres dans l algèbre linéaire. On en déduit des conditions d existence et de calcul de lois de commande par retour d état linéaire statique, basé sur la gamma-algorithme, pour des systèmes dynamiques.Ce travail porte sur la commande de systèmes à événements discrets via des techniques de comparaison stochastique. Les systèmes à événements discrets sont des systèmes dynamiques qui évoluent de façon discontinue. On s intéresse en particulier à ceux de ces systèmes qui peuvent être représentés par des itérés de fonctions linéaires aléatoires (chaînes de Markov), ou par des itérés de fonctions linéaires dans l'algèbre des dioïdes (systèmes max-plus linéaires). D'abord, nous nous sommes intéressés à l'évaluation de mesures quantitatives du comportement en régime transitoire de chaînes de Markov. Pour les processus issus du monde réel, on se heurte au problème de l explosion combinatoire du temps de calculs et de la taille de l'espace d états. Pour y remédier, des techniques d'agrégation bornantes basées sur la comparaison de chaînes de Markov de dimensions différentes, dont le but principal est le calcul de bornes, sont proposées. Ces méthodes de comparaison sont inspirées par la théorie des ordres stochastiques et sont formulées sous la forme de plusieurs critères, à savoir un critère géométrique basé sur l inclusion de polyèdres, un critère d invariance positive d ensembles, et un critère algébrique basé sur le Lemme de Haar donné en 1918. Des concepts similaires peuvent être énoncés pour des systèmes max-plus linéaires. Comme pour les chaînes de Markov, des techniques de comparaison de systèmes max-plus linéaires sont proposées, dont les deux objectifs principaux sont la simplification de modèles et le contrôle via l invariance positive d ensembles. Enfin, nous explorons la propriété d invariance positive d ensemble max-plus linéaires et en particulier des ensembles max-plus ellipsoïdaux. Ces ensembles ne sont autres que des ensembles polyédriques dans l algèbre linéaire habituelle. Les caractérisations d invariance positive de telles classes de systèmes max-plus linéaires sont formulées sous la forme d inclusion de polyèdres dans l algèbre linéaire. On en déduit des conditions d existence et de calcul de lois de commande par retour d état linéaire statique, basé sur la gamma-algorithme, pour des systèmes dynamiques.NANTES-BU Sciences (441092104) / SudocNANTES-Ecole Centrale (441092306) / SudocSudocFranceF