Control problems on infinite horizon subject to time-dependent pure state constraints

In the last decades, control problems with infinite horizons and discount factors have become increasingly central not only for economics but also for applications in artificial intelligence and machine learning. The strong links between reinforcement learning and control theory have led to major efforts towards the development of algorithms to learn how to solve constrained control problems. In particular, discount plays a role in addressing the challenges that come with models that have unbounded disturbances. Although algorithms have been extensively explored, few results take into account time-dependent state constraints, which are imposed in most real-world control applications. For this purpose, here we investigate feasibility and sufficient conditions for Lipschitz regularity of the value function for a class of discounted infinite horizon optimal control problems subject to time-dependent constraints. We focus on problems with data that allow nonautonomous dynamics, and Lagrangian and state constraints that can be unbounded with possibly nonsmooth boundaries

Partial Lipschitz regularity of the minimum time function for sub-Riemannian control systems

In Euclidean space of dimension 2 or 3, we study a minimum time problem associated with a system of real-analytic vector fields satisfying H\"ormander's bracket generating condition, where the target is a nonempty closed set. We show that, in dimension 2, the minimum time function is locally Lipschitz continuous while, in dimension 3, it is Lipschitz continuous in the complement of a set of measure zero. In particular, in both cases, the minimum time function is a.e. differentiable on the complement of the target. In dimension 3, in general, there is no hope to have the same regularity result as in dimension 2. Indeed, examples are known where the minimum time function fails to be locally Lipschitz continuous.Comment: 18 pages, no figure

Problèmes de contrôle d'horizon infini sous contraintes d'état et équations de Hamilton-Jacobi-Bellman

In this thesis we address infinite horizon control problems subject to state constraints. Partial and full sensitivity relations are obtained for nonautonomous optimal control problems in this setting, assuming the associated value function to be locally Lipschitz in the state. We also discuss sufficient conditions for the Lipschitz regularity of the value function. We focus on problems with cost functionals admitting a discount factor and allow time dependent dynamics and Lagrangians. Furthermore, state constraints may be unbounded and may have a nonsmooth boundary. Lipschitz regularity is recovered as a consequence of estimates on the distance of a given trajectory from the set of all its viable (feasible) trajectories, provided the discount rate is sufficiently large. We investigate as well the existence and uniqueness of weak solutions of nonautonomous Hamilton-Jacobi-Bellman equations on the domain (0, ∞) × A. The Hamiltonian is assumed to be merely measurable in time and the set A is closed. When state constraints arise, the classical analysis of the Hamilton-Jacobi-Bellman equation lacks an appropriate notion of solution because continuous solutions may not exist. In this work, we propose a notion of weak solution for which, under a suitable controllability assumption, existence and uniqueness theorems are valid in the class of lower semicontinuous functions vanishing at infinity. Finally, we study an autonomous Hamilton-Jacobi-Bellman equation, with Dirichlet boundary conditions, on a compact subset. We give semiconcavity results on its (unique) solution and sensitivity relations in terms of differential inclusions, extending a known result for the point-to-point sub-Riemannian distance when the Hörmander condition holds true.Dans cette thèse, nous abordons des problèmes de contrôle optimal non autonomes à l’horizon infini soumis à des contraintes d’état. Des relations de sensibilité, partielle et totale, sont obtenues, en supposant que la fonction valeur associée soit localement Lipschitzienne par rapport à la variable d’état. Nous discutons également des conditions suffisantes pour la régularité Lipschitz de la fonction valeur. Nous nous concentrons sur les problèmes liés aux fonctions de coût admettant un facteur d’actualisation, avec la dynamique et le Lagrangien dépendant du temps. De plus, les contraintes d’état peuvent être non-bornés et peuvent avoir une frontière non lisse. La régularité Lipschitz est obtenue à partir d’estimations sur la distance d’une trajectoire donnée de l’ensemble de toutes les trajectoires viables, à condition que le taux d’actualisation soit suffisamment élevé. Nous étudions également l’existence et l’unicité des solutions faibles des équations non autonomes d’Hamilton-Jacobi-Bellman sur un domaine de la forme (0, ∞)×A. L’Hamiltonien est supposé être uniquement mesurable par rapport au temps et l’ensemble A est fermé. En présence de contraintes d’état, (en général) l’équation d’Hamilton-Jacobi-Bellman n’admet pas de solutions continues. Dans ce travail, nous proposons une notion de solution faible pour laquelle, sous une hypothèse de contrôlabilité appropriée, les théorèmes d’existence et d’unicité sont valides dans la classe des fonctions semicontinues inférieurement s’annulant à l’infini. Enfin, nous étudions une équation autonome d’Hamilton-Jacobi-Bellman sur un sous-ensemble compact, avec des conditions de Dirichlet sur la frontière. Dans ce contexte, nous obtenons des résultats de semi-concavité de l’unique solution de l’équation et les relations de sensibilité sous la forme d’inclusions différentielles. Nous étendons ainsi un résultat connu pour la distance sous-Riemannienne sous la condition d’Hörmander

Problèmes de contrôle à l’horizon infini soumis à des contraintes d’état et équations de Hamilton-Jacobi-Bellman

Dans cette thèse, nous abordons des problèmes de contrôle optimal non autonomes à l’horizon infini soumis à des contraintes d’état. Des relations de sensibilité, partielle et totale, sont obtenues, en supposant que la fonction valeur associée soit localement Lipschitzienne par rapport à la variable d’état. Nous discutons également des conditions suffisantes pour la régularité Lipschitz de la fonction valeur. Nous nous concentrons sur les problèmes liés aux fonctions de coût admettant un facteur d’actualisation, avec la dynamique et le Lagrangien dépendant du temps. De plus, les contraintes d’état peuvent être non-bornés et peuvent avoir une frontière non lisse. La régularité Lipschitz est obtenue à partir d’estimations sur la distance d’une trajectoire donnée de l’ensemble de toutes les trajectoires viables, à condition que le taux d’actualisation soit suffisamment élevé. Nous étudions également l’existence et l’unicité des solutions faibles des équations non autonomes d’Hamilton-Jacobi-Bellman sur un domaine de la forme (0, ∞)×A. L’Hamiltonien est supposé être uniquement mesurable par rapport au temps et l’ensemble A est fermé. En présence de contraintes d’état, (en général) l’équation d’Hamilton-Jacobi-Bellman n’admet pas de solutions continues. Dans ce travail, nous proposons une notion de solution faible pour laquelle, sous une hypothèse de contrôlabilité appropriée, les théorèmes d’existence et d’unicité sont valides dans la classe des fonctions semi-continues inférieurement s’annulant à l’infini. Enfin, nous étudions une équation autonome d’Hamilton-Jacobi-Bellman sur un sous-ensemble compact, avec des conditions de Dirichlet sur la frontière. Dans ce contexte, nous obtenons des résultats de semi-concavité de l’unique solution de l’équation et les relations de sensibilité sous la forme d’inclusions différentielles. Nous étendons ainsi un résultat connu pour la distance sous-Riemannienne sous la condition d’Hörmander.In this thesis we address infinite horizon control problems subject to state constraints. Partial and full sensitivity relations are obtained for nonautonomous optimal control problems in this setting, assuming the associated value function to be locally Lipschitz in the state. We also discuss sufficient conditions for the Lipschitz regularity of the value function. We focus on problems with cost functionals admitting a discount factor and allow time dependent dynamics and Lagrangians. Furthermore, state constraints may be unbounded and may have a nonsmooth boundary. Lipschitz regularity is recov- ered as a consequence of estimates on the distance of a given trajectory from the set of all its viable (feasible) trajectories, provided the discount rate is sufficiently large. We investigate as well the existence and uniqueness of weak solutions of nonautonomous Hamilton-Jacobi-Bellman equations on the domain (0, ∞) × A. The Hamiltonian is assumed to be merely measurable in time and the set A is closed. When state constraints arise, the classical analysis of the Hamilton-Jacobi-Bellman equation lacks an appropriate notion of solution because continuous solutions may not exist. In this work, we propose a notion of weak solution for which, under a suitable controllability assumption, existence and uniqueness theorems are valid in the class of lower semicontinuous functions vanishing at infinity. Finally, we study an autonomous Hamilton-Jacobi-Bellman equation, with Dirichlet boundary conditions, on a compact subset. We give semiconcavity results on its (unique) solution and sensitivity relations in terms of differential inclusions, extending a known result for the point-to-point sub-Riemannian distance when the Hörmander condition holds true

Semiconcavity results and sensitivity relations for the sub-Riemannian distance

International audienceRegularity properties are investigated for the value function of the Bolza optimal control problem with affine dynamic and end-point constraints. In the absence of singular geodesics, we prove the local semiconcavity of the sub-Riemannian distance from a compact set Γ ⊂ R n. Such a regularity result was obtained by the second author and L. Rifford in [Semiconcavity results for optimal control problems admitting no singular minimizing controls, Annales de l'IHP Analyse non linéaire 25(4): 2008 ] when Γ is a singleton. Furthermore, we derive sensitivity relations for time optimal control problems with general target sets Γ, that is, without imposing any geometric assumptions on Γ

Necessary conditions for infinite horizon optimal control problems with state constraints

International audiencePartial and full sensitivity relations are obtained for nonauto-nomous optimal control problems with infinite horizon subject to state constraints , assuming the associated value function to be locally Lipschitz in the state. Sufficient structural conditions are given to ensure such a Lipschitz regularity in presence of a positive discount factor, as it is typical of macroeconomics models