Modélisation de la faisabilité d'action dans le POMDP avec des préconditions booléennes

En planification classique, une précondition sur une action est une formule booléenne, qui vérifie si une action est réalisable pour un état donné. Cet élément crucial pour des applications réalistes, où par exemple des actions considérées dangereuses doivent être éliminées, n'a pas été formellement modélisé pour les POMDPs à notre connaissance. Une raison est que les préconditions sont définies sur des états, i.e. le domaine d'application de l'action, alors que les décisions prises dans un POMDP sont définies sur l'état de croyance courant de l'agent. Définir simplement des préconditions sur des états de croyance n'est pas suffisant, puisque chaque état de croyance peut-être défini sur plusieurs états, et il n'y a pas de garantie d'éviter que l'agent applique une action infaisable. Augmenter l'espace d'observations avec des actions réalisables n'est pas non plus satisfaisant, d'abord parce que l'information sur les actions applicables est obtenue, par définition, après la décision et, de plus, le processus d'optimisation continuera de maximiser la valeur de l'état de croyance courant sur toutes les actions du modèle. Ainsi, nous proposons une extension du modèle traditionnel des POMDP qui, via une étape additionnelle d'information sémantiquement différente de l'observation standard,permet à l'agent de connaître avec certitude l'ensemble d'actions réalisables avant de décider de la meilleure action à appliquer. Cette étape additionnelle d'information, qui ne nécessite pas de connaître complètement l'état courant de l'agent, requiert une modification significative du modèle de décision, pour lequel nous fournissons un nouveau schéma d'optimisation. Nous comparons la valeur des trajectoires des politiques optimisées pour le modèle traditionnel et pour le modèle proposé, et nous montrons que nos politiques s'avèrent toujours sûres, i.e. sans danger, et expriment donc une valeur plus importante pour des problèmes avec observabilité partielle qui présentent naturellement des préconditions booléennes

Planification multi-niveaux avec expertise humaine

La planification automatique est un domaine de recherche de l Intelligence Artificielle qui vise à calculer automatiquement une séquence d actions menant d un état initial donné à un but souhaité. Cependant, résoudre des problèmes réalistes est généralement difficile car trouver un chemin solution peut demander d explorer un nombre d états croissant exponentiellement avec le nombre de variables. Pour faire face à cette explosion combinatoire, les algorithmes performants ont recours aux heuristiques ou à des solutions hiérarchiques, décomposant le problème en sous-problèmes plus petits et plus simples. Dans une grande majorité des cas, le planificateur doit prendre en compte un certain nombre de contraintes telles que des phases d actions prédéfinies ou des protocoles. Ces contraintes aident à résoudre le problème en élaguant un grand nombre de branches de l arbre de recherche. Nous proposons alors une nouvelle méthode pour modéliser et résoudre des problèmes de planification déterministe en se basant sur une approche hiérarchique et heuristique. Nous nous sommes inspirés des formalismes de programmation structurée afin de fournir à l utilisateur un cadre de travail plus intuitif pour la modélisation des domaines de planification hiérarchique. D autre part, nous avons proposé un algorithme de planification capable d exploiter ce formalisme et composer des stratégies à différents niveaux de granularité, ce qui lui permet de planifier rapidement une stratégie globale, tout en étant en mesure de pallier aux difficultés rencontrées à plus bas niveau. Cet algorithme a fait ses preuves face au principal planificateur HTN, SHOP2, sur des problèmes de planification classique.Automated planning is a field of Artificial Intelligence which aims at automatically computing a sequence of actions that lead to some goals from a given initial state. However, solving realistic problems is challenging because finding a solution path may require to explore an exponential number of states with regard to the number of state variables. To cope with this combinatorial explosion, efficient algorithms use heuristics, which guide the search towards optimistic or approximate solutions. Remarkably, hierarchical methods iteratively decompose the planning problem into smaller and much simpler ones. In a vast majority of problems, the planner must deal with constraints, such as multiple predefined phases or protocols. Such constraints generally help solving the planning problem, because they prune lots of search paths where these constraints do not hold. In this thesis, we assume that these constraints are known and given to the planner. We thus propose a new method to model and solve a deterministic planning problem, based on a hierarchical and heuristic approach and taking advantage of these constraints. We inspired ourselves from structured programming formalisms in order to offer a more intuitive modeling framework in the domain of hierarchical planning to the user. We also proposed a planning algorithm able to exploit this formalism and build strategies at various levels of granularity, thus allowing to plan quickly a global strategy, while still being able to overcome the difficulties at lower level. This algorithm showed its performances compared with the main HTN planner, SHOP2, on classical planning problems.TOULOUSE-ISAE (315552318) / SudocSudocFranceF

Planification de perception et de mission en environnement incertain : Application à la détection et à la reconnaissance de cibles par un hélicoptère autonome

Mobile and aerial robots are faced to the need of planning actions with incomplete information about the state of theworld. In this context, this thesis proposes a modeling and resolution framework for perception and mission planningproblems where an autonomous helicopter must detect and recognize targets in an uncertain and partially observableenvironment. We founded our work on Partially Observable Markov Decision Processes (POMDPs), because it proposes ageneral optimization framework for perception and decision tasks under long-term horizon. A special attention is given tothe outputs of the image processing algorithm in order to model its uncertain behavior as a probabilistic observationfunction. A critical study on the POMDP model and its optimization criterion is also conducted. In order to respect safetyconstraints of aerial robots, we then propose an approach to properly handle action feasibility constraints in partiallyobservable domains: the AC-POMDP model, which distinguishes between the verification of environmental properties andthe information about targets' nature. Furthermore, we propose a framework to optimize and execute POMDP policies inparallel under time constraints. This framework is based on anticipated and probabilistic optimization of future executionstates of the system. Finally, we embedded this algorithmic framework on-board Onera's autonomous helicopters, andperformed real flight experiments for multi-target detection and recognition missions.Les agents robotiques mobiles ou aériens sont confrontés au besoin de planifier des actions avec information incomplète sur l'état du monde. Dans ce contexte, cette thèse propose un cadre de modélisation et de résolution de problèmes de planification de perception et de mission pour un drone hélicoptère qui évolue dans un environnement incertain et partiellement observé afin de détecter et de reconnaître des cibles. Nous avons fondé notre travail sur les Processus Décisionnels Markoviens Partiellement Observables (POMDP), car ils proposent un schéma d'optimisation général pour les tâches de perception et de décision à long terme. Une attention particulière est donnée à la modélisation des sorties incertaines de l'algorithme de traitement d'image en tant que fonction d'observation. Une analyse critique de la mise en oeuvre en pratique du modèle POMDP et du critère d'optimisation associé est proposée. Afin de respecter les contraintes de sécurité et de sûreté de nos robots aériens, nous proposons ensuite une approche pour tenir compte des propriétés de faisabilité d'actions dans des domaines partiellement observables : le modèle AC-POMDP, qui sépare l'information concernant la vérification des propriétés du modèle, de celle qui renseigne sur la nature des cibles. Enfin, nous proposons un cadre d'optimisation et d'exécution en parallèle de politiques POMDP en temps contraint. Ce cadre est basé sur une optimisation anticipée et probabilisée des états d'exécution futurs du système. Nous avons embarqué ce cadre algorithmique sur les hélicoptères autonomes de l'Onera, et l'avons testé en vol et en environnement réel sur une mission de détection et reconnaissance de cibles