Planning for perception and perceiving for decision: POMDP-like online optimization in large complex robotics missions

This ongoing phD work aims at proposing a unified framework to optimize both perception and task planning using extended Partially Observable Markov Decision Processes (POMDPs). Targeted applications are large complex aerial robotics missions where the problem is too large to be solved off-line, and acquiring information about the environment is as important as achieving some symbolic goals. Challenges of this work include: (1) optimizing a dual objective in a single decision-theoretic framework, i.e. environment perception and goal achievement ; (2) properly dealing with action preconditions on belief states in order to guarantee safety constraints or physical limitations, what is crucial in aerial robotics ; (3) modeling the symbolic output of image processing algorithms as input of the POMDP's observation function ; (4) parallel optimization and execution of POMDP policies in constrained time. A global view of each of these topics are presented, as well as some ongoing experimental results

Planification de perception et de mission en environnement incertain : Application à la détection et à la reconnaissance de cibles par un hélicoptère autonome

Mobile and aerial robots are faced to the need of planning actions with incomplete information about the state of theworld. In this context, this thesis proposes a modeling and resolution framework for perception and mission planningproblems where an autonomous helicopter must detect and recognize targets in an uncertain and partially observableenvironment. We founded our work on Partially Observable Markov Decision Processes (POMDPs), because it proposes ageneral optimization framework for perception and decision tasks under long-term horizon. A special attention is given tothe outputs of the image processing algorithm in order to model its uncertain behavior as a probabilistic observationfunction. A critical study on the POMDP model and its optimization criterion is also conducted. In order to respect safetyconstraints of aerial robots, we then propose an approach to properly handle action feasibility constraints in partiallyobservable domains: the AC-POMDP model, which distinguishes between the verification of environmental properties andthe information about targets' nature. Furthermore, we propose a framework to optimize and execute POMDP policies inparallel under time constraints. This framework is based on anticipated and probabilistic optimization of future executionstates of the system. Finally, we embedded this algorithmic framework on-board Onera's autonomous helicopters, andperformed real flight experiments for multi-target detection and recognition missions.Les agents robotiques mobiles ou aériens sont confrontés au besoin de planifier des actions avec information incomplète sur l'état du monde. Dans ce contexte, cette thèse propose un cadre de modélisation et de résolution de problèmes de planification de perception et de mission pour un drone hélicoptère qui évolue dans un environnement incertain et partiellement observé afin de détecter et de reconnaître des cibles. Nous avons fondé notre travail sur les Processus Décisionnels Markoviens Partiellement Observables (POMDP), car ils proposent un schéma d'optimisation général pour les tâches de perception et de décision à long terme. Une attention particulière est donnée à la modélisation des sorties incertaines de l'algorithme de traitement d'image en tant que fonction d'observation. Une analyse critique de la mise en oeuvre en pratique du modèle POMDP et du critère d'optimisation associé est proposée. Afin de respecter les contraintes de sécurité et de sûreté de nos robots aériens, nous proposons ensuite une approche pour tenir compte des propriétés de faisabilité d'actions dans des domaines partiellement observables : le modèle AC-POMDP, qui sépare l'information concernant la vérification des propriétés du modèle, de celle qui renseigne sur la nature des cibles. Enfin, nous proposons un cadre d'optimisation et d'exécution en parallèle de politiques POMDP en temps contraint. Ce cadre est basé sur une optimisation anticipée et probabilisée des états d'exécution futurs du système. Nous avons embarqué ce cadre algorithmique sur les hélicoptères autonomes de l'Onera, et l'avons testé en vol et en environnement réel sur une mission de détection et reconnaissance de cibles

Multi-target detection and recognition by UAVs using online POMDPs

This paper tackles high-level decision-making techniques for robotic missions, which involve both active sensing and symbolic goal reaching, under uncertain probabilistic environments and strong time constraints. Our case study is a POMDP model of an online multi-target detection and recognition mission by an autonomous UAV.The POMDP model of the multi-target detection and recognition problem is generated online from a list of areas of interest, which are automatically extracted at the beginning of the flight from a coarse-grained high altitude observation of the scene. The POMDP observation model relies on a statistical abstraction of an image processing algorithm's output used to detect targets. As the POMDP problem cannot be known and thus optimized before the beginning of the flight, our main contribution is an ``optimize-while-execute'' algorithmic framework: it drives a POMDP sub-planner to optimize and execute the POMDP policy in parallel under action duration constraints. We present new results from real outdoor flights and SAIL simulations, which highlight both the benefits of using POMDPs in multi-target detection and recognition missions, and of our`optimize-while-execute'' paradigm

Backstepping control law application to path tracking with an indoor quadrotor

This paper presents an application of the backstepping control to a path tracking mission using an indoor quadrotor. This study case starts on modeling the quadrotor dynamics in order to design a backstepping control which we applied directly to the Lagrangian dynamic equations. The backstepping control is chosen due to its applicability to this class of nonlinear and under-actuate system. To test the designed control law, a complete quadrotor model identification was performed, using a motion capture system. The procedure used to obtain a good model approximation is presented. Experimental results illustrate the validity of the designed control law, including rich simulations and real indoor flight tests

Towards a MOMDP model for UAV safe path planning in urban environment

This paper tackles a problem of UAV safe path planning in an urban environment in which UAV is at risks of GPS signal occlusion and obstacle collision. The key idea is to perform the UAV path planning along with its navigation and guidance mode planning, where each of these modes uses different sensors whose availability and performance are environment-dependent. A partial knowledge on the environment is supposed to be available in the form of probability maps of obstacles and sensor availabilities. This paper proposes a planner model based on Mixed Observability Markov Decision Process (MOMDP). It allows the planner to propagate such probability map information to the future path for choosing the best action. This paper provides a MOMDP model for the planner with an approximation of the belief states by Mixture of Gaussian functions

Optimisation des Processus Décisionnels de Markov Partiellement Observables avec prise en compte explicite du gain d’information

Traditionnellement, les travaux de recherche en décision séquentielle dans l'incertain avec observabilité partielle reposent sur les Processus Décisionnels de Markov Partiellement Observables (POMDP), optimisés avec un critère de maximisation de revenus cumulés pondérés sur un horizon d'action donné. Or, ce critère est pessimiste dans la mesure où la décision est optimisée sur une distribution de probabilité sur l'état de croyance de l'agent autonome, sans que l'algorithme ne réduise explicitement cette incertitude. Autrement dit, les critères classiques d'optimisation des POMDP raisonnent sur toutes les hypothèses possibles, sans favoriser explicitement les actions qui pourraient acquérir de l'information et réduire le champ d’hypothèses. Au contraire, les travaux en traitement d'image et particulièrement en perception active s'intéressent plutôt à trouver les actions qui minimisent l'entropie de croyance, c'est-à-dire l'incertitude sur l'état caché, mais sans optimiser une récompense globale liée à la mission du robot. Ainsi, afin de résoudre au mieux des problèmes robotiques alliant à la fois des objectifs de perception et de mission, nous proposons deux nouveaux critères mixtes, l'un additif et l’autre multiplicatif, qui agrègent les récompenses cumulées (mission) et les entropies de croyance cumulées (perception), toutes deux pondérées sur un horizon d'action commun. À l'aide d’évaluations statistiques sur plusieurs exécutions de la politique optimisée, nous montrons que nos critères mixtes sont optimaux par rapport à un critère purement entropique, et que le critère additif améliore même un critère basé purement sur les récompenses de la mission. Ce dernier point démontre que le critère classique, qui repose uniquement sur les récompenses cumulées, n'est pas optimal lors de l’exécution, car il ne prend pas en compte explicitement le gain d'information et la réduction de l’incertitude sur l'état caché du système

Décision séquentielle pour la perception active : p-POMDP versus POMDP

Cet article propose une étude du compromis entre la prise d’information et la décision dans un cadre applicatif qui se rapporte à une mission d’exploration, où l’agent interagit avec son environnement pour identifier l’état caché du système. Dans ce problème de décision séquentielle pour la perception, il est possible de faire reposer la fonction de récompense sur une mesure de l’incertitude sur l’état de croyance de l’agent (Araya-López et al., 2010; Candido & Hutchinson, 2011; Eidenberger & Scharinger, 2010). Sa forme est donc différente de celle utilisée dans le cadre classique des POMDP qui est, pour sa part, basée sur la paire état-action. Nous comparons donc deux approches d’optimisation des politiques pour ce type de problème. D’une part nous proposons un critère mixte qui couple une mesure de l’incertitude sur l’état de croyance avec les récompenses définies par les paires état-action et nous développons un schéma algorithmique de résolution pour ce critère. D’autre part, nous proposons d’ajouter au modèle des états but fictifs au moyen des actions de classification afin de revenir à une modélisation sous-forme de POMDP classique (critère non mixte). Une étude comparative de ces approches est ici présentée afin de vérifier leur équivalence en termes de prise d’informations. Les résultats nous mènent à conclure que ces approches sont non seulement comparables et équivalentes en termes de réduction d’incertitude, mais aussi, qu’elles peuvent être utilisées en parfaite complémentarité de façon à permettre : de caractériser une politique correspondant aux taux acceptables des bonnes et mauvaises classifications et de déterminer les bonnes valeurs des coûts et des récompenses du modèle POMDP classique

Détection et reconnaissance de cibles en ligne pour des UAV autonomes avec un modèle de type POMDP

Cet article présente une mission pour la détection et reconnaissance de cibles menée par un véhicule aérien inhabité (UAV) autonome. La mission est modélisée par un Processus de Markov Partiellement Observable (POMDP). Le modèle POMDP traite dans un cadre unique des actions de perception (comme l'angle de prise de vue de la caméra) et des actions qui mènent à l'accomplissement de la mission (changement de zone, altitude de vol, atterrissage). La mission consiste à atterrir dans la zone qui contient une voiture dont le modèle reconnu est celui recherché, avec un état de croyance suffisant. Nous expliquons comment nous avons appris le modèle d'observation probabiliste du POMDP à partir d'une étude statistique des sorties de l'algorithme de traitement d'image. Cet algorithme utilisé pour reconnaître des objets dans la scène est embarquée sur notre UAV. Nous présentons aussi notre cadre \emph{optimize-while-executing}, qui administre un sous-planificateur POMDP pour optimiser et exécuter en parallèle la politique avec des contraintes de temps associées à la durée des actions, et qui raisonne sur les états futurs possibles du système robotique. Finalement, nos résultats expérimentaux sont présentés. Ils démontrent que des techniques d'intelligence artificielle comme les POMDP peuvent être appliquées avec succès pour contrôler automatiquement des actions de perception et d'accomplissement de mission pour des missions complexes en temps contraint pour un UAV autonome

Planning for perception and perceiving for decision: POMDP-like online target detection and recognition for autonomous UAVs

This paper studies the use of POMDP-like techniques to tackle an online multi-target detection and recognition mission by an autonomous rotorcraft UAV. Such robotics missions are complex and too large to be solved off-line, and acquiring information about the environment is as important as achieving some symbolic goals. The POMDP model deals in a single framework with both perception actions (controlling the camera's view angle), and mission actions (moving between zones and flight levels, landing) needed to achieve the goal of the mission, i.e. landing in a zone containing a car whose model is recognized as a desired target model with sufficient belief. We explain how we automatically learned the probabilistic observation POMDP model from statistical analysis of the image processing algorithm used on-board the UAV to analyze objects in the scene. We also present our "optimize-while-execute" framework, which drives a POMDP sub-planner to optimize and execute the POMDP policy in parallel under action duration constraints, reasoning about the future possible execution states of the robotic system. Finally, we present experimental results, which demonstrate that Artificial Intelligence techniques like POMDP planning can be successfully applied in order to automatically control perception and mission actions hand-in-hand for complex time-constrained UAV missions

POMDP-based online target detection and recognition for autonomous UAVs

This paper presents a target detection and recognition mission by an autonomous Unmanned Aerial Vehicule (UAV) modeled as a Partially Observable Markov Decision Process (POMDP). The POMDP model deals in a single framework with both perception actions (controlling the camera's view angle), and mission actions (moving between zones and flight levels, landing) needed to achieve the goal of the mission, i.e. landing in a zone containing a car whose model is recognized as a desired target model with sufficient belief. We explain how we automatically learned the probabilistic observation POMDP model from statistical analysis of the image processing algorithm used on-board the UAV to analyze objects in the scene. We also present our "optimize-while-execute" framework, which drives a POMDP sub-planner to optimize and execute the POMDP policy in parallel under action duration constraints, reasoning about the future possible execution states of the robotic system. Finally, we present experimental results, which demonstrate that Artificial Intelligence techniques like POMDP planning can be successfully applied in order to automatically control perception and mission actions hand-in-hand for complex time-constrained UAV missions