Planning for perception and perceiving for decision: POMDP-like online target detection and recognition for autonomous UAVs

This paper studies the use of POMDP-like techniques to tackle an online multi-target detection and recognition mission by an autonomous rotorcraft UAV. Such robotics missions are complex and too large to be solved off-line, and acquiring information about the environment is as important as achieving some symbolic goals. The POMDP model deals in a single framework with both perception actions (controlling the camera's view angle), and mission actions (moving between zones and flight levels, landing) needed to achieve the goal of the mission, i.e. landing in a zone containing a car whose model is recognized as a desired target model with sufficient belief. We explain how we automatically learned the probabilistic observation POMDP model from statistical analysis of the image processing algorithm used on-board the UAV to analyze objects in the scene. We also present our "optimize-while-execute" framework, which drives a POMDP sub-planner to optimize and execute the POMDP policy in parallel under action duration constraints, reasoning about the future possible execution states of the robotic system. Finally, we present experimental results, which demonstrate that Artificial Intelligence techniques like POMDP planning can be successfully applied in order to automatically control perception and mission actions hand-in-hand for complex time-constrained UAV missions

Détection et reconnaissance de cibles en ligne pour des UAV autonomes avec un modèle de type POMDP

Cet article présente une mission pour la détection et reconnaissance de cibles menée par un véhicule aérien inhabité (UAV) autonome. La mission est modélisée par un Processus de Markov Partiellement Observable (POMDP). Le modèle POMDP traite dans un cadre unique des actions de perception (comme l'angle de prise de vue de la caméra) et des actions qui mènent à l'accomplissement de la mission (changement de zone, altitude de vol, atterrissage). La mission consiste à atterrir dans la zone qui contient une voiture dont le modèle reconnu est celui recherché, avec un état de croyance suffisant. Nous expliquons comment nous avons appris le modèle d'observation probabiliste du POMDP à partir d'une étude statistique des sorties de l'algorithme de traitement d'image. Cet algorithme utilisé pour reconnaître des objets dans la scène est embarquée sur notre UAV. Nous présentons aussi notre cadre \emph{optimize-while-executing}, qui administre un sous-planificateur POMDP pour optimiser et exécuter en parallèle la politique avec des contraintes de temps associées à la durée des actions, et qui raisonne sur les états futurs possibles du système robotique. Finalement, nos résultats expérimentaux sont présentés. Ils démontrent que des techniques d'intelligence artificielle comme les POMDP peuvent être appliquées avec succès pour contrôler automatiquement des actions de perception et d'accomplissement de mission pour des missions complexes en temps contraint pour un UAV autonome

公共空間における移動サービスの実現に向けた知能化移動プラットフォームの開発

本研究は，自律移動パーソナルヴィークルによる多様な移動サービス研究を行うための移動プラットフォーム開発に関するものである．現在，多くの研究機関で自律移動システムの研究が行われているが，それが送迎サービス等の実用的な移動サービスアプリケーションの研究開発まで至った例は多くない．これは，それらの研究で利用されている市販の移動プラットフォームや研究用プラットフォームでは，移動サービスアプリケーションの研究開発が容易でないことが要因の一つとなっている．また個々のパーソナルヴィークルのロボット化技術やナビゲーション機能の研究成果が共有できていない面が有り，移動サービス研究に耐えうる移動プラットフォームが構築できていないことも一つの要因であると考えられる．本研究では，上記の問題を解決するため，様々な移動サービスアプリケーション開発が行え，様々な移動サービスに関する研究成果を利用することが可能な仕組みを持ち，さらに基本的なナビゲーション機能を備える「知能化移動プラットフォーム」のシステム構成を文献調査や事例研究により明らかにした．またそれに基づき実際に知能化移動プラットフォームを構築し，その有用性を実証するとともにその構築方法についても明示した．第二章では，知能化移動プラットフォームに求められるシステム要件を設定し，関連研究・文献調査(829件)・「つくばチャレンジ」などの実証実験の事例観察からシステム要件を満たす知能化移動プラットフォームのシステム構成を明らかにした．第三章では，提案したシステム構成について，背景で述べた問題点を解決する評価指標を設定し，関連する研究事例や市販の移動プラットフォームと比較することで優位性を示した．第四章では，提案したシステム構成に基づき，使用場面に応じた二つの知能化移動プラットフォームを開発した．一つ目として屋外での移動サービスを想定し，所属研究室でこれまで開発されてきた走行性能が高い電動カートをベースとしたプラットフォーム開発を行った．基本ナビゲーション機能には当研究室での共同研究成果を搭載した．動作検証を学内及びつくばロボット特区で行い約1㎞以上の自律走行能力を有していることを確認し，提案したシステム構成が有効であることを確認した．二つ目として屋内外でシームレスな移動サービスを想定して，屋内における移動性能を重視した車椅子ベースの知能化移動プラットフォームを開発した．上記と同様のコンセプトで開発し学内において同様の動作検証を行いその自律走行能力を確認した．第五章では，開発した知能化移動プラットフォームを用いた移動サービスに関する研究成果（文献11件）に関して，設定したシステム要件を満たす実装がどのようにそれらの研究実績に繋がった考察を行い，設定したシステム要件と提案したシステム構成が有効であることを確認した．本研究の成果は，様々な移動サービス研究に用いることのできる移動プラットフォームのシステム要件を明らかにし，その構築に有効なシステム構成を示したこと，および実際に移動プラットフォームを開発し，その有用性を実際に示したことである．またその開発過程で述べたハードウェア及びソフトウェアのそれぞれに関する実装そのものも有効な知見として述べた．上記の成果は，多くの研究機関が移動サービス研究に従事するにあたり移動プラットフォーム開発の指針とすることができ，今後，移動サービス実現に向けて該当分野の研究がより推進されることが期待できる．電気通信大学201

Planification de perception et de mission en environnement incertain : Application à la détection et à la reconnaissance de cibles par un hélicoptère autonome

Mobile and aerial robots are faced to the need of planning actions with incomplete information about the state of theworld. In this context, this thesis proposes a modeling and resolution framework for perception and mission planningproblems where an autonomous helicopter must detect and recognize targets in an uncertain and partially observableenvironment. We founded our work on Partially Observable Markov Decision Processes (POMDPs), because it proposes ageneral optimization framework for perception and decision tasks under long-term horizon. A special attention is given tothe outputs of the image processing algorithm in order to model its uncertain behavior as a probabilistic observationfunction. A critical study on the POMDP model and its optimization criterion is also conducted. In order to respect safetyconstraints of aerial robots, we then propose an approach to properly handle action feasibility constraints in partiallyobservable domains: the AC-POMDP model, which distinguishes between the verification of environmental properties andthe information about targets' nature. Furthermore, we propose a framework to optimize and execute POMDP policies inparallel under time constraints. This framework is based on anticipated and probabilistic optimization of future executionstates of the system. Finally, we embedded this algorithmic framework on-board Onera's autonomous helicopters, andperformed real flight experiments for multi-target detection and recognition missions.Les agents robotiques mobiles ou aériens sont confrontés au besoin de planifier des actions avec information incomplète sur l'état du monde. Dans ce contexte, cette thèse propose un cadre de modélisation et de résolution de problèmes de planification de perception et de mission pour un drone hélicoptère qui évolue dans un environnement incertain et partiellement observé afin de détecter et de reconnaître des cibles. Nous avons fondé notre travail sur les Processus Décisionnels Markoviens Partiellement Observables (POMDP), car ils proposent un schéma d'optimisation général pour les tâches de perception et de décision à long terme. Une attention particulière est donnée à la modélisation des sorties incertaines de l'algorithme de traitement d'image en tant que fonction d'observation. Une analyse critique de la mise en oeuvre en pratique du modèle POMDP et du critère d'optimisation associé est proposée. Afin de respecter les contraintes de sécurité et de sûreté de nos robots aériens, nous proposons ensuite une approche pour tenir compte des propriétés de faisabilité d'actions dans des domaines partiellement observables : le modèle AC-POMDP, qui sépare l'information concernant la vérification des propriétés du modèle, de celle qui renseigne sur la nature des cibles. Enfin, nous proposons un cadre d'optimisation et d'exécution en parallèle de politiques POMDP en temps contraint. Ce cadre est basé sur une optimisation anticipée et probabilisée des états d'exécution futurs du système. Nous avons embarqué ce cadre algorithmique sur les hélicoptères autonomes de l'Onera, et l'avons testé en vol et en environnement réel sur une mission de détection et reconnaissance de cibles