Programmation dynamique avec approximation de la fonction valeur

L'utilisation d'outils pour l'approximation de la fonction de valeur est essentielle pour pouvoir traiter des problèmes de prise de décisions séquentielles de grande taille. Les méthodes de programmation dynamique (PD) et d'apprentissage par renforcement (A/R) introduites aux chapitres 1 et 2 supposent que la fonction de valeur peut être représentée (mémorisée) en attribuant une valeur à chaque état (dont le nombre est supposé fini), par exemple sous la forme d'un tableau. Ces méthodes de résolution, dites exactes, permettent de déterminer la solution optimale du problème considéré (ou tout au moins de converger vers cette solution optimale). Cependant, elles ne s'appliquent souvent qu'à des problèmes jouets, car pour la plupart des applications intéressantes, le nombre d'états possibles est si grand (voire infini dans le cas d'espaces continus) qu'une représentation exacte de la fonction ne peut être parfaitement mémorisée. Il devient alors nécessaire de représenter la fonction de valeur, de manière approchée, à l'aide d'un nombre modéré de coefficients, et de redéfinir et analyser des méthodes de résolution, dites approchées pour la PD et l'A/R, afin de prendre en compte les conséquences de l'utilisation de telles approximations dans les problèmes de prise de décisions séquentielles

Conférence Nationale d'Intelligence Artificielle Année 2020

National audienc

Processus décisionnels de Markov possibilités à observabilité mixte

International audienceLes processus décisionnels de Markov partiellement observables possibilistes qualita- tifs (π-PDMPO) constituent une alternative aux PDMPO classiques (probabilistes) : ils sont utilisés dans les situations où l’état de croyance initial de l’agent et les probabilités définissant le problème sont imprécises du fait d’un manque de connaissance ou de données. Cependant, tout comme les PDMPO, le calcul d’une stratégie optimale demande un grand nombre d’opé- rations : le nombre d’états de croyance grandit exponentiellement avec le nombre d’états du système. Dans cet article, une version possibiliste des processus décisisionnels de Markov à observabilité mixte est présentée pour simplifier ce calcul : la complexité de résolution d’un π-PDMPO, dont certaines variables d’état sont complètement observables, peut être consi- dérablement réduite. Un algorithme d’itération sur les revenus optimaux pour cette nouvelle formulation est ensuite proposé pour le cas de l’horizon infini, et l’optimalité de la stratégie calculée pour un critère donné est démontrée, lorsqu’il existe une action "rester" dans certains états buts. Les expérimentations montrent finalement que ce modèle possibiliste est plus perfor- mant que le modèle PDMPO probabiliste, utilisé classiquement en robotique, pour un problème de reconnaissance de cible, dans certaines situations où les capacités d’observation de l’agent ne sont pas précises