Symblicit algorithms for optimal strategy synthesis in monotonic Markov decision processes

When treating Markov decision processes (MDPs) with large state spaces, using explicit representations quickly becomes unfeasible. Lately, Wimmer et al. have proposed a so-called symblicit algorithm for the synthesis of optimal strategies in MDPs, in the quantitative setting of expected mean-payoff. This algorithm, based on the strategy iteration algorithm of Howard and Veinott, efficiently combines symbolic and explicit data structures, and uses binary decision diagrams as symbolic representation. The aim of this paper is to show that the new data structure of pseudo-antichains (an extension of antichains) provides another interesting alternative, especially for the class of monotonic MDPs. We design efficient pseudo-antichain based symblicit algorithms (with open source implementations) for two quantitative settings: the expected mean-payoff and the stochastic shortest path. For two practical applications coming from automated planning and LTL synthesis, we report promising experimental results w.r.t. both the run time and the memory consumption.Comment: In Proceedings SYNT 2014, arXiv:1407.493

PROPOSAL FOR A STEP OF SELECTION SUPPORT OF BEST PRACTICES FOR THE PILOTING OF THE E-MARKETING PROJECTS

With 1.8 billion investments on the web in the first semester of 2008, being 14.7% of publicity investments , E-marketing is a discipline which is in the middle of media strategies. However, the evolutions of internet and of e-marketing tools have developed a discipline becoming increasingly complex to understand.Although there are still many different methods of piloting, essentially based on the measure via the discipline of the Web Analytics, it’s difficult today to predict e-marketing actions to set up to make fluctuate key performance indicators of web site and active e-marketing lever statistic auditing solution. However it is starting from these indicators that success is measured and that the profits of the online activities are maximized. Thus we propose through this article, a method of qualification of the Best Practices in order to assist the online marketers in the choice and the selection of those to improve the performance of a site and associated actions E-Marketing.e-Marketing, best practices, technological watch, innovative indicators, knowledge management, decision making.

Les réseaux de santé : vers une gestion paradoxale de type réseau-hiérarchie

Nous sommes tous témoin au quotidien de la forte prégnance du réseau, terme largement diffusé dans de nombreux champs disciplinaires et dont l'usage courant se vulgarise. Le secteur de la santé n'échappe pas à cet émerveillement autour du réseau. Depuis les années soixante, le système de santé français est le lieu de nombreuses réformes qui favorisent le fonctionnement en réseau. L'objet de cet article n'est pas d'alimenter cette fascination pour les réseaux ni de dénoncer les références mythiques véhiculées dans le système de santé. Nous cherchons davantage à questionner l'enthousiasme pour les réseaux de santé qui semblent évoluer sous l'égide d'une certaine présomption d'efficacité. Dans ce double objectif de mieux comprendre ce que les acteurs de la santé attendent idéalement d'un réseau de santé et combien la réalité s'en approche, nous construisons un idéal type au sens de Max Weber que nous appelons RHYCEBA (Réseau de Santé Hybride Centré sur un Bénéficiaire Actif). Le RHYCEBA, vu par les acteurs de la santé, sert alors de guide dans notre recherche en le confrontant à la réalité de fonctionnement des réseaux de santé. Il en ressort une forte distorsion que nous essayons de comprendre, expliquer et in fine réduire en cherchant des éléments de réponse dans la littérature académique et professionnelle en gestion et en santé et aux moyens d'entretiens avec des acteurs impliqués dans les réseaux de santé. La revue de littérature couplée aux entretiens laisse envisager une situation de gestion complexe et paradoxale. Or, là où le mythe transcende les paradoxes, les acteurs de terrain n'ont d'autres choix que de les affronter. Nous proposons dès lors de recourir à une gestion paradoxale des réseaux de santé et nous nous orientons plus spécifiquement vers une régulation ago- antagoniste « réseau-hiérarchie » pour contribuer à réduire la distorsion

Expectations or Guarantees? I Want It All! A crossroad between games and MDPs

When reasoning about the strategic capabilities of an agent, it is important to consider the nature of its adversaries. In the particular context of controller synthesis for quantitative specifications, the usual problem is to devise a strategy for a reactive system which yields some desired performance, taking into account the possible impact of the environment of the system. There are at least two ways to look at this environment. In the classical analysis of two-player quantitative games, the environment is purely antagonistic and the problem is to provide strict performance guarantees. In Markov decision processes, the environment is seen as purely stochastic: the aim is then to optimize the expected payoff, with no guarantee on individual outcomes. In this expository work, we report on recent results introducing the beyond worst-case synthesis problem, which is to construct strategies that guarantee some quantitative requirement in the worst-case while providing an higher expected value against a particular stochastic model of the environment given as input. This problem is relevant to produce system controllers that provide nice expected performance in the everyday situation while ensuring a strict (but relaxed) performance threshold even in the event of very bad (while unlikely) circumstances. It has been studied for both the mean-payoff and the shortest path quantitative measures.Comment: In Proceedings SR 2014, arXiv:1404.041