Scalable First-Order Methods for Robust MDPs

Robust Markov Decision Processes (MDPs) are a powerful framework for modeling sequential decision-making problems with model uncertainty. This paper proposes the first first-order framework for solving robust MDPs. Our algorithm interleaves primal-dual first-order updates with approximate Value Iteration updates. By carefully controlling the tradeoff between the accuracy and cost of Value Iteration updates, we achieve an ergodic convergence rate of $O \left( A^{2} S^{3}\log(S)\log(\epsilon^{-1}) \epsilon^{-1} \right)$ for the best choice of parameters on ellipsoidal and Kullback-Leibler $s$-rectangular uncertainty sets, where $S$ and $A$ is the number of states and actions, respectively. Our dependence on the number of states and actions is significantly better (by a factor of $O(A^{1.5}S^{1.5})$) than that of pure Value Iteration algorithms. In numerical experiments on ellipsoidal uncertainty sets we show that our algorithm is significantly more scalable than state-of-the-art approaches. Our framework is also the first one to solve robust MDPs with $s$-rectangular KL uncertainty sets

L'étoffe des dieux. Les consécrations de vêtements dans le monde grec : autour du culte attique d'Artémis Brauronia

Publication suite au Colloque international "Agalma ou les figurations de l’invisible". Approches comparées. Organisé par Marcello Carastro (EHESS), Ivonne Manfrini (Haute Ecole d’Art et de Design de Genève) et Stéphan Dugast (IRD), Paris, 13 et 14 février 2012. Actes du colloque à paraître.INHA, 2 rue Vivienne 75002 Paris.In many Greek sanctuaries, worshippers used to dedicate textiles to the deities. Two main kinds of dedications might be found: first, occasional offerings of clothing previously worn, that aim at creating an intimate relationship between the dedicant (mostly women) and the deity ; second, the annual offering, on behalf of a whole city, of a brand-new fabric that was woven especially for this purpose, and was conveyed through a procession to dress the divine statue during public festivals. This paper will analyze the close relationship between the two types of dedications, by studying the case of the attic worship of Artemis in Brauron. Relying mainly on epigraphic testimonies (public inventories of textile offerings), I will try to shed light on the « agalmatic » aspect of such textile offerings. A comparison will thus be drawn with the catholic cult of Virgins, as studied by Marlène Albert Llorca, and in particular with the worship of the Black Virgin of La Daurade in Toulouse, during modern times. By doing so, I will show that the sharp distinction between individual and public offerings, often assumed by ancient Greek historians, should be reconsidered.L’offrande de pièces de tissu aux divinités constitue un acte de piété répandu dans le monde grec. Par-delà la diversité des formes qu’elle peut prendre, on a tendance à distinguer deux principaux cas de figure. D’un côté, les consécrations ponctuelles de vêtements effectivement portés par des individus sont liées à des circonstances particulières et visent à créer une proximité entre le dédicant et la divinité. De l’autre, la remise par l’ensemble de la communauté d’une pièce d’étoffe neuve, tissée à cet effet pour être apportée en procession et vêtir l’effigie divine, a lieu lors de fêtes impliquant toute la cité. Selon que l’on se situe dans l’un ou l’autre registre, acte de dévotion privé ou rite public, les acteurs, les motivations, la nature des offrandes déposées, les temporalités diffèrent. C’est sur ces points que l’article se propose de revenir, en étudiant le dossier relatif aux vêtements consacrés dans le sanctuaire d’Artémis à Brauron, en Attique. L’étude, qui s’appuie principalement sur la documentation épigraphique, cherche à montrer en quoi les offrandes textiles relèvent de l’« agalmatique ». Pour ce faire, une comparaison est établie avec les données rassemblées par Marlène Albert Llorca sur le culte marial à l’époque moderne et alimentée par l’analyse des archives relatives au culte de la Vierge Noire de la Daurade, à Toulouse. La confrontation s’avère féconde et permet de considérer sous un angle neuf les pratiques votives qui ont lieu à Brauron. Elle montre notamment que la distinction entre offrandes « publiques » et offrandes « privées » mérite d’être reconsidérée

Hittorff, un architecte à l'école de la Grèce

Jacques-Ignace Hittorff (1792-1867) appears as a figure at once emblematic and singular in XIXth century Europe. That architect and archeologist from the Rhineland got his formation at the Ecole des Beaux-Arts and settled in Paris to exercise his talents as a Hellenist and artist. He contributed to the advances of archeological science by becoming the inventor and theoretician of the monumental polychromy of the Greeks. Reviving the link between antique and modern architecture on new foundations, he promoted a freer reappropriation of the classical tradition and helped to precipitate the end of the reign of neo-classicism then prevailing in Europe. He thus put to advantage his erudite research to conceive edifices that bear the trace of a daring grafting of the antique coloured pattern: this is the case with the Cirque d'Hiver and Saint-Vincent de Paul's church. Still, the relationship between his activities as archeologist and those as architect is not a one-way affair: they entertain a dynamic, complex dialectic relationship. As a matter of fact, his work as historian was for a large part motivated and guided by his desire to justify and make acceptable for the Parisians his own polychromic projects.Jacques-Ignace Hittorff (1792-1867) apparaît comme une figure à la fois emblématique et singulière dans l'Europe du xixe siècle. Cet architecte et archéologue originaire de Rhénanie, formé à l'École des Beaux-Arts, s'est installé à Paris pour y exercer ses talents d'helléniste et d'artiste. Il a contribué aux progrès de la science archéologique, en se faisant l'inventeur et le théoricien de la polychromie monumentale des Grecs. Renouant le lien entre l'architecture antique et l'architecture moderne sur des bases neuves, il a promu une réappropriation plus libre de la tradition classique et a contribué à précipiter la fin du règne du néo-classicisme, alors dominant en Europe. Il a ainsi mis à profit le fruit de ses recherches érudites pour concevoir des édifices qui portent la trace d'une greffe audacieuse de la bigarrure antique : c'est le cas du Cirque d'Hiver et de l'église Saint-Vincent de Paul. Pour autant, le rapport tissé entre ses activités d'archéologue et celles d'architecte n'est pas à sens unique : elles entretiennent une relation dialectique dynamique et complexe. En effet, son travail d'historien a été pour une bonne part motivé et guidé par un désir de justifier et de faire accepter auprès des Parisiens ses propres projets polychromes

The Best Decisions Are Not the Best Advice: Making Adherence-Aware Recommendations

Many high-stake decisions follow an expert-in-loop structure in that a human operator receives recommendations from an algorithm but is the ultimate decision maker. Hence, the algorithm's recommendation may differ from the actual decision implemented in practice. However, most algorithmic recommendations are obtained by solving an optimization problem that assumes recommendations will be perfectly implemented. We propose an adherence-aware optimization framework to capture the dichotomy between the recommended and the implemented policy and analyze the impact of partial adherence on the optimal recommendation. We show that overlooking the partial adherence phenomenon, as is currently being done by most recommendation engines, can lead to arbitrarily severe performance deterioration, compared with both the current human baseline performance and what is expected by the recommendation algorithm. Our framework also provides useful tools to analyze the structure and to compute optimal recommendation policies that are naturally immune against such human deviations, and are guaranteed to improve upon the baseline policy

On the convex formulations of robust Markov decision processes

Robust Markov decision processes (MDPs) are used for applications of dynamic optimization in uncertain environments and have been studied extensively. Many of the main properties and algorithms of MDPs, such as value iteration and policy iteration, extend directly to RMDPs. Surprisingly, there is no known analog of the MDP convex optimization formulation for solving RMDPs. This work describes the first convex optimization formulation of RMDPs under the classical sa-rectangularity and s-rectangularity assumptions. By using entropic regularization and exponential change of variables, we derive a convex formulation with a number of variables and constraints polynomial in the number of states and actions, but with large coefficients in the constraints. We further simplify the formulation for RMDPs with polyhedral, ellipsoidal, or entropy-based uncertainty sets, showing that, in these cases, RMDPs can be reformulated as conic programs based on exponential cones, quadratic cones, and non-negative orthants. Our work opens a new research direction for RMDPs and can serve as a first step toward obtaining a tractable convex formulation of RMDPs

Charlotte Ribeyrol, « Étrangeté, passion, couleur ». L’hellénisme de Swinburne, Pater et Symonds (1865-1880)

L’ouvrage, issu d’une thèse de doctorat en littérature britannique, invite à découvrir l’hellénisme de trois auteurs de l’Angleterre victorienne, Swinburne, Pater et Symonds, dont l’œuvre constitue une étape majeure dans le renouvellement du rapport à l’Antiquité, entre la tradition néo-classique et les lectures des Modernistes. C’est le moment où la Grèce, de mieux en mieux connue grâce au progrès de l’archéologie, tend à supplanter Rome et à s’affirmer par rapport au modèle de référence héb..

Florence Gherchanoc, L’oikos en fête. Célébrations familiales et sociabilité en Grèce ancienne

La sphère domestique est sans aucun doute l’un des lieux privilégiés pour observer et analyser l’imbrication du « public » et du « privé » dans la cité grecque, notamment en matière de pratiques religieuses : l’ouvrage de Florence Gherchanoc (F.G.) le montre bien. L’oikos y est appréhendé sous l’angle des « fêtes et célébrations » qui rythment la vie de la maisonnée, principalement aux époques archaïque et classique. L’objectif affiché est de faire converger, d’une part, les études récentes s..

Le musée Saint-Raymond, musée des Antiques de Toulouse, et ses portraits romains

En guise de présentation L’histoire de la réception de l’Antiquité se nourrit de celle de l’accueil réservé aux œuvres antiques, qui contribuent tout autant que les textes à la connaissance des civilisations passées. Au cours du xixe siècle, la « naissance » de l’archéologie moderne modifie profondément le regard porté sur les objets antiques, amorçant une évolution du statut qui leur est dévolu. La recherche du « bel objet », œuvre d’art élevée au rang de modèle indépassable, qui suscite adm..