Risk-sensitive Inverse Reinforcement Learning via Semi- and Non-Parametric Methods

The literature on Inverse Reinforcement Learning (IRL) typically assumes that humans take actions in order to minimize the expected value of a cost function, i.e., that humans are risk neutral. Yet, in practice, humans are often far from being risk neutral. To fill this gap, the objective of this paper is to devise a framework for risk-sensitive IRL in order to explicitly account for a human's risk sensitivity. To this end, we propose a flexible class of models based on coherent risk measures, which allow us to capture an entire spectrum of risk preferences from risk-neutral to worst-case. We propose efficient non-parametric algorithms based on linear programming and semi-parametric algorithms based on maximum likelihood for inferring a human's underlying risk measure and cost function for a rich class of static and dynamic decision-making settings. The resulting approach is demonstrated on a simulated driving game with ten human participants. Our method is able to infer and mimic a wide range of qualitatively different driving styles from highly risk-averse to risk-neutral in a data-efficient manner. Moreover, comparisons of the Risk-Sensitive (RS) IRL approach with a risk-neutral model show that the RS-IRL framework more accurately captures observed participant behavior both qualitatively and quantitatively, especially in scenarios where catastrophic outcomes such as collisions can occur.Comment: Submitted to International Journal of Robotics Research; Revision 1: (i) Clarified minor technical points; (ii) Revised proof for Theorem 3 to hold under weaker assumptions; (iii) Added additional figures and expanded discussions to improve readabilit

« L’image de la pensée » ou comment le cinéma nous aide à fonder de nouveaux présupposés philosophiques

Tout exercice de la pensée présuppose une « image de la pensée ». C’est du moins ce que Gilles Deleuze tente de montrer dans ses écrits, depuis Différence et répétition jusqu’à Qu’est-ce que la philosophie ? D’une image de la pensée comprise comme présupposé subjectif, au « plan d’immanence », tout système philosophique se construit en corrélation avec l’image que la pensée se donne d’elle-même. En philosophie, Deleuze entend par image de la pensée l’ensemble des présupposés à partir desquels on désigne ce que signifie penser. Son statut s’avère être bien particulier car cette image de la pensée est à la fois nécessaire et inhérente à la philosophie tout en étant non philosophique. C’est sur la base de cette ambiguïté que les liens entre image de la pensée philosophique et image cinématographique sont mis au jour. Il est en effet évident pour Deleuze que le cinéma a la capacité de modifier les présupposés nécessaires à la création d’une nouvelle image de la pensée philosophique qui réévaluerait les rapports entre matière et pensée. À cet effet, Deleuze s’inscrit bien sûr dans le sillage de la réflexion amorcée par Henri Bergson, mais il se pose également en héritier de Gilbert Simondon, qui n’a cessé d’interroger la question de la « modulation » de la matière dans ses travaux. Or le cinéma, pour Deleuze, est justement « modulation de la matière », c’est-à-dire in-formation de la matière à travers un moule variable et temporel. En dernière instance, c’est à la question des rapports entre sémiologie et cinéma que Deleuze s’attarde, à l’aune des travaux du linguiste Gustave Guillaume, qui conçoit une « matière pré-linguistique ». Celle-ci entre bien entendu en résonance avec la définition du plan d’immanence donné par Deleuze et Guattari dans Qu’est-ce que la philosophie ?Every thought process presupposes an “image of thought.” This at least is what Gilles Deleuze attempts to demonstrate in his writing, from Difference and Repetition to What Is Philosophy? Every philosophical system is built out of an image of thought understood as a subjective supposition on the “plane of immanence” in correlation with the image thought gives of itself. This image’s status is very peculiar, because it is both necessary and inherent to philosophy while at the same time not being philosophical. On the basis of this ambiguity, the links between the image of philosophical thought and the cinematic image are revealed. It is clear that the cinema, for Deleuze, has the ability to modify the necessary suppositions for the creation of a new image of philosophical thinking which would re-evaluate the relation between matter and thought. In this sense, Deleuze certainly follows the direction set out by Henri Bergson, but he is also the heir to Gilbert Simondon, who constantly enquired into the “modulation of matter” in his work. Cinema, for Deleuze, is precisely a “modulation of matter,” or matter in-formation through a variable and temporal mould. In the final instance, Deleuze is concerned with the relations between semiology and the cinema in light of the work of the linguist Gustave Guillaume, who conceived of a “pre-linguistic matter.” This matter, naturally, resonates with the definition of the plane of immanence given by Deleuze and Guattari in What Is Philosophy