Coping with the Limitations of Rational Inference in the Framework of Possibility Theory

Possibility theory offers a framework where both Lehmann's "preferential inference" and the more productive (but less cautious) "rational closure inference" can be represented. However, there are situations where the second inference does not provide expected results either because it cannot produce them, or even provide counter-intuitive conclusions. This state of facts is not due to the principle of selecting a unique ordering of interpretations (which can be encoded by one possibility distribution), but rather to the absence of constraints expressing pieces of knowledge we have implicitly in mind. It is advocated in this paper that constraints induced by independence information can help finding the right ordering of interpretations. In particular, independence constraints can be systematically assumed with respect to formulas composed of literals which do not appear in the conditional knowledge base, or for default rules with respect to situations which are "normal" according to the other default rules in the base. The notion of independence which is used can be easily expressed in the qualitative setting of possibility theory. Moreover, when a counter-intuitive plausible conclusion of a set of defaults, is in its rational closure, but not in its preferential closure, it is always possible to repair the set of defaults so as to produce the desired conclusion.Comment: Appears in Proceedings of the Twelfth Conference on Uncertainty in Artificial Intelligence (UAI1996

The Basic Principles of Uncertain Information Fusion. An organized review of merging rules in different representation frameworks

We propose and advocate basic principles for the fusion of incomplete or uncertain information items, that should apply regardless of the formalism adopted for representing pieces of information coming from several sources. This formalism can be based on sets, logic, partial orders, possibility theory, belief functions or imprecise probabilities. We propose a general notion of information item representing incomplete or uncertain information about the values of an entity of interest. It is supposed to rank such values in terms of relative plausibility, and explicitly point out impossible values. Basic issues affecting the results of the fusion process, such as relative information content and consistency of information items, as well as their mutual consistency, are discussed. For each representation setting, we present fusion rules that obey our principles, and compare them to postulates specific to the representation proposed in the past. In the crudest (Boolean) representation setting (using a set of possible values), we show that the understanding of the set in terms of most plausible values, or in terms of non-impossible ones matters for choosing a relevant fusion rule. Especially, in the latter case our principles justify the method of maximal consistent subsets, while the former is related to the fusion of logical bases. Then we consider several formal settings for incomplete or uncertain information items, where our postulates are instantiated: plausibility orderings, qualitative and quantitative possibility distributions, belief functions and convex sets of probabilities. The aim of this paper is to provide a unified picture of fusion rules across various uncertainty representation settings

Naive possibilistic classifiers for imprecise or uncertain numerical data

International audienceIn real-world problems, input data may be pervaded with uncertainty. In this paper, we investigate the behavior of naive possibilistic classifiers, as a counterpart to naive Bayesian ones, for dealing with classification tasks in the presence of uncertainty. For this purpose, we extend possibilistic classifiers, which have been recently adapted to numerical data, in order to cope with uncertainty in data representation. Here the possibility distributions that are used are supposed to encode the family of Gaussian probabilistic distributions that are compatible with the considered dataset. We consider two types of uncertainty: (i) the uncertainty associated with the class in the training set, which is modeled by a possibility distribution over class labels, and (ii) the imprecision pervading attribute values in the testing set represented under the form of intervals for continuous data. Moreover, the approach takes into account the uncertainty about the estimation of the Gaussian distribution parameters due to the limited amount of data available. We first adapt the possibilistic classification model, previously proposed for the certain case, in order to accommodate the uncertainty about class labels. Then, we propose an algorithm based on the extension principle to deal with imprecise attribute values. The experiments reported show the interest of possibilistic classifiers for handling uncertainty in data. In particular, the probability-to-possibility transform-based classifier shows a robust behavior when dealing with imperfect data

Possibilistic decision theory: from theoretical foundations to influence diagrams methodology

Le domaine de prise de décision est un domaine multidisciplinaire en relation avec plusieurs disciplines telles que l'économie, la recherche opérationnelle, etc. La théorie de l'utilité espérée a été proposée pour modéliser et résoudre les problèmes de décision. Ces théories ont été mises en cause par plusieurs paradoxes (Allais, Ellsberg) qui ont montré les limites de son applicabilité. Par ailleurs, le cadre probabiliste utilisé dans ces théories s'avère non approprié dans certaines situations particulières (ignorance totale, incertitude qualitative). Pour pallier ces limites, plusieurs travaux ont été élaborés concernant l'utilisation des intégrales de Choquet et de Sugeno comme critères de décision d'une part et l'utilisation d'une théorie d'incertitude autre que la théorie des probabilités pour la modélisation de l'incertitude d'une autre part. Notre idée principale est de profiter de ces deux directions de recherche afin de développer, dans le cadre de la décision séquentielle, des modèles de décision qui se basent sur les intégrales de Choquet comme critères de décision et sur la théorie des possibilités pour la représentation de l'incertitude. Notre objectif est de développer des modèles graphiques décisionnels, qui représentent des modèles compacts et simples pour la prise de décision dans un contexte possibiliste. Nous nous intéressons en particulier aux arbres de décision et aux diagrammes d'influence possibilistes et à leurs algorithmes d'évaluation.The field of decision making is a multidisciplinary field in relation with several disciplines such as economics, operations research, etc. Theory of expected utility has been proposed to model and solve decision problems. These theories have been questioned by several paradoxes (Allais, Ellsberg) who have shown the limits of its applicability. Moreover, the probabilistic framework used in these theories is not appropriate in particular situations (total ignorance, qualitative uncertainty). To overcome these limitations, several studies have been developed basing on the use of Choquet and Sugeno integrals as decision criteria and a non classical theory to model uncertainty. Our main idea is to use these two lines of research to develop, within the framework of sequential decision making, decision models based on Choquet integrals as decision criteria and possibility theory to represent uncertainty. Our goal is to develop graphical decision models that represent compact models for decision making when uncertainty is represented using possibility theory. We are particularly interested by possibilistic decision trees and influence diagrams and their evaluation algorithms

Collective decision making under qualitative possibilistic uncertainty: principles and characterization

Cette Thèse pose la question de la décision collective sous incertitude possibiliste. On propose différents règles de décision collective qualitative et on montre que dans un contexte possibiliste, l'utilisation d'une fonction d'agrégation collective pessimiste égalitariste ne souffre pas du problème du Timing Effect. On étend ensuite les travaux de Dubois et Prade (1995, 1998) relatifs à l'axiomatisation des règles de décision qualitatives (l'utilité pessimiste) au cadre de décision collective et montre que si la décision collective comme les décisions individuelles satisfont les axiomes de Dubois et Prade ainsi que certains axiomes relatifs à la décision collective, particulièrement l'axiome de Pareto unanimité, alors l'agrégation collective égalitariste s'impose. Le tableau est ensuite complété par une axiomatisation d'un pendant optimiste de cette règle de décision collective. Le système axiomatique que nous avons développé peut être vu comme un pendant ordinal du théorème de Harsanyi (1955). Ce résultat á été démontré selon un formalisme qui et basé sur le modèle de de Von NeuMann and Morgenstern (1948) et permet de comparer des loteries possibilistes. Par ailleurs, on propose une première tentative pour la caractérisation des règles de décision collectives qualitatives selon le formalisme de Savage (1972) qui offre une représentation des décisions par des actes au lieu des loteries. De point de vue algorithmique, on considère l'optimisation des stratégies dans les arbres de décision possibilistes en utilisant les critères de décision caractérisés dans la première partie de ce travail. On offre une adaptation de l'algorithme de Programmation Dynamique pour les critères monotones et on propose un algorithme de Programmation Multi-dynamique et un algorithme de Branch and Bound pour les critères qui ne satisfont pas la monotonie. Finalement, on établit une comparaison empirique des différents algorithmes proposés. On mesure les CPU temps d'exécution qui augmentent linéairement en fonction de la taille de l'arbre mais restent abordable même pour des grands arbres. Ensuite, nous étudions le pourcentage d'exactitude de l'approximation des algorithmes exacts par Programmation Dynamique: Il apparaît que pour le critère U-max ante l'approximation de l'algorithme de Programmation Multi-dynamique n'est pas bonne. Mais, ceci n'est pas si dramatique puisque cet algorithme est polynomial (et efficace dans la pratique). Cependant, pour la règle U+min ante l'approximation par Programmation Dynamique est bonne et on peut dire qu'il devrait être possible d'éviter une énumération complète par Branch and Bound pour obtenir les stratégies optimales.This Thesis raises the question of collective decision making under possibilistic uncertainty. We propose several collective qualitative decision rules and show that in the context of a possibilistic representation of uncertainty, the use of an egalitarian pessimistic collective utility function allows us to get rid of the Timing Effect. Making a step further, we prove that if both the agents' preferences and the collective ranking of the decisions satisfy Dubois and Prade's axioms (1995, 1998) and some additional axioms relative to collective choice, in particular Pareto unanimity, then the egalitarian collective aggregation is compulsory. The picture is then completed by the proposition and the characterization of an optimistic counterpart of this pessimistic decision rule. Our axiomatic system can be seen as an ordinal counterpart of Harsanyi's theorem (1955). We prove this result in a formalism that is based on Von NeuMann and Morgenstern framework (1948) and compares possibilisitc lotteries. Besides, we propose a first attempt to provide a characterization of collective qualitative decision rules in Savage's formalism; where decisions are represented by acts rather than by lotteries. From an algorithmic standpoint, we consider strategy optimization in possibilistic decision trees using the decision rules characterized in the first part of this work. So, we provide an adaptation of the Dynamic Programming algorithm for criteria that satisfy the property of monotonicity and propose a Multi-Dynamic programming and a Branch and Bound algorithm for those that are not monotonic. Finally, we provide an empirical comparison of the different algorithms proposed. We measure the execution CPU times that increases linearly according to the size of the tree and it remains affordable in average even for big trees. Then, we study the accuracy percentage of the approximation of the pertinent exact algorithms by Dynamic Programming: It appears that for U-max ante criterion the approximation of Multi-dynamic programming is not so good. Yet, this is not so dramatic since this algorithm is polynomial (and efficient in practice). However, for U+min ante decision rule the approximation by Dynamic Programming is good and we can say that it should be possible to avoid a full Branch and Bound enumeration to find optimal strategies

CP-nets: A Tool for Representing and Reasoning withConditional Ceteris Paribus Preference Statements

Information about user preferences plays a key role in automated decision making. In many domains it is desirable to assess such preferences in a qualitative rather than quantitative way. In this paper, we propose a qualitative graphical representation of preferences that reflects conditional dependence and independence of preference statements under a ceteris paribus (all else being equal) interpretation. Such a representation is often compact and arguably quite natural in many circumstances. We provide a formal semantics for this model, and describe how the structure of the network can be exploited in several inference tasks, such as determining whether one outcome dominates (is preferred to) another, ordering a set outcomes according to the preference relation, and constructing the best outcome subject to available evidence

Graphical preference representation under a possibilistic framework

La modélisation structurée de préférences, fondée sur les notions d'indépendance préférentielle, a un potentiel énorme pour fournir des approches efficaces pour la représentation et le raisonnement sur les préférences des décideurs dans les applications de la vie réelle. Cette thèse soulève la question de la représentation des préférences par une structure graphique. Nous proposons une nouvelle lecture de réseaux possibilistes, que nous appelons p-pref nets, où les degrés de possibilité représentent des degrés de satisfaction. L'approche utilise des poids de possibilité non instanciés (appelés poids symboliques), pour définir les tables de préférences conditionnelles. Ces tables donnent naissance à des vecteurs de poids symboliques qui codent les préférences qui sont satisfaites et celles qui sont violées dans un contexte donné. Nous nous concentrons ensuite sur les aspects théoriques de la manipulation de ces vecteurs. En effet, la comparaison de ces vecteurs peut s'appuyer sur différentes méthodes: celles induites par la règle de chaînage basée sur le produit ou celle basée sur le minimum que sous-tend le réseau possibiliste, les raffinements du minimum le discrimin, ou leximin, ainsi que l'ordre Pareto, et le Pareto symétrique qui le raffine. Nous prouvons que la comparaison par produit correspond exactement au celle du Pareto symétrique et nous nous concentrons sur les avantages de ce dernier par rapport aux autres méthodes. En outre, nous montrons que l'ordre du produit est consistant avec celui obtenu en comparant des ensembles de préférences satisfaites des tables. L'image est complétée par la proposition des algorithmes d'optimisation et de dominance pour les p-pref nets. Dans ce travail, nous discutons divers outils graphiques pour la représentation des préférences. Nous nous focalisons en particulier sur les CP-nets car ils partagent la même structure graphique que les p-pref nets et sont basés sur la même nature de préférences. Nous prouvons que les ordres induits par les CP-nets ne peuvent pas contredire ceux des p-pref nets et nous avons fixé les contraintes nécessaires pour raffiner les ordres des p-pref nets afin de capturer les contraintes Ceteris Paribus des CP-nets. Cela indique que les CP-nets représentent potentiellement une sous-classe des p-pref nets avec des contraintes. Ensuite, nous fournissons une comparaison approfondie entre les différents modèles graphiques qualitatifs et quantitatifs, et les p-pref nets. Nous en déduisons que ces derniers peuvent être placés à mi- chemin entre les modèles qualitatifs et les modèles quantitatifs puisqu'ils ne nécessitent pas une instanciation complète des poids symboliques alors que des informations supplémentaires sur l'importance des poids peuvent être prises en compte. La dernière partie de ce travail est consacrée à l'extension du modèle proposé pour représenter les préférences de plusieurs agents. Dans un premier temps, nous proposons l'utilisation de réseaux possibilistes où les préférences sont de type tout ou rien et nous définissons le conditionnement dans le cas de distributions booléennes. Nous montrons par ailleurs que ces réseaux multi-agents ont une contrepartie logique utile pour vérifier la cohérence des agents. Nous expliquons les étapes principales pour transformer ces réseaux en format logique. Enfin, nous décrivons une extension pour représenter des préférences nuancées et fournissons des algorithmes pour les requêtes d'optimisation et de dominance.Structured modeling of preference statements, grounded in the notions of preferential independence, has tremendous potential to provide efficient approaches for modeling and reasoning about decision maker preferences in real-life applications. This thesis raises the question of representing preferences through a graphical structure. We propose a new reading of possibilistic networks, that we call p-pref nets, where possibility weights represent satisfaction degrees. The approach uses non-instantiated possibility weights, which we call symbolic weights, to define conditional preference tables. These conditional preference tables give birth to vectors of symbolic weights that reflect the preferences that are satisfied and those that are violated in a considered situation. We then focus on the theoretical aspects of handling of these vectors. Indeed, the comparison of such vectors may rely on different orderings: the ones induced by the product-based, or the minimum based chain rule underlying the possibilistic network, the discrimin, or leximin refinements of the minimum- based ordering, as well as Pareto ordering, and the symmetric Pareto ordering that refines it. We prove that the product-based comparison corresponds exactly to symmetric Pareto and we focus on its assets compared to the other ordering methods. Besides, we show that productbased ordering is consistent with the ordering obtained by comparing sets of satisfied preference tables. The picture is then completed by the proposition of algorithms for handling optimization and dominance queries. In this work we discuss various graphical tools for preference representation. We shed light particularly on CP-nets since they share the same graphical structure as p-pref nets and are based on the same preference statements. We prove that the CP-net orderings cannot contradict those of the p-pref nets and we found suitable additional constraints to refine p-pref net orderings in order to capture Ceteris Paribus constraints of CP-nets. This indicates that CP-nets potentially represent a subclass of p-pref nets with constraints. Finally, we provide an thorough comparison between the different qualitative and quantitative graphical models and p-pref nets. We deduce that the latter can be positioned halfway between qualitative and quantitative models since they do not need a full instantiation of the symbolic weights while additional information about the relative strengths of these weights can be taken into account. The last part of this work is dedicated to extent the proposed model to represent multiple agents preferences. As a first step, we propose the use of possibilistic networks for representing all or nothing multiple agents preferences and define conditioning in the case of Boolean possibilities. These multiple agents networks have a logical counterpart helpful for checking agents consistency. We explain the main steps for transforming multiple agents networks into logical format. Finally, we outline an extension with priority levels of these networks and provide algorithms for handling optimization and dominance queries

Games with incomplete information: a framework based on possibility theory

Les jeux probabilistes à information incomplète, appelés jeux Bayesiens, offrent un cadre adapté au traitement de jeux à utilités cardinales sous incertitude. Ce type d'approche ne peut pas être utilisé dans des jeux ordinaux, où l'utilité capture un ordre de préférence, ni dans des situations de décision sous incertitude qualitative. Dans la première partie de cette thèse, nous proposons un modèle de jeux à information incomplète basé sur la théorie de l'utilité qualitative possibiliste: les jeux possibiliste à information incomplète, nommés PI-games. Ces jeux constituent un cadre approprié pour la représentation des jeux ordinaux sous connaissance incomplète. Nous étendons les notions fondamentales de stratégie de sécurité et d'équilibres de Nash (pur et mixte). De plus, nous montrons que tout jeu possibiliste à information incomplète peut être transformé en un jeu à information complète sous la forme normale équivalent au jeu initial, dont les stratégies de sécurité, les équilibres de Nash purs et mixtes sont en bijection dans les deux jeux. Ce résultat de représentation est une contrepartie qualitative de celui de Harsanyi sur la représentation des jeux Bayésiens par des jeux sous forme normale à information complète. Cela est plus un résultat de représentation qu'un outil de résolution. Nous montrons que décider si un équilibre de Nash pur existe dans un PI-game est un problème NP-complet et proposons un codage de programmation linéaire mixte en nombres entiers (PLNE) du problème. Nous proposons également un algorithme en temps polynomial pour trouver une stratégie de sécurité dans un PI-game et montrons qu'un équilibre mixte possibiliste peut être également calculé en temps polynomial (en fonction de la taille du jeu). Pour confirmer la faisabilité de la formulation de programmation linéaire en nombres entiers mixtes et des algorithmes en temps polynomial, nous introduisons aussi un nouveau générateur pour les PI-games basé sur le générateur de jeux sous la forme normale: GAMUT. Représenter un PI-game sous forme normale standard nécessite une expression extensive des fonctions d'utilité et de la distribution des possibilités, à savoir sur les espaces produits des actions et des types. La deuxième partie de cette thèse propose une vue moins coûteuse des PI-games, à savoir la polymatrix PI-games basée sur min, qui permet de spécifier de manière concise les PI-games avec des interactions locales, en d'autre termes, lorsque les interactions entre les joueurs sont par paires et l'utilité d'un joueur dépend de son voisinage et non de tous les autres joueurs du PI-game. Ce cadre permet, par exemple, la représentation compacte des jeux de coordination sous incertitude où la satisfaction d'un joueur est élevée si et seulement si sa stratégie est cohérente avec celles de l'ensemble de ses voisins. Dans cette thèse, nous montrons que n'importe quel PI-game à 2 joueurs peut être transformé en un jeu polymatriciel équivalent basé sur le min. Ce résultat est la contrepartie qualitative du théorème de Howson et Rosenthal reliant les jeux Bayésiens aux jeux polymatriciels. De plus, dès qu'une simple condition de cohérence des connaissances des joueurs sur le monde est satisfaite, tout polymatrix PI-game peut être transformé en temps polynomial en un jeu polymatriciel, basé sur le min, à information complète équivalent. Nous montrons que l'existence d'un équilibre de Nash pur dans un polymatrix PI-game est un problème NP-complet mais pas plus difficile que de décider si un équilibre de Nash pur existe dans un PI-game. Enfin, nous montrons que cette dernière famille de jeux peut être résolue grâce à une formulation de programmation linéaire en nombres entiers mixtes. Nous introduisons un nouveau générateur pour les polymatrix PI-games basés sur le générateur de PI-game. Les expérimentations confirment la faisabilité de cette approche.Probabilistic games with incomplete information, called Bayesian games, offer a suitable framework for games where the utility degrees are additive in essence. This approach does not apply to ordinal games where the utility degrees capture no more than a ranking, nor to situations of decision under qualitative uncertainty. In the first part of this thesis, we propose a representation framework for ordinal games under possibilistic incomplete information (PI-games). These games constitute a suitable framework for the representation of ordinal games under incomplete knowledge. We extend the fundamental notions of secure strategy, pure Nash equilibrium, and mixed Nash equilibrium to this framework. Furthermore, we show that any possibilis- tic game with incomplete information can be transformed into an equivalent normal form game with complete information. The fundamental notions such Nash equilibria (pure and mixed) and secure strategies are in bijection in both frameworks. This representation result is a qualitative counterpart of Harsanyi results about the representation of Bayesian games by normal form games under complete information. It is more of a representation result than the premise of a solving tool. We show that deciding whether a pure Nash equilibrium exists in a PI-game is a difficult task (NP-hard) and propose a Mixed Integer Linear Programming (MILP) encoding of this problem. We also propose a polynomial-time algorithm to find a secure strategy in a PI-game and show that a possibilistic mixed equilibrium can be computed in polynomial time (w.r.t., the size of the game), which contrasts with probabilistic mixed equilibrium computation in cardinal game theory. To confirm the feasibility of the MILP formulation and the polynomial-time algorithms, we introduce a novel generator for PI-games based on the well-known standard normal form game generator: GAMUT. Representing a PI-game in standard normal form requires an extensive expression of the utility functions and the possibility distribution on the product spaces of actions and types. This is the concern of the second part of this thesis where we propose a less costly view of PI-games, namely min-based polymatrix PI-games, which allows to concisely specify PI-games with local interactions, i.e., the interactions between players are pairwise and the utility of a player depends on her neighbors and not on all other players in the PI-game. This framework allows, for instance, the compact representation of coordination games under uncertainty where the satisfaction of a player is high if and only if her strategy is coherent with all of her neighbors, the game being possibly only incompletely known to the players. We show that any 2- player PI-game can be transformed into an equivalent min-based polymatrix game. This result is the qualitative counterpart of Howson and Rosenthal's theorem linking Bayesian games to polymatrix games. Furthermore, as soon as a simple condition on the coherence of the players' knowledge about the world is satisfied, any polymatrix PI-game can be transformed in polynomial time into an equivalent min-based and complete information polymatrix game. We show that the existence of a pure Nash equilibrium in a polymatrix PI-game is an NP-complete problem but no harder than deciding the existence of a pure Nash equilibrium in a PI-game. Finally, we show that the latter family of games can be solved through a MILP formulation. We introduce a novel generator for min-based polymatrix PI-games based on the PI-game generator. Experiments confirm the feasibility of this approach

Coherent Price Systems and Uncertainty-Neutral Valuation

We consider fundamental questions of arbitrage pricing arising when the uncertainty model is given by a set of possible mutually singular probability measures. With a single probability model, essential equivalence between the absence of arbitrage and the existence of an equivalent martingale measure is a folk theorem, see Harrison and Kreps (1979). We establish a microeconomic foundation of sublinear price systems and present an extension result. In this context we introduce a prior dependent notion of marketed spaces and viable price systems. We associate this extension with a canonically altered concept of equivalent symmetric martingale measure sets, in a dynamic trading framework under absence of prior depending arbitrage. We prove the existence of such sets when volatility uncertainty is modeled by a stochastic differential equation, driven by Peng's G-Brownian motions