Improving practical relevance of Bayes factors

Bayes factors are recently promoted as replacement for the heavily criticized frequentist hypothesis tests. Yet, Bayes factors are oftentimes based on the same statistical hypotheses that were employed in frequentist procedures and criticized for lacking practical relevance. To guard Bayes factors of similar shortcomings, the present dissertation attempts to elaborate on how to improve the practical relevance of Bayes factors. It appears that a formal definition of the notion of practical relevance is located within the framework of statistical decision theory. The relevance of a result naturally depends on what it is used for, and - formally speaking - such a use is a decision. Accordingly, Bayes factors were depicted and evaluated within the framework of Bayesian decision theory, in which the specification of the loss function seems to be the major obstacle to its application. Typically, information about the consequences of a decision are scarce, vague, partial, and ambiguous, prohibiting an unambiguous specification of the loss function. To deal with these specification issues, two options are discussed: First, the loss function can be simplified by employing a hypothesis-based account and, second, the required specifications can be allowed to be set-valued, i.e. imprecise, instead of precise values. In this regard, a twofold generalization of Bayes factors into the framework of decision theory and into the framework of imprecise probabilities was developed and condensed into a straightforward framework for applications. Besides, the nature of statistical hypotheses was critically evaluated, showing that - in contrast to the current conception within the literature of Bayes factors - they are merely subsets of the parameter space.Bayes-Faktoren werden neuerdings als Ersatz für die stark kritisierten frequentistischen Hypothesentests propagiert. Allerdings beruhen Bayes-Faktoren häufig auf denselben statistischen Hypothesen, die in den frequentistischen Verfahren verwendet und wegen mangelnder praktischer Relevanz kritisiert wurden. Um Bayes-Faktoren vor ähnlichen Unzulänglichkeiten zu bewahren, wird in der vorliegenden Dissertation versucht, herauszuarbeiten, wie die praktische Relevanz von Bayes-Faktoren verbessert werden kann. Es zeigt sich, dass eine formale Definition des Begriffs der praktischen Relevanz innerhalb der statistischen Entscheidungstheorie zu finden ist. Die Relevanz eines Ergebnisses hängt natürlich davon ab, wofür es verwendet wird, und eine solche Verwendung ist - formal gesehen - eine Entscheidung. Dementsprechend wurden die Bayes-Faktoren im Rahmen der Bayes'schen Entscheidungstheorie dargestellt und bewertet, wobei die Spezifikation der Verlustfunktion das größte Hindernis für ihre Anwendung zu sein scheint. Typischerweise sind die Informationen über Konsequenzen einer Entscheidung knapp, vage und mehrdeutig, was eine eindeutige und präzise Spezifikation der Verlustfunktion nahezu unmöglich macht. Um dieses Spezifikationsproblem zu lösen, werden zwei Möglichkeiten diskutiert: Erstens kann die Verlustfunktion durch die Verwendung eines hypothesenbasierten Ansatzes vereinfacht werden, und zweitens können die geforderten Spezifikationen mengenwertig, d.h. verallgemeinert, anstelle von präzisen Werten aufgefasst werden. In diesem Sinne wurde eine zweifache Verallgemeinerung der Bayes-Faktoren in die Entscheidungstheorie und in das Feld der verallgemeinerten Wahrscheinlichkeiten entwickelt und anschließend in einen anwenderfreundlichen statistischen Leitfaden verdichtet. Außerdem wurde das Wesen von statistischen Hypothesen kritisch bewertet, wobei gezeigt wurde, dass sie - im Gegensatz zur gängigen Auffassung in der Literatur über Bayes-Faktoren - lediglich Teilmengen des Parameterraums sind

A dynamic mechanism and surplus extraction under ambiguity

We study the question of auction design in an IPV setting characterized by ambiguity. We assume that the preferences of agents exhibit ambiguity aversion; in particular, they are represented by the epsilon-contamination model. We show that a simple variation of a discrete Dutch auction can extract almost all surplus. This contrasts with optimal auctions under IPV without ambiguity as well as with optimal static auctions with ambiguity—in all of these, types other than the lowest participating type obtain a positive surplus. An important point of departure is that the modified Dutch mechanism is dynamic rather than static, establishing that under ambiguity aversion—even when the setting is IPV in all other respects—a dynamic mechanism can have additional bite over its static counterparts. A further general insight is that the standard revelation principle does not automatically extend to environments not characterized by subjective expected utility

A Dynamic Mechanism and Surplus Extraction Under Ambiguity

In the standard independent private values (IPV)model, each bidder’s beliefs about the values of any other bidder is represented by a unique prior. In this paper we relax this assumption and study the question of auction design in an IPV setting characterized by ambiguity: bidders have an imprecise knowledge of the distribution of values of others, and are faced with a set of priors. We also assume that their preferences exhibit ambiguity aversion; in particular, they are represented by the epsilon-contamination model. We show that a simple variation of a discrete Dutch auction can extract almost all surplus. This contrasts with optimal auctions under IPV without ambiguity as well as with optimal static auctions with ambiguity - in all of these, types other than the lowest participating type obtain a positive surplus. An important point of departure is that the modified Dutch mechanism we consider is dynamic rather than static, establishing that under ambiguity aversion – even when the setting is IPV in all other respects – a dynamic mechanism can have additional bite over its static counterparts.Ambiguity Aversion; Epsilon Contamination; Modified Dutch Auction; Dynamic Mechanism; Surplus Extraction

Generalized Bayesian inference under prior-data conflict

This thesis is concerned with the generalisation of Bayesian inference towards the use of imprecise or interval probability, with a focus on model behaviour in case of prior-data conflict. Bayesian inference is one of the main approaches to statistical inference. It requires to express (subjective) knowledge on the parameter(s) of interest not incorporated in the data by a so-called prior distribution. All inferences are then based on the so-called posterior distribution, the subsumption of prior knowledge and the information in the data calculated via Bayes' Rule. The adequate choice of priors has always been an intensive matter of debate in the Bayesian literature. While a considerable part of the literature is concerned with so-called non-informative priors aiming to eliminate (or, at least, to standardise) the influence of priors on posterior inferences, inclusion of specific prior information into the model may be necessary if data are scarce, or do not contain much information about the parameter(s) of interest; also, shrinkage estimators, common in frequentist approaches, can be considered as Bayesian estimators based on informative priors. When substantial information is used to elicit the prior distribution through, e.g, an expert's assessment, and the sample size is not large enough to eliminate the influence of the prior, prior-data conflict can occur, i.e., information from outlier-free data suggests parameter values which are surprising from the viewpoint of prior information, and it may not be clear whether the prior specifications or the integrity of the data collecting method (the measurement procedure could, e.g., be systematically biased) should be questioned. In any case, such a conflict should be reflected in the posterior, leading to very cautious inferences, and most statisticians would thus expect to observe, e.g., wider credibility intervals for parameters in case of prior-data conflict. However, at least when modelling is based on conjugate priors, prior-data conflict is in most cases completely averaged out, giving a false certainty in posterior inferences. Here, imprecise or interval probability methods offer sound strategies to counter this issue, by mapping parameter uncertainty over sets of priors resp. posteriors instead of over single distributions. This approach is supported by recent research in economics, risk analysis and artificial intelligence, corroborating the multi-dimensional nature of uncertainty and concluding that standard probability theory as founded on Kolmogorov's or de Finetti's framework may be too restrictive, being appropriate only for describing one dimension, namely ideal stochastic phenomena. The thesis studies how to efficiently describe sets of priors in the setting of samples from an exponential family. Models are developed that offer enough flexibility to express a wide range of (partial) prior information, give reasonably cautious inferences in case of prior-data conflict while resulting in more precise inferences when prior and data agree well, and still remain easily tractable in order to be useful for statistical practice. Applications in various areas, e.g. common-cause failure modeling and Bayesian linear regression, are explored, and the developed approach is compared to other imprecise probability models.Das Thema dieser Dissertation ist die Generalisierung der Bayes-Inferenz durch die Verwendung von unscharfen oder intervallwertigen Wahrscheinlichkeiten. Ein besonderer Fokus liegt dabei auf dem Modellverhalten in dem Fall, dass Vorwissen und beobachtete Daten in Konflikt stehen. Die Bayes-Inferenz ist einer der Hauptansätze zur Herleitung von statistischen Inferenzmethoden. In diesem Ansatz muss (eventuell subjektives) Vorwissen über die Modellparameter in einer sogenannten Priori-Verteilung (kurz: Priori) erfasst werden. Alle Inferenzaussagen basieren dann auf der sogenannten Posteriori-Verteilung (kurz: Posteriori), welche mittels des Satzes von Bayes berechnet wird und das Vorwissen und die Informationen in den Daten zusammenfasst. Wie eine Priori-Verteilung in der Praxis zu wählen sei, ist dabei stark umstritten. Ein großer Teil der Literatur befasst sich mit der Bestimmung von sogenannten nichtinformativen Prioris. Diese zielen darauf ab, den Einfluss der Priori auf die Posteriori zu eliminieren oder zumindest zu standardisieren. Falls jedoch nur wenige Daten zur Verfügung stehen, oder diese nur wenige Informationen in Bezug auf die Modellparameter bereitstellen, kann es hingegen nötig sein, spezifische Priori-Informationen in ein Modell einzubeziehen. Außerdem können sogenannte Shrinkage-Schätzer, die in frequentistischen Ansätzen häufig zum Einsatz kommen, als Bayes-Schätzer mit informativen Prioris angesehen werden. Wenn spezifisches Vorwissen zur Bestimmung einer Priori genutzt wird (beispielsweise durch eine Befragung eines Experten), aber die Stichprobengröße nicht ausreicht, um eine solche informative Priori zu überstimmen, kann sich ein Konflikt zwischen Priori und Daten ergeben. Dieser kann sich darin äußern, dass die beobachtete (und von eventuellen Ausreißern bereinigte) Stichprobe Parameterwerte impliziert, die aus Sicht der Priori äußerst überraschend und unerwartet sind. In solch einem Fall kann es unklar sein, ob eher das Vorwissen oder eher die Validität der Datenerhebung in Zweifel gezogen werden sollen. (Es könnten beispielsweise Messfehler, Kodierfehler oder eine Stichprobenverzerrung durch selection bias vorliegen.) Zweifellos sollte sich ein solcher Konflikt in der Posteriori widerspiegeln und eher vorsichtige Inferenzaussagen nach sich ziehen; die meisten Statistiker würden daher davon ausgehen, dass sich in solchen Fällen breitere Posteriori-Kredibilitätsintervalle für die Modellparameter ergeben. Bei Modellen, die auf der Wahl einer bestimmten parametrischen Form der Priori basieren, welche die Berechnung der Posteriori wesentlich vereinfachen (sogenannte konjugierte Priori-Verteilungen), wird ein solcher Konflikt jedoch einfach ausgemittelt. Dann werden Inferenzaussagen, die auf einer solchen Posteriori basieren, den Anwender in falscher Sicherheit wiegen. In dieser problematischen Situation können Intervallwahrscheinlichkeits-Methoden einen fundierten Ausweg bieten, indem Unsicherheit über die Modellparameter mittels Mengen von Prioris beziehungsweise Posterioris ausgedrückt wird. Neuere Erkenntnisse aus Risikoforschung, Ökonometrie und der Forschung zu künstlicher Intelligenz, die die Existenz von verschiedenen Arten von Unsicherheit nahelegen, unterstützen einen solchen Modellansatz, der auf der Feststellung aufbaut, dass die auf den Ansätzen von Kolmogorov oder de Finetti basierende übliche Wahrscheinlichkeitsrechung zu restriktiv ist, um diesen mehrdimensionalen Charakter von Unsicherheit adäquat einzubeziehen. Tatsächlich kann in diesen Ansätzen nur eine der Dimensionen von Unsicherheit modelliert werden, nämlich die der idealen Stochastizität. In der vorgelegten Dissertation wird untersucht, wie sich Mengen von Prioris für Stichproben aus Exponentialfamilien effizient beschreiben lassen. Wir entwickeln Modelle, die eine ausreichende Flexibilität gewährleisten, sodass eine Vielfalt von Ausprägungen von partiellem Vorwissen beschrieben werden kann. Diese Modelle führen zu vorsichtigen Inferenzaussagen, wenn ein Konflikt zwischen Priori und Daten besteht, und ermöglichen dennoch präzisere Aussagen für den Fall, dass Priori und Daten im Wesentlichen übereinstimmen, ohne dabei die Einsatzmöglichkeiten in der statistischen Praxis durch eine zu hohe Komplexität in der Anwendung zu erschweren. Wir ermitteln die allgemeinen Inferenzeigenschaften dieser Modelle, die sich durch einen klaren und nachvollziehbaren Zusammenhang zwischen Modellunsicherheit und der Präzision von Inferenzaussagen auszeichnen, und untersuchen Anwendungen in verschiedenen Bereichen, unter anderem in sogenannten common-cause-failure-Modellen und in der linearen Bayes-Regression. Zudem werden die in dieser Dissertation entwickelten Modelle mit anderen Intervallwahrscheinlichkeits-Modellen verglichen und deren jeweiligen Stärken und Schwächen diskutiert, insbesondere in Bezug auf die Präzision von Inferenzaussagen bei einem Konflikt von Vorwissen und beobachteten Daten

ISIPTA'07: Proceedings of the Fifth International Symposium on Imprecise Probability: Theories and Applications

B

Quantifying Degrees of E-admissibility in Decision Making with Imprecise Probabilities

This paper is concerned with decision making using imprecise probabilities. In the first part, we introduce a new decision criterion that allows for explicitly modeling how far decisions that are optimal in terms of Walley’s maximality are accepted to deviate from being optimal in the sense of Levi’s E-admissibility. For this criterion, we also provide an efficient and simple algorithm based on linear programming theory. In the second part of the paper, we propose two new measures for quantifying the extent of E-admissibility of an E-admissible act, i.e. the size of the set of measures for which the corresponding act maximizes expected utility. The first measure is the maximal diameter of this set, while the second one relates to the maximal barycentric cube that can be inscribed into it. Also here, for both measures, we give linear programming algorithms capable to deal with them. Finally, we discuss some ideas in the context of ordinal decision theory. The paper concludes with a stylized application examples illustrating all introduced concepts

Quantifying Degrees of E-admissibility in Decicion Making with Imprecise Probabilities

This paper is concerned with decision making using imprecise probabilities. In the first part, we introduce a new decision criterion that allows for explicitly modeling how far decisions that are optimal in terms of Walley’s maximality are accepted to deviate from being optimal in the sense of Levi’s E-admissibility. For this criterion, we also provide an efficient and simple algorithm based on linear programming theory. In the second part of the paper, we propose two new measures for quantifying the extent of E-admissibility of an E-admissible act, i.e. the size of the set of measures for which the corresponding act maximizes expected utility. The first measure is the maximal diameter of this set, while the second one relates to the maximal barycentric cube that can be inscribed into it. Also here, for both measures, we give linear programming algorithms capable to deal with them. Finally, we discuss some ideas in the context of ordinal decision theory. The paper concludes with a stylized application examples illustrating all introduced concepts

Data-Based Decisions under Complex Uncertainty

Decision theory is, in particular in economics, medical expert systems and statistics, an important tool for determining optimal decisions under uncertainty. In view of applications in statistics, the present book is concerned with decision problems which are explicitly data-based. Since the arising uncertainties are often too complex to be described by classical precise probability assessments, concepts of imprecise probabilities (coherent lower previsions, F-probabilities) are applied. Due to the present state of research, some basic groundwork has to be done: Firstly, topological properties of different concepts of imprecise probabilities are investigated. In particular, the concept of coherent lower previsions appears to have advantageous properties for applications in decision theory. Secondly, several decision theoretic tools are developed for imprecise probabilities. These tools are mainly based on concepts developed by L. Le Cam and enable, for example, a definition of sufficiency in case of imprecise probabilities for the first time. Building on that, the article [A. Buja, Zeitschrift für Wahrscheinlichkeitstheorie und Verwandte Gebiete 65 (1984) 367-384] is reinvestigated in the only recently available framework of imprecise probabilities. This leads to a generalization of results within the Huber-Strassen theory concerning least favorable pairs or models. Results obtained by these investigations can also be applied afterwards in order to justify the use of the method of natural extension, which is fundamental within the theory of imprecise probabilities, in data-based decision problems. It is shown by means of the theory of vector lattices that applying the method of natural extension in decision problems does not affect the optimality of decisions. However, it is also shown that, in general, the method of natural extension suffers from a severe instability. The book closes with an application in statistics in which a minimum distance estimator is developed for imprecise probabilities. After an investigation concerning its asymptotic properties, an algorithm for calculating the estimator is given which is based on linear programming. This algorithm has led to an implementation of the estimator in the programming language R which is publicly available as R package "imprProbEst". The applicability of the estimator (even for large sample sizes) is demonstrated in a simulation study