Modellierung und Simulation systemischer Risiken mittels probabilistischer Programmierung auf Basis eines integrativen Rahmenmodells

Die vorliegende Arbeit beschäftigt sich aus zwei unterschiedlichen Perspektiven mit Systemischen Risiken. Im ersten Teil werden verschiedene Ansätze und Definitionen Systemischer Risiken aus verschiedenen Disziplinen zusammengetragen. Aus diesen zum Teil sehr unterschiedlichen Ansätzen werden einige häufig auftretende Merkmale extrahiert und nach einem weiteren Abstraktionsschritt zu einem übergeordneten Rahmenmodell in Beziehung gesetzt. Es handelt sich um ein qualitatives Modell, bei dem bewusst auf eine konkrete formale Ausgestaltung verzichtet wurde. Der abstrakte Charakter des Rahmenmodells ermöglicht die Integration der verschiedenen Ansätze und Definitionen Systemischer Risiken. Des Weiteren wird durch die Formulierung eines übergeordneten Rahmenmodells eine Abgrenzung zwischen konventionellen und Systemischen Risiken möglich. Auf Basis des integrativen Rahmenmodells wurden im zweiten Teil der Arbeit drei Beispiele für Systemische Risiken identifiziert, für die mit Hilfe der Probabilistischen Programmierung Computersimulationen entwickelt wurden. Die Probabilistische Programmierung ist eine Entwicklung aus der künstlichen Intelligenzforschung, die in den letzten Jahren verstärkt Interesse erfährt. Die Verwendung dieser Methode zur Modellierung und Simulation Systemischer Risiken stellt einen Fokus dieser Arbeit dar. Die ersten zwei Beispiele befassen sich mit der Ausbreitung von Influenza und einer möglichen Epidemie sowie mit dem Konzept der sozialen Diffusion, das am Beispiel der Ausbreitung von Fake News behandelt wird. Im dritten Fallbeispiel wird ein rudimentäres Modell zur sozialen Ungleichheit entwickelt, in dem sich ein soziales Netzwerk strukturell aufgrund der Interaktion zweier verschiedener Mechanismen verändert

Same data, different conclusions : radical dispersion in empirical results when independent analysts operationalize and test the same hypothesis

In this crowdsourced initiative, independent analysts used the same dataset to test two hypotheses regarding the effects of scientists’ gender and professional status on verbosity during group meetings. Not only the analytic approach but also the operationalizations of key variables were left unconstrained and up to individual analysts. For instance, analysts could choose to operationalize status as job title, institutional ranking, citation counts, or some combination. To maximize transparency regarding the process by which analytic choices are made, the analysts used a platform we developed called DataExplained to justify both preferred and rejected analytic paths in real time. Analyses lacking sufficient detail, reproducible code, or with statistical errors were excluded, resulting in 29 analyses in the final sample. Researchers reported radically different analyses and dispersed empirical outcomes, in a number of cases obtaining significant effects in opposite directions for the same research question. A Boba multiverse analysis demonstrates that decisions about how to operationalize variables explain variability in outcomes above and beyond statistical choices (e.g., covariates). Subjective researcher decisions play a critical role in driving the reported empirical results, underscoring the need for open data, systematic robustness checks, and transparency regarding both analytic paths taken and not taken. Implications for organizations and leaders, whose decision making relies in part on scientific findings, consulting reports, and internal analyses by data scientists, are discussed

Same data, different conclusions: Radical dispersion in empirical results when independent analysts operationalize and test the same hypothesis

In this crowdsourced initiative, independent analysts used the same dataset to test two hypotheses regarding the effects of scientists’ gender and professional status on verbosity during group meetings. Not only the analytic approach but also the operationalizations of key variables were left unconstrained and up to individual analysts. For instance, analysts could choose to operationalize status as job title, institutional ranking, citation counts, or some combination. To maximize transparency regarding the process by which analytic choices are made, the analysts used a platform we developed called DataExplained to justify both preferred and rejected analytic paths in real time. Analyses lacking sufficient detail, reproducible code, or with statistical errors were excluded, resulting in 29 analyses in the final sample. Researchers reported radically different analyses and dispersed empirical outcomes, in a number of cases obtaining significant effects in opposite directions for the same research question. A Boba multiverse analysis demonstrates that decisions about how to operationalize variables explain variability in outcomes above and beyond statistical choices (e.g., covariates). Subjective researcher decisions play a critical role in driving the reported empirical results, underscoring the need for open data, systematic robustness checks, and transparency regarding both analytic paths taken and not taken. Implications for organizations and leaders, whose decision making relies in part on scientific findings, consulting reports, and internal analyses by data scientists, are discussed