Lässt sich das Sicherheitsgefühl der Bevölkerung automatisiert erfassen? : Eine Fallstudie zur (künftigen) Rolle sozialwissenschaftlicher Methodologie im Zeitalter von Big Data
Seit Oktober 2015 sind wir als wissenschaftlicher Partner an zwei von der FFG geförderten Projekten im Sicherheitsforschungsprogramm KIRAS beteiligt. Im Zuge des ersten Projekts (Laufzeit bis Oktober 2016) wurde in Kooperation mit Unternehmensberatern und einer IT-Firma die Online-Plattform Foresight-Cockpit entwickelt. Diese hat das Ziel, die österreichischen Ministerien in die Lage zu versetzen, kollaborativ sowie ressortübergreifend frühzeitig auf unerwartete Trendbewegungen und Zukunftsszenarien im Bereich Sicherheit aufmerksam zu werden, sodass dauerhaft die Qualität des Risiko- und Krisenmanagements gesteigert werden kann. Im aktuellen Projekt (Laufzeit bis Oktober 2017) wurde eine softwarebasierte Lösung (genannt „Weblyzard“) zur Analyse von Nachrichtenquellen und Social-Media-Daten in das bestehende Tool integriert, um den künftigen NutzerInnen der Plattform die Analyse sicherheitspolitischer Lageperzeptionen und Stimmungslagen in der Bevölkerung zu erleichtern.
Die vorliegende Fallstudie soll primär die Möglichkeiten und Grenzen von Big-Data-Analysen auf Basis von Medienquellen im Vergleich zu klassischen quantitativen Inhaltsanalysen im Kontext einer Evaluationsstudie aufzeigen. Insofern entschieden wir, mit einer konventionellen Inhaltsanalyse auf Basis von zwei reichweitenstarken Online-Medien (Der Standard und die Kronen Zeitung) parallel zum Weblyzard Häufigkeits- und Sentimentanalysen mit zwei unabhängigen BeobachterInnen durchzuführen, indem die Anzahl relevanter Artikel und UserInnen-Kommentare von ForscherInnen ausgezählt und nach Stimmung bewertet wurden. Die Ergebnisse weisen auf deutliche Schwächen und Fehlinterpretationen durch die Software hin, besonders wenn Stimmungsaussagen sowie zynische und irrelevante Statements in die automatisierte Auswertung einfließen.
Die Ergebnisse zeigen deutlich, dass empirische Forschung stets durch theoriegeleitete Interpretationen ergänzt werden sollte und nicht nur auf Potenziale, sondern auch gezielt auf Risiken des aktuellen Big-Data-Hypes hinweisen muss, um der Anziehungskraft automatisierter textbasierter Analysen entgegenzuwirken.Since October 2015, we have been involved as scientific partners in two FFG-funded projects (KIRAS security research program). The first project has developed a tool called Foresight-Strategy Cockpit. This software should enable the Austrian ministries to improve crisis management strategies by becoming aware of unexpected trends and future scenarios in security issues. The second project has integrated WebLyzard, a software tool for an automated analysis of online news and social media sources (comments on articles, Facebook postings and Twitter statements), to analyze the media representation of pressing societal issues and citizens security perceptions.
The WebLyzard software was used in a case study where two independent observers performed a frequency and sentiment analysis in parallel to the automated Weblyzard results. Specific articles and user comments on selected key-topics in two major online newspapers in Austria (“Der Standard” and “Die Krone”) were counted and evaluated according to different sentiment categories. The results indicate various weaknesses of the software leading to misinterpretations, and the automated analysis yielded substantially different results compared to the sentiment analysis by the two raters, especially for cynical or irrelevant statements.
Our case study highlights the potentials and limits of big-data analyses of media sources compared to those of conventional, quantitative content analysis. The results clearly show that empirical research should always be accompanied by theory-based interpretation and should highlight not only the potentials but also, specifically, the risks and weaknesses of the big data hype to counteract the allure of automated text-based analyses.(VLID)379962
