ChatGPT outperforms crowd workers for text-annotation tasks

Many NLP applications require manual text annotations for a variety of tasks, notably to train classifiers or evaluate the performance of unsupervised models. Depending on the size and degree of complexity, the tasks may be conducted by crowd workers on platforms such as MTurk as well as trained annotators, such as research assistants. Using four samples of tweets and news articles (n = 6,183), we show that ChatGPT outperforms crowd workers for several annotation tasks, including relevance, stance, topics, and frame detection. Across the four datasets, the zero-shot accuracy of ChatGPT exceeds that of crowd workers by about 25 percentage points on average, while ChatGPT’s intercoder agreement exceeds that of both crowd workers and trained annotators for all tasks. Moreover, the per-annotation cost of ChatGPT is less than $0.003—about thirty times cheaper than MTurk. These results demonstrate the potential of large language models to drastically increase the efficiency of text classification

Social media and policy responses to the COVID‐19 pandemic in Switzerland

We study the role of social media in debates regarding two policy responses to COVID-19 in Switzerland: face-mask rules and contact-tracing apps. We use a dictionary classifier to categorize 612'177 tweets by parties, politicians, and the public as well as 441'458 articles published in 76 newspapers between February and August 2020. We distinguish between “problem” (COVID-19) and “solutions” (face masks and contact-tracing apps) and, using a vector autoregression approach, we analyze the relationship between their salience on social and traditional media, as well as among different groups on social media. We find that overall attention to COVID-19 was not driven by endogenous dynamics between the different actors. By contrast, the debate on face masks was led by the attentive public and by politicians, whereas parties and newspapers followed. The results illustrate how social media challenge the capacity of party and media elites to craft a consensus regarding the appropriateness of different measures as responses to a major crisis. Wir analysieren die Funktion sozialer Medien in Debatten über zwei politische Strategien zur Eindämmung von COVID-19 in der Schweiz: das Maskenpflicht und die Kontaktverfolgungs-App. Wir verwenden einen stichwortbasierten Klassifikationsalgorithmus, um 612177 Tweets von Parteien, Politiker:innen und der Öffentlichkeit sowie 441458 Artikel aus 76 Zeitungen zu kategorisieren, die von Februar bis August 2020 veröffentlicht wurden. Wir unterscheiden zwischen „Problem’“ (COVID-19) und „Lösungen“ (Maskenpflicht und Kontaktverfolgungs-App). Mittels eines Vektor-Autoregressions-Modelles analysieren wir die Wechselbeziehung zwischen der Prävalenz dieser Themen in sozialen und traditionellen Medien sowie zwischen verschiedenen Gruppen in den sozialen Medien. Wir zeigen, dass der Fokus auf COVID-19 nicht von endogenen Dynamiken zwischen den verschiedenen Akteuren angetrieben wurde. Vielmehr wurde die Debatte über Gesichtsmasken von der interessierten Öffentlichkeit und von Politiker:innen angeführt. Die Ergebnisse veranschaulichen, wie soziale Medien die Fähigkeit von Partei- und Medieneliten herausfordern, einen Konsens über die Angemessenheit verschiedener Massnahmen als Reaktion auf eine Krise zu schaffen

Der Wahlkampf 2019 in traditionellen und digitalen Medien

Die Selects Medienstudie 2019 erforscht den Wahlkampf in den traditionellen und digitalen Medien in der Schweiz. Dabei setzt sie auf eine automatisierte Themenklassifizierung bei den Zeitungsartikeln sowie auf einen in dieser Form erstmaligen Zugang zu den Online-Auftritten der Kandidierenden in den sozialen Medien Facebook und Twitter. Erste Erkenntnisse zeigen, dass der Online-Wahlkampf zwar stattfindet – allerdings weniger zentral ist als die politische Debatte in den Zeitungen. Die traditionelle Debatte in den Zeitungen berücksichtigt stärker bereits etablierte AkteurInnen und folgt klarer den zentralen Themen des Wahlkampfes, im Wahljahr 2019 die Umwelt und das Klima sowie die Frauenvertretung. Online ist die Reichweite meist noch eingeschränkt und die Debatte häufig genereller auf den Wahlkampf fokussiert. Zusammengefasst zeigt sich so erst ein Aufkommen eines digitalen Wahlkampfes, welcher noch nicht die Führung in der Themensetzung übernommen hat

Content Moderation As a Political Issue: The Twitter Discourse Around Trump's Ban

Content moderation — the regulation of the material that users create and disseminate online — is an important activity for all social media platforms. While routine, this practice raises significant questions linked to democratic accountability and civil liberties. Following the decision of many platforms to ban Donald J. Trump in the aftermath of the attack on the U.S. Capitol in January 2021, content moderation has increasingly become a politically contested issue. This paper studies that process with a focus on the public discourse on Twitter. The analysis includes over 9 million tweets and retweets posted by over 3 million unique users between January 2020 and April 2021. First, the salience of content moderation was driven by left-leaning users, and "Section 230" was the most important topic across the ideological spectrum. Second, stance towards Section 230 was relatively volatile and increasingly polarized. These findings highlight relevant elements of the ongoing process of political contestation surrounding this issue, and provide a descriptive foundation to understand the politics of content moderation

Social media and political agenda setting

What is the role of social media in political agenda setting? Digital platforms have reduced the gatekeeping power of traditional media and, potentially, they have increased the capacity of various kinds of actors to shape the agenda. We study this question in the Swiss context by examining the connections between three agendas: the traditional media agenda, the social media agenda of parties, and the social media agenda of politicians. Specifically, we validate and apply supervised machine learning classifiers to categorize 2.78 million articles published in 84 newspapers, 6,500 tweets posted on official party accounts, and 210,000 tweets posted by politicians on their own accounts from January 2018 until December 2019. We first use the classifier to measure the salience of the four most relevant issues of the period: the environment, Europe, gender equality, and immigration. Then, using a vector autoregression (VAR) approach, we analyze the relationship between the three agendas. Results show that not only do the traditional media agenda, the social media agenda of parties, and the social media agenda of politicians influence one another but, overall, no agenda leads the others more than it is led by them. There is one important exception: for the environment issue, the social media agenda of parties is more predictive of the traditional media agenda than vice-versa. These findings underscore how closely different agendas are tied together, but also show that advocacy campaigns may play an important role in both constraining and enabling parties to push their specific agendas

Die digitaleTransformation der Demokratie

Diese Abhandlung bespricht die digitale Transformation der Demokratie, mit einem Fokus auf die Schweiz und ihre direktdemokratischen Institutionen. Im ersten Teil werden drei Aspekte der „digitalen Demokratie“ thematisiert, wobei der direktdemokratische Kontext der Schweiz in Verbindung mit der internationalen Literatur gebracht wird. Die drei Aspekte sind die Digitalisierung der öffentlichen Verwaltung, der politischen Partizipation, und der politischen Meinungsbildung bzw. des Wahlkampfs. Im zweiten Teil wird eine empirische Analyse der Nutzung der sozialen Medien in der schweizerischen direkten Demokratiepräsentiert. Die Analyse zeigt, dass die sozialen Medien zwar eine spürbare Grösse, jedoch in der Schweiz noch keine prägende Kraft geworden sind. Die digitale Transformation der Demokratie hat die Schweiz bisher nur teilweise erreicht

Der Wahlkampf 2019 in traditionellen und digitalen Medien: Technischer Bericht

Die Selects Medienstudie 2019 erforscht den Wahlkampf in den traditionellen und digitalen Medien in der Schweiz. Dabei setzt sie auf eine automatisierte Themenklassifizierung bei den Zeitungsartikeln sowie auf einen in dieser Form erstmaligen Zugang zu den Online-Auftritten der Kandidierenden in den sozialen Medien Facebook und Twitter. Erste Erkenntnisse zeigen, dass der Online-Wahlkampf zwar stattfindet – allerdings weniger zentral ist als die politische Debatte in den Zeitungen. Die traditionelle Debatte in den Zeitungen berücksichtigt stärker bereits etablierte AkteurInnen und folgt klarer den zentralen Themen des Wahlkampfes, im Wahljahr 2019 die Umwelt und das Klima sowie die Frauenvertretung. Online ist die Reichweite meist noch eingeschränkt und die Debatte häufig genereller auf den Wahlkampf fokussiert. Zusammengefasst zeigt sich so erst ein Aufkommen eines digitalen Wahlkampfes, welcher noch nicht die Führung in der Themensetzung übernommen hat

Building research infrastructures to study digital technology and politics: lessons from Switzerland

The relationship between digital technology and politics is an important phenomenon that remains poorly understood due to several structural problems. A key issue is the lack of adequate research infrastructures or the lack of access. This article discusses the challenges many social scientists face and presents the infrastructure we built in Switzerland to overcome them, using COVID-19 as an example. We conclude by discussing seven lessons we learned: automatization is key; avoid data hoarding; outsource some parts of the infrastructure but not others; focus on substantive questions; share data in the context of collaborations; engage in targeted public outreach; and collaboration is more promising than competition. We hope that our experience is helpful to other researchers pursuing similar goals