Replication and Computational Literary Studies

The "replication crisis" that has been raging in fields like Psychology (Open Science Collaboration 2015) or Medicine (Ioannidis 2005) for years has recently reached the field of Artificial Intelligence (Barber 2019). One of the key conferences in the field, NeurIPS, has reacted by appointing 'reproducibility chairs' in their organizing committee. In the Digital Humanities, and particularly in Computational Literary Studies (CLS), there is an increasing awareness of the crucial role played by replication in evidence-based research. Relevant disciplinary developments include the increased importance of evaluation in text analysis and the increased interest in making research transparent through publicly accessible data and code (open source, open data). Specific impulses include Geoffrey Rockwell and Stéfan Sinclair's re-enactments of pre-digital studies (Sinclair and Rockwell 2015) or the recent replication study by Nan Z. Da (Da 2019). The paper has been met by an avalanche of responses that pushed back several of its key claims, including its rather sweeping condemnation of the replicated papers. However, an important point got buried in the process: that replication is indeed a valuable goal and practice. As stated in the Open Science Collaboration paper: "Replication can increase certainty when findings are reproduced and promote innovation when they are not" (Open Science Collaboration 2015, 943). As a consequence, the panel aims to raise a number of issues regarding the place, types, challenges and affordances, both on a practical and on a policy or community level, of replication in CLS. Several impulse papers will address key aspects of the issue: recent experience with attempts at replication of specific papers; policies dealing with replication in fields with more experience in the issue; conceptual and terminological clarification with regard to replication studies; and proposals for a way forward with replication as a community task or a policy issue

Genetische Kritik gedruckter historischer Datensammlungen am Beispiel der dänischen Sundzolltabellen (1906–1953). Ein Werkstattbericht

Ein Beitrag zur Digital History 2023: Digitale Methoden in der geschichtswissenschaftlichen Praxis: Fachliche Transformationen und ihre epistemologischen Konsequenzen, Berlin, 23.-26.5.2023. Abstract: Am Beispiel der "dänischen Sundzolltabellen", eine renommierte Sammlung von Statistiken über Schifffahrt und Warenverkehr zwischen Nord- und Ostsee von 1497 bis 1783, zeigt dieser Beitrag wie digitale Tools und Methoden eine emische Perspektive auf die Genese historischer Datensammlungen ermöglichen. Die emische Perspektive versucht sich den Praktiken der Forscherinnen und Forschern wertschätzend und ‚auf Augenhöhe‘ anzunähern und verzichtet bewusst auf externe, a priori festgelegte Bewertungskriterien. Die materiellen Bedingungen für eine genetische Datenkritik der "dänischen Sundzolltabellen" sind einzigartig. Die uneingeschränkte digitale Verfügbarkeit der archivalischen Grundlage der "dänischen Sundzolltabellen" auf Sound Toll Registers Online und eine umfassende Historiographie machen es möglich, in die Quelle ‚einzutauchen‘ und die Genese der vielen Tabellen fast mikroskopisch zu betrachten und zu rekonstruieren. Der Beitrag zeigt, wie eine genetische Datenkritik über die Praktiken im Umgang mit historischen Daten informiert und so zu neuen Erkenntnissen über die Entwicklung und Anwendung von quantifizierenden Verfahren in der historischen Forschung beiträgt