The Perceptions of College Faculty Toward Gamification: Opportunities and Challenges

Gamification is the use of game elements (storytelling, leaderboard, badges, points, and progress bars), mechanics (rules, objectives and challenges), and game designs in non-game contexts (Deterding, 2012; Kapp, 2012; Wiggins, 2016). The use of gamification in learning environments has been on a steady increase since 2010 (Deterding, 2017). This may be due to the limitations of game-based learning, and the need for specialized instructors (Simoes, Redondo, & Vilas, 2013). However, researchers such as Boer (2014) believe the effects of gamification on students’ engagement and motivation appear lower than expected. This is because studies such as Dichev and Dicheva (2017) indicated that its effect on motivation was lower than anticipated and argued that the design of a successful gamified learning experience that could motivate learning and change behaviors remained a guessing practice. This study used the collective case study method for data analysis and the syntheses of studies from gamification researchers to investigate and understand faculty members’ perceptions of the opportunities and challenges inherent in the use of gamification in adult students’ learning. The study then developed a robust framework for scientifically designing successful gamification learning experiences using Keller’s (1979, 1987) attention, relevance, confidence and satisfaction (ARCS) model of motivation, and Freire’s (2013) critical thinking concept as guiding lenses. Among other findings, the study found that a well-designed gamified learning experience engenders the following opportunities: (a) reduces the barriers to learning through the use of meaningful storytelling, which enables the opportunity to inject humor and experiential learning; (b) stimulates intrinsic motivation through the use of the game element of teamwork or group work, which induces good student-to-student and students-to-faculty relationships; and (c) creates the feelings of autonomy in students with the use of the game design principle of repetition

Sustainable interaction with digital technologies : fostering pro-environmental behavior and maintaining mental health

One of the most essential challenges of the twenty-first century is to realize sustainability in everyday behavior. Daily, partly unconscious decisions influence environmental sustainability. Such everyday choices are increasingly shifted toward digital environments, as digital technologies are ubiquitous in a wide variety of everyday contexts. This yields the great potential to positively influence the users behavior toward more environmental sustainability when interacting with digital technologies, for example, through the use of digital nudging. But besides these benefits, research indicates that interacting with digital technologies can lead to a specific form of stress, also known as technostress, that can cause adverse health outcomes. Individuals increasingly suffer from or are at risk of mental health issues like depression or burnout. This demonstrates that it is essential to ensure a sustainable interaction with digital technologies that is both environmentally friendly and healthy, especially for the mind. Addressing individuals interaction with digital technologies requires a broad understanding from all perspectives. The Human-Computer-Interaction (HCI) framework represents a guiding structure for studying the interaction of humans with digital technologies. Along with the guiding structure of the HCI framework, the seven research articles included in this dissertation aim to contribute to sustainable interaction with digital technologies. The focus is on two outcomes resulting from the interaction: First, fostering pro-environmental behavior and, second, maintaining mental health. After an introductory first chapter, Chapter 2 focuses on the outcome of fostering pro-environmental behavior when interacting with digital technologies using digital nudging. Chapter 2.1 contributes to a deeper understanding of the effectiveness of DNEs in different behavioral contexts (HCI perspective context) that influence the individuals pro-environmental behavior (e.g., e-commerce shopping behavior). Chapters 2.2 and 2.3 zoom in on two of the behavioral contexts described in Chapter 2.1 to investigate and test the design and effectiveness of specific DNEs in an e-commerce shop and a smart home app (HCI perspective technology) through online experiments. While prior research concentrated on the effectiveness of different feedback nudge features (FNFs) (e.g., different update frequencies), Chapter 2.4 investigates the influence of 25 identified FNFs on user satisfaction in a smart home app through a card sorting approach followed by an online survey based on the Kano model (HCI perspective human). Chapter 3 puts focuses on the outcome of maintaining mental health when interacting with digital technologies, thus avoiding technostress. Chapter 3.1 concentrates on the role of the organization in preventing technostress among their employees (HCI perspective context). It introduces and characterizes 24 primary and secondary technostress prevention measures and determines the relevance of primary prevention measures in reducing different sources of technostress (technostress creators). Out of the 24 technostress prevention measures, two specific measures (adopt a stress-sensitive digital workplace design and use gamification) are addressed in Chapters 3.2 and 3.3. Through a large-scale online survey, Chapter 3.2 derives an understanding of the characteristic profiles of technologies used at the digital workplace, their interplay, and how they influence technostress (HCI perspective technology). Chapter 3.3 focuses on the individuals appraisal (HCI perspective human) of a demanding situation when interacting with digital technologies. After conducting an online experiment, Chapter 3.3 finds that the integration of gamification elements (e.g., points or levels) in digital technologies can reduce the individuals threat appraisal. Lastly, Chapter 4 discusses the results of the seven included research articles and provides an outlook for future research. In summary, this dissertation aims to provide research and practice with new insights into creating a sustainable interaction with digital technologies to foster pro-environmental behavior and maintain mental health.Die nachhaltige Gestaltung des Lebens eine der zentralen Herausforderung des einundzwanzigsten Jahrhunderts. Alltägliche, teils unterbewusste Entscheidungen haben Einfluss auf die ökologische Nachhaltigkeit. Diese Entscheidungen werden durch die Allgegenwärtigkeit digitaler Technologien zunehmend in digitalen Umgebungen getroffen. Dies birgt das Potenzial, die Entscheidungen und somit das Verhalten der Nutzer:innen bei der Interaktion mit digitalen Technologien, beispielsweise durch Digital Nudging, positiv in Richtung ökologischer Nachhaltigkeit zu beeinflussen. Doch neben diesen Vorteilen zeigt die Forschung, dass die Interaktion mit digitalen Technologien eine spezifische Form von Stress, bekannt unter dem Begriff Technostress, auslösen kann, die zu negativen gesundheitlichen Folgen führen kann. Immer mehr Menschen leiden unter psychischen Krankheiten wie Depressionen oder Burnout oder sind akut gefährdet, diese zu entwickeln. Das zeigt, dass eine nachhaltige Interaktion mit digitalen Technologien sowohl umweltfreundlich als auch gesund, insbesondere für die Psyche, sein sollte. Das erfordert zunächst ein umfassendes Verständnis für die Problematik und muss deshalb aus allen relevanten Perspektiven betrachtet werden. Das Human-Computer-Interaction (HCI) Framework stellt eine Struktur für die Untersuchung der Interaktion von Menschen mit digitalen Technologien bereit. Das Framework stellt einen ganzheitlichen Ansatz zur Strukturierung und Klassifizierung der Forschung entlang der drei verschiedenen Perspektiven dar. Orientiert an dieser Struktur zielen die sieben Forschungsartikel dieser Dissertation darauf ab, einen Beitrag zur nachhaltigen Interaktion mit digitalen Technologien zu leisten. Dabei liegt der Fokus auf den beiden Ergebnissen der Förderung des umweltfreundlichen Verhaltens und der Aufrechterhaltung der psychischen Gesundheit. Nach dem einleitenden ersten Kapitel fokussiert Kapitel 2 die Förderung eines umweltfreundlichen Verhaltens bei der Interaktion mit digitalen Technologien durch die Verwendung von Digital Nudging. Durch eine strukturierte Literaturanalyse und der anschließenden Entwicklung eines Frameworks trägt Kapitel 2.1 zu einem tieferen Verständnis und einem Überblick der Effektivität von DNEs in verschiedenen Verhaltenskontexten (HCI Perspektive Kontext), die umweltfreundliches Verhalten bestimmen (z.B. Einkaufsverhalten), bei. In den Kapiteln 2.2 und 2.3 werden zwei der in Kapitel 2.1 betrachteten Kontexte vertieft und sowohl das Design als auch die Effektivität spezifischer DNEs in einem E-Commerce-Shop (Kapitel 2.2) und einer Smart Home App (Kapitel 2.3) in Online-Experimenten untersucht (HCI Perspektive Technologie). Kapitel 2.4 konzentriert sich das gut erforschte und wirksame DNE Feedback zur Förderung von energiesparendem Verhalten. Während sich bisherige Forschung auf die Effektivität verschiedener Feedback Nudge Features (FNFs) konzentriert (z.B. unterschiedliche Aktualisierungsfrequenzen), wird in Kapitel 2.4 der Einfluss von 25 identifizierten FNFs auf die Nutzerzufriedenheit mit Hilfe eines Card Sortings und einer Online-Befragung basierend auf dem Kano Modell untersucht (HCI Perspektive Mensch). In Kapitel 3 liegt der Schwerpunkt auf dem Ziel der Aufrechterhaltung der psychischen Gesundheit und somit der Vermeidung von Technostress. Kapitel 3.1 konzentriert sich auf die Rolle der Organisation bei der Prävention von Technostress bei Mitarbeiter:innen (HCI Perspektive Kontext). Basierend auf einer Delphi-Studie werden 24 primäre und sekundäre Technostress-Präventionsmaßnahmen vorgestellt und charakterisiert, sowie deren Relevanz zur Vermeidung von Technostress eingeschätzt. Von den 24 Maßnahmen werden zwei spezifische Maßnahmen (Gestaltung eines stresssensiblen digitalen Arbeitsplatzes" und Einsatz von Gamification) in Kapitel 3.2 und 3.3 behandelt. Kapitel 3.2 trägt durch eine groß angelegte Umfrage zu einem Verständnis für die Charakteristika der am digitalen Arbeitsplatz eingesetzten Technologien und deren Einfluss auf Technostress bei (HCI Perspektive Technologie). Kapitel 3.3 konzentriert sich auf das Individuum und dessen Wahrnehmung einer potenziellen Technostress-Situation bei der Interaktion mit digitalen Technologien (HCI Perspektive Mensch). Durch ein Online-Experiment zeigt sich, dass die Integration von Gamification-Elementen in digitalen Technologien die bedrohende Wahrnehmung der gegebenen Situation des Einzelnen reduzieren kann. Zusammenfassend zielt diese Dissertation darauf ab, Forschung und Praxis mit neuen Erkenntnissen zu einer nachhaltigen Interaktion von Menschen mit digitalen Technologien zu bereichern, die sowohl umweltfreundliches Verhalten fördert als auch die psychische Gesundheit aufrechterhält und somit zu den aktuellen Nachhaltigkeitsbemühungen beiträgt

Game-inspired Pedagogical Conversational Agents: A Systematic Literature Review

Pedagogical conversational agents (PCAs) are an innovative way to help learners improve their academic performance via intelligent dialog systems. However, PCAs have not yet reached their full potential. They often fail because users perceive conversations with them as not engaging. Enriching them with game-based approaches could contribute to mitigating this issue. One could enrich a PCA with game-based approaches by gamifying it to foster positive effects, such as fun and motivation, or by integrating it into a game-based learning (GBL) environment to promote effects such as social presence and enable individual learning support. We summarize PCAs that are combined with game-based approaches under the novel term “game-inspired PCAs”. We conducted a systematic literature review on this topic, as previous literature reviews on PCAs either have not combined the topics of PCAs and GBL or have done so to a limited extent only. We analyzed the literature regarding the existing design knowledge base, the game elements used, the thematic areas and target groups, the PCA roles and types, the extent of artificial intelligence (AI) usage, and opportunities for adaptation. We reduced the initial 3,034 records to 50 fully coded papers, from which we derived a morphological box and revealed current research streams and future research recommendations. Overall, our results show that the topic offers promising application potential but that scholars and practitioners have not yet considered it holistically. For instance, we found that researchers have rarely provided prescriptive design knowledge, have not sufficiently combined game elements, and have seldom used AI algorithms as well as intelligent possibilities of user adaptation in PCA development. Furthermore, researchers have scarcely considered certain target groups, thematic areas, and PCA roles. Consequently, our paper contributes to research and practice by addressing research gaps and structuring the existing knowledge base

Gamificação e cicloturismo sénior : design de uma app para a comunidade miOne

As the aging population continues to grow, there has been an increasing interest in the subject of gerontechnology. In the specific case of the digital game industry, senior citizens are becoming better consumers due to their purchasing power and free time, so it is important to focus on the role of games to their wellbeing and meet their needs and preferences. However, there is a general lack of information and products that address physical exercise in the interrelationship of cycling, tourism, games, gamification and senior citizens. The aim of this research is to understand the way gamification interventions can motivate senior citizens to adhere to cyclo-tourism. This dissertation reports on the use of the Development Research Method, deploying a broad array of methods, including focus groups, eye-tracking and interviews. A total of 46 participants (7 focus group participants, 8 participants in eye-tracking and 31 cyclists’ interviewees) were involved in this research. Based on the literature review, related work and the insights from each method, a cyclo-tourism digital app entitled Jizo was co-designed and prototyped. Findings indicate that certain gamification techniques and elements can trigger senior citizens’ motivations towards cyclo-tourism, being essential integrative parts of a digital app in this context. The elements highlighted were social relationships, progression, challenges, competition, feedback and rewards, having an important role in pre-, in loco and post- experience. These data support the view on gamification capability to motivate senior cyclo-tourism.Com o contínuo crescimento do envelhecimento da população, tem havido um interesse progressivo na área da gerontecnologia. No caso específico da indústria dos jogos digitais, os cidadãos seniores fazem parte de um grupo de consumidores com poder de compra e tempo livre, pelo que é essencial compreender o papel dos jogos digitais no seu bem-estar e atender às suas necessidades e preferências. No entanto, continua a prevalecer uma falta de informação e de produtos que abordam o exercício físico nas inter-relações entre o ciclismo, turismo, jogos, gamificação e cidadãos seniores. O objetivo desta investigação é compreender o uso de estratégias de gamificação para motivar os cidadãos seniores a aderirem ao cicloturismo. Esta dissertação reporta a utilização do Método de Investigação de Desenvolvimento, tendo como base os seguintes métodos: grupos de discussão, eye-tracking e entrevistas. Um total de 46 participantes (7 participantes de grupos de discussão, 8 participantes de eye-tracking e 31 ciclistas entrevistados) foram envolvidos nesta investigação. Após a revisão da literatura, trabalho relacionado, e os resultados obtidos de cada método, procedeu-se ao co-design e prototipagem uma app de cicloturismo designada Jizo. Os resultados indicam que certas técnicas e elementos da gamificação podem desencadear as motivações dos cidadãos seniores para o cicloturismo, além de serem partes essenciais e integrantes de um aplicativo deste contexto. Os elementos destacados foram as relações sociais, progressão, desafios, competição, feedback e recompensas, na medida em que eles têm um papel importante na pré, in loco e na pós-experiência. Estes dados suportam a ideia da capacidade da gamificação para motivar o cicloturismo sénior.Mestrado em Comunicação Multimédi

Interactive tools for reproducible science

Reproducibility should be a cornerstone of science. It plays an essential role in research validation and reuse. In recent years, the scientific community and the general public became increasingly aware of the reproducibility crisis, i.e. the wide-spread inability of researchers to reproduce published work, including their own. The reproducibility crisis has been identified in most branches of data-driven science. The effort required to document, clean, preserve, and share experimental resources has been described as one of the core contributors to this irreproducibility challenge. Documentation, preservation, and sharing are key reproducible research practices that are of little perceived value for scientists, as they fall outside the traditional academic reputation economy that is focused on novelty-driven scientific contributions. Scientific research is increasingly focused on the creation, observation, processing, and analysis of large data volumes. On one hand, this transition towards computational and data-intensive science poses new challenges for research reproducibility and reuse. On the other hand, increased availability and advances in computation and web technologies offer new opportunities to address the reproducibility crisis. A prominent example is the World Wide Web (WWW), which was developed in response to researchers’ needs to quickly share research data and findings with the scientific community. The WWW was invented at the European Organization for Nuclear Research (CERN). CERN is a key laboratory in High Energy Physics (HEP), one of the most data-intensive scientific domains. This thesis reports on research connected in the context of CAP, a Research Data Management (RDM) service tailored to CERN's major experiments. We use this scientific environment to study the role and requirements of interactive tools in facilitating reproducible research. In this thesis, we build a wider understanding of researchers' interactions with tools that support research documentation, preservation, and sharing. From an HCI perspective the following aspects are fundamental: (1) Characterize and map requirements and practices around research preservation and reuse. (2) Understand the wider role and impact of RDM tools in scientific workflows. (3) Design tools and interactions that promote, motivate, and acknowledge reproducible research practices. Research reported in this thesis represents the first systematic application of HCI methods in the study and design of interactive tools for reproducible science. We have built an empirical understanding of reproducible research practices and the role of supportive tools through research in HEP and across a variety of scientific fields. We designed prototypes and implemented services that aim to create rewarding and motivating interactions. We conducted mixed-method evaluations to assess the UX of the designs, in particular related to usefulness, suitability, and persuasiveness. We report on four empirical studies in which 42 researchers and data managers participated. In the first interview study, we asked HEP data analysts about RDM practices and invited them to explore and discuss CAP. Our findings show that tailored preservation services allow for introducing and promoting meaningful rewards and incentives that benefit contributors in their research work. Here, we introduce the term secondary usage forms of RDM tools. While not part of the core mission of the tools, secondary usage forms motivate contributions through meaningful rewards. We extended this research through a cross-domain interview study with data analysts and data stewards from a diverse set of scientific fields. Based on the findings of this cross-domain study, we contribute a Stage-Based Model of Personal RDM Commitment Evolution that explains how and why scientists commit to open and reproducible science. To address the motivation challenge, we explored if and how gamification can motivate contributions and promote reproducible research practices. To this end, we designed two prototypes of a gamified preservation service that was inspired by CAP. Each gamification prototype makes use of different underlying mechanisms. HEP researchers found both implementations valuable, enjoyable, suitable, and persuasive. The gamification layer improves visibility of scientists and research work and facilitates content navigation and discovery. Based on these findings, we implemented six tailored science badges in CAP in our second gamification study. The badges promote and reward high-quality documentation and special uses of preserved research. Findings from our evaluation with HEP researchers show that tailored science badges enable novel forms of research repository navigation and content discovery that benefit users and contributors. We discuss how the use of tailored science badges as an incentivizing element paves new ways for interaction with research repositories. Finally, we describe the role of HCI in supporting reproducible research practices. We stress that tailored RDM tools can improve content navigation and discovery, which is key in the design of secondary usage forms. Moreover, we argue that incentivizing elements like gamification may not only motivate contributions, but further promote secondary uses and enable new forms of interaction with preserved research. Based on our empirical research, we describe the roles of both HCI scholars and practitioners in building interactive tools for reproducible science. Finally, we outline our vision to transform computational and data-driven research preservation through ubiquitous preservation strategies that integrate into research workflows and make use of automated knowledge recording. In conclusion, this thesis advocates the unique role of HCI in supporting, motivating, and transforming reproducible research practices through the design of tools that enable effective RDM. We present practices around research preservation and reuse in HEP and beyond. Our research paves new ways for interaction with RDM tools that support and motivate reproducible science.Reproduzierbarkeit sollte ein wissenschaftlicher Grundpfeiler sein, da sie einen essenziellen Bestandteil in der Validierung und Nachnutzung von Forschungsarbeiten darstellt. Verfügbarkeit und Vollständigkeit von Forschungsmaterialien sind wichtige Voraussetzungen für die Interaktion mit experimentellen Arbeiten. Diese Voraussetzungen sind jedoch oft nicht gegeben. Zuletzt zeigten sich die Wissenschaftsgemeinde und die Öffentlichkeit besorgt über die Reproduzierbarkeitskrise in der empirischen Forschung. Diese Krise bezieht sich auf die Feststellung, dass Forscher oftmals nicht in der Lage sind, veröffentlichte Forschungsergebnisse zu validieren oder nachzunutzen. Tatsächlich wurde die Reproduzierbarkeitskrise in den meisten Wissenschaftsfeldern beschrieben. Eine der Hauptursachen liegt in dem Aufwand, der benötigt wird, um Forschungsmaterialien zu dokumentieren, vorzubereiten und zu teilen. Wissenschaftler empfinden diese Forschungspraktiken oftmals als unattraktiv, da sie außerhalb der traditionellen wissenschaftlichen Belohnungsstruktur liegen. Diese ist zumeist ausgelegt auf das Veröffentlichen neuer Forschungsergebnisse. Wissenschaftliche Forschung basiert zunehmend auf der Verarbeitung und Analyse großer Datensätze. Dieser Übergang zur rechnergestützten und daten-intensiven Forschung stellt neue Herausforderungen an Reproduzierbarkeit und Forschungsnachnutzung. Die weite Verbreitung des Internets bietet jedoch ebenso neue Möglichkeiten, Reproduzierbarkeit in der Forschung zu ermöglichen. Die Entwicklung des World Wide Web (WWW) stellt hierfür ein sehr gutes Beispiel dar. Das WWW wurde in der Europäischen Organisation für Kernforschung (CERN) entwickelt, um Forschern den weltweiten Austausch von Daten zu ermöglichen. CERN ist eine der wichtigsten Großforschungseinrichtungen in der Teilchenphysik, welche zu den daten-intensivsten Forschungsbereichen gehört. In dieser Arbeit berichten wir über unsere Forschung, die sich auf CERN Analysis Preservation (CAP) fokussiert. CAP ist ein Forschungsdatenmanagement-Service (FDM-Service), zugeschnitten auf die größten Experimente von CERN. In dieser Arbeit entwickeln und kommunizieren wir ein erweitertes Verständnis der Interaktion von Forschern mit FDM-Infrastruktur. Aus Sicht der Mensch-Computer-Interaktion (MCI) sind folgende Aspekte fundamental: (1) Das Bestimmen von Voraussetzungen und Praktiken rund um FDM und Nachnutzung. (2) Das Entwickeln von Verständnis für die Rolle und Auswirkungen von FDM-Systemen in der wissenschaftlichen Arbeit. (3) Das Entwerfen von Systemen, die Praktiken unterstützen, motivieren und anerkennen, welche die Reproduzierbarkeit von Forschung vorantreiben. Die Forschung, die wir in dieser Arbeit beschreiben, stellt die erste systematische Anwendung von MCI-Methoden in der Entwicklung von FDM-Systemen für Forschungsreproduzierbarkeit dar. Wir entwickeln ein empirisches Verständnis von Forschungspraktiken und der Rolle von unterstützenden Systemen durch überwiegend qualitative Forschung in Teilchenphysik und darüber hinaus. Des Weiteren entwerfen und implementieren wir Prototypen und Systeme mit dem Ziel, Wissenschaftler für FDM zu motivieren und zu belohnen. Wir verfolgten einen Mixed-Method-Ansatz in der Evaluierung der Nutzererfahrung bezüglich unserer Prototypen und Implementierungen. Wir berichten von vier empirischen Studien, in denen insgesamt 42 Forscher und Forschungsdaten-Manager teilgenommen haben. In unserer ersten Interview-Studie haben wir Teilchenphysiker über FDM-Praktiken befragt und sie eingeladen, CAP zu nutzen und über den Service zu diskutieren. Unsere Ergebnisse zeigen, dass die mensch-zentrierte Studie von speziell angepassten FDM-Systemen eine besondere Blickweise auf das Entwerfen von Anreizen und bedeutungsvollen Belohnungen ermöglicht. Wir führen den Begriff secondary usage forms (Zweitnutzungsformen) in Bezug auf FDM-Infrastruktur ein. Hierbei handelt es sich um Nutzungsformen, die Forschern sinnvolle Anreize bieten, ihre Arbeiten zu dokumentieren und zu teilen. Basierend auf unseren Ergebnissen in der Teilchenphysik haben wir unseren Forschungsansatz daraufhin auf Wissenschaftler und Forschungsdatenmanager aus einer Vielzahl verschiedener und diverser Wissenschaftsfelder erweitert. In Bezug auf die Ergebnisse dieser Studie beschreiben wir ein zustandsbasiertes Modell über die Entwicklung individueller Selbstverpflichtung zu FDM. Wir erwarten, dass dieses Modell designorientierte Denk- und Methodenansätze in der künftigen Implementierung und Evaluation von FDM-Infrastruktur beeinflussen wird. Des Weiteren haben wir einen Forschungsansatz zu Spielifizierung (Gamification) verfolgt, in dem wir untersucht haben, ob und wie Spielelemente FDM-Praktiken motivieren können. Zunächst haben wir zwei Prototypen eines spielifizierten FDM-Tools entwickelt, welche sich an CAP orientieren. Obwohl die beiden Prototypen auf sehr unterschiedlichen Entwurfskonzepten beruhen, fanden Teilchenphysiker beide angemessen und motivierend. Die Studienteilnehmer diskutierten insbesondere verbesserte Sichtbarkeit individueller Forscher und wissenschaftlicher Arbeiten. Basierend auf den Ergebnissen dieser ersten Studie zu Spielifizierung in FDM haben wir im nächsten Schritt sechs speziell zugeschnittene Forschungs-Abzeichen (tailored science badges) in CAP implementiert. Die Abzeichen bewerben das ausführliche Dokumentieren sowie besondere Nutzen der auf dem Service zugänglichen Forschungsarbeiten. Die Ergebnisse unserer Evaluierung mit Teilchenphysikern zeigen, dass die speziell zugeschnittenen Forschungs-Abzeichen neue und effektivere Möglichkeiten bieten, Forschungsmaterialien systematisch zu durchsuchen und zu entdecken. Hierdurch profitieren sowohl Nutzer als auch Forschungsdaten-Beisteuernde. Basierend auf den Ergebnissen diskutieren wir, wie die Forschungs-Abzeichen neue Formen der Interaktion mit großen Forschungsrepositorien ermöglichen. Zum Schluss heben wir die besondere Rolle von MCI in der Entwicklung unterstützender FDM-Infrastruktur hervor. Wir betonen, dass speziell an Forschungspraktiken angepasste Systeme neue Ansätze in der Interaktion mit wissenschaftlichen Arbeiten ermöglichen. Wir beschreiben zwei Modelle und unsere Erwartung, wie MCI die Entwicklung künftiger FDM-Systeme nachhaltig beeinflussen kann. In diesem Zusammenhang präsentieren wir auch unsere Vision zu ubiquitären Strategien, die zum Ziel hat, Forschungsprozesse und Wissen systematisch festzuhalten

Interactive tools for reproducible science

Reproducibility should be a cornerstone of science. It plays an essential role in research validation and reuse. In recent years, the scientific community and the general public became increasingly aware of the reproducibility crisis, i.e. the wide-spread inability of researchers to reproduce published work, including their own. The reproducibility crisis has been identified in most branches of data-driven science. The effort required to document, clean, preserve, and share experimental resources has been described as one of the core contributors to this irreproducibility challenge. Documentation, preservation, and sharing are key reproducible research practices that are of little perceived value for scientists, as they fall outside the traditional academic reputation economy that is focused on novelty-driven scientific contributions. Scientific research is increasingly focused on the creation, observation, processing, and analysis of large data volumes. On one hand, this transition towards computational and data-intensive science poses new challenges for research reproducibility and reuse. On the other hand, increased availability and advances in computation and web technologies offer new opportunities to address the reproducibility crisis. A prominent example is the World Wide Web (WWW), which was developed in response to researchers’ needs to quickly share research data and findings with the scientific community. The WWW was invented at the European Organization for Nuclear Research (CERN). CERN is a key laboratory in High Energy Physics (HEP), one of the most data-intensive scientific domains. This thesis reports on research connected in the context of CAP, a Research Data Management (RDM) service tailored to CERN's major experiments. We use this scientific environment to study the role and requirements of interactive tools in facilitating reproducible research. In this thesis, we build a wider understanding of researchers' interactions with tools that support research documentation, preservation, and sharing. From an HCI perspective the following aspects are fundamental: (1) Characterize and map requirements and practices around research preservation and reuse. (2) Understand the wider role and impact of RDM tools in scientific workflows. (3) Design tools and interactions that promote, motivate, and acknowledge reproducible research practices. Research reported in this thesis represents the first systematic application of HCI methods in the study and design of interactive tools for reproducible science. We have built an empirical understanding of reproducible research practices and the role of supportive tools through research in HEP and across a variety of scientific fields. We designed prototypes and implemented services that aim to create rewarding and motivating interactions. We conducted mixed-method evaluations to assess the UX of the designs, in particular related to usefulness, suitability, and persuasiveness. We report on four empirical studies in which 42 researchers and data managers participated. In the first interview study, we asked HEP data analysts about RDM practices and invited them to explore and discuss CAP. Our findings show that tailored preservation services allow for introducing and promoting meaningful rewards and incentives that benefit contributors in their research work. Here, we introduce the term secondary usage forms of RDM tools. While not part of the core mission of the tools, secondary usage forms motivate contributions through meaningful rewards. We extended this research through a cross-domain interview study with data analysts and data stewards from a diverse set of scientific fields. Based on the findings of this cross-domain study, we contribute a Stage-Based Model of Personal RDM Commitment Evolution that explains how and why scientists commit to open and reproducible science. To address the motivation challenge, we explored if and how gamification can motivate contributions and promote reproducible research practices. To this end, we designed two prototypes of a gamified preservation service that was inspired by CAP. Each gamification prototype makes use of different underlying mechanisms. HEP researchers found both implementations valuable, enjoyable, suitable, and persuasive. The gamification layer improves visibility of scientists and research work and facilitates content navigation and discovery. Based on these findings, we implemented six tailored science badges in CAP in our second gamification study. The badges promote and reward high-quality documentation and special uses of preserved research. Findings from our evaluation with HEP researchers show that tailored science badges enable novel forms of research repository navigation and content discovery that benefit users and contributors. We discuss how the use of tailored science badges as an incentivizing element paves new ways for interaction with research repositories. Finally, we describe the role of HCI in supporting reproducible research practices. We stress that tailored RDM tools can improve content navigation and discovery, which is key in the design of secondary usage forms. Moreover, we argue that incentivizing elements like gamification may not only motivate contributions, but further promote secondary uses and enable new forms of interaction with preserved research. Based on our empirical research, we describe the roles of both HCI scholars and practitioners in building interactive tools for reproducible science. Finally, we outline our vision to transform computational and data-driven research preservation through ubiquitous preservation strategies that integrate into research workflows and make use of automated knowledge recording. In conclusion, this thesis advocates the unique role of HCI in supporting, motivating, and transforming reproducible research practices through the design of tools that enable effective RDM. We present practices around research preservation and reuse in HEP and beyond. Our research paves new ways for interaction with RDM tools that support and motivate reproducible science.Reproduzierbarkeit sollte ein wissenschaftlicher Grundpfeiler sein, da sie einen essenziellen Bestandteil in der Validierung und Nachnutzung von Forschungsarbeiten darstellt. Verfügbarkeit und Vollständigkeit von Forschungsmaterialien sind wichtige Voraussetzungen für die Interaktion mit experimentellen Arbeiten. Diese Voraussetzungen sind jedoch oft nicht gegeben. Zuletzt zeigten sich die Wissenschaftsgemeinde und die Öffentlichkeit besorgt über die Reproduzierbarkeitskrise in der empirischen Forschung. Diese Krise bezieht sich auf die Feststellung, dass Forscher oftmals nicht in der Lage sind, veröffentlichte Forschungsergebnisse zu validieren oder nachzunutzen. Tatsächlich wurde die Reproduzierbarkeitskrise in den meisten Wissenschaftsfeldern beschrieben. Eine der Hauptursachen liegt in dem Aufwand, der benötigt wird, um Forschungsmaterialien zu dokumentieren, vorzubereiten und zu teilen. Wissenschaftler empfinden diese Forschungspraktiken oftmals als unattraktiv, da sie außerhalb der traditionellen wissenschaftlichen Belohnungsstruktur liegen. Diese ist zumeist ausgelegt auf das Veröffentlichen neuer Forschungsergebnisse. Wissenschaftliche Forschung basiert zunehmend auf der Verarbeitung und Analyse großer Datensätze. Dieser Übergang zur rechnergestützten und daten-intensiven Forschung stellt neue Herausforderungen an Reproduzierbarkeit und Forschungsnachnutzung. Die weite Verbreitung des Internets bietet jedoch ebenso neue Möglichkeiten, Reproduzierbarkeit in der Forschung zu ermöglichen. Die Entwicklung des World Wide Web (WWW) stellt hierfür ein sehr gutes Beispiel dar. Das WWW wurde in der Europäischen Organisation für Kernforschung (CERN) entwickelt, um Forschern den weltweiten Austausch von Daten zu ermöglichen. CERN ist eine der wichtigsten Großforschungseinrichtungen in der Teilchenphysik, welche zu den daten-intensivsten Forschungsbereichen gehört. In dieser Arbeit berichten wir über unsere Forschung, die sich auf CERN Analysis Preservation (CAP) fokussiert. CAP ist ein Forschungsdatenmanagement-Service (FDM-Service), zugeschnitten auf die größten Experimente von CERN. In dieser Arbeit entwickeln und kommunizieren wir ein erweitertes Verständnis der Interaktion von Forschern mit FDM-Infrastruktur. Aus Sicht der Mensch-Computer-Interaktion (MCI) sind folgende Aspekte fundamental: (1) Das Bestimmen von Voraussetzungen und Praktiken rund um FDM und Nachnutzung. (2) Das Entwickeln von Verständnis für die Rolle und Auswirkungen von FDM-Systemen in der wissenschaftlichen Arbeit. (3) Das Entwerfen von Systemen, die Praktiken unterstützen, motivieren und anerkennen, welche die Reproduzierbarkeit von Forschung vorantreiben. Die Forschung, die wir in dieser Arbeit beschreiben, stellt die erste systematische Anwendung von MCI-Methoden in der Entwicklung von FDM-Systemen für Forschungsreproduzierbarkeit dar. Wir entwickeln ein empirisches Verständnis von Forschungspraktiken und der Rolle von unterstützenden Systemen durch überwiegend qualitative Forschung in Teilchenphysik und darüber hinaus. Des Weiteren entwerfen und implementieren wir Prototypen und Systeme mit dem Ziel, Wissenschaftler für FDM zu motivieren und zu belohnen. Wir verfolgten einen Mixed-Method-Ansatz in der Evaluierung der Nutzererfahrung bezüglich unserer Prototypen und Implementierungen. Wir berichten von vier empirischen Studien, in denen insgesamt 42 Forscher und Forschungsdaten-Manager teilgenommen haben. In unserer ersten Interview-Studie haben wir Teilchenphysiker über FDM-Praktiken befragt und sie eingeladen, CAP zu nutzen und über den Service zu diskutieren. Unsere Ergebnisse zeigen, dass die mensch-zentrierte Studie von speziell angepassten FDM-Systemen eine besondere Blickweise auf das Entwerfen von Anreizen und bedeutungsvollen Belohnungen ermöglicht. Wir führen den Begriff secondary usage forms (Zweitnutzungsformen) in Bezug auf FDM-Infrastruktur ein. Hierbei handelt es sich um Nutzungsformen, die Forschern sinnvolle Anreize bieten, ihre Arbeiten zu dokumentieren und zu teilen. Basierend auf unseren Ergebnissen in der Teilchenphysik haben wir unseren Forschungsansatz daraufhin auf Wissenschaftler und Forschungsdatenmanager aus einer Vielzahl verschiedener und diverser Wissenschaftsfelder erweitert. In Bezug auf die Ergebnisse dieser Studie beschreiben wir ein zustandsbasiertes Modell über die Entwicklung individueller Selbstverpflichtung zu FDM. Wir erwarten, dass dieses Modell designorientierte Denk- und Methodenansätze in der künftigen Implementierung und Evaluation von FDM-Infrastruktur beeinflussen wird. Des Weiteren haben wir einen Forschungsansatz zu Spielifizierung (Gamification) verfolgt, in dem wir untersucht haben, ob und wie Spielelemente FDM-Praktiken motivieren können. Zunächst haben wir zwei Prototypen eines spielifizierten FDM-Tools entwickelt, welche sich an CAP orientieren. Obwohl die beiden Prototypen auf sehr unterschiedlichen Entwurfskonzepten beruhen, fanden Teilchenphysiker beide angemessen und motivierend. Die Studienteilnehmer diskutierten insbesondere verbesserte Sichtbarkeit individueller Forscher und wissenschaftlicher Arbeiten. Basierend auf den Ergebnissen dieser ersten Studie zu Spielifizierung in FDM haben wir im nächsten Schritt sechs speziell zugeschnittene Forschungs-Abzeichen (tailored science badges) in CAP implementiert. Die Abzeichen bewerben das ausführliche Dokumentieren sowie besondere Nutzen der auf dem Service zugänglichen Forschungsarbeiten. Die Ergebnisse unserer Evaluierung mit Teilchenphysikern zeigen, dass die speziell zugeschnittenen Forschungs-Abzeichen neue und effektivere Möglichkeiten bieten, Forschungsmaterialien systematisch zu durchsuchen und zu entdecken. Hierdurch profitieren sowohl Nutzer als auch Forschungsdaten-Beisteuernde. Basierend auf den Ergebnissen diskutieren wir, wie die Forschungs-Abzeichen neue Formen der Interaktion mit großen Forschungsrepositorien ermöglichen. Zum Schluss heben wir die besondere Rolle von MCI in der Entwicklung unterstützender FDM-Infrastruktur hervor. Wir betonen, dass speziell an Forschungspraktiken angepasste Systeme neue Ansätze in der Interaktion mit wissenschaftlichen Arbeiten ermöglichen. Wir beschreiben zwei Modelle und unsere Erwartung, wie MCI die Entwicklung künftiger FDM-Systeme nachhaltig beeinflussen kann. In diesem Zusammenhang präsentieren wir auch unsere Vision zu ubiquitären Strategien, die zum Ziel hat, Forschungsprozesse und Wissen systematisch festzuhalten