Die Förderung epistemischer Kompetenzen von Studierenden im Umgang mit wissenschaftlicher Literatur

The abilities to comprehend and critically evaluate scientific texts and the various arguments stated in these texts are an important aspect of scientific literacy, but these competences are usually not formally taught to students. Previous research indicates that, although undergraduate students evaluate the claims and evidence they find in scientific documents to some extent, these evaluations usually fail to meet normative standards. In addition, students’ use of source information for evaluation is often insufficient. The rise of the internet and the increased accessibility of information have yielded some additional challenges that highlight the importance of adequate training and instruction.The aim of the present work was to further examine introductory students’ competences to systematically and heuristically evaluate scientific information, to identify relevant strategies that are involved in a successful evaluation, and to use this knowledge to design appropriate interventions for fostering epistemic competences in university students.To this end, a number of computer-based studies, including both quantitative and qualitative data as well as experimental designs, were developed. The first two studies were designed to specify educational needs and to reveal helpful processing strategies that are required in different tasks and situations. Two expert-novice comparisons were developed, whereby the performance of German students of psychology (novices) was compared to the performance of scientists from the domain of psychology (experts) in a number of different tasks, such as systematic plausibility evaluations of informal arguments (Study 1) or heuristic evaluations of the credibility of multiple scientific documents (Study 2). A think-aloud procedure was used to identify specific strategies that were applied in both groups during task completion, and that possibly mediated performance differences between students and scientists. In addition, relationships between different strategies and between strategy use and relevant conceptual knowledge was examined. Based on the results of the expert-novice comparisons, an intervention study, consisting of two training experiments, was constructed to foster some competences that proved to be particularly deficient in the comparisons (Study 3). Study 1 examined introductory students’ abilities to accurately judge the plausibility of informal arguments according to normative standards, to recognise common argumentation fallacies, and to identify different structural components of arguments. The results from Study 1 indicate that many students, compared to scientists, lack relevant knowledge about the structure of arguments, and that normatively accurate evaluations of their plausibility seem to be challenging in this group. Often, common argumentation fallacies were not identified correctly. Importantly, these deficits were partly mediated by differences in strategy use: It was especially difficult for students to pay sufficient attention to the relationship between argument components when forming their judgements. Moreover, they frequently relied on their intuition or opinion as a criterion for evaluation, whereas scientists predominantly determined quality of arguments based on their internal consistency. In addition to students’ evaluation of the plausibility of informal arguments, Study 2 examined introductory students’ competences to evaluate the credibility of multiple scientific texts, and to use source characteristics for evaluation. The results show that students struggled not only to judge the plausibility of arguments correctly, but also to heuristically judge the credibility of science texts, and these deficits were fully mediated by their insufficient use of source information. In contrast, scientists were able to apply different strategies in a flexible manner. When the conditions for evaluation did not allow systematic processing (i.e. time limit), they primarily used source characteristics for their evaluations. However, when systematic evaluations were possible (i.e. no time limit), they used more sophisticated normative criteria for their evaluations, such as paying attention to the internal consistency of arguments (cf. Study 1). Results also showed that students, in contrast to experts, lacked relevant knowledge about different publication types, and this was related to their ability to correctly determine document credibility. The results from the expert-novice comparisons also suggest that the competences assessed in both tasks might develop as a result of a more fundamental form of scientific literacy and discipline expertise. Performances in all tasks were positively related. On the basis of these results, two training experiments were developed that aimed at fostering university students’ competences to understand and evaluate informal arguments (Study 3). Experiment 1 describes an intervention approach in which students were familiarised with the formal structure of arguments based on Toulmin’s (1958) argumentation model. The performance of the experimental group to identify the structural components of this model was compared to the performance of a control group in which speed reading skills were practiced, using a pre-post-follow-up design. Results show that the training was successful for improving the comprehension of more complex arguments and relational aspects between key components in the posttest, compared to the control group. Moreover, an interaction effect was found with study performance. High achieving students with above average grades profited the most from the training intervention. Experiment 2 showed that training in plausibility, normative criteria of argument evaluation, and argumentation fallacies improved students’ abilities to evaluate the plausibility of arguments and, in addition, their competences to recognise structural components of arguments, compared to a speed-reading control group. These results have important implications for education and practice, which will be discussed in detail in this dissertation.Die Fähigkeit, wissenschaftliche Texte und die darin enthaltenen Argumente zu verstehen und kritisch zu beurteilen, ist ein zentraler Aspekt wissenschaftlicher Grundbildung, wird jedoch in der Schule kaum vermittelt. Obwohl Studierende die Behauptungen und Befunde, denen sie in der wissenschaftlichen Literatur begegnen, zu einem gewissen Grad kritisch bewerten, zeigen verschiedene Forschungsergebnisse, dass sie dies nicht in ausreichendem Maße tun und diese Evaluationen oft nicht den normativen Standards entsprechen. Darüber hinaus nutzen Studierende Quellenmerkmale nur unzureichend zur Beurteilung. Die Entstehung des Internets und die damit verbundene zunehmende Verfügbarkeit von Informationen stellen uns zudem vor einige wichtige Herausforderungen im Umgang mit diversen Informationsquellen und unterstreichen die Relevanz entsprechender Trainings und Förderungsprogramme. Ziel der vorliegenden Arbeit war es, die Kompetenzen beginnender Studierender, wissenschaftliche Informationen heuristisch und systematisch zu bewerten sowie wesentliche Strategien, die für eine erfolgreiche Beurteilung wissenschaftlicher Informationen benötigt werden, weiter zu erforschen und auf dieser Grundlage Interventionen zu entwickeln, um diese Kompetenzen bei Universitätsstudierenden gezielt zu fördern. Dazu wurden mehrere computergestützte Studien entwickelt, die sowohl qualitative, als auch quantitative Daten, sowie experimentelle Untersuchungsdesigns beinhalten. Die ersten beiden Studien wurden konzipiert, um Förderbedarf gezielt zu ermitteln und Verarbeitungsstrategien zu identifizieren, die in verschiedenen Aufgaben und unter verschiedenen Bedingungen hilfreich sind. Dazu wurden zunächst zwei Experten-Novizen-Vergleiche entwickelt, in denen die Leistungen von deutschen Psychologiestudierenden (Noviz(inn)en) in einer Reihe unterschiedlicher Aufgaben, z.B. bei der systematischen Bewertung der Plausibilität informeller Argumente (Studie 1) oder der heuristischen Bewertung der Glaubwürdigkeit multipler wissenschaftlicher Texte (Studie 2), mit den Leistungen von Wissenschaftler(inn)en aus dem Bereich der Psychologie (Expert(inn)en) verglichen wurden. Die Verwendung von Protokollen lauten Denkens diente dazu, die während der Aufgabenbearbeitung verwendeten Strategien, die die Leistungsunterschiede zwischen Studierenden und Wissenschaftler(inn)en möglicherweise mediieren, in beiden Gruppen genau zu erfassen. Darüber hinaus wurde untersucht, inwiefern unterschiedliche Strategien und die Nutzung bestimmter Strategien sowie relevantes konzeptuelles Wissen zusammenhängen. Basierend auf den Ergebnissen der Experten-Novizen-Vergleiche wurde anschließend eine Interventionsstudie, bestehend aus zwei Trainingsexperimenten, entwickelt, um einige Kompetenzen, die sich in den Vergleichen als besonders defizitär erwiesen hatten, gezielt zu fördern (Studie 3). In Studie 1 wurde untersucht, inwiefern beginnende Studierende in der Lage sind, die Plausibilität informeller Argumente normativ angemessen zu beurteilen und gängige Argumentationsfehler zu erkennen, sowie verschiedene strukturelle Bestandteile von Argumenten zu identifizieren. Die Ergebnisse der Studie 1 legen nahe, dass es vielen Studierenden im Vergleich zu Wissenschaftler(inne)n an relevantem Wissen über die Struktur von Argumenten fehlt und die angemessene Bewertung ihrer Plausibilität für viele von ihnen eine große Herausforderung darstellt. Gängige Argumentationsfehler wurden häufig nicht richtig erkannt. Diese Leistungsunterschiede wurden teilweise durch eine unterschiedliche Strategienutzung mediiert: Studierende zeigten große Schwierigkeit darin, Beziehungen zwischen Argumentbestandteilen ausreichend Beachtung zu schenken. Darüber hinaus verließen sie sich bei der Beurteilung häufig auf ihre Intuition oder Meinung zum Textinhalt, während Wissenschaftler(innen) die Qualität der Argumente in erster Linie auf der Grundlage ihrer internen Konsistenz beurteilten. Neben Plausibilitätsbeurteilungen informeller Argumente untersuchte Studie 2 die Kompetenz beginnender Studierender, die Glaubwürdigkeit multipler wissenschaftlicher Texte angemessen zu beurteilen und dabei auch Quellenmerkmale zur Beurteilung heranzuziehen. Die Ergebnisse zeigen, dass es Studierenden nicht nur schwerfiel, die Plausibilität von Argumenten angemessen zu beurteilen, sondern auch die Glaubwürdigkeit wissenschaftlicher Texte heuristisch zu bewerten. Die Defizite auf Studierendenseite wurden dabei vollständig durch eine unzureichende Nutzung von Quellenmerkmalen mediiert. Wissenschaftler(innen) waren dagegen in der Lage, Strategien zur Beurteilung flexibel zu nutzen. Wenn eine systematische Verarbeitung nicht möglich war (Zeitlimit), griffen sie vor allem auf Quellenmerkmale zurück. Wenn eine systematische Verarbeitung jedoch möglich war (kein Zeitlimit), nutzten sie komplexere normative Kriterien zur Beurteilung, wie etwa die Bewertung der internen Konsistenz der Argumente (Vgl. Studie 1). Die Ergebnisse zeigen außerdem, dass es Studierenden an relevantem Wissen über verschiedene Publikationsarten fehlte und diese Schwierigkeiten waren korreliert mit der Fähigkeit, die Glaubwürdigkeit von Texten angemessen zu beurteilen. Die Befunde der Experten-Novizen-Vergleiche liefern zudem Hinweise darauf, dass sich die in den unterschiedlichen Aufgaben erfassten Kompetenzen auf der Basis einer allgemeineren Form der wissenschaftlichen Grundbildung und disziplinären Expertise entwickeln könnten. Die Leistungen in unterschiedlichen Aufgaben waren positiv korreliert. Auf der Grundlage dieser Ergebnisse wurden zwei Trainingsexperimente entwickelt, um die Kompetenzen Studierender in Bezug auf das Verständnis und die kompetente Bewertung informeller Argumente, gezielt zu fördern (Studie 3). Experiment 1 beschreibt einen möglichen Interventionsansatz, um Studierende, basierend auf Toulmins (1958) Argumentationsmodell, besser mit der Struktur von Argumenten vertraut zu machen. Die Leistungen der Versuchsgruppe, verschiedene Argumentbestandteile dieses Modells korrekt zu identifizieren, wurden dabei in einem Prä-Post-Follow-up Design mit den Leistungen einer Kontrollgruppe verglichen, in der die Fähigkeit des schnellen Lesens trainiert wurde. Die Ergebnisse zeigen, dass das Training vor allem für das Verständnis komplexer und weniger typischer Argumente hilfreich war und Elemente, die die Beziehung zwischen verschiedenen Bestandteilen deutlich machten, im Posttest besser verstanden wurden als in einer Kontrollgruppe. Darüber hinaus konnte ein Interaktionseffekt mit der Studienleistung gezeigt werden. Besonders „gute“ Studierende mit hohen Durchschnittsnoten konnten am meisten von diesem Training profitieren. Die Ergebnisse von Experiment 2 zeigten, dass ein Training, in dem das Konzept der Plausibilität, normative Kriterien der Argumentbewertung, sowie Argumentationsfehler vermittelt wurden, die Kompetenzen Studierender, die Plausibilität informeller Argumente normativ angemessen zu beurteilen, im Vergleich mit einer Kontrollgruppe, deutlich verbessern konnte. Die Ergebnisse der genannten Studien liefern wichtige Implikationen für die wissenschaftliche Praxis an den Hochschulen, welche in dieser Arbeit ausführlich diskutiert werden

How to improve argumentation comprehension in university students: experimental test of a training approach

The ability to comprehend informal arguments is essential for scientific literacy but students often lack structural knowledge about these arguments, especially when the arguments are more complex. This study used a pre-post-test design with a follow-up 4weeks later to investigate whether a computerised training in identifying structural components of informal arguments can improve university students' competences to understand complex arguments. The training was embedded in a constructivist learning environment and contents were based on the Toulmin model of argument structure, according to which arguments can be deconstructed into several functional components: Claim, datum, warrant, backing evidence, and rebuttal. Being able to identify the warrant is central for scientific literacy, as the warrant determines whether a conclusion is justified given the data. Results indicate that training in argument structure did not generally improve performance for all students and argument types, but that it was particularly helpful for identifying more complex arguments with a less typical structure and relational aspects between key components (i.e. warrants). High achieving students profited the most from this intervention, and the intervention was also helpful for students with high pretest accuracy scores. Our results suggest that interventions to foster argumentation skills should be included into the curriculum and these interventions should be designed to match learners' ability level

Judging the plausibility of arguments in scientific texts: a student–scientist comparison

The ability to evaluate scientific claims and evidence is an important aspect of scientific literacy and requires various epistemic competences. Readers spontaneously validate presented information against their knowledge and beliefs but differ in their ability to strategically evaluate the soundness of informal arguments. The present research investigated how students of psychology, compared to scientists working in psychology, evaluate informal arguments. Using a think-aloud procedure, we identified the specific strategies students and scientists apply when judging the plausibility of arguments and classifying common argumentation fallacies. Results indicate that students, compared to scientists, have difficulties forming these judgements and base them on intuition and opinion rather than the internal consistency of arguments. Our findings are discussed using the mental model theory framework. Although introductory students validate scientific information against their knowledge and beliefs, their judgements are often erroneous, in part because their use of strategy is immature. Implications for systematic trainings of epistemic competences are discussed