Facilitating teacher participation in intelligent computer tutor design : tools and design methods.

This work addresses the widening gap between research in intelligent tutoring systems (ITSs) and practical use of this technology by the educational community. In order to ensure that ITSs are effective, teachers must be involved in their design and evaluation. We have followed a user participatory design process to build a set of ITS knowledge acquisition tools that facilitate rapid prototyping and testing of curriculum, and are tailored for usability by teachers. The system (called KAFITS) also serves as a test-bed for experimentation with multiple tutoring strategies. The design includes novel methodologies for tutoring strategy representation (Parameterized Action Networks) and overlay student modeling (a layered student model), and incorporates considerations from instructional design theory. It also allows for considerable student control over the content and style of the information presented. Highly interactive graphics-based tools were built to facilitate design, inspection, and modification of curriculum and tutoring strategies, and to monitor the progress of the tutoring session. Evaluation of the system includes a sixteen-month case study of three educators (one being the domain expert) using the system to build a tutor for statics (forty topics representing about four hours of on-line instruction), testing the tutor on a dozen students, and using test results to iteratively improve the tutor. Detailed throughput analysis indicates that the amount of effort to build the statics tutor was, surprisingly, comparable to similar figures for building (non-intelligent) conventional computer aided instructional systems. Few ITS projects focus on educator participation and this work is the first to empirically study knowledge acquisition for ITSs. Results of the study also include: a recommended design process for building ITSs with educator participation; guidelines for training educators; recommendations for conducting knowledge acquisition sessions; and design tradeoffs for knowledge representation architectures and knowledge acquisition interfaces

The Effects of Blended Instruction and Visual Representations on Area Problems Involving Quadratic Expressions for Secondary Students with Mathematics Difficulties

The current study examined the effect of an instructional package on the algebra performance of secondary students with mathematics learning disabilities or difficulties (MD) when applied to the grade-appropriate algebra content of quadratic expressions. The instructional package included a blend of research-based instructional practices for secondary students with LD (i.e., concrete-representation-abstract instruction, graphic organizers, and components of explicit instruction) and the process standards recommended by the National Council of Teachers of Mathematics process standards (i.e., problem solving, reasoning and proof, communication, connections, and representations). A concurrent embedded mixed methods design was utilized with the quantitative data representing the main strand, while qualitative data provided supplemental data (Creswell & Clark, 2011). Specifically, the quantitative data were collected from a multiple-probe design across two groups replicated over five students. The participants were five high school students identified as a learning disability or difficulty in mathematics. The qualitative analysis of transcriptions from instructional sessions, field notes, and work samples was completed on one participant, who represented a critical case (Creswell, 2007). Results of the study indicated that all five participants improved their algebraic accuracy on tasks involving quadratic expressions embedded within an area context. Further, providing multiple representations allowed participants to make connections to algebraic content and enhanced their metacognition. Additionally all participants maintained their performance up to six weeks following intervention. Three participants also transferred the performance to novel and more complex tasks. The study suggests that students with MD may be successful with higher-level algebra content when provided blended instruction and visual representations

Constructions and justifications of a generalization of Viviani's theorem.

Thesis (Ph.D.)-University of KwaZulu-Natal, Durban, 2013.This qualitative study actively engaged a group of eight pre-service mathematics teachers (PMTs) in an evolutionary process of generalizing and justifying. It was conducted in a developmental context and underpinned by a strong constructivist framework. Through using a set of task based activities embedded in a dynamic geometric context, this study firstly investigated how the PMTs experienced the reconstruction of Viviani’s theorem via the processes of experimentation, conjecturing, generalizing and justifying. Secondly, it was investigated how they generalized Viviani’s result for equilateral triangles, further across to a sequence of higher order equilateral (convex) polygons such as the rhombus, pentagon, and eventually to ‘any’ convex equi-sided polygon, with appropriate forms of justifications. This study also inquired how PMTs experienced counter-examples from a conceptual change perspective, and how they modified their conjecture generalizations and/or justifications, as a result of such experiences, particularly in instances where such modifications took place. Apart from constructivsm and conceptual change, the design of the activities and the analysis of students’ justifications was underpinned by the distinction of the so-called ‘explanatory’ and ‘discovery’ functions of proof. Analysis of data was grounded in an analytical–inductive method governed by an interpretive paradigm. Results of the study showed that in order for students to reconstruct Viviani’s generalization for equilateral triangles, the following was required for all students: *experimental exploration in a dynamic geometry context; *experiencing cognitive conflict to their initial conjecture; *further experimental exploration and a reformulation of their initial conjecture to finally achieve cognitive equilibrium. Although most students still required the aforementioned experiences again as they extended the Viviani generalization for equilateral triangles to equilateral convex polygons of 4 sides (rhombi) and five sides (pentagons), the need for experimental exploration gradually subsided. All PMTs expressed a need for an explanation as to why their equilateral triangle conjecture generalization was always true, and were only able to construct a logical explanation through scaffolded guidance with the means of a worksheet. The majority of the PMTs (i.e. six out of eight) extended the Viviani generalization to the rhombus on empirical grounds using Sketchpad while two did so on analogical grounds but superficially. However, as the PMTs progressed to the equilateral pentagon (convex) problem, the majority generalized on either inductive grounds or analogical grounds without the use of Sketchpad. Finally all of them generalized to any convex equi-sided polygon on logical grounds. In so doing it seems that all the PMTs finally cut off their ontological bonds with their earlier forms or processes of making generalizations. This conceptual growth pattern was also exhibited in the ways the PMTs justified each of their further generalizations, as they were progressively able to see the general proof through particular proofs, and hence justify their deductive generalization of Viviani’s theorem. This study has also shown that the phenomenon of looking back (folding back) at their prior explanations assisted the PMTs to extend their logical explanations to the general equi-sided polygon. This development of a logical explanation (proof) for the general case after looking back and carefully analysing the statements and reasons that make up the proof argument for the prior particular cases (i.e. specific equilateral convex polygons), namely pentagon, rhombus and equilateral triangle, emulates the ‘discovery’ function of proof. This suggests that the ‘explanatory’ function of proof compliments and feeds into the ‘discovery’ function of proof. Experimental exploration in a dynamic geometry context provided students with a heuristic counterexample to their initial conjectures that caused internal cognitive conflict and surprise to the extent that their cognitive equilibrium became disturbed. This paved the way for conceptual change to occur through the modification of their postulated conjecture generalizations. Furthermore, this study has shown that there exists a close link between generalization and justification. In particular, justifications in the form of logical explanations seemed to have helped the students to understand and make sense as to why their generalizations were always true, but through considering their justifications for their earlier generalizations (equilateral triangle, rhombus and pentagon) students were able to make their generalization to any convex equi-sided polygon on deductive grounds. Thus, with ‘deductive’ generalization as shown by the students, especially in the final stage, justification was woven into the generalization itself. In conclusion, from a practitioner perspective, this study has provided a descriptive analysis of a ‘guided approach’ to both the further constructions and justifications of generalizations via an evolutionary process, which mathematics teachers could use as models for their own attempts in their mathematics classrooms

Classroom Assessment and Educational Measurement

Classroom Assessment and Educational Measurement explores the ways in which the theory and practice of both educational measurement and the assessment of student learning in classroom settings mutually inform one another. Chapters by assessment and measurement experts consider the nature of classroom assessment information, from student achievement to affective and socio-emotional attributes; how teachers interpret and work with assessment results; and emerging issues in assessment such as digital technologies and diversity/inclusion. This book uniquely considers the limitations of applying large-scale educational measurement theory to classroom assessment and the adaptations necessary to make this transfer useful. Researchers, graduate students, industry professionals, and policymakers will come away with an essential understanding of how the classroom assessment context is essential to broadening contemporary educational measurement perspectives

Rethink Digital Health Innovation: Understanding Socio-Technical Interoperability as Guiding Concept

Diese Dissertation sucht nach einem theoretischem Grundgerüst, um komplexe, digitale Gesundheitsinnovationen so zu entwickeln, dass sie bessere Erfolgsaussichten haben, auch in der alltäglichen Versorgungspraxis anzukommen. Denn obwohl es weder am Bedarf von noch an Ideen für digitale Gesundheitsinnovationen mangelt, bleibt die Flut an erfolgreich in der Praxis etablierten Lösungen leider aus. Dieser unzureichende Diffusionserfolg einer entwickelten Lösung - gern auch als Pilotitis pathologisiert - offenbart sich insbesondere dann, wenn die geplante Innovation mit größeren Ambitionen und Komplexität verbunden ist. Dem geübten Kritiker werden sofort ketzerische Gegenfragen in den Sinn kommen. Beispielsweise was denn unter komplexen, digitalen Gesundheitsinnovationen verstanden werden soll und ob es überhaupt möglich ist, eine universale Lösungsformel zu finden, die eine erfolgreiche Diffusion digitaler Gesundheitsinnovationen garantieren kann. Beide Fragen sind nicht nur berechtigt, sondern münden letztlich auch in zwei Forschungsstränge, welchen ich mich in dieser Dissertation explizit widme. In einem ersten Block erarbeite ich eine Abgrenzung jener digitalen Gesundheitsinnovationen, welche derzeit in Literatur und Praxis besondere Aufmerksamkeit aufgrund ihres hohen Potentials zur Versorgungsverbesserung und ihrer resultierenden Komplexität gewidmet ist. Genauer gesagt untersuche ich dominante Zielstellungen und welche Herausforderung mit ihnen einhergehen. Innerhalb der Arbeiten in diesem Forschungsstrang kristallisieren sich vier Zielstellungen heraus: 1. die Unterstützung kontinuierlicher, gemeinschaftlicher Versorgungsprozesse über diverse Leistungserbringer (auch als inter-organisationale Versorgungspfade bekannt); 2. die aktive Einbeziehung der Patient:innen in ihre Versorgungsprozesse (auch als Patient Empowerment oder Patient Engagement bekannt); 3. die Stärkung der sektoren-übergreifenden Zusammenarbeit zwischen Wissenschaft und Versorgungpraxis bis hin zu lernenden Gesundheitssystemen und 4. die Etablierung daten-zentrierter Wertschöpfung für das Gesundheitswesen aufgrund steigender bzgl. Verfügbarkeit valider Daten, neuen Verarbeitungsmethoden (Stichwort Künstliche Intelligenz) sowie den zahlreichen Nutzungsmöglichkeiten. Im Fokus dieser Dissertation stehen daher weniger die autarken, klar abgrenzbaren Innovationen (bspw. eine Symptomtagebuch-App zur Beschwerdedokumentation). Vielmehr adressiert diese Doktorarbeit jene Innovationsvorhaben, welche eine oder mehrere der o.g. Zielstellung verfolgen, ein weiteres technologisches Puzzleteil in komplexe Informationssystemlandschaften hinzufügen und somit im Zusammenspiel mit diversen weiteren IT-Systemen zur Verbesserung der Gesundheitsversorgung und/ oder ihrer Organisation beitragen. In der Auseinandersetzung mit diesen Zielstellungen und verbundenen Herausforderungen der Systementwicklung rückte das Problem fragmentierter IT-Systemlandschaften des Gesundheitswesens in den Mittelpunkt. Darunter wird der unerfreuliche Zustand verstanden, dass unterschiedliche Informations- und Anwendungssysteme nicht wie gewünscht miteinander interagieren können. So kommt es zu Unterbrechungen von Informationsflüssen und Versorgungsprozessen, welche anderweitig durch fehleranfällige Zusatzaufwände (bspw. Doppeldokumentation) aufgefangen werden müssen. Um diesen Einschränkungen der Effektivität und Effizienz zu begegnen, müssen eben jene IT-System-Silos abgebaut werden. Alle o.g. Zielstellungen ordnen sich dieser defragmentierenden Wirkung unter, in dem sie 1. verschiedene Leistungserbringer, 2. Versorgungsteams und Patient:innen, 3. Wissenschaft und Versorgung oder 4. diverse Datenquellen und moderne Auswertungstechnologien zusammenführen wollen. Doch nun kommt es zu einem komplexen Ringschluss. Einerseits suchen die in dieser Arbeit thematisierten digitalen Gesundheitsinnovationen Wege zur Defragmentierung der Informationssystemlandschaften. Andererseits ist ihre eingeschränkte Erfolgsquote u.a. in eben jener bestehenden Fragmentierung begründet, die sie aufzulösen suchen. Mit diesem Erkenntnisgewinn eröffnet sich der zweite Forschungsstrang dieser Arbeit, der sich mit der Eigenschaft der 'Interoperabilität' intensiv auseinandersetzt. Er untersucht, wie diese Eigenschaft eine zentrale Rolle für Innovationsvorhaben in der Digital Health Domäne einnehmen soll. Denn Interoperabilität beschreibt, vereinfacht ausgedrückt, die Fähigkeit von zwei oder mehreren Systemen miteinander gemeinsame Aufgaben zu erfüllen. Sie repräsentiert somit das Kernanliegen der identifizierten Zielstellungen und ist Dreh- und Angelpunkt, wenn eine entwickelte Lösung in eine konkrete Zielumgebung integriert werden soll. Von einem technisch-dominierten Blickwinkel aus betrachtet, geht es hierbei um die Gewährleistung von validen, performanten und sicheren Kommunikationsszenarien, sodass die o.g. Informationsflussbrüche zwischen technischen Teilsystemen abgebaut werden. Ein rein technisches Interoperabilitätsverständnis genügt jedoch nicht, um die Vielfalt an Diffusionsbarrieren von digitalen Gesundheitsinnovationen zu umfassen. Denn beispielsweise das Fehlen adäquater Vergütungsoptionen innerhalb der gesetzlichen Rahmenbedingungen oder eine mangelhafte Passfähigkeit für den bestimmten Versorgungsprozess sind keine rein technischen Probleme. Vielmehr kommt hier eine Grundhaltung der Wirtschaftsinformatik zum Tragen, die Informationssysteme - auch die des Gesundheitswesens - als sozio-technische Systeme begreift und dabei Technologie stets im Zusammenhang mit Menschen, die sie nutzen, von ihr beeinflusst werden oder sie organisieren, betrachtet. Soll eine digitale Gesundheitsinnovation, die einen Mehrwert gemäß der o.g. Zielstellungen verspricht, in eine existierende Informationssystemlandschaft der Gesundheitsversorgung integriert werden, so muss sie aus technischen sowie nicht-technischen Gesichtspunkten 'interoperabel' sein. Zwar ist die Notwendigkeit von Interoperabilität in der Wissenschaft, Politik und Praxis bekannt und auch positive Bewegungen der Domäne hin zu mehr Interoperabilität sind zu verspüren. Jedoch dominiert dabei einerseits ein technisches Verständnis und andererseits bleibt das Potential dieser Eigenschaft als Leitmotiv für das Innovationsmanagement bislang weitestgehend ungenutzt. An genau dieser Stelle knüpft nun der Hauptbeitrag dieser Doktorarbeit an, in dem sie eine sozio-technische Konzeptualisierung und Kontextualisierung von Interoperabilität für künftige digitale Gesundheitsinnovationen vorschlägt. Literatur- und expertenbasiert wird ein Rahmenwerk erarbeitet - das Digital Health Innovation Interoperability Framework - das insbesondere Innovatoren und Innovationsfördernde dabei unterstützen soll, die Diffusionswahrscheinlichkeit in die Praxis zu erhöhen. Nun sind mit diesem Framework viele Erkenntnisse und Botschaften verbunden, die ich für diesen Prolog wie folgt zusammenfassen möchte: 1. Um die Entwicklung digitaler Gesundheitsinnovationen bestmöglich auf eine erfolgreiche Integration in eine bestimmte Zielumgebung auszurichten, sind die Realisierung eines neuartigen Wertversprechens sowie die Gewährleistung sozio-technischer Interoperabilität die zwei zusammenhängenden Hauptaufgaben eines Innovationsprozesses. 2. Die Gewährleistung von Interoperabilität ist eine aktiv zu verantwortende Managementaufgabe und wird durch projektspezifische Bedingungen sowie von externen und internen Dynamiken beeinflusst. 3. Sozio-technische Interoperabilität im Kontext digitaler Gesundheitsinnovationen kann über sieben, interdependente Ebenen definiert werden: Politische und regulatorische Bedingungen; Vertragsbedingungen; Versorgungs- und Geschäftsprozesse; Nutzung; Information; Anwendungen; IT-Infrastruktur. 4. Um Interoperabilität auf jeder dieser Ebenen zu gewährleisten, sind Strategien differenziert zu definieren, welche auf einem Kontinuum zwischen Kompatibilitätsanforderungen aufseiten der Innovation und der Motivation von Anpassungen aufseiten der Zielumgebung verortet werden können. 5. Das Streben nach mehr Interoperabilität fördert sowohl den nachhaltigen Erfolg der einzelnen digitalen Gesundheitsinnovation als auch die Defragmentierung existierender Informationssystemlandschaften und trägt somit zur Verbesserung des Gesundheitswesens bei. Zugegeben: die letzte dieser fünf Botschaften trägt eher die Färbung einer Überzeugung, als dass sie ein Ergebnis wissenschaftlicher Beweisführung ist. Dennoch empfinde ich diese, wenn auch persönliche Erkenntnis als Maxim der Domäne, der ich mich zugehörig fühle - der IT-Systementwicklung des Gesundheitswesens

Development and Evaluation of a Teaching Unit in Particle Physics to Promote Students’ Critical Thinking

Critical thinking (CT) is one of the desirable skills to be taught in school. It is not only considered an important 21st century skill for living in a democratic society, but also important for a deep understanding of domain-specific content. Despite its importance, studies show that students often lack the ability to think critically. Moreover, there is a lack of clear theory, supported by empirical findings, for developing domain-specific teaching-learning sequences to promote students’ CT. This makes teaching CT challenging for teachers. To address this gap, the presented study has two goals: to identify design principles for instruction that promotes critical thinking and to develop an exemplary instructional unit in particle physics on this basis. Particle physics is chosen because of its abstractness and complexity, as well as student interest in the subject. Another basis is a definition of CT that can be readily applied in the context of teaching physics. For this purpose, Halpern’s classification of CT strategies and their measurable outcomes is used. Furthermore, a distinction is made between general CT skills that provide a framework for CT, such as understanding the need to define terms precisely, and domain-specific CT skills that represent the application of general CT skills in a specific domain and require domain-specific expertise, such as distinguishing between the concepts of mass and matter in the context of particle physics. This study examines the development of both general and domain-specific CT. The teaching-learning sequences about antimatter (10 to 12 lessons) are developed for students in grades 10, 11, and 12 using the Design-Based Research (DBR) approach. Analysis of the data from pilot studies provides guidance for further development of the antimatter course and the creation of a teacher package that supports teachers both methodologically and in terms of content when implementing the antimatter course. In the main study, the course is implemented in 3 classes in different federal states of Germany. To evaluate the effectiveness of the course in promoting students’ CT, the perspectives of students as well as of teachers are examined. To evaluate the effectiveness of the course from the students’ perspective, the video and audio data, the students’ works, students’ interviews or questionnaires are inductively analyzed using the constant comparative method to identify the students’ learning processes. The results show that students apply content knowledge, apply CT skills, and demonstrate a disposition toward CT. This corresponds to a developed CT. Further analysis is conducted to relate the design skeleton facets of the course (materials, activity structure, and participant structure) to the learning processes, using the conjecture map framework to support the results from the constant comparative method. A Particle Physics Critical Thinking (PPCT) test is also developed to triangulate the results. The results of administering the PPCT test as a posttest are consistent with the qualitative findings on the effectiveness of the course. A questionnaire is developed for teachers to elicit their perceptions of the relevance, practicality, and effectiveness of the course in promoting students’ CT. The results show a positive perception. Combining all the results shows that the antimatter course is an effective course in promoting CT. The design principles applied contribute to the theory of designing effective CT instruction. Furthermore, data analysis reveals the challenges students face in critical thinking and provides teachers with heuristics for designing a domain-specific course. Based on the findings, a model for teaching CT is developed. This work leads to implications for teaching, in addition to other research questions. These include, for example, developing domain-specific CT instruction using 6 principles empirically tested in this study, considering heuristics for designing domain-specific CT instruction, and using the course materials for the purpose of developing CT. In addition, the PPCT can guide the development of other domain-specific CT tests.:Abstract i Kurzfassung iii Table of Contents v 1 Introduction 1 1.1 Importance of critical thinking and its teaching 1 1.2 Research goals 2 1.3 Structure of the work 4 Part I Theory 7 2 What is critical thinking? 9 2.1 Definition of critical thinking 9 2.2 Commonalities between different definitions 20 2.3 Nature of critical thinking: general and domain-specific 28 2.3.1 Nature of critical thinking in physics 30 2.4 Students’ challenges in critical thinking 32 2.4.1 Verbal reasoning skill 33 2.4.2 Argument analysis skill 33 2.4.3 Thinking as hypothesis testing skill 34 2.4.4 Likelihood and uncertainty analysis skill 35 2.4.5 Decision making and problem solving skill 36 2.5 Teachers’ perspective on critical thinking and teaching critical thinking 37 2.5.1 Teachers’ perspective on critical thinking 38 2.5.2 Teachers’ perspective on teaching critical thinking 41 2.5.3 Rationale for developing supportive materials for teachers 41 3 Teaching critical thinking 43 3.1 Challenges of teaching critical thinking 44 3.1.1 Teaching critical thinking as a general or domain-specific skill . 45 3.1.2 Teaching critical thinking implicitly or explicitly 46 3.1.3 Valuing disposition alongside teaching critical thinking 48 3.2 Design of critical thinking (CT) instruction 49 3.2.1 First component of CT instruction: Critical thinking model 50 3.2.2 Second component of CT instruction: Appropriate instructional design theory 52 3.2.3 A proposal for CT instruction 56 3.3 Evaluation of CT instruction 57 3.3.1 Evaluation criteria 58 3.3.2 Evaluation approaches 63 4 Design-based research 69 4.1 Design-based research (DBR) and its features 69 4.2 Conducting DBR in education: Design and evaluation of an instruction 71 4.2.1 Analysis and exploration phase 73 4.2.2 Design and construction phase 74 4.2.3 Evaluation and reflection phase 79 4.3 Summary 89 Part II Empirical Study 91 5 Research questions 93 6 Design and methodology of the study 95 6.1 Design and development of instruction according to Design-based research 96 6.1.1 Analysis and exploration phase 97 6.1.2 Design and construction phase 100 6.1.3 Evaluation and reflection phase 111 6.2 Evaluation of effectiveness of instruction 114 6.2.1 Constant comparative method for qualitative evaluation 114 6.2.2 Description of instruments for quantitative evaluation 119 6.3 Relating design skeleton facets to valued outcomes 133 6.4 Description of instrument for evaluating teachers’ perspective 134 7 Evaluation of effectiveness of the antimatter course 139 7.1 Participants 139 7.2 Evaluation of structure fidelity of implementation 141 7.2.1 Adherence 141 7.2.2 Duration 145 7.3 Results of qualitative data analysis 146 7.3.1 Likelihood and uncertainty analysis skill in the positron discovery context 147 7.3.2 Argument analysis skill in the Big Bang context 162 7.3.3 Verbal reasoning in the context of analysing the scenario of scene of “Illuminati” 173 7.3.4 Thinking as hypothesis testing in the antimatter trap context 184 7.4 Conclusion on the effectiveness of antimatter course 200 7.5 Development of critical thinking skills: a model proposal 202 7.5.1 Model proposal on developing likelihood and uncertainty analysis skill 202 7.5.2 Model proposal on developing argument analysis skill 204 7.5.3 Model proposal on developing verbal reasoning skill 205 7.5.4 Model proposal on developing thinking as hypothesis testing skill 206 7.5.5 An underlying model on developing critical thinking 207 8 Relating design skeleton facets to valued outcomes 213 8.1 Design skeleton facets of antimatter course 213 8.1.1 Materials 214 8.1.2 Activity structure 214 8.1.3 Participant structure 215 8.2 Relation of design skeleton facets to valued outcomes 218 8.2.1 Materials 218 8.2.2 Activity structure 220 8.2.3 Participant structure 221 8.3 Conclusion and discussion 225 9 Teacher perception of the antimatter course 227 9.1 Participants 227 9.2 Perceived relevance 228 9.3 Perceived practicality 232 9.4 Perceived effectiveness 234 9.5 Conclusion and discussion 239 10 Triangulation of findings 241 10.1 Participants 241 10.2 Evaluation of general critical thinking skills 242 10.3 Evaluation of domain-specific critical thinking skills 244 10.4 Conclusion and discussion 244 Part III Conclusion 247 11 Summary and discussion 249 11.1 Empirical study 249 11.2 Contribution to theory 253 11.2.1 Theory of instructional design 254 11.2.2 Evaluation of critical thinking instruction 256 11.2.3 Model on developing critical thinking 257 11.3 Limitations 257 12 Outlook 259 12.1 Implications for teaching critical thinking 259 12.2 Future research 263 Appendix 265 Research instruments 267 A Student information and prior knowledge questionnaire 267 B Particle Physics Critical Thinking (PPCT) test 270 C Student questionnaire 289 D Teacher information 290 E Teacher questionnaire 291 Antimatter course materials 292 F Worksheet 1: Critical Thinking 292 G Worksheet 2: Illuminati 295 H Worksheet 3: Anderson’s cloud chamber photograph 296 I Worksheet 4: Big Bang 298 J Worksheet 5: Search systematically 299 K Worksheet 6: Trapping antimatter 302 L Worksheet 7: Individual work “Illuminati” 305 M Worksheet 8: Group work “Illuminati” 306 List of tables 309 List of figures 313 References 315 Acknowledgements 329 Statement of Authorship 331Kritisches Denken (KD) ist eine der wünschenswerten Fähigkeiten, die in der Schule vermittelt werden sollten. Es gilt nicht nur als wichtige Kompetenz des 21. Jahrhunderts für das Leben in einer demokratischen Gesellschaft, sondern auch als wichtig für ein tiefes Verständnis von fachspezifischen Inhalten. Trotz dieser Bedeutung zeigen Studien, dass es den Lernenden oft an der Fähigkeit fehlt, kritisch zu denken. Zudem fehlt es an einer klaren, durch empirische Befunde gestützten Theorie für die Entwicklung von fachspezifischen Lehr-Lern-Sequenzen zur Förderung der KD-Fähigkeiten von SchülerInnen. Dies macht den KD-Unterricht zu einer Herausforderung für Lehrkräfte. Um diese Lücke zu schließen, verfolgt die vorgelegte Studie zwei Ziele: Die Identifikation von Gestaltungsprinzipien für einen Unterricht, der die Fähigkeit zum kritischen Denken fördert, und die Entwicklung einer exemplarischen Unterrichtseinheit in Teilchenphysik auf dieser Grundlage. Die Teilchenphysik wurde aufgrund ihrer Abstraktheit und Komplexität sowie des Interesses der Schüler ausgewählt. Eine weitere Grundlage ist eine Definition von KD, die sich gut im Rahmen des Physikunterrichts anwenden lässt. Hierzu wurde Halperns Klassifizierung von KD-Strategien und ihre messbaren Ergebnisse verwendet. Darüber hinaus wird unterschieden zwischen allgemeinen KD-Fähigkeiten, die einen Rahmen für KD bilden, wie z. B. das Verständnis für die Notwendigkeit, Begriffe genau zu definieren, und domänenspezifischen KD-Fähigkeiten, die die Anwendung allgemeiner KD-Fähigkeiten in einer bestimmten Domäne darstellen und domänenspezifisches Fachwissen erfordern, wie z. B. die Unterscheidung zwischen den Konzepten von Masse und Materie im Kontext der Teilchenphysik. Diese Studie untersucht die Entwicklung sowohl der allgemeinen als auch der domänenspezifischen KD. Die Lehr-Lern-Sequenzen über Antimaterie (10 bis 12 Unterrichtsstunde) werden für SchülerInnen der Klassenstufen 10, 11 und 12 mit Hilfe des Design-Based Research (DBR) Ansatzes entwickelt. Die Analyse der Daten aus den Pilotstudien liefert Anhaltspunkte für die Weiterentwicklung des Antimateriekurses und die Entwicklung eines Lehrerpakets, das Lehrkräfte methodisch und inhaltlich bei der Umsetzung des Antimateriekurses unterstützt. In der Hauptstudie wird der Kurs in 3 Klassen in verschiedenen Bundesländern Deutschlands durchgeführt. Um die Wirksamkeit des Antimateriekurses bei der Förderung des KD der SchülerInnen zu evaluieren, werden sowohl die Perspektiven der SchülerInnen als auch die der LehrerInnen untersucht. Um die Wirksamkeit des Kurses aus der Perspektive der SchülerInnen zu evaluieren, werden die Video- und Audiodaten, die Schülerarbeiten, das Schülerinterview und der Fragebogen induktiv mit der Constant Comparative Methode analysiert, um die Lernprozesse der SchülerInnen zu identifizieren. Die Ergebnisse zeigen, dass die SchülerInnen inhaltliches Wissen und KD-Fähigkeiten anwenden und eine Disposition zeigen, die gemeinsam einer entwickelten KD entsprechen. Zusätzlich werden mit Hilfe von sog. „Conjecture Maps“ die Gestaltungsfacetten des Kurses (Materialien, Aktivitätsstruktur und Teilnehmerstruktur) mit den Lernprozessen in Beziehung gesetzt, um die Ergebnisse aus der Constant Comparative Methode zu stützen. Ein Particle Physics Critical Thinking (PPCT) Test wurde ebenfalls entwickelt, um die Ergebnisse zu triangulieren. Die Ergebnisse der Durchführung des PPCT-Tests als Posttest stimmen mit den qualitativen Erkenntnissen über die Wirksamkeit des Kurses überein. Ferner wurde ein Fragebogen für Lehrkräfte entwickelt, um ihre Einschätzung der Relevanz, Praktikabilität und Wirksamkeit des Kurses bei der Förderung des KD der SchülerInnen zu erheben. Dieser zeigte eine positive Wahrnehmung. Die Kombination aller Ergebnisse zeigt, dass der Antimateriekurs ein effektiver Kurs zur Förderung des KD ist. Die angewandten Gestaltungsprinzipien tragen zur Theorie der Gestaltung eines wirksamen KD-Unterrichts bei. Darüber hinaus zeigt die Datenanalyse die Herausforderungen auf, denen sich die SchülerInnen beim kritischen Denken gegenübersehen, und liefert den Lehrkräften Heuristiken für die Gestaltung eines domänenspezifischen Kurses. Auf der Grundlage der Ergebnisse wird ein Modell für den KD-Unterricht entwickelt. Diese Arbeit führt neben weiteren Forschungsfragen auch zu Implikationen für den Unterricht. Dazu gehören z. B. die Entwicklung eines domainspezifischen KD-Unterrichts unter Verwendung von 6 Prinzipien, die in dieser Studie empirisch getestet wurden, die Berücksichtigung von Heuristiken für die Gestaltung eines domainspezifischen KD-Unterrichts, und die Verwendung der Kursmaterialien zum Zweck der Entwicklung von KD. Darüber hinaus kann der PPCT Test die Entwicklung anderer domainspezifischer KD-Tests anleiten.:Abstract i Kurzfassung iii Table of Contents v 1 Introduction 1 1.1 Importance of critical thinking and its teaching 1 1.2 Research goals 2 1.3 Structure of the work 4 Part I Theory 7 2 What is critical thinking? 9 2.1 Definition of critical thinking 9 2.2 Commonalities between different definitions 20 2.3 Nature of critical thinking: general and domain-specific 28 2.3.1 Nature of critical thinking in physics 30 2.4 Students’ challenges in critical thinking 32 2.4.1 Verbal reasoning skill 33 2.4.2 Argument analysis skill 33 2.4.3 Thinking as hypothesis testing skill 34 2.4.4 Likelihood and uncertainty analysis skill 35 2.4.5 Decision making and problem solving skill 36 2.5 Teachers’ perspective on critical thinking and teaching critical thinking 37 2.5.1 Teachers’ perspective on critical thinking 38 2.5.2 Teachers’ perspective on teaching critical thinking 41 2.5.3 Rationale for developing supportive materials for teachers 41 3 Teaching critical thinking 43 3.1 Challenges of teaching critical thinking 44 3.1.1 Teaching critical thinking as a general or domain-specific skill . 45 3.1.2 Teaching critical thinking implicitly or explicitly 46 3.1.3 Valuing disposition alongside teaching critical thinking 48 3.2 Design of critical thinking (CT) instruction 49 3.2.1 First component of CT instruction: Critical thinking model 50 3.2.2 Second component of CT instruction: Appropriate instructional design theory 52 3.2.3 A proposal for CT instruction 56 3.3 Evaluation of CT instruction 57 3.3.1 Evaluation criteria 58 3.3.2 Evaluation approaches 63 4 Design-based research 69 4.1 Design-based research (DBR) and its features 69 4.2 Conducting DBR in education: Design and evaluation of an instruction 71 4.2.1 Analysis and exploration phase 73 4.2.2 Design and construction phase 74 4.2.3 Evaluation and reflection phase 79 4.3 Summary 89 Part II Empirical Study 91 5 Research questions 93 6 Design and methodology of the study 95 6.1 Design and development of instruction according to Design-based research 96 6.1.1 Analysis and exploration phase 97 6.1.2 Design and construction phase 100 6.1.3 Evaluation and reflection phase 111 6.2 Evaluation of effectiveness of instruction 114 6.2.1 Constant comparative method for qualitative evaluation 114 6.2.2 Description of instruments for quantitative evaluation 119 6.3 Relating design skeleton facets to valued outcomes 133 6.4 Description of instrument for evaluating teachers’ perspective 134 7 Evaluation of effectiveness of the antimatter course 139 7.1 Participants 139 7.2 Evaluation of structure fidelity of implementation 141 7.2.1 Adherence 141 7.2.2 Duration 145 7.3 Results of qualitative data analysis 146 7.3.1 Likelihood and uncertainty analysis skill in the positron discovery context 147 7.3.2 Argument analysis skill in the Big Bang context 162 7.3.3 Verbal reasoning in the context of analysing the scenario of scene of “Illuminati” 173 7.3.4 Thinking as hypothesis testing in the antimatter trap context 184 7.4 Conclusion on the effectiveness of antimatter course 200 7.5 Development of critical thinking skills: a model proposal 202 7.5.1 Model proposal on developing likelihood and uncertainty analysis skill 202 7.5.2 Model proposal on developing argument analysis skill 204 7.5.3 Model proposal on developing verbal reasoning skill 205 7.5.4 Model proposal on developing thinking as hypothesis testing skill 206 7.5.5 An underlying model on developing critical thinking 207 8 Relating design skeleton facets to valued outcomes 213 8.1 Design skeleton facets of antimatter course 213 8.1.1 Materials 214 8.1.2 Activity structure 214 8.1.3 Participant structure 215 8.2 Relation of design skeleton facets to valued outcomes 218 8.2.1 Materials 218 8.2.2 Activity structure 220 8.2.3 Participant structure 221 8.3 Conclusion and discussion 225 9 Teacher perception of the antimatter course 227 9.1 Participants 227 9.2 Perceived relevance 228 9.3 Perceived practicality 232 9.4 Perceived effectiveness 234 9.5 Conclusion and discussion 239 10 Triangulation of findings 241 10.1 Participants 241 10.2 Evaluation of general critical thinking skills 242 10.3 Evaluation of domain-specific critical thinking skills 244 10.4 Conclusion and discussion 244 Part III Conclusion 247 11 Summary and discussion 249 11.1 Empirical study 249 11.2 Contribution to theory 253 11.2.1 Theory of instructional design 254 11.2.2 Evaluation of critical thinking instruction 256 11.2.3 Model on developing critical thinking 257 11.3 Limitations 257 12 Outlook 259 12.1 Implications for teaching critical thinking 259 12.2 Future research 263 Appendix 265 Research instruments 267 A Student information and prior knowledge questionnaire 267 B Particle Physics Critical Thinking (PPCT) test 270 C Student questionnaire 289 D Teacher information 290 E Teacher questionnaire 291 Antimatter course materials 292 F Worksheet 1: Critical Thinking 292 G Worksheet 2: Illuminati 295 H Worksheet 3: Anderson’s cloud chamber photograph 296 I Worksheet 4: Big Bang 298 J Worksheet 5: Search systematically 299 K Worksheet 6: Trapping antimatter 302 L Worksheet 7: Individual work “Illuminati” 305 M Worksheet 8: Group work “Illuminati” 306 List of tables 309 List of figures 313 References 315 Acknowledgements 329 Statement of Authorship 33

Classroom Assessment and Educational Measurement

Classroom Assessment and Educational Measurement explores the ways in which the theory and practice of both educational measurement and the assessment of student learning in classroom settings mutually inform one another. Chapters by assessment and measurement experts consider the nature of classroom assessment information, from student achievement to affective and socio-emotional attributes; how teachers interpret and work with assessment results; and emerging issues in assessment such as digital technologies and diversity/inclusion. This book uniquely considers the limitations of applying large-scale educational measurement theory to classroom assessment and the adaptations necessary to make this transfer useful. Researchers, graduate students, industry professionals, and policymakers will come away with an essential understanding of how the classroom assessment context is essential to broadening contemporary educational measurement perspectives