Peer assessment as collaborative learning

Peer assessment is an important component of a more participatory culture of learning. The articles collected in this special issue constitute a representative kaleidoscope of current research on peer assessment. In this commentary, we argue that research on peer assessment is currently in a stage of adolescence, grappling with the developmental tasks of identity formation and affiliation. Identity formation may be achieved by efforts towards a shared terminology and joint theory building, whereas affiliation may be reached by a more systematic consideration of research in related fields. To reach identity formation and affiliation, preliminary ideas for a cognitively toned, process-related model of peer assessment and links to related research fields, especially to research on collaborative learning, are presented

Peer Tutoring in Middle School: How it Changes Student Achievement and Attitudes

Research literature shows that mathematics is a gatekeeper to success. Providing alternative opportunities for students to strengthen mathematical reasoning over algorithmic computations while problem-solving in a collaborative environment helps to prepare students to compete locally and globally. The purpose of this qualitative case study was to investigate how an afterschool Peer Tutoring Club (PTC) affected academic performances and attitudes of Grade 6, at-risk or “at-promise,” (Samuels, 2020), middle school mathematics students. The gap found in literature revealed a need for additional research involving rigorous multistep problem-solving within peer tutoring programs. This study collected data from 46, 1-hour, afterschool peer tutoring sessions between December 2017 and May 2018. Six PTC tutees were selected as participants. The participants received cross-age and same age peer tutoring while utilizing a district aligned curriculum that consisted of multistep problem-solving. This dissertation addressed the gap found in literature by collecting qualitative and quantitative data from four instruments: (a) district’s math pre/posttest, (b) Attitudes Toward Math Inventory (ATMI), (c) participants’ work, and (d) participants’ exit interviews. Descriptive statistics were used to analyze both qualitative and quantitative data. The data was triangulated to answer the two research questions. The findings from the PTC study supported theory and empirical study evidence that peer tutoring improved academic achievement and attitudes toward math

Tutors' Assessments of a Tutee's Understanding in One-on-One Tutoring

Das Ziel dieser Dissertation ist es, zur Erforschung von Instruktion beizutragen, welche effektiv das Lernen von Schülerinnen und Schülern unterstützt. Derartige Instruktion leistet ihren Beitrag zu guter Bildung. Da Instruktion verändert werden kann, um Bildung zu verbessern, ist sie als Variable von großem Interesse. Um Instruktion im Sinne guter Bildung verändern zu können, ist es notwendig zu wissen, welche Instruktionsformen effektiv darin sind, das Lernen zu unterstützen. Weiterhin ist es notwendig zu wissen, welche Mechanismen diesen Instruktionsformen zugrunde liegen. Eine bedeutende Form effektiver Instruktion ist das Eins-zu-Eins-Tutoring. Mechanismen, die für die Effektivität des Tutorings als zentral gelten, sind dabei die Diagnosen und die Diagnosegenauigkeit von Tutorinnen und Tutoren. Diese Mechanismen sind bisher jedoch nicht intensiv untersucht worden. Aus diesem Grund werden in der Dissertation die Diagnosen und die Diagnosegenauigkeit von Tutorinnen und Tutoren näher betrachtet. Im Speziellen werden zwei Arten von Diagnosen untersucht. Dies sind erstens Diagnosen, die Tutorinnen und Tutoren fortlaufend während einer Tutoringsitzung durchführen (d. h. formative Diagnosen). Zweitens werden Diagnosen analysiert, die Tutorinnen und Tutoren nach dem Ende einer Tutoringsitzung erstellen (d. h. summative Diagnosen). Im Zusammenhang mit dieser Dissertation wurden zwei empirische Studien durchgeführt. In beiden Studien wurden Tutandinnen und Tutanden im Schulalter von Tutorinnen und Tutoren unterrichtet, die über mehr Wissen verfügten, als ihre Lernenden. Es wurde angenommen, dass Tutorinnen und Tutoren mit Lehrerfahrung besser darin sind das Verständnis von Tutandinnen und Tutanden zu diagnostizieren als Tutorinnen und Tutoren ohne Lehrerfahrung. In der ersten Studie wurde der Einfluss von Lehrerfahrung auf die Diagnosen von Tutorinnen und Tutoren empirisch überprüft. Zu diesem Zweck wurden die Diagnosegenauigkeit von Tutorinnen und Tutoren mit Lehrerfahrung (d. h. Lehrkräfte) und die Diagnosegenauigkeit von Tutorinnen und Tutoren ohne Lehrerfahrung (d. h. Studierende) untersucht und miteinander verglichen. In diesem Zusammenhang wurde auch die Beziehung zwischen den formativen Diagnosen einer Tutorin oder eines Tutors und den summativen Diagnosen einer Tutorin oder eines Tutors analysiert. Weiterhin wurde der Nutzen der formativen Diagnosen einer Tutorin oder eines Tutors für das Lernen der Tutandin bzw. des Tutanden erforscht (siehe Kapitel 1, Artikel 1 und 2). In der zweiten Studie wurde experimentell geprüft, ob die Diagnosen von Studierenden als Tutorinnen und Tutoren durch ein kurzes Training verbessert werden können. Das Training zielte dabei auf die Förderung eines interaktiven Tutoringstils. Die Idee für das Design des Trainings beruhte darauf, dass Tutandinnen und Tutanden wahrscheinlicher ihr eigenes Verständnis äußern, wenn Tutorinnen und Tutoren einen interaktiven Tutoringstil realisieren. Basierend auf den zusätzlichen Informationen über das Verständnis ihrer Tutandin bzw. ihres Tutanden sollten Tutorinnen und Tutoren mit einem interaktiven Tutoringstil besser in der Lage sein, summativ das Verständnis der Tutandin bzw. des Tutanden zu diagnostizieren als Tutorinnen und Tutoren mit einem weniger interaktiven Tutoringstil (siehe Kapitel 2, Artikel 3). Wie die erste Studie (vgl. Kapitel 1) belegt, diagnostizieren Tutorinnen und Tutoren im Durchschnitt das Verständnis ihrer Tutandin oder ihres Tutanden bestenfalls mäßig genau. Allerdings waren Lehrkräfte genauer darin, summativ das Verständnis ihrer Tutandin bzw. ihres Tutanden zu diagnostizieren als Studierende (vgl. Artikel 1). Darüber hinaus zeigte die erste Studie, dass alle Tutorinnen und Tutoren interaktive Instruktionsstrategien einsetzten, um formativ das Verständnis ihrer Tutandin bzw. ihres Tutanden zu diagnostizieren. Mehr formative Diagnosen führten in diesem Zusammenhang zu mehr Lernen. In vergleichbarer Weise zogen mehr formative Diagnosen auch genauere summative Verständnisdiagnosen nach sich. Auch in Bezug auf die formativen Diagnosen unterschieden sich Lehrkräfte von Studierenden. Konkret heißt dies, dass Lehrkräfte häufiger Instruktionsstrategien zum formativen Diagnostizieren des Verständnisses ihrer Tudandin bzw. ihres Tutanden einsetzten als Studierende. Dieser Unterschied im Ausmaß formativer Diagnosen bedingte auch den Unterschied zwischen Lehrkräften und Studierenden bezüglich der summativen Diagnosegenauigkeit (vgl. Artikel 2). Die Ergebnisse der ersten Studie weisen darauf hin, dass Tutorinnen und Tutoren im Allgemeinen nicht sehr gut darin sind, summativ das Verständnis von Tutandinnen und Tutanden zu diagnostizieren. Dessen ungeachtet diagnostizieren Tutorinnen und Tutoren formativ das Verständnis einer Tutandin bzw. eines Tutanden zumindest in gewissem Maß. Da zudem mehr formative Diagnosen zu mehr Lernen führen, kann angenommen werden, dass diese formativen Diagnosen tatsächlich zu den Mechanismen zählen, die Tutoring effektiv machen. Tutoring könnte somit noch effektiver werden, wenn man das formative Diagnostizieren förderte. Da außerdem beobachtet wurde, dass formative Diagnosen bessere summativen Diagnosen nach sich zogen, kann weiterhin angenommen werden, dass verbessertes formatives Diagnostizieren genauere summative Diagnosen mit sich brächte. Schließlich war auch Lehrerfahrung relevant für bessere Diagnosen. Im Speziellen verwendeten Lehrkräfte häufiger Strategien formativer Diagnose als Studierende. Dieser Unterschied erklärte auch, warum Lehrkräfte genauer summativ diagnostizierten als Studierende. Offensichtlich kann somit ein intensiverer Gebrauch von Strategien zur formativen Verständisdiagnose als beobachtbarer Indikator für Lehrerfahrung angesehen werden. Tutorinnen und Tutoren waren durchaus in der Lage, einen interaktiven Tutoringstil zu realisieren, wenn sie darin trainiert wurden, die interaktiven Instruktionsstrategien formativen Diagnostizierens zu verwenden, die in der ersten Studie beobachtet worden waren. Dies wurde in der zweiten Studie festgestellt (vgl. Kapitel 2). Allerdings wurden dadurch die summativen Diagnosen der trainierten Tutorinnen und Tutoren nicht genauer als die summativen Diagnosen der untrainierten Tutorinnen und Tutoren. Stattdessen waren die trainierten Tutorinnen und Tutoren weniger genau darin als die untrainierten, summativ das Verständnis ihrer Tutandin bzw. ihres Tutanden zu diagnostizieren. Dieses unerwartete Ergebnis wurde dadurch erklärt, dass die trainierten Tutorinnen und Tutoren stärker als die untrainierten einen interaktiven Tutoringstil realisierten. Die Ergebnisse der zweiten Studie werden in Bezug auf mögliche Unzulänglichkeiten in der kognitiven Informationsverarbeitung auf Seiten der Tutorinnen und Tutoren interpretiert. Diese Unzulänglichkeiten hängen möglicherweise damit zusammen, dass die Tutorinnen und Tutoren in dieser Studie keine Lehrerfahrung besaßen. Die gerade gelernten Strategien umzusetzen mag daher die kognitive Kapazität der Tutoren stark beansprucht haben. Obwohl die trainierten Tutorinnen und Tutoren mehr Informationen von ihrer Tutandin bzw. ihrem Tutanden gewannen, waren sie in der Folge möglicherweise nicht in der Lage, diese Informationen angemessen zu verarbeiten. Auf diese Weise kann erklärt werden, warum ein interaktiverer Tutoringstil nicht zu genaueren summativen Diagnosen führte. Eine Konsequenz, die aus dieser Interpretation gezogen werden kann, wäre es, das Design des Trainings abzuwandeln. Genauer gesagt, könnten die Tutorinnen und Tutoren die von ihrer Tutandin bzw. ihrem Tutanden gewonnenen Informationen möglicherweise besser verarbeiten, wenn sie die Strategien formativen Diagnostizierens intensiver während der Trainingsphase übten. Zusätzlich könnte das Design der Studie verändert werden, die durchgeführt worden war, um die Trainingseffekte zu analysieren. Spezifischer, würde die Informationsverarbeitung der Tutorinnen und Tutoren möglicherweise auch verbessert, wenn die summative Diagnose später erfolgte und wenn die Tutorinnen und Tutoren so die Gelegenheit erhielten, die Strategien formativen Diagnostizierens während mehrerer realer Tutoringsitzungen zu üben. Im Ergebnis überträfen die trainierten Tutorinnen und Tutoren die untrainierten eventuell tatsächlich darin, das Verständnis ihrer Tutandin bzw. ihres Tutanden summativ genau zu diagnostizieren. Durch die Analyse der Diagnosen von Tutorinnen und Tutoren trägt diese Dissertation dazu bei, die dem Tutoring zugrunde liegenden Mechanismen zu verstehen. Die Ergebnisse der Dissertation können weiterhin dazu dienen, Tutoring noch effektiver zu machen. Die Dissertation bietet somit einen wesentlichen Einblick in das Feld effektiver Instruktion

Using an animated pedagogical agent to support motivation, reflected in task persistence, by delivering formative assessment at classroom level

https://www.ester.ee/record=b5510786*es

A Causal-Comparative Study on the Efficacy of Intelligent Tutoring Systems on Middle-Grade Math Achievement

This study is a quantitative examination of intelligent tutoring systems in two similar suburban middle schools (grades 6-8) in the Southeastern United States. More specifically, it is a causal-comparative study purposed with examining the efficacy of intelligent tutoring systems as they relate to math achievement for students at two similar middle schools in the Midlands of South Carolina. The independent variable, use of an intelligent tutoring system in math instruction, is defined as the supplementary use of two intelligent tutoring systems, Pearson’s Math Digits and IXL, for math instruction. The dependent variable is math achievement as determined by the Measures of Academic Progress (MAP) SC 6+Math test. The student data examined is archived MAP SC 6+ Math scores from the 2017-2018 school year. A one-way ANCOVA was used to compare the mean achievement gain scores of both groups, students whose math instruction included intelligent tutoring systems and students whose math instruction did not include intelligent tutoring systems, to establish whether or not there was any statistically significant difference between the adjusted population means of the two independent groups. The results showed that the adjusted mean of posttest scores of students who did not receive math instruction that involved an intelligent tutoring system were significantly higher than those who did

New measurement paradigms

This collection of New Measurement Paradigms papers represents a snapshot of the variety of measurement methods in use at the time of writing across several projects funded by the National Science Foundation (US) through its REESE and DR K–12 programs. All of the projects are developing and testing intelligent learning environments that seek to carefully measure and promote student learning, and the purpose of this collection of papers is to describe and illustrate the use of several measurement methods employed to achieve this. The papers are deliberately short because they are designed to introduce the methods in use and not to be a textbook chapter on each method. The New Measurement Paradigms collection is designed to serve as a reference point for researchers who are working in projects that are creating e-learning environments in which there is a need to make judgments about students’ levels of knowledge and skills, or for those interested in this but who have not yet delved into these methods

Is technology always helpful?: A critical review of the impact on learning outcomes of education technology in supporting formative assessment in schools

While education technology has been widely used in classrooms, and considerable investments have been made to support its use in the UK, the evidence base for many such rapidly changing technologies is weak, and their efficacy is unclear. The aim of this paper is to systematically review and synthesise empirical research on the use of technology in formative assessment, to identify approaches that are effective in improving pupils’ learning outcomes. The review involved a search of 11 major databases, and included 55 eligible studies. The results suggest promising evidence that digitally delivered formative assessment could facilitate the learning of maths and reading for young children, but there is no good evidence that it is effective for other subjects, or for older children, or that it is any more effective than formative assessment without technology. The review found no good evidence that learner response systems work in enhancing children’s academic attainment, and there is no evidence supporting the effectiveness of such technologies that embed gaming features. Much research in this area is of poor quality. More rigorous studies using causal designs are thus urgently needed. Meantime, there should be no rush to use technology on the basis of improving attainment

The student-produced electronic portfolio in craft education

The authors studied primary school students’ experiences of using an electronic portfolio in their craft education over four years. A stimulated recall interview was applied to collect user experiences and qualitative content analysis to analyse the collected data. The results indicate that the electronic portfolio was experienced as a multipurpose tool to support learning. It makes the learning process visible and in that way helps focus on and improves the quality of learning. © ISLS.Peer reviewe