Pe(e)rfectly Skilled: proficiently skilled in legal pleas, even without a teacher?:Students’ perceptions of the effectiveness, efficiency and attractiveness of feedback variants within an online skills training method in Higher Education

This paper reports results of a qualitative study on sophomore students’ online experiences with using the Pe(e)rfectly Skilled (PS-) method to train their pleading skills at two universities (regular and distance learning university). The PS-method is an online, interactive and practice-oriented method for complex skills training, facilitating formative assessment, reflection and (self-, peer and expert) feedback through the use of (video-enhanced) analytical rubrics and self-regulation support. This method facilitates more frequent and highly structured (peer)feedback, so that students can consciously focus their practicing efforts on the mastery of specific subskills. At the same time it intends to reduce teachers’ support burden. Participating students from two different Dutch universities received either both teacher and peer feedback (TP) or only peer feedback (P) while practicing their legal presentations (‘pleas’) with the PS-method. Afterwards, groupwise as well as individual interviews were conducted with a random selection of participating students (6 TP interviews (13 students), 9 P interviews (17 students ). In these interviews, students were asked about their experiences with the overall method, focusing on its perceived effectiveness, efficiency and attractiveness. Additionally, we explored whether students who didn’t receive teacher feedback perceived the method as effective, efficient and attractive as students receiving both teacher-and-peer feedback. Moreover, their suggestions for improvements of future versions of the method were collected. Transcripts of these interviews were analysed with a coding scheme, that was first validated through an inter-rater reliability test. Results showed that in general, students perceive and experience the PS-method both as effective as well as efficient, although teacher feedback is more readily accepted than peer feedback. Moreover, students overall also enjoy working with the method. Additionally, no important differences in perceived effectiveness and attractiveness were detected related to feedback variants, although for perceived efficiency both feedback variant as well as the type of university seemed to matter

Viewbrics, ‘spiegel’ je vaardig:Vakoverstijgende vaardigheden aanleren in het voortgezet onderwijs via een (online) formatieve evaluatie-methode met (video-verrijkte) rubrieken

Het probleem: De verwerving van vakoverstijgende complexe vaardigheden zoals samenwerken, presenteren en informatievaardigheden is cruciaal voor (onderbouw)leerlingen in het voortgezet onderwijs. Hierbij is het belangrijk dat leerlingen en leraren een concreet en consistent beeld krijgen van (aspecten van) deze zogenaamde 21ste -eeuwse vaardigheden om zowel de verwerving (door leerlingen) als de begeleiding (door leraren) te stroomlijnen. Kenmerkend voor elke vaardigheid is dat de leerling deze op verschillende niveaus kan beheersen. Als de leerling weet naar welk vaardigheidsniveau hij of zij toewerkt (feed-up) en waar hij of zij zelf staat ten opzichte van dit niveau (feedback), dan kan de leerling ook beter bepalen welke leeractiviteiten hij of zij moet ondernemen (feed forward) om de doelstelling te bereiken (Hattie&amp; Timperley, 2007). Een beoordelingsrubriek (‘rubric’) beschrijft vaardigheidsniveaus, meestal met tekst, via een set kwaliteitscriteria voor de samenstellende deelvaardigheden bij de vaardigheid. Tekstuele beoordelingsrubrieken zijn voor verbetering vatbaar; zo zijn veel aspecten van het gewenste gedrag nauwelijks in woorden te vatten, zoals de lichaamshouding of goed stemgebruik tijdens een presentatie (De Grez, Valcke &amp; Roozen, 2014). Tekstuele beoordelingsrubrieken zijn beperkt in het verduidelijken van het gewenste gedrag bij een vaardigheid en hoe dat gedrag er ineen bepaalde context uitziet (O’Donovan, Price &amp; Rust, 2004). We veronderstellen dat video-verrijkte beoordelingsrubrieken hiervoor een oplossing kunnen bieden. Bij een video-verrijkte beoordelingsrubriek wordt de tekstuele beoordelingsrubriek gecombineerd met videomodelvoorbeelden. Deze voorbeelden ondersteunen observationeel leren van gewenst gedrag van een rolmodel, een methode die eerder succesvol is gebleken (Rohbanfard &amp; Proteau, 2013; Van Gog&amp; Rummel, 2010).De onderwijspraktijk toont dat veel scholen in het voortgezet onderwijs worstelen met de begeleiding bij en beoordeling van vakoverstijgende complexe vaardigheden. Zowel scholen als leraren erkennen het belang van het aanleren van vakoverstijgende complexe vaardigheden, maar komen er in de dagelijkse praktijk slechts incidenteel aan toe (Thijs,Fisser &amp; van der Hoeven, 2014). Vaak is de uitwerking afhankelijk van de inzet van individuele leraren. Bovendien wijst het SLO-onderzoek erop dat de verwerving van vakoverstijgende complexe vaardigheden vaak niet methodisch en opeen gestructureerde, doelgerichte en onderbouwde manier verloopt (Thijs, Fisser &amp; van der Hoeven, 2014, p. 103). Als scholen al toekomen aan vakoverstijgende complexe vaardigheden, dan is het vaak in de vorm van projectonderwijs waarbij ze tekstuele beoordelingsrubrieken op een incidentele manier gebruiken. Dit gebeurt veelal op een tijdrovend een papier verslindende wijze.Alle betrokkenen in dit project wilden daarom graag weten in hoeverre video-verrijkte beoordelingsrubrieken binnen een online ondersteunde formatieve evaluatiemethodiek zowel een efficiënte als effectieve oplossing zouden kunnen bieden om vakoverstijgende complexe vaardigheden aan te leren en formatief te evalueren.We verwachtten dat gestructureerd en methodisch gebruik van beoordelingsrubrieken binnen een online formatieve evaluatiemethodiek in vergelijking met het reguliere onderwijs een verbeterde beeldvorming van de vaardigheid en een verbeterde feedbackkwaliteit (concreter en consistenter) zou opleveren, bij zowel leerlingen als leraren. Daardoor verwachtten we uiteindelijk ook een verbeterde beheersing van de vaardigheid. Daarnaast verwachtten we dat videoverrijkte beoordelingsrubrieken in vergelijking met tekstuele beoordelingsrubrieken binnen dezelfde online formatieve evaluatiemethodiek zouden leiden tot een verbeterde beeldvorming van de vaardigheid, verbeterde feedbackkwaliteit,en verbeterde beheersing van de vaardigheid. Dit leidde tot de volgende onderzoeksvraag, die voor drie vakoverstijgende complexe vaardigheden (samenwerken, presenteren, en informatievaardigheden) werd onderzocht.<br/

D8.4 – Second RAGE Evaluation Report

This document presents the results of the summative evaluation and validation studies carried out in WP8 of the RAGE project. Summative evaluation by definition represents evaluation at the end of the development process and aims at collecting information on the outcomes of the implementation. Correspondingly, the summative evaluations in RAGE aimed at obtaining a concluding statement and evidence on the quality and effects of the final versions of (a) the RAGE components, (b) the Ecosystem portal, and (c) the games at the end of the project. Overall, the summative evaluation studies have demonstrated the usefulness and potential benefits of the technologies and methodologies developed in the project for applied game development and for educational application, and argue for the usefulness and significance of the RAGE approach. In addition, valuable suggestions for further improvement or enrichment of the games, game components, and Ecosystem portal could be collected and, thus meaningful information and inspiration for future work beyond the RAGE project lifetime could be obtained

Prospective observational cohort study of the association between antiplatelet therapy, bleeding and thrombosis in patients with coronary stents undergoing noncardiac surgery

Background: The perioperative management of antiplatelet therapy in noncardiac surgery patients who have undergone previous percutaneous coronary intervention (PCI) remains a dilemma. Continuing dual antiplatelet therapy (DAPT) may carry a risk of bleeding, while stopping antiplatelet therapy may increase the risk of perioperative major adverse cardiovascular events (MACE). Methods: Occurrence of Bleeding and Thrombosis during Antiplatelet Therapy In Non-Cardiac Surgery (OBTAIN) was an international prospective multicentre cohort study of perioperative antiplatelet treatment, MACE, and serious bleeding in noncardiac surgery. The incidences of MACE and bleeding were compared in patients receiving DAPT, monotherapy, and no antiplatelet therapy before surgery. Unadjusted risk ratios were calculated taking monotherapy as the baseline. The adjusted risks of bleeding and MACE were compared in patients receiving monotherapy and DAPT using propensity score matching. Results: A total of 917 patients were recruited and 847 were eligible for inclusion. Ninety-six patients received no antiplatelet therapy, 526 received monotherapy with aspirin, and 225 received DAPT. Thirty-two patients suffered MACE and 22 had bleeding. The unadjusted risk ratio for MACE in patients receiving DAPT compared with monotherapy was 1.9 (0.93–3.88), P=0.08. There was no difference in MACE between no antiplatelet treatment and monotherapy 1.03 (0.31–3.46), P=0.96. Bleeding was more frequent with DAPT 6.55 (2.3–17.96) P=0.0002. In a propensity matched analysis of 177 patients who received DAPT and 177 monotherapy patients, the risk ratio for MACE with DAPT was 1.83 (0.69–4.85), P=0.32. The risk of bleeding was significantly greater in the DAPT group 4.00 (1.15–13.93), P=0.031. Conclusions: OBTAIN showed an increased risk of bleeding with DAPT and found no evidence for protective effects of DAPT from perioperative MACE in patients who have undergone previous PCI

Optimising the number of steps in learning tasks for complex skills

Background. Carrying out whole tasks is often too difficult for novice learners attempting to acquire complex skills. The common solution is to split up the tasks into a number of smaller steps. The number of steps must be optimised for efficient and effective learning. Aim. The aim of the study is to investigate the relation between the number of steps provided to learners and the quality of their learning of complex skills. It is hypothesized that students receiving an optimised number of steps will learn better than those receiving either the whole task in only one step or those receiving a large number of steps. Sample. Thirty-five sophomore law students studying at Dutch universities, mean age = 22.8 years (SD = 3.5), with 63 per cent females. Method. Participants were randomly assigned to one of three computer-delivered versions of a multimedia program on how to prepare and carry out a law plea. The versions differed only in the number of learning steps provided. Videotaped plea-performance results were determined, various related learning measures were acquired and all computer-actions were logged and analysed. Results. Participants exposed to an intermediate (i.e., optimised) number of steps outperformed all others on the compulsory learning task. No differences in performance on a transfer task were found. A high number of steps proved to be less efficient for carrying out the learning task. Conclusions. An intermediate number of steps is the most effective, proving that the number of steps can be optimised for improving learning