Medical specialty certification exams studied according to the Ottawa Quality Criteria: a systematic review.

BACKGROUND Medical specialty certification exams are high-stakes summative assessments used to determine which doctors have the necessary skills, knowledge, and attitudes to treat patients independently. Such exams are crucial for patient safety, candidates' career progression and accountability to the public, yet vary significantly among medical specialties and countries. It is therefore of paramount importance that the quality of specialty certification exams is studied in the scientific literature. METHODS In this systematic literature review we used the PICOS framework and searched for papers concerning medical specialty certification exams published in English between 2000 and 2020 in seven databases using a diverse set of search term variations. Papers were screened by two researchers independently and scored regarding their methodological quality and relevance to this review. Finally, they were categorized by country, medical specialty and the following seven Ottawa Criteria of good assessment: validity, reliability, equivalence, feasibility, acceptability, catalytic and educational effect. RESULTS After removal of duplicates, 2852 papers were screened for inclusion, of which 66 met all relevant criteria. Over 43 different exams and more than 28 different specialties from 18 jurisdictions were studied. Around 77% of all eligible papers were based in English-speaking countries, with 55% of publications centered on just the UK and USA. General Practice was the most frequently studied specialty among certification exams with the UK General Practice exam having been particularly broadly analyzed. Papers received an average of 4.2/6 points on the quality score. Eligible studies analyzed 2.1/7 Ottawa Criteria on average, with the most frequently studied criteria being reliability, validity, and acceptability. CONCLUSIONS The present systematic review shows a growing number of studies analyzing medical specialty certification exams over time, encompassing a wider range of medical specialties, countries, and Ottawa Criteria. Due to their reliance on multiple assessment methods and data-points, aspects of programmatic assessment suggest a promising way forward in the development of medical specialty certification exams which fulfill all seven Ottawa Criteria. Further research is needed to confirm these results, particularly analyses of examinations held outside the Anglosphere as well as studies analyzing entire certification exams or comparing multiple examination methods

Report of the annual meeting of the Society for Medical Education in the German speaking countries, virtual from the ETH Zürich 2021.

After the successful GMA Annual Meeting 2016 in Bern [1], we were “innovative together” for a second time in 2021. The GMA Annual Meeting 2021 was jointly organized by medical education and healthcare institutions in the Zurich area and the Medical Faculty of Bern, namely: University of Zurich, Medical Faculty; Swiss Federal Institute of Technology (ETH) Zurich; Careum Bildungsmanagement; Zurich University of Applied Sciences; University of Lucerne, Department of Health Sciences and Medicine; and Medical Faculty of Bern, with the Institute for Medical Education. After the GMA 2020 had to be postponed due to the Corona Pandemic, it was decided to hold the 2021 meeting online to ensure a higher planning reliability and to ensure to definitely be able to organise the GMA Annual Meeting again. Innovatively, we have thus implemented the first ever online annual meeting of the GMA

Ein Schritt Richtung Gender-Gerechtigkeit: Periodenprodukte kostenlos im SkillsLab

«Period Shaming», «Period Poverty» oder «Tampon Tax» beschreiben Aspekte der Ungleichbehandlung von Frauen im Kontext ihrer Mens. Period Shaming beschreibt dabei ein Schamgefühl im Kontext der Menstruation. Es kann bereits mit der Menarche beginnen, durch eine verbreitete Vorstellung einer Unreinheit des menstruierenden Körpers verstärkt und durch Drittpersonen aktiv getriggert werden. Period Poverty beschreibt die auf eingeschränkten monetären Verhältnissen basierende Nichtnutzung von Periodenprodukten, die nicht nur gesundheitliche Implikationen hat, sondern auch in westlichen Ländern z.B. zu Schulabsenzen führt und damit die Bildung nachteilig beeinflusst. Die Tampon Tax schliesslich ist eine missbilligende Beschreibung des Umstandes, dass in vielen Ländern Periodenprodukte als zu hoch besteuert gesehen werden. Die bundesdeutsche Gesetzgebung erkennt erst 2019 an, dass Periodenprodukte als Gegenstände des Grundbedarfs anzusehen und mit einem ermässigten Mehrwertsteuersatz zu belegen sind. Dabei steht den Initiatorinnen nicht die finanzielle Entlastung im Vordergrund als vielmehr die Abschaffung einer strukturellen Benachteiligung der Menstruierenden und Anerkennung, dass die Periode weder als freiwillig noch als Luxus erlebt wird. Die schottische Regierung geht weiter und erlässt 2020 ein Gesetz, demzufolge Periodenprodukte allgemein kostenlos erhältlich sind und das u.a. Hochschulen verpflichtet, Studentinnen Periodenprodukte kostenlos zur Verfügung zu stellen. Mit diesem Beispiel vor Augen und angesichts des Bekenntnisses der Universität Bern zur Gleichstellung von Frauen und Männern, entschieden wir uns, innerhalb unseres eigenen Handlungs- und Einflussbereiches eine Veränderung anzustossen. Seit November 2020 werden im Skills Lab der Medizinischen Fakultät Bern «BiSS» sowie den Lernzentren auf den Damentoiletten aller Stockwerke Periodenprodukte kostenlos zur Verfügung gestellt. Die entstandenen Kosten für Binden und Tampons sowie schöne Schachteln zur Aufbewahrung (einmalige Anschaffung) an den 6 Stationen lagen bei ca. CHF 100.-. Um die Effekte auf die Studentinnen zu evaluieren, wurden gut sichtbar Feedbackzettel ausgelegt. Das Feedback der Studentinnen war durchweg positiv. Die ca. 40 Rückmeldungen sind von allgemein zustimmender Natur («gueti sach», «mega cool»), es wird aber auch der Wunsch geäussert, umweltverträgliche Cups anzubieten. Das Feedback zeigt auch, dass die Periodenprodukte derzeit v.a. als Backup genutzt werden: «super Idee, v.a. wenn man seine Sachen vergessen hat». Wir verstehen diese Rückmeldungen als Motivation, nun eine Finanzierung über universitäre Mittel anzustossen, aber auch, den Nutzerinnen des BiSS zu erklären, dass das Angebot nicht nur als Backup gedacht ist, sondern, wie auch Toilettenpapier, fest als Ressource eingeplant werden darf. Wir hoffen, damit einen kleinen Schritt Richtung Gendergerechtigkeit gemacht zu haben und andere Einrichtungen zu ermutigen ähnlich vorzugehen

Angewandte Methoden bei Facharztprüfungen: Eine systematische Literaturübersicht

Introduction: Specialty certification exams (“Facharztprüfungen”) are high-stakes summative assessments that decide which doctors have the necessary skills, knowledge and attitudes to treat patients independently. These exams vary significantly among medical specialties and countries. In this systematic review, we aim to give an overview of the medical specialty certification exams published. The exams will be evaluated according to the Ottawa Criteria of good assessment (validity, reliability, equivalence, feasibility, acceptability, catalytic and educational effect). We will conclude by making recommendations for future practice and areas of study. Methods: This systematic literature review uses the PICOS framework and aims to locate all relevant papers concerning medical specialty certification exams published in English between the years of 2000 and 2020 in seven databases (MEDLINE(R) ALL, EMBASE, APA PsycINFO and ERIC via Ovid, SCOPUS, the Cochrane Trial Library and Web of Science). Papers are screened in two rounds by two independent researchers with relevant papers being selected for inclusion in the final overview. Results: After removal of duplicates, 2852 papers were screened for inclusion, of which 73 met all relevant criteria. Reliability, validity and acceptability were the Ottawa Criteria most commonly studied. Around half the papers published were about American specialty certification exams. Final comparisons and recommendations are yet to be completed and will be available in time for the GMA in September '21. Discussion: The last systematic review examining the effectiveness of medical specialty certification exams we are aware of was published in 2002 by Hutchinson et al. It lamented the relative scarcity of published evidence relative to the importance of specialty certification exams. Since then, interest in the topic of patient safety and effective medical education has increased sharply amid a growing public recognition for the importance of credible certification processes. This shift is reflected by the increasing amount of literature published and used in our review. Take Home Message: Different examination methods are used for medical specialty certification exams (Facharztprüfungen) around the world. In this systematic review we evaluate them using the “Ottawa criteria” and make recommendations for future development and study

Ist eine zusätzliche Bewertung der Kandidaten durch Schauspielpatienten im OSCE von Nutzen?

Hintergrund: Gute ärztliche Kommunikation scheint sowohl zu einer höheren Patientenzufriedenheit zu führen als auch Heilungsprozesse zu verbessern. Obwohl es Hinweise darauf gibt, dass Ärzte und Patienten kommunikativen Kompetenzen unterschiedlich bewerten, werden Kandidaten im OSCE häufig ausschliesslich von Ärzten beurteilt. In dieser Studie untersuchen wir, ob eine zusätzliche Bewertung der Kandidaten durch Schauspielpatienten (SPs) von Nutzen ist. Methoden: Im OSCE des 5. Studienjahres 2017 in Bern wurden die Studierenden anhand zweier Items zusätzlich von den SPs beurteilt. Die SPs wurden im Vorhinein darüber aufgeklärt, dass ihre Beurteilung zu rein wissenschaftlichen Untersuchungen eingeholt wird und keinen Einfluss auf die offizielle Bewertung der Studierenden hat. Mit den beiden Items wurden die kommunikativen Kompetenzen der Studierenden erfasst „Gesamtbeurteilung Kommunikation“ auf der Skala „Ausserordentlich kompetent; Sehr kompetent; Kompetent; Grenzwertig; Nicht kompetent“ sowie die Loyalität der SPs zu den Kandidaten „Ich würde gerne wiederkommen und meine Anliegen mit diesem Studierenden besprechen.“ auf der Skala „Stimme voll zu; Stimme zu; Stimme eher zu; Neutral; Stimme nicht zu“. Zusätzlich hatten die SPs die Möglichkeit ihre Bewertung in einem Freitextfeld zu kommentieren. Ergebnisse: Tatsächlich bewerten die SPs die kommunikativen Kompetenzen der Kandidaten anders als die ärztlichen Examinatoren. Hätte man die Beurteilung der Kandidaten durch die SPs zu 30% in die offizielle Bewertung mit eingerechnet hätten im Bereich „Anamnese Status Management“ dreimal mehr Kandidaten die Prüfung nicht bestanden (10 versus 3, respektive 4,2% versus 1,3%). Zudem reduziert die Berücksichtigung des SP Urteils die Konstrukt-irrelevante Varianz um ein Fünftel (im Bereich „Anamnese Status Management“ von 21,4% auf 17,3% und im Bereich „Kommunikative Kompetenzen“ von 39,0% auf 31,0%.). Das bedeutet, dass der Messfehler verringert wird und die Bewertungen besser den tatsächlichen Leistungen der Kandidaten entsprechen. Die beiden Beurteilungen durch die SPs (Kommunikation und Loyalität) sind eng miteinander verknüpft (r=0,739). Als wichtige Aspekte für ihre Bewertung nannten die SPs unter anderem die zwischenmenschliche Beziehung mit den Kandidaten, den Informationsfluss und die Professionalität der Kandidaten. Diskussion: Die Ergebnisse unserer Studie sprechen für eine zusätzliche Beurteilung der Kandidaten durch die SPs. Bevor eine solche Beurteilung allerdings tatsächlich in die offizielle Bewertung der Kandidaten mit einfliesst, sollte unserer Meinung nach noch genauer untersucht werden, worin sich die Beurteilungen durch die SPs und durch die ärztlichen Examinatoren unterscheiden und wer welche Aspekte besser beurteilen kann

Completing the picture on student performances in OSCEs: A mixed-methods study on integration of a standardized patient rating

Objective: Good physician communication skills increase patient satisfaction and improve healing processes. Although physicians and patients appear to value communicative competencies differently, students are often evaluated solely by physicians. This study examines whether additional assessment of students by 'standardized patients' (SPs) is useful. Methods: During their Objective Structured Clinical Examination (OSCE) 238 medical students were additionally rated by SPs at 9 stations according to two items that defined the 'physician-patient relationship' and 'communication'. SPs were informed that their assessment was for research purposes only, with no impact on the assessment of the students. SPs also had the opportunity to comment on their rating of the students. Results: The SPs rated the communicative competencies of students differently than physicians. The two parts of the SP rating are closely related. Inclusion of SP rating in the OSCE would provide higher measurement precision, with more students failing. SPs considered five factors relevant in their rating: 'human connection', 'information flow', 'professionalism', 'competence', and 'exam situation'. Conclusion: Our study suggests inclusion of SP rating as additional assessment of student communication skills. Practice implications: Addition of SP rating in assessments is worthwhile, as it appears to complete the picture of the student performance in their OSCEs

Development and evaluation of three-dimensional transfers to depict skin conditions in simulation-based education

Modern medical moulages are becoming increasingly important in simulation-based health professions education. Their lifelikeness is important so that simulation engagement is not disrupted while their standardization is crucial in high-stakes exams. This report describes in detail how three-dimensional transfers are developed and produced so that educators will be able to develop their own. In addition, evaluation findings and lessons learnt from deploying transfers in summative assessments are shared. Step-by-step instructions are given for the creation and application of transfers, including materials and photographic visualizations. We also examined feedback on 10 exam stations (out of a total of 81) with self-developed three-dimensional transfers and complement this with additional lessons learnt. By the time of submission, the authors successfully developed and deployed over 40 different three-dimensional transfers representing different clinical findings in high-stakes exams using the techniques explained in this article or variations thereof. Feedback from students and examiners after completing the OSCE is predominantly positive, with lifelikeness being the quality most often commented upon. Caveats derived from feedback and own experiences are included. The step-by-step approach reported can be adapted and replicated by healthcare educators to build their own three-dimensional transfers. This should widen the scope and the lifelikeness of their simulations. At the same time we propose that this level of lifelikeness should be expected by learners as not to disrupt simulation engagement. Our evaluation of their use in high-stakes assessments suggests they are both useful and accepted