Format and implementation of written assessments

Alle Leistungsnachweise des klinischen Studienabschnittes nach neuer Ärztlicher Approbationsordnung müssen benotet werden; hierzu sind in der Regel schriftliche Prüfungen notwendig. Bisher erprobte Methoden beinhalten die Prüfung passiven Wissens (Einfachauswahlfragen, multiple choice-Fragen, progress test-Fragen) und aktiven Wissens (short essay questions, long essay questions). Vor- und Nachteile dieser Verfahren werden diskutiert, sowie die zur Erstellung, Durchführung und Auswertung schriftlicher Prüfungen notwendigen Ressourcen.According to the new German licensing regulations all clinical certificates have to be graded; mostly this requires written tests. Methods tested to date include tests for passive knowledge (single choice questions, multiple choice questions, progress test) and active knowledge (short essay questions, long essay questions). We discuss advantages and disadvantages of these methods, as well as the resources required for test preparation, testing and grading of student answers

Do examination results mirror student's preferences?

Poster Während des klinischen Studienabschnittes bildet sich der Eindruck, dass Studierende entweder stärker an eher theoretischen Gebieten wie Innere Medizin, Pharmakologie oder Klinischer Chemie interessiert sind, oder an praktisch orientierten, meist operativen Disziplinen. Wir haben diese Hypothese am Fachbereich Medizin der Johann Wolfgang Goethe-Universität Frankfurt getestet mit den Prüfungsergebnissen für die Noten in den klinischen Fächern. Die Klausuren werden mit einem vergleichbaren Format in allen Fächern abgehalten, praktische Fähigkeiten werden durch OSCE-Prüfungen gemessen. Die derzeitige Datenbasis umfasst 300 - 1000 Studierende pro Fach. Die derzeitigen Ergebnisse zeigen eine stärkere Korrelation der Prüfungsleistungen in verwandten Fächern; die Korrelationen zwischen theoretischen und praktischen Prüfungsleistungen sind entgegen den Erwartungen nicht stark ausgeprägt. Bei der Interpretation ist zu berücksichtigen, dass die individuellen Leistungen auch durch andere Faktoren beeinflusst werden, wie die Notwendigkeit des Arbeitens, Tätigkeiten im Rahmen einer Dissertation oder extracurriculare Aktivitäten, die die Prioritäten in Klausuren oder praktischen Prüfungen von einer guten Note zum Bestehen ändern können. Auch die derzeitige Unsicherheit über die Bedeutung der Fachnoten trägt dazu bei, nicht in jedem Fall gute Noten erreichen zu wollen. Die derzeitigen Daten zeigen keine ausgeprägte Clusterung studentischer Lernleistungen; typischerweise sind individuelle Studierende entweder in allen Fächern herausragend, oder in keinem Fach

The effects of phrasing on the answer likelihood in multiple choice based examinations : a case study in microbiology

Multiple choice (MC)-Klausuren sind im deutschen Medizinstudium trotz weitgehend fehlender Daten zur Validität dieser Prüfungsform zur Regelprüfung geworden. Darüber hinaus ist unklar, in welchem Ausmaß die Studierenden - auch solche mit guten Prüfungsergebnissen - den geprüften Lernstoff tatsächlich beherrschen. Am Fachbereich Medizin der Johann-Wolfgang-Goethe-Universität Frankfurt wurde am Ende des SS 2003 im Fach Mikrobiologie für die Studierenden des 2. klinischen Semesters eine MC-basierte Abschlussprüfung geschrieben. Die Studierenden des 1. klinischen Semesters hatten - bedingt durch Umstellungen des Curriculums - eine identische Ausbildung. Diese wurde durch eine inhaltlich weitgehend identische, im Format aber andere Klausur abgeschlossen, in der sowohl offene Fragen enthalten waren als auch Fragen, bei denen die Studierenden jede Aussage einzeln auf Korrektheit bewerten mussten. Der Vergleich der Ergebnisse für inhaltlich gleiche Fragen zeigt, dass die Studierenden im MC-Format eine hohe Quote richtiger Antworten erzielen, diese jedoch durch ein geändertes Fragenformat stark reduziert wird. So erreichten nur 20 - 30% der Studierenden ein vollständig richtiges Ergebnis, wenn jede Aussage einzeln bewertet werden musste, während die inhaltlich gleiche Frage im MC-Format 80 - 90% richtige Ergebnisse erzielte. In freien Fragen konnten nur 30 - 40% der Studierenden die richtige Antwort aktiv niederschreiben, während 90 -99% der Studierenden die richtige Lösung passiv erkannten. Wir interpretieren diese Ergebnisse dahin, dass der Entscheidungszwang in MC-basierten Fragen einen starken Einfluss auf die Quote richtiger Antworten hat, und die Prüfungsergebnisse damit wesentlich durch das Format beeinflusst werden, das Wissen dagegen nicht beherrscht wird. Die Ergebnisse dieser Studie legen nahe, Sorgfalt bei der Auswahl des Prüfungsverfahrens walten zu lassen und der Steuerung des studentischen Lernverhaltens durch das Prüfungsformat wesentlich mehr Aufmerksamkeit zu widmen als bisher.Multiple choice(MC) questions have become the mainstay medical examinations in Germany, although there are currently few data available to show their validity. It also remains unclear, whether or not students master the knowledge tested, even those students with good test results. Students of the second clinical semester at the Medical Faculty of the Johann Wolfgang Goethe-University in Frankfurt have written an MC-based examination in microbiology. Due to changes in their curriculum students of the first clinical semester took the identical class in microbiology. This class was concluded by an examination identical in content, however in a different format including open questions as well as questions consisting of statements that had to be judged individually whether or not they are true. A comparison of test results between these two groups showed that only 20 - 30% of the students were able to correctly assess five statements, whereas the identical question presented in MC-format yielded 80 - 90% correct answers. For open questions only 30 - 40% of the students were able to actively answer the question correctly whereas 90 - 99% of the students passively recognized the correct answer. These results indicate that the need to choose one among five options as it is inherent for MC-based questions has a strong influence on the ratio of correct answers, and examination results are strongly depended upon the format of the test, while the knowledge presumed to be tested is not necessarily available. Our results suggest that care should be taken when selecting the mode of an examination. Moreover, the faculty should be more aware of the impact of the test format on the students learning behaviour

Format und Durchführung schriftlicher Prüfungen [Format and implementation of written assessments]

[english] According to the new German licensing regulations all clinical certificates have to be graded; mostly this requires written tests. Methods tested to date include tests for passive knowledge (single choice questions, multiple choice questions, progress test) and active knowledge (short essay questions, long essay questions). We discuss advantages and disadvantages of these methods, as well as the resources required for test preparation, testing and grading of student answers. [german] Alle Leistungsnachweise des klinischen Studienabschnittes nach neuer Ärztlicher Approbationsordnung müssen benotet werden; hierzu sind in der Regel schriftliche Prüfungen notwendig. Bisher erprobte Methoden beinhalten die Prüfung passiven Wissens (Einfachauswahlfragen, multiple choice-Fragen, progress test-Fragen) und aktiven Wissens (short essay questions, long essay questions). Vor- und Nachteile dieser Verfahren werden diskutiert, sowie die zur Erstellung, Durchführung und Auswertung schriftlicher Prüfungen notwendigen Ressourcen