Krüger, Anne K.

German

SSOAR - Social Science Open Access Repository 

www.ssoar.infoDisagreement in Peer Review: Workshop an derHumboldt-Universität zu Berlin, 19.-20. Mai 2016Krüger, Anne K.Veröffentlichungsversion / Published VersionZeitschriftenartikel / journal articleEmpfohlene Zitierung / Suggested Citation:Krüger, A. K. (2016). Disagreement in Peer Review: Workshop an der Humboldt-Universität zu Berlin, 19.-20. Mai2016. Soziopolis: Gesellschaft beobachten. https://nbn-resolving.org/urn:nbn:de:0168-ssoar-82343-3Nutzungsbedingungen:Dieser Text wird unter einer CC BY Lizenz (Namensnennung) zurVerfügung gestellt. Nähere Auskünfte zu den CC-Lizenzen findenSie hier:https://creativecommons.org/licenses/by/4.0/deed.deTerms of use:This document is made available under a CC BY Licence(Attribution). For more Information see:https://creativecommons.org/licenses/by/4.0Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016Anne K. Krüger | Veranstaltungsbericht | 01.07.2016Disagreement in Peer ReviewWorkshop an der Humboldt-Universität zu Berlin, 19.–20. Mai 2016Dass sich über Geschmack nicht streiten lässt, ist bekannt. Doch gilt das auch für dieWissenschaft? Meinungsverschiedenheiten sind ein alltägliches Phänomen, und auch in derWissenschaft ist der Dissens die Triebfeder forscherischen Handelns. Es stellt sich jedochdie Frage, wie solche Differenzen mit dem Anspruch einer vermeintlich objektivbewertbaren wissenschaftlichen Qualität zu vereinbaren sind. Welche Konsequenzenhaben Meinungsverschiedenheiten im Prozess des Peer Reviews, das es doch ermöglichensoll, ein eindeutiges wissenschaftliches Qualitätsurteil zu treffen? Diese Fragen bildetenden Ausgangspunkt für den interdisziplinären Workshop „Disagreement in Peer Review“,der von Geert Keil (HU Berlin – Lehrbereich philosophische Anthropologie), MartinReinhart (HU Berlin – Lehrbereich Wissenschaftsforschung, Deutsches Zentrum fürHochschul- und Wissenschaftsforschung (DZHW)) und Ralf Poscher (Freiburg – Institut fürStaatswissenschaft und Rechtsphilosophie) organisiert wurde.GEERT KEIL (Berlin) formulierte einleitend die Frage, wie es überhaupt möglich sei, dasszwei ExpertInnen desselben Fachgebiets auf der Grundlage derselben Informationen zuunterschiedlichen Bewertungen wissenschaftlicher Erkenntnis kommen können, wennWissenschaft doch als Suche nach objektiver Wahrheit und der Weg dorthin durchRationalität gekennzeichnet seien. Als zentrales Problem für eine philosophischeAuseinandersetzung mit dem Peer Review benannte er vor diesem Hintergrund die bei derSuche nach wissenschaftlicher Wahrheit gegebene Notwendigkeit, trotz einer solchen„tiefen Meinungsverschiedenheit“1 eine übereinstimmende Entscheidung überwissenschaftliche Qualität treffen zu müssen.In Zeiten steigender Drittmittelraten und wachsenden Publikationsdrucks ist die Fragenach der Beurteilung von wissenschaftlicher Qualität besonders relevant geworden. DennPeer Review ist derzeit das Nadelöhr, das nicht nur über wissenschaftlichenErkenntnisfortschritt, sondern über ganze Wissenschaftskarrieren entscheidet. Dochverwundert es gerade vor diesem Hintergrund, dass diese Form der Begutachtung bislangeine black box geblieben ist. Jenseits von konkreten Verfahrensregeln ist wenig bekanntüber die sozialen Prozesse, die zur Annahme bzw. Ablehnung von Forschungsanträgenoder von wissenschaftlichen Publikationen führen. Diese Erkenntnis hat dazu geführt, dass© Soziopolis - Gesellschaft beobachten sowie Autor*in 1 / 8Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016in der soziologischen Wissenschaftsforschung zunehmend einerseits die formalen Prozesseund andererseits deren praktische Umsetzung in den Fokus rücken. STEFAN HORNBOSTEL(Berlin), MARTIN REINHART (Berlin), STEFAN HIRSCHAUER (Mainz) und MICHÈLELAMONT (Harvard) haben dazu bereits einschlägige Forschung vorgelegt2, derenWeiterführung sie im Rahmen des Workshops präsentierten.Hornbostel konstatierte, Peer Review habe sich zu einer Institution der wissenschaftlichenQualitätssicherung entwickelt und bis heute erhalten, obwohl es immer schon breiter Kritikausgesetzt gewesen sei. Dies habe nicht zuletzt damit zu tun, dass Peer Review einerseits als„part of the job“ und andererseits immer auch als Chance, Lobbyismus für die eigeneForschungsrichtung zu betreiben, betrachtet werde. Die Herausforderung bestehe deshalbvor allem in der Auswahl der richtigen GutachterInnen. Jedoch stelle die gestiegeneNachfrage nach Gutachten und die sich gleichzeitig durch andere Anforderungen wieDrittmitteleinwerbung und Publikationstätigkeit verknappende Zeit ein wesentlichesProblem für das Peer Review und die daraus folgende wissenschaftliche Qualität dar.Reinhart betonte, die Soziologie solle weniger die Ergebnisse von Peer-Review-Verfahrenals vielmehr die dahinterstehenden Prozesse ins Visier der Forschung nehmen. Dazuentwickelte er eine Typologie von Faktoren, die Peer-Review-Prozesse beeinflussen. Diesesetzte bei der Frage nach der (wechselseitigen) Sichtbarkeit von GutachterInnen innerhalbdes Reviewprozesses an, die es ermögliche, grundlegend zwischen extern geschriebenenReviews wie im Fall von Zeitschriften und interne Diskussionsrunden wie im Fall vonFörderanträgen zu unterscheiden. Auch Faktoren wie einer homogenen versus einerdiversifizierten Fachkultur rechnete Reinhart einen wesentlichen Einfluss auf den Verlaufdes Begutachtungsprozesses zu. Zudem widmete er sich der Frage, welche Rolle Emotionenim Peer-Review-Prozess spielen. Obwohl Wissenschaft als affektiv neutral gedacht werde,sei Peer Review emotional aufgeladen. Insbesondere die Aufrechterhaltung von Vertrauen(confidence) sei die grundlegende Voraussetzung für ein Peer-Review-Verfahren. Denn nurdas Vertrauen darauf, dass Peer Review das halte, was es verspreche, ermögliche denFortbestand dieser Maßnahme der Qualitätssicherung.Auch Hirschauer verwies darauf, dass es in der Forschung zu Peer Review weniger um dieErgebnisse selbst als vielmehr um den Reviewprozess als „Kommunikationssituation“gehen müsse, in der die Allokation von Reputation sowohl in der Begutachtung als auch inder Herstellung dieser Begutachtungen vorgenommen werde. Er skizzierte dieunterschiedlichen Sequenzen eines Reviewprozesses von der Einreichung bis zumGutachten, in denen einerseits die Aufmerksamkeit für die Publikation und deren© Soziopolis - Gesellschaft beobachten sowie Autor*in 2 / 8Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016Forschungsgegenstand und andererseits die Meinungsverschiedenheiten zwischen denBegutachtenden sowie die Disziplinierung von AutorInnen durch den Zwang zurEinhaltung von formalen und inhaltlichen Regeln kommunikativ intensiviert werde.Hierbei verdeutlichte er insbesondere die „panoptische Organisation“ des Prozesses, diedadurch gegeben sei, dass die HerausgeberInnen nicht nur über die eingereichtePublikation, sondern auch über deren Gutachten befinden.In ihrem Abendvortrag präsentierte Lamont einen weiteren Ansatz, um die „black box peerreview“ zu öffnen und nach grundlegenden Prozessen der Urteilsbildung zu fragen. DieSchwierigkeit bestehe jedoch darin, dass die Regeln, Normen und Standards zur Bewertungvon Qualität nicht festgeschrieben seien, sondern innerhalb einer Disziplin jeweils erlerntwerden. Es sei demnach der Kontext, in dem eine Bewertung stattfindet, der für die Art undWeise der Begutachtung entscheidend sei. Unter Rückgriff auf eine vergleichende Studie zudrei Fällen von Begutachtung (belletristische Buchkritiken, wissenschaftlicheProjektförderung und Unternehmensberatung) verdeutlichte Lamont die „customaryrules“, die in jedem dieser drei Bereiche die Verfahren lenken und dieBegutachtungsobjekte, -agenten und -adressaten in ein charakteristisches Verhältniszueinander setzen.Nach diesen Versuchen, mit soziologischem Instrumentarium etwas Licht ins Dunkel zubringen, folgten am zweiten Tag Einblicke aus der Begutachtungspraxis selbst. ELKEBRENDEL (Bonn, Mitglied im Fachkollegium Philosophie der DFG), THOMAS BALDWIN(York, Chefherausgeber von Mind 2005–2015) und MICHÈLE GARFINKEL (Heidelberg,European Organisation of Molecular Biology, EMBO) stellten die Verfahrensregeln dar,anhand derer in ihrem jeweiligen fachlichen Kontext über die finanzielle Förderung vonForschungsprojekten oder die Veröffentlichung von Forschungsergebnissen entschiedenwird. Da sie aufgrund ihrer Position Zugang zu Gutachten haben, konnten sie darüberhinaus Einsichten über die Rolle von Meinungsverschiedenheiten und den Umgang damitbeisteuern. Brendel berichtete, Meinungsverschiedenheiten hinsichtlich der Annahme oderAblehnung eines Projekts würden oftmals nicht in Bezug auf denselben Punkt auftreten,sondern aufgrund einer unterschiedlichen Gewichtung der einzelnen Kriterien, diewiederum durch unterschiedliche Expertise oder disziplinäre Hintergründe zustandekämen. Auch Baldwin betonte, dass Meinungsverschiedenheiten zumeist gerade nicht auseiner wie von Keil dargestellten Ausgangssituation von gleicher Expertise in demselbenFachgebiet hervorgingen. Er verwies zudem auf die Rolle der HerausgeberInnen als letzteInstanz des Begutachtungsverfahrens, die nicht nur über die Qualität derwissenschaftlichen Leistung einer Publikation, sondern auch über jene der GutachterInnen© Soziopolis - Gesellschaft beobachten sowie Autor*in 3 / 8Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016befinden müssten. Damit verdeutlichte er die von Hirschauer angesprochene panoptischeKommunikationssituation des seinerseits unter Beobachtung stehenden Peer Reviews.Besonders hervorzuheben unter den Berichten aus der Begutachtungspraxis ist der Beitragvon Garfinkel. Während Baldwin herausstellte, dass das Journal Mind sogar auf einen triple-blind-Prozess setzt, in dem auch die verantwortlichen HerausgeberInnen bei ihrerEntscheidung nicht wissen, wer die AutorInnen sind, verwies Garfinkel auf ihren Versuch,größtmögliche Transparenz zu schaffen. Zwar ist das Begutachtungsverfahren der vonEMBO herausgegebenen Zeitschriften ebenfalls so organisiert, dass die AutorInnen nichtdie Namen der Begutachtenden kennen. Jedoch würden die Einschätzungen derGutachterInnen auch den jeweils anderen GutachterInnen zugänglich gemacht, so dassjede(r) auch Bezug auf andere Meinungen nehmen könne. Darüber hinaus seien beiAnnahme eines Artikels zur Veröffentlichung sowohl eine Dokumentation des Ablaufs desgesamten Reviewprozesses als auch bei Einwilligung aller Beteiligten die Gutachten sowiedie gesamte Kommunikation dazu öffentlich einsehbar. Transparenz anstelle von blackboxing empfahl Garfinkel als Weg zur Qualitätssicherung des Peer Reviews und damitder wissenschaftlichen Qualität insgesamt.Neue methodische Entwicklungen des Peer Reviews waren auch Gegenstand des Vortragsvon VERENA GRAF (Berlin). Sie sprach über Post-Publication Peer Review als eine neueForm der Begutachtung, die damit den Begutachtungsprozess über die Veröffentlichunghinaus verlängert. Zudem habe die gesamte Fachcommunity durch die öffentlicheDiskussion bereits publizierter und dadurch allen zugänglicher Artikel auf Foren wiebeispielsweise PubPeer https://pubpeer.com/ die Möglichkeit, selbst über die Kriterien fürwissenschaftliche Legitimität und Autorität zu entscheiden und dabei auch dieVerfahrensregeln mitzugestalten. Die Offenheit dieser Form des Peer Reviews, das auchanonyme Kommentare oder Pseudonyme zulässt, berge in sich zwar immer auch dieGefahr des Missbrauchs. Jedoch habe sie auch zur Aufdeckung von wissenschaftlichemFehlverhalten beigetragen, was zur nachträglichen Rücknahme einer Vielzahl von(naturwissenschaftlichen und medizinischen) Publikationen in renommiertenFachzeitschriften geführt habe. Post-Publication Peer Review stelle demnach den Versuchdar, dem Qualitätsproblem des herkömmlichen Peer Reviews durch die Herstellung eineröffentlichen Peer-Diskussion zu begegnen.Anhand der von Garfinkel und Graf dargestellten Entwicklungen wird ersichtlich, dass dieDiskussion der Qualität von Peer Review nicht mehr bei der Feststellung stehenbleibt, dass– in Anlehnung an ein Zitat von Winston Churchill – „Peer Review das schlechteste aller© Soziopolis - Gesellschaft beobachten sowie Autor*in 4 / 8Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016Bewertungsverfahren ist, ausgenommen alle anderen“. Stattdessen werden sowohl aus derFachcommunity als auch vonseiten der ZeitschriftenherausgeberInnen methodischeKonsequenzen gezogen, die ein starres Festhalten an bisherigen Verfahren in Frage stellen.Garfinkel sieht vor diesem Hintergrund die Zukunft in pre-print-Verfahren, bei denen einText bereits vor der Einreichung öffentlich kommentiert werden kann, um anschließend ineinen transparenten Peer-Review-Prozess überführt zu werden.Ergänzt wurden diese philosophischen, soziologischen und praxisbezogenen Einblickedurch juristische Perspektiven. KLAUS F. GÄRDITZ (Bonn, stellv. Mitglied desVerfassungsgerichtshofs für das Land Nordrhein-Westfalen), der als externer Gutachter fürdas Plagiatsverfahren gegen Bundesbildungsministerin Annette Schavan eingesetzt wordenwar, ging auf die Frage ein, inwieweit wissenschaftlicher Dissens ein Rechtsproblem sei. Erlegte dar, dass das Recht nicht dafür zuständig sei, die Qualität in der Wissenschaft zuüberprüfen, da es über keine eigene wissenschaftliche Erkenntnistheorie verfüge. DasRecht könne lediglich dazu herangezogen werden, anhand der Überprüfung, ob ein Verstoßgegen Verfahrensregeln vorliegt, festzustellen, ob Forschung den Ansprüchen an dieWissenschaftlichkeit genügt.WOLFGANG LÖWER (Bonn, Ombudsmann für die deutsche Wissenschaft) verwies darauf,dass bereits die Existenz von Begutachtungsprozessen in der Wissenschaft entscheidenddafür sei, dass die zu Begutachtenden auf Qualität bei der Einreichung von Förderanträgenoder Publikationen achten. Zwar stelle sich immer die Frage, wie Verfahren zu optimierenwären. Aber die Voraussetzung dafür sei die Legitimität der Verfahren, die beispielsweisedurch Ombudspersonen gewährleistet werde. Eine Möglichkeit zur Steigerung dieserLegitimität sah Löwer in einer gesetzlichen Regelung zur Transparenz vonBegutachtungsverfahren. So stellte er dar, dass es in der Schweiz per Gesetz möglich ist,Einsicht in die entsprechenden Unterlagen zu Förderentscheiden beim SchweizerischenNationalfond zu nehmen. In Deutschland gibt es dagegen bislang kein entsprechendesGesetz, das eine solche Einsichtnahme in die Begutachtungsprozesse der DeutschenForschungsgemeinschaft erlauben würde.Vortragsübergreifend erwies sich die fehlende Transparenz im Peer Review-Prozess als dasKernproblem, das von allen Teilnehmenden – einerseits als Gegenstand und andererseitsals Problem von Forschung – thematisiert wurde. Leider konnte eine philosophischeHerangehensweise an das Thema nicht weiter vertieft werden, da die beiden hierzugeplanten Vorträge entfallen mussten. Doch es wurde deutlich, dass sich etwas tut. Nichtnur wird zunehmend versucht, mehr Licht in die „black box peer review“ hineinscheinen© Soziopolis - Gesellschaft beobachten sowie Autor*in 5 / 8Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016zu lassen. Zudem wird über Möglichkeiten eines teilweisen oder gar vollständigen Umbausvon Begutachtungsverfahren nachgedacht. Die Forschung ist somit gefordert, dieOrganisation von Peer-Review-Prozessen als entscheidende Legitimierungsinstanz vonwissenschaftlicher Erkenntnis sowie die dahinterstehenden Vorstellungen von Qualitätnoch stärker und – im Hinblick auf die neuen methodischen Entwicklungen – insbesondereauch vergleichend in den Blick zu nehmen. Die dadurch möglichen Befunde sollten nichtzuletzt für die Praxis von großem Interesse sein.Konferenzübersicht:Geert Keil (Berlin), IntroductionMartin Reinhart (Berlin), Reliable Disagreement. The (Non-)Issue of Interrater Reliability inPeer Review ResearchStefan Hirschauer (Mainz), Communication Benefits in Peer Review. Towards a Theory ofan Evaluation PracticeMichèle Lamont (Harvard), The Blackboxing of Expert JudgmentKlaus F. Gärditz (Bonn), Wissenschaftlicher Dissens als RechtsproblemMichèle S. Garfinkel (Heidelberg), Revealing Reviewer Agreement and Disagreement: ATransparent Black BoxThomas Baldwin (York), Editorial Judgment and Peer ReviewVerena Graf (Berlin), Peer Disagreement in Post-Publication Peer ReviewElke Brendel (Bonn), Peer Disagreement and Third-Party Research FundingHolm Tetens (Berlin), Is There an Expert's Dilemma in Philosophy? (entfallen)Cornelis Menke (Bielefeld), Peer Disagreement and Scientific Controversies (entfallen)Wolfgang Löwer (Bonn), Begutachtung von Forschungsanträgen im Rahmen der Regelnguter wissenschaftlicher Praxis© Soziopolis - Gesellschaft beobachten sowie Autor*in 6 / 8Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016Stefan Hornbostel (Berlin), Taking stock© Soziopolis - Gesellschaft beobachten sowie Autor*in 7 / 8Disagreement in Peer ReviewAnne K. Krüger | 01.07.2016Endnoten1. Die Idee zum Workshop ist aus dem Forschungsprojekt „TiefeMeinungsverschiedenheiten“ an den Universitäten Berlin (HU), Freiburg und Kielhervorgegangen.2. Susan Böhmer / Jörg Neufeld / Sybille Hinze / Christian Klode / Stefan Hornbostel(Hrsg.), Wissenschaftler-Befragung 2010: Forschungsbedingungen von Professorinnenund Professoren an deutschen Universitäten. iFQ-Working Paper No. 8 (2011); MartinReinhart, Soziologie und Epistemologie des Peer Review, Baden-Baden 2012; StefanHirschauer, Peer Review Verfahren auf dem Prüfstand. Zum Soziologiedefizit derWissenschaftsevaluation, in: Zeitschrift für Soziologie 33 (2004), 1, S. 62–83; MichèleLamont, How professors think. Inside the curious world of academic judgment,Cambridge, MA, 2009. Anne K. KrügerDr. Anne K. Krüger ist wissenschaftliche Mitarbeiterin an der Humboldt-Universität zuBerlin am Institut für Sozialwissenschaften im Lehrbereich Wissenschaftsforschung. Zuihren aktuellen Forschungsschwerpunkten zählen die Soziologie des Wertens undBewertens sowie die Translation von Wissen zwischen Forschung und Praxis. Dieser Beitrag wurde redaktionell betreut von Christina Müller.Artikel auf soziopolis.de:https://www.soziopolis.de/disagreement-in-peer-review.htmlPowered by TCPDF (www.tcpdf.org)© Soziopolis - Gesellschaft beobachten sowie Autor*in 8 / 8

Disagreement in Peer Review: Workshop an der Humboldt-Universität zu Berlin, 19.-20. Mai 2016

https://www.ssoar.info/ssoar/bitstream/document/82343/1/ssoar-sopolis-2016-kruger-Disagreement_in_Peer_Review_Workshop.pdf

Disagreement in Peer Review: Workshop an der Humboldt-Universität zu Berlin, 19.-20. Mai 2016

Abstract

Similar works

Full text

Available Versions

SSOAR - Social Science Open Access Repository