Veränderungen der Forschungsevaluierung – Chancen für eine ökologische Agrarforschung mit gesellschaftlicher Wirkung

Several actors in science, civil society and policy call for changes in the current publication and reputation system, which have implications for organic farming research. Change processes include funding and agenda setting, support for interdisciplinary and transdisciplinary approaches, societal relevance and impact as criteria for research evaluation, open access publication and transparent, plural and interactive forms of peer-review and recognition. These developments show synergies that help to increase the support and reduce the effort for evaluation beyond scientific impact

Entwicklung von Gemüsesäulen als Element des City Farming und für die Bildungs- und Öffentlichkeitsarbeit sowie als Marketinginstrument für die ökologische und nachhaltige Land- und Lebensmittelwirtschaft

Von der Künstlerin Claire Pentecost initiiert und inspiriert durch die Arbeiten der CanYALove Stiftung in Nairobi, startete das Gemüsesäulen-Projekt als Kooperation zwischen Kunst und Wissenschaft auf der dOCUMENTA (13). Die Idee und auch die Umsetzung begeisterte viele Menschen im Sommer 2012 in Kassel auf der weltweit bedeutendsten Ausstellungen für zeitgenössische Kunst, wie durch Interviews der sog. „Worldly Companions“ - Laienführer für die dOCUMENTA - auch empirisch belegt wurde. „Kunst“ und Besucher waren zufrieden, die Wissenschaft nur bedingt, da die aufgebauten Säulen Probleme vor allem bei der Bewässerung und bei den physikalisch-chemischen Eigenschaften des verwendeten Substrates offenbarten. Im Winter 2012/13 wurde eine Auswahl von sechs Substratkompositionen und zusätzlich von zwei fertigen Dachgarten-Substrat-Mischungen im Labor und in Mini-Säulen auf ihre Eignung als Substrat für die Gemüsesäule untersucht. Drei dieser Substrate davon, selektiert anhand von verschiedenen Kriterien, wurden anschließend für einen Säulenversuch ausgewählt. Insgesamt wurden acht Säulen im Sommer 2013 auf dem Versuchsgelände der Universität Kassel in Witzenhausen aufgestellt. Dabei zeigte sich nur bei dem Substrat bestehend aus Lava, Bims, Torf und Kompost ein befriedigendes Pflanzenwachstum der Kohl-, Salat- und Buschbohnenpflanzen. In den anderen beiden Substraten trat eine Stickstofffixierung auf, die wahrscheinlich durch das in beiden Substraten eingesetzte Holzhäcksel verursacht wurde und das Pflanzenwachstum hemmte. Die eingesetzte Tröpfchenbewässerung mit Druckwasser erwies sich in der Lage, die Säulen gleichmäßig zu bewässern. Die zwei Säulen-Varianten mit druckloser Bewässerung und Wasservorratsbehälter lagen im Ertrag zurück. Ein sich anschließender Topfversuch der drei Substrate mit drei verschiedenen Düngestufen (auf Basis von Hornmehl und -späne) zeigte, dass auch bei den Substraten bestehend aus Ziegelsplitt, Kompost und Holzhäcksel bzw. Optigrün UrbanSoil, Kompost und Holzhäcksel mit höherer Aufdüngung ein gutes Pflanzenwachstum möglich ist. Bedingt durch das festgesetzte Projektende konnten die Substrate mit der höheren N-Düngung in der Großsäule nicht mehr geprüft werden. Aufbauend auf allen Ergebnissen wurde eine ausführliche Bauanleitung geschrieben, die es möglich macht, Gemüsesäulen nachzubauen und zu nutzen. Für den Projektträger BLE wurde zusätzlich eine spezielle Messesäule entwickelt und auf der Internationalen Grünen Woche in Berlin Anfang 2014 ausgestellt. Auch hier zeigte sich durch die vielen positiven Rückmeldungen und interessanten Gespräche, dass die Gemüsesäule ein Blickfang ist, über den innovativ inhaltliche Themen transportiert werden können. So ist sie einsetzbar als Instrument in der Bildungs- und Öffentlichkeitsarbeit und des Marketings für die ökologische und nachhaltige Land- und Lebensmittelwirtschaft

Beyond scientific impact: An evaluation approach that captures societal benefit and minimises documentation effort.

To grapple with the the substantial amount of data generated by research evaluations and impact assessments, funders and institutions must look to improve their communication systems. Birge Wolf, Jürgen Heß and Anna Maria Häring are looking to combine evaluation concepts for inter- and trans-disciplinary research with funders’ increasing interests in societal impact data. Improved data sharing mechanisms will provide more support to researchers and boost efficiency of the system

Berücksichtigung der Leistungen für Praxis und Gesellschaft in der Forschungsevaluierung

Im etablierten System der Forschungsevaluierung (z. B. Peer Review Publikationen, SCI, SSCI, JIF) werden die Wirkungen der Wissenschaft auf Praxis und Gesellschaft nur unzureichend berücksichtigt. Im BÖLN Projekt 06 OE 307 wurde daher erforscht, wie praxis- und gesellschaftsrelevante Leistungen der Ökolandbauforschung adäquat in der Evaluierung berücksichtigt werden können. Die Analyse von Konzepten für die Evaluierung angewandter, insbesondere inter- und transdisziplinärer Forschung und qualitative Interviews mit 22 Experten der ökologischen Agrarforschung zeigten, mit großer Übereinstimmung, dass folgende Leistungen der Forschung für eine solche Evaluierung relevant sind: - Fragestellungen und umsetzbare Ergebnisse haben einen Bezug zu relevanten Problemlagen von Praxis und Gesellschaft; - Zusammenarbeit und Austausch mit anderen Wissenschaftlern und Akteuren aus Praxis und Gesellschaft; - Publikationen und andere Produkte der Forschung für nicht-wissenschaftliche Zielgruppen, - Relevanz und tatsächlicher Impact für Praxis und Gesellschaft. Von den Interviewpartnern wurde ein breites und kontextbezogen anpassbares Kriterienset für notwendig erachtet. Dieses stimmt mit Empfehlungen in der Evaluierungsliteratur überein. Die meisten bestehenden Konzepte sind spezifisch auf den jeweiligen Evaluierungsgegenstand abgestimmt und unterscheiden sich daher in Zielsetzungen, Methoden sowie Breite und Detaillierungsgrad der Kriteriensets und Bewertungsraster. Entsprechend braucht eine generelle Ergänzung der Forschungseva-luierung anpassbare Kriterien. Die Konzepte in der Literatur umfassen vielfältige Evaluierungsinstrumente, u.a. Multi-Methoden Ansätze und die Kombination interner und externer Perspektiven. Diese Evaluierungskonzepte werden meistens als „stand-alone-Vorhaben“ umgesetzt. Dadurch erfolgt die Datenerhebung derzeit mit beträchtlichem Aufwand (z.B. Interviews oder Dokumentenanalysen). Erste Ansätze einer generalisierten Datenerfassung finden sich beispielsweise bei den Research Councils in Großbritannien. Von den projektbeteiligten Agrarwissenschaftlern wurden drei Aspekte für die Methodik der Evaluierung besonders betont: a) Akteure aus Praxis und Gesellschaft sollten an der Evaluierung beteiligt sein; b) Für die Analyse von Folgewirkungen ist eine angemessene Nachbeobachtung über das Projektende hinaus sinnvoll; c) Zur Verbesserung der Anwendbarkeit und Akzeptanz der Evaluierung sollte der zusätzliche Aufwand von Forschern für die Datenerfassung gering bleiben und die Daten für verschiede-ne Evaluierungen nutzbar gemacht werden. Im vorliegenden Projekt wurde ein Konzept entwickelt, mit dem die Datenerfassung für die Evaluierung in die Antragstellung und Berichterstattung für die öffentliche Drittmittelförderung integriert werden könnte. Dieses würde sowohl einen zusätzlichen Aufwand für die Datenerfassung seitens der Wissenschaftler und der Evaluatoren vermeiden, als auch die Nutzbarkeit der Daten verbessern. Ein solches Vorgehen ist naheliegend, weil eine Analyse sowohl der Leitbilder als auch der Dokumentationsanforderungen vieler öffentlicher Forschungsförderer (z.B. BMBF, BMWi, BMELV, BMU) zeigte, dass eine erhebliche Schnittmenge mit dem Datenbedarf für die Evaluierung von Leistungen der Forschung für Praxis und Gesellschaft gegeben ist. Um die bereits vorhandenen Informationen in Anträgen und Berichten für eine Evaluierung nutzbar zu machen, ist es notwendig, a) die Daten so zu strukturieren, dass sie gleichermaßen für die Forschungsförderung und verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Institutionen, Programme) nutzbar sind, b) bisher nicht oder nur implizit geforderte, aber für die Evaluierung notwendige Informationen, explizit zu erfassen und c) für die technische Umsetzung ein Datenbanksystem zu nutzen. Durch letzteres können einmalig eingegebene Daten leicht zu späteren Zeitpunkten ergänzt werden (Nachbeobachtung) und Datensätze kontextbezogen für verschiedene Evaluierungsgegenstände gefiltert und unterschiedlich detailliert oder aggregiert ausgewertet werden. Da Teile von Anträgen und Berichten durch strukturierte Dokumentation ersetzt werden können, bliebe der Dokumentationsaufwand für Wissenschaftler voraussichtlich gleich. Wie und mit welchem Nutzen das skizzierte Konzept umgesetzt werden kann, wird über Fallstudien in einem Folgeprojekt erprobt. Darüber hinaus ist eine breite Diskussion in der Scientific Community weiterhin notwendig um eine Ergänzung der Forschungsevaluierung über den wissenschaftlichen Impact hinaus zu gestalten

Evaluierung praxisorientierter Ökolandbauforschung

Evaluierung praxisorientierter Ökolandbauforschung soll die Praxisrelevanz/-wirkung und die Beiträge für eine Weiterentwicklung des Ökolandbaus bewerten. Dabei ist sowohl der besondere Aufwand praxisorientierter Forschung als auch der Erfolg in der Praxis zu berücksichtigen. Die Kombination aus einer Selbstdokumentation der Wissenschaftler und einer externen Qualitätskontrolle auf Basis breiter Praxisbeteiligung, stellt das geeignete Instrumentarium dar, muss jedoch noch weiter operationalisiert werden

Evaluating Research beyond Scientific Impact - How to Include Criteria for Productive Interactions and Impact on Practice and Society

Currently, established research evaluation focuses on scientific impact – that is, the impact of research on science itself. We discuss extending research evaluation to cover productive interactions and the impact of research on practice and society. The results are based on interviews with scientists from (organic) agriculture and a review of the literature on broader/social/societal impact assessment and the evaluation of interdisciplinary and ransdisciplinary research. There is broad agreement about what activities and impacts of research are relevant for such an evaluation. However, the extension of research evaluation is hampered by a lack of easily usable data. To reduce the effort involved in data collection,the usability of existing documentation procedures (e. g., proposals and reports for research funding) needs to be increased.We propose a structured database for the evaluation of scientists, projects, programmes and institutions, one that will require little additional effort beyond existing reporting requirements

Weiterentwicklung und Erprobung eines Konzeptes zur Dokumentation und Evaluierung von Leistungen der Agrarforschung für Praxis und Gesellschaft

Das Projekt möchte dazu beitragen, dass gesellschaftliche Leistungen der Agrarforschung, ergänzend zu wissenschaftlicher Qualität und Impact, vermehrt honoriert werden. Dafür wurden ein Dokumentations- und ein Evaluierungskonzept mit Synergien für die Forschungsförderung entwickelt und erprobt, um mehrfachen Nutzen bei vertretbarem Aufwand zu erreichen. Die Dokumentation ergänzt wissenschaftsorientierte Informationen in etablierten Forschungsinformationssystemen (FIS). Wir entwickelten die strukturierte Erfassung von Leistungen der Forschung für Praxis und Gesellschaft mit der Zielbeschreibungen und Verwertungsplanungen in Anträgen und Berichten ersetzt werden können und über links oder uploads ein breiterer Zugang zu Outputs ermöglicht wird. Außerdem integrierten wir die Beschreibung von Zielgruppen und Rahmenbedingungen, um die Komplexität in Innovationssystemen zu berücksichtigen sowie die Arbeitsplanung in einem Balkendiagramm, um das Management und die Administration von Projekten zu unterstützen. Die Evaluierung von Projekten, 2-3 Jahre nach deren Abschluss, basiert auf Informationen der Dokumentation. Sie fokussiert auf das Projektdesign (insb. Transdisziplinarität), Prozesse und Outputs (Zielgruppenorientierung und Open Access) sowie die Anwendbarkeit (in Produkten, Dienstleistungen, Handlungen, Politik etc.) und damit verbundene (potenzielle) Auswirkungen (ökologisch, ökonomisch, sozial/kulturell). Weiterhin wird die Einbindung von Stakeholdern empfohlen, um die Informationen der Wissenschaftler zu ergänzen und eine reflexive Evaluierung zu ermöglichen. Projektevaluierungen sind nicht nur nützlich für Förderer sondern ‚ausgezeichnete Projekte‘ können (gewichtet mit der Fördersumme) auch ein einfach zu nutzender Indikator für die Evaluierung von Forschungseinrichtungen oder Wissenschaftlern sein. Die Projektergebnisse können dazu beitragen, bestehende FIS zu erweitern. Das Evaluierungskonzept ist mit und ohne erweitertes FIS nutzbar

Wissenstransfer innovativ weiterdenken

Wissenstransfer ist für den Einsatz und die Anwendung von Forschungsergebnisssen in der Praxis des ökologischen Landbaus unerlässlich. Neue Impulse lassen sich ableiten, wenn Wissenstransfer zusammen mit Wirkungsanalysekonzepten für Innovationsprozesse und transdisziplinäre Forschung betrachtet wird. Die Elemente der (a) akteurabhängigen Problemzugänge und Übersetzungsleistungen, (b) Partizipation, (c) Rückwärtsplanung, und (d) die Rahmenbedingungen werden vorgestellt. Diese Elemente sollen von Experten für Wissenstransfer reflektiert werden

Evaluating Research beyond Scientific Impact

This article discusses evaluating research beyond scientific impact