Im etablierten System der Forschungsevaluierung (z. B. Peer Review Publikationen, SCI, SSCI, JIF) werden die Wirkungen der Wissenschaft auf Praxis und Gesellschaft nur unzureichend berücksichtigt. Im BÖLN Projekt 06 OE 307 wurde daher erforscht, wie praxis- und gesellschaftsrelevante Leistungen der Ökolandbauforschung adäquat in der Evaluierung berücksichtigt werden können. Die Analyse von Konzepten für die Evaluierung angewandter, insbesondere inter- und transdisziplinärer Forschung und qualitative Interviews mit 22 Experten der ökologischen Agrarforschung zeigten, mit großer Übereinstimmung, dass folgende Leistungen der Forschung für eine solche Evaluierung relevant sind:
- Fragestellungen und umsetzbare Ergebnisse haben einen Bezug zu relevanten Problemlagen von Praxis und Gesellschaft;
- Zusammenarbeit und Austausch mit anderen Wissenschaftlern und Akteuren aus Praxis und Gesellschaft;
- Publikationen und andere Produkte der Forschung für nicht-wissenschaftliche Zielgruppen,
- Relevanz und tatsächlicher Impact für Praxis und Gesellschaft.
Von den Interviewpartnern wurde ein breites und kontextbezogen anpassbares Kriterienset für notwendig erachtet. Dieses stimmt mit Empfehlungen in der Evaluierungsliteratur überein. Die meisten bestehenden Konzepte sind spezifisch auf den jeweiligen Evaluierungsgegenstand abgestimmt und unterscheiden sich daher in Zielsetzungen, Methoden sowie Breite und Detaillierungsgrad der Kriteriensets und Bewertungsraster. Entsprechend braucht eine generelle Ergänzung der Forschungseva-luierung anpassbare Kriterien. Die Konzepte in der Literatur umfassen vielfältige Evaluierungsinstrumente, u.a. Multi-Methoden Ansätze und die Kombination interner und externer Perspektiven. Diese Evaluierungskonzepte werden meistens als „stand-alone-Vorhaben“ umgesetzt. Dadurch erfolgt die Datenerhebung derzeit mit beträchtlichem Aufwand (z.B. Interviews oder Dokumentenanalysen). Erste Ansätze einer generalisierten Datenerfassung finden sich beispielsweise bei den Research Councils in Großbritannien. Von den projektbeteiligten Agrarwissenschaftlern wurden drei Aspekte für die Methodik der Evaluierung besonders betont:
a) Akteure aus Praxis und Gesellschaft sollten an der Evaluierung beteiligt sein;
b) Für die Analyse von Folgewirkungen ist eine angemessene Nachbeobachtung über das Projektende hinaus sinnvoll;
c) Zur Verbesserung der Anwendbarkeit und Akzeptanz der Evaluierung sollte der zusätzliche Aufwand von Forschern für die Datenerfassung gering bleiben und die Daten für verschiede-ne Evaluierungen nutzbar gemacht werden.
Im vorliegenden Projekt wurde ein Konzept entwickelt, mit dem die Datenerfassung für die Evaluierung in die Antragstellung und Berichterstattung für die öffentliche Drittmittelförderung integriert werden könnte. Dieses würde sowohl einen zusätzlichen Aufwand für die Datenerfassung seitens der Wissenschaftler und der Evaluatoren vermeiden, als auch die Nutzbarkeit der Daten verbessern. Ein solches Vorgehen ist naheliegend, weil eine Analyse sowohl der Leitbilder als auch der Dokumentationsanforderungen vieler öffentlicher Forschungsförderer (z.B. BMBF, BMWi, BMELV, BMU) zeigte, dass eine erhebliche Schnittmenge mit dem Datenbedarf für die Evaluierung von Leistungen der Forschung für Praxis und Gesellschaft gegeben ist. Um die bereits vorhandenen Informationen in Anträgen und Berichten für eine Evaluierung nutzbar zu machen, ist es notwendig,
a) die Daten so zu strukturieren, dass sie gleichermaßen für die Forschungsförderung und verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Institutionen, Programme) nutzbar sind,
b) bisher nicht oder nur implizit geforderte, aber für die Evaluierung notwendige Informationen, explizit zu erfassen und
c) für die technische Umsetzung ein Datenbanksystem zu nutzen.
Durch letzteres können einmalig eingegebene Daten leicht zu späteren Zeitpunkten ergänzt werden (Nachbeobachtung) und Datensätze kontextbezogen für verschiedene Evaluierungsgegenstände gefiltert und unterschiedlich detailliert oder aggregiert ausgewertet werden. Da Teile von Anträgen und Berichten durch strukturierte Dokumentation ersetzt werden können, bliebe der Dokumentationsaufwand für Wissenschaftler voraussichtlich gleich. Wie und mit welchem Nutzen das skizzierte Konzept umgesetzt werden kann, wird über Fallstudien in einem Folgeprojekt erprobt. Darüber hinaus ist eine breite Diskussion in der Scientific Community weiterhin notwendig um eine Ergänzung der Forschungsevaluierung über den wissenschaftlichen Impact hinaus zu gestalten