Realising societal challenges: Towards challenge-led monitoring and evaluation

Eine "challenge-led" (an Herausforderungen orientierte) Innovationspolitik stellt gesellschaftliche Herausforderungen und Übergänge in den Mittelpunkt und zum Ziel der Innovationspolitik. Diese neue Art der Innovationspolitik erfordert nicht nur neue Ansätze bei der Festlegung der Agenda, der Programmierung, der Umsetzung und dem Management, sondern auch eine neue Sichtweise und Praxis des Monitorings und der Evaluation, um die Innovationspolitik auf gesellschaftliche Ziele ausrichten zu können. In diesem Artikel konzentrieren wir uns auf die Notwendigkeit und Nützlichkeit einer anderen Sichtweise und Art von Monitoring und Evaluation von herausforderungsorientierter F&I-Politik und ihrer Umsetzung - die wir als herausforderungsorientierte Monitoring und Evaluation (M&E) bezeichnen. Um diesen neuen Ansatz zu definieren, haben wir eine Literaturanalyse durchgeführt. Unsere Analyse identifiziert die Engpässe sowie potenzielle Wege, um zu einem angemessenen M&E-Rahmen für herausforderungsorientierte Innovationspolitiken zu gelangen. Als Nächstes zeigt unsere Analyse auf, wie Governance und eine institutionalisierte Evaluierungskultur und -praxis als (Teil der) Lösungen für alle vier identifizierten Engpässe präsentiert werden, aber in der Regel als ein nachträglicher Gedanke betrachtet werden, der "Experimente" erfordert. Die Überwindung anderer identifizierter Engpässe bei der M&E von Herausforderungen setzt jedoch voraus, dass (a) Führungs- und Organisationsstrukturen sowie (b) institutionalisierte Annahmen und Praktiken geändert werden. Daher argumentieren wir, dass für die Weiterentwicklung von herausforderungsorientiertem M&E die Rolle der Governance- und Organisationsstrukturen sowie der institutionalisierten sowie institutionalisierte Annahmen und Praktiken problematisiert und als Engpässe priorisiert werden sollten

Evaluierung des LBG OIS Centers und des LGB Career Centers

Die vorliegende Studie wurde von der Ludwig Boltzmann Gesellschaft (LBG) und dem Bundesministerium für Bildung, Wissenschaft und Forschung (BMBWF) beauftragt und im Zeitraum zwischen 1. September 2022 und 31. März 2023 durchgeführt. Ziel der Studie ist es, das Open Innovation in Science (OIS) Center und das Career Center (CC) der LBG zu evaluieren und mögliche Szenarien für ihre Weiterentwicklung aufzuzeigen. Der empirische Teil der Evaluierungsstudie fußt auf einem Mixed Methods-Forschungsdesign, bestehend aus qualitativen und quantitativen Erhebungs- und Auswertungsinstrumenten, welche u.a. eine standardisierte Online-Befragung, insgesamt 111 leitfadengestützte qualitative Interviews, eine komparative und eine kontrafaktische Analyse sowie die Reflexion mit einem eigens für jedes Center eingerichteten Sounding Board beinhalten

Expected Workforce Requirements for the Green Transition

In dieser Arbeit wird die erwartete zusätzliche Arbeitsnachfrage untersucht, die durch das Wachstum der Produktion grüner Produkte in Österreich entstehen wird. Hier schätzen wir ab, wie viele zusätzliche Mitarbeiter benötigt werden und in welchen Wirtschaftssektoren sie beschäftigt sein werden, um die identifizierten Branchen zu fördern. Wir stellen fest, dass Österreichs fünf vielversprechendste Möglichkeiten zur grünen Diversifizierung den größten Arbeitskräftebedarf in den Sektoren "Maschinen und Geräte" sowie "Reparatur von Maschinen und Geräten" verursachen werden. Die insgesamt geschätzte Zunahme der Arbeitsnachfrage in allen Sektoren beträgt etwa 6,30 Mitarbeiter. Die Ergebnisse dieser Studie sind über ein Online-Dashboard zugänglich und können erforscht werden, das die die Untersuchung von maßgeschneiderten Szenarien ermöglicht. Das Dashboard ist veröffentlicht unter: https://ecto.rfte.at

Wissensproduktion und Wissensverwertung in Österreich im internationalen Vergleich

Österreich hat die monetären Ressourcen für die Wissensproduktion und -verwertung in den letzten Jahrzehnten auf ein Niveau über jenem der führenden Innovationsländer der EU gesteigert. Eine Ausnahme bilden die Ausgaben für Universitäten. Leistungsindikatoren, etwa für Publikationen, Patente und innovationsintensive Start-ups, zeigen dagegen deutliche Aufholpotenziale, insbesondere im Vergleich mit weltweit führenden Ländern. Die anhaltenden Leistungsprobleme sowie neue Herausforderungen für die FTI-Politik, wie Klimawandel und technologische Souveränität, rufen nach einer mikrodatengestützten Evaluierung des FTI-Systems

Bericht zur wissenschaftlichen und technologischen Leistungsfähigkeit Österreichs 2023

In diesem Jahr widmen sich die Analysen primär dem jeweiligen Veränderungsbeitrag der einzelnen Indikatoren, die zur Leistungsmessung des FTI-Systems herangezogen werden, und betrachten sie im langfristigen Zeitverlauf. Der vorliegende Bericht verfolgt den Anspruch, das österreichische FTI-System datengetrieben – also evidenzbasiert – und systematisch zu analysieren und zu bewerten. Dazu werden auf der Innenseite des Umschlags die Ziele der FTI-Strategie 2030 und – in diesem Jahr neu – jene der Kreislaufwirtschaftsstrategie mit den Bereichen des FTI-Systems in Beziehung gesetzt. Die Leistungsverortung erfolgt auf Basis der dem Bericht zugrunde liegenden Indikatoren, die unterschiedliche Performanceaspekte (Bereiche) messen

Evaluierung des Förderungsprogramms IÖB-Toolbox

Innovationsfördernde öffentliche Beschaffung (IÖB) ist in Österreich seit 2007 Thema und in der nationalen Agenda der Innovationspolitik strategisch wie inhaltlich gut verankert. Wesentliche Meilensteine der Umsetzung des 2012 beschlossenen Leitkonzepts für eine innovationsfördernde öffentliche Beschaffung der letzten Jahre sind auf organisatorischer Ebene die Etablierung eines IÖB-Service Netzwerkes mit der IÖB-Servicestelle als Knotenpunkt und komplementären IÖB-Kompetenz- und Kontaktstellen. Die gegenständliche Evaluierung baut auf der Zwischenevaluierung des Förderungsprogramm von 2021 auf, in welcher die Genese und die Entwicklung der IÖB-Toolbox in der ersten Programmphase (2019-2020) im Vordergrund stand. Ziel der vorliegenden Untersuchung ist es, die Konzeption und die bisherige Umsetzung des Förderungsprogramms seit dessen Start im Jahr 2019, über die zweite Förderperiode (2021) bis hin zur aktuellen, dritten Förderperiode (2022-2023) gesamthaft zu beleuchten

Kurz-Evaluierung Ideen Lab 4.0

Im Jahr 2018 startete die Österreichische Forschungsgesellschaft (FFG) das Programm Ideen Lab 4.0. Mit dem Programm wurde ein neuer Weg in der Forschungsförderung zur Bildung interdisziplinärer Kooperationsbeziehungen mit Partner:innen entlang einer gesellschaftlich und für den Innovationsstandort Österreich relevanten Fragestellung gegangen. Das Programm Ideen Lab 4.0 zielte darauf ab, mit Hilfe der Sandpit-Methode neue interdisziplinäre Kooperationsbeziehungen zwischen Forscher*innen und Unternehmen, die gemeinsam anwendungsorientierte Projekte entwickeln und umsetzen möchten, zu stimulieren. Für die Ideen Lab-Pilotausschreibung 2018 führte inspire research im Auftrag der FFG in den Jahren 2018 und 2019 bereits eine Begleitevaluierung durch. Mit dieser Kurz-Evaluierung werden die Ergebnisse der Begleitevaluierung ergänzt und die Dokumentation der Zielerreichung des Programms vervollständigt

Von der Geschlechterpolitik zur diversitätsorientierten Gleichstellungspolitik im österreichischen Hochschul- und Forschungsraum

Das Buch soll zwei Jahrzehnte der Gleichstellungsarbeit abbilden. Entwicklungen wurden dafür skizziert und Gleichstellungsakteurinnen und -akteure um ihre Einschätzung gefragt. Zu Wort gekommen sind Genderforschende sowie Praktikerinnen und Praktiker auf dem Gebiet der Gleichstellungsarbeit in Wissenschaft, Forschung und Innovation. Die so entstandenen Beiträge sind größtenteils Beispiele institutioneller Forschung (u. a. Analysen zur Unterstützung der Entscheidungsfindung und Planung an der Hochschule oder Forschungseinrichtung). Sie fußen auf Erfahrung, Wissen und Kompetenzen sowie auf dem Austausch zwischen Forschenden, Praktikerinnen und Praktikern. Das Bundesministerium für Bildung, Wissenschaft und Forschung rückt mit dem vorliegenden Band die Fortschritte der vergangenen zwei Dekaden in den Fokus, um zu reflektieren. Ziel war es, den Wissensbestand zu sichern und für die Politikgestaltung nutzbar zu machen

Evaluation of KMU.DIGITAL Module Consulting (WKÖ) and Module Implementation (AWS). Synthesis Report

Die vorliegende Analyse betrifft die Evaluierung des Förderungsprogramms KMU.DIGITAL mit den beiden Modulen Beratung und Umsetzung seit dem Programm-Relaunch KMU.DIGITAL 2.0 (September 2019 bis Dezember 2022). Das Evaluierungsziel liegt in der Beurteilung des Programms hinsichtlich Wirkung und Reichweite sowie evidenzbasierten Empfehlungen für die Fortführung und künftige Ausgestaltung des Programms. Der Evaluierungszeitraum erstreckte sich von Jänner bis Juli 2023

Konzeptvorschlag für ein wirkungsorientiertes FTI-Monitoring

Ende 2022 wurde das Team von Technopolis und KMU Forschung Austria von der Sektion III – Innovation und Technologie – des BMK mit der Bedarfserhebung und Konzeptentwicklung für ein wirkungsorientiertes Forschungs- Technologie- und Innovations(FTI)-Monitoring beauftragt. Dieses Projekt fand vor dem Hintergrund eines umfassenden Wandels in der FTI-Politik1 statt: Während sich die Forschungspolitik nach dem 2. Weltkrieg auf die Grundlagenforschung konzentrierte und deren Governance der Wissenschaft selbst überließ, folgte ab den 1960er Jahren eine stärkere Ausrichtung auf einen unmittelbaren gesellschaftlichen Mehrwert durch die Nutzung von Wissen für Innovation und wirtschaftliches Wachstum. Heute konzentriert sich die transformative Innovationspolitik (TIP) „auf die Mobilisierung der Innovationskraft, um ein breites Spektrum gesellschaftlicher Herausforderungen wie Ungleichheit, Arbeitslosigkeit und Klimawandel anzugehen“, mit dem Ziel, sozio-technische Systeme dort zu verändern, wo sie Probleme verursachen bzw. einen sozio-technischen Systemwandel herbeizuführen. Im Gegensatz zur Innovationspolitik der 1. und 2. Generation benötigt sie in erhöhtem Maße steuerungsrelevante Informationen, die über Fortschritte in der Forschung sowie über Gelingensbedingungen für den Transfer in die Praxis und Veränderungen der systemischen Kontextbedingungen informieren (Wise und Arnold, 2022). Damit steigen die Anforderungen an ein zeitnahes Monitoring durch Förderagenturen und externe Begleitprozesse deutlich. Gleichzeitig eröffnen die Möglichkeiten der Online-Erfassung von Projektinformationen sowie der Einsatz von Software zur Analyse großer Datenmengen und künstlicher Intelligenz (KI) ein breiteres Spektrum für zeitnahe Analysen. Das BMK hat daher ein umfassendes Projekt zur Weiterentwicklung der wirkungsorientierten Monitoring- und Evaluierungsaktivitäten von FTI-politischen Maßnahmen gestartet. Das mit diesem Bericht abgeschlossene Begleitprojekt soll die Sektion III bei ihren Vorhaben unter Berücksichtigung von drei langfristigen Zielen und Maßnahmen unterstützen: 1. Etablierung eines transformativen FTI-Ansatzes, mit Monitoring und Evaluierung als integralen Bestandteilen, 2. bessere Kenntnis von FTI-Ergebnissen und damit verbunden, die verbesserte Verfügbarkeit und Nutzung von Forschungsdaten (insbesondere aus den Forschungsförderungsorganisationen, aber auch aus Beteiligungen), 3. aussagekräftige Indikatoren, die den Beitrag von FTI zu (inter-)nationalen Energie- und Klimazielen abbilden