HiER 2015. Proceedings des 9. Hildesheimer Evaluierungs- und Retrievalworkshop

Die Digitalisierung formt unsere Informationsumwelten. Disruptive Technologien dringen verstärkt und immer schneller in unseren Alltag ein und verändern unser Informations- und Kommunikationsverhalten. Informationsmärkte wandeln sich. Der 9. Hildesheimer Evaluierungs- und Retrievalworkshop HIER 2015 thematisiert die Gestaltung und Evaluierung von Informationssystemen vor dem Hintergrund der sich beschleunigenden Digitalisierung. Im Fokus stehen die folgenden Themen: Digital Humanities, Internetsuche und Online Marketing, Information Seeking und nutzerzentrierte Entwicklung, E-Learning

Clinicians' and patients' assessment of activity overuse and underuse and its relation to physical capacity

To explore clinicians' and patients' (self)-assessment of activity overuse and underuse, and its relationship with physical capacity in patients with chronic musculoskeletal pain (CMP). Study design was cross-sectional. Participants included patients with CMP, admitted to a multidisciplinary outpatient pain rehabilitation program. The main measures used were as follows: a five-point scale to rate overuse and underuse, filled out by clinicians and patients; a five-point scale to rate physical capacity, filled out by clinicians and patients; and lifting and aerobic capacity. Cohen's kappa were calculated to test the agreement between assessments. Depending on the normality, a t-test or a Mann-Whitney U-test was used to test differences between the results of a capacity test and patients' and clinicians' assessments of capacity. A total of 141 patients were included: 42% were men, and 60% had back pain, 21% had neck pain, 19% had pain in a different location. Six percent of the patients rated themselves as underusers; clinicians rated 23% of the patients as underusers. Clinicians and patients fairly agreed (61%; kappa = 0.23) in their assessments of overuse and underuse. Differences in the physical capacity of overuse and underusers, as assessed by clinicians and patients, were all nonsignificant (P > 0.05). The physical capacity of overusers did not differ from that of underusers (P < 0.05). In conclusion, although clinicians and patients with CMP fairly agree on their assessment of activity overuse and underuse, the physical capacity of overusers was not different from that of underusers

Das Programm "Forschung zur Humanisierung des Arbeitslebens". Stand und Möglichkeiten der Evaluierung eines staatlichen Forschungsprogramms

"In diesem Beitrag sollen Möglichkeiten und Schwierigkeiten von Bilanzierung - Bestandsaufnahme und Evaluierung - am Beispiel des Programms "Forschung zur Humanisierung des Arbeitslebens" aufzgezeigt werden. ... Es wird ein erster Versuch unternommen, einige Aspekte der Durchführbarkeit von Evaluierung innerhalb eines instabilen Politikfeldes zu benennen und zu systematisieren. Nach einer kurzen Beschreibung des Programms, seiner Ziele und Instrumente, sollen zunächst einige Probleme der Evaluierung von Programmen mit quasiexperimentellem Charakter dargelegt werden. Im Mittelpunkt dieses Überblickes stehen Probleme der Wirkungsanalyse, vor allem die Nutzung von Programmvollzugsdaten für eine programmbegleitende Evaluierung und die Nutzung von Fallstudien zur Teilbilanzierung. Hierbei werden auch die Verfahren und Ergebnisse des Projektes "Wirkungsanalyse zu ausgewählten Zielaspekten des HdA-Programms" geschildert.."Humanisierung der Arbeit, Wirkungsforschung

Critical factors for institutionalizing evaluation at national level : study on four countries in Asia - Sri Lanka, Nepal, Philippines and Bangladesh

Die Bedeutung der Evaluierung für die Entwicklung, insbesondere im Hinblick auf die Verwirklichung der Ziele für nachhaltige Entwicklung (SDGs) im Rahmen der Agenda 2030, ist der Grund für das große Interesse an der wissenschaftlichen Untersuchung der Institutionalisierung der Evaluierung. Diese Untersuchung befasst sich mit dem Konzept der Institutionalisierung der Evaluierung auf nationaler Ebene und konzentriert sich auf Fallstudien in vier ausgewählten Ländern des asiatischen Raums. Diese Studie konzentrierte sich auf die Faktoren, die die Institutionalisierung auf nationaler Ebene beeinflussen, mit besonderem Augenmerk auf bestimmte Faktoren, die in der vorhandenen akademischen Literatur nicht ausreichend untersucht wurden. Dementsprechend lag der Schwerpunkt dieser Studie auf der Ermittlung von Faktoren, die die Institutionalisierung beschleunigen, auf der Bedeutung nationaler Evaluierungspolitiken und -systeme (NEPS) sowie auf der Rolle von Freiwilligenorganisationen für professionelle Evaluierung (FOPEs), Parlamentariern und Gruppen der Zivilgesellschaft. Diese Forschungslücken bildeten die Grundlage für die Forschungsfragen, die mit Hilfe der Methodik geprüft wurden. Die Diskussion und die Ergebnisse von vier Fallstudien zu den Evaluierungssystemen bilden den Kern dieser Dissertation. Die Bedeutung der Evaluierung wurde weltweit anerkannt, wie aus der Resolution A/RES/69/237 der Generalversammlung der Vereinten Nationen von 2014 hervorgeht. Die Evaluierungsgruppe der Vereinten Nationen hebt die beiden wichtigsten Ziele der Evaluierung hervor: Rechenschaftspflicht und Lernen. Der Lernprozess durch Evaluierungen, um wirksame Entscheidungen zu treffen, wird in den meisten Ländern nicht gleichermaßen gefördert oder praktiziert. Dies kann auf nationaler Ebene nur durch die Institutionalisierung der Evaluierung erreicht werden. Die Institutionalisierung der Evaluierung sollte daher zu einer verstärkten Nutzung der Evaluierungsergebnisse führen. In dieser Studie wurden frühere Forschungsarbeiten zur Institutionalisierung der Evaluierung analysiert. Dementsprechend gab es bereits einige frühere Forschungsstudien zu diesem Thema. Der von Furubo et al. (2002) herausgegebene International Atlas of Evaluation und die Folgestudie von Jacob et al. (2015) aus dem Jahr 2012 sowie die neuere Studie von Stockmann et al. (2020) im Evaluationszentrum der Universität des Saarlandes, Deutschland, sind einige der wichtigsten Forschungsbeiträge auf diesem Gebiet. Darüber hinaus bewertete der Internationale Atlas der Evaluierung von 2002 den Stand der Überwachung und Evaluierung (Ü&E) in 21 Ländern, hauptsächlich in Europa, wobei das Auswahlkriterium das Vorhandensein umfangreicher und vielfältiger Evaluierungsaktivitäten in jedem Land war. Die asiatisch-pazifische Region ist in dieser Studie durch Australien, Neuseeland, Japan, China und Korea vertreten. Jacob, et al (2015) versuchten, die Veränderungen im Ausmaß der Institutionalisierung von Evaluierung während des Jahrzehnts 2001-2011 zu untersuchen, indem sie die Ergebnisse der oben genannten Studie aktualisierten. Der Vergleich wurde für 19 Industrieländer und unter Verwendung der gleichen Kriterien für die Evaluierung durchgeführt, wobei der Unterschied in den antwortenden Experten aus verschiedenen Ländern bestand. Darüber hinaus betrachtet die neueste Studie von Stockmann et al. (2020) die Institutionalisierung von Evaluation in einer disaggregierten Weise aus der Perspektive der politischen und sozialen Systeme und des Systems der Professionalisierung. In der Studie von Stockmann et al. (2020) wurden insgesamt 16 Indikatoren - 7 für das politische System, 5 für das soziale System und 4 für das berufliche System - verwendet, um den Reifegrad der Evaluierung in jedem der oben genannten Bereiche zu erfassen. Auf der Grundlage der oben genannten Kriterien und Indikatoren wurde in der Studie der Grad der Institutionalisierung der Evaluierung in den verschiedenen Ländern anhand einer Skala bewertet, die auch für die vorliegende Studie verwendet wurde. Im Vergleich zu früheren Studien über die Institutionalisierung der Evaluation werden in der folgenden Studie zwei zusätzliche Indikatoren im Rahmen des Professionalisierungssystems verwendet. Diese beiden zusätzlichen Indikatoren sind: i) Schulungen für junge und angehende Auswertende Personen (YEEs) und ii) die Existenz nationaler EvalYouth-Sektionen. Diese beiden Indikatoren wurden hinzugefügt, da es sich um neu entstehende Bereiche in der Asien-Pazifik-Region handelt, die zur Professionalisierung der Evaluierung beitragen werden. Diese Studien weisen darauf hin, dass der Prozess in den einzelnen Ländern unterschiedlich verlaufen ist und auch die Erfolge in den einzelnen Ländern nicht einheitlich sind. Die derzeitigen Studien zur Institutionalisierung der Evaluierung beschränken sich jedoch überwiegend auf die entwickelten Länder, und auch dort handelt es sich hauptsächlich um westliche Systeme. Außerdem liegt der Schwerpunkt der meisten Studien nicht auf der Ermittlung von Faktoren, die den Prozess der Institutionalisierung von Evaluierungen beschleunigen oder verbessern. Für die vorliegende Studie über die vier asiatischen Länder wurde der von Stockmann et al. (2020) entwickelte Analyserahmen für die Evaluierung des Globus verwendet. Erstens wird ein Indikatorensatz verwendet, der umfassender, spezifischer und klarer als die beiden früheren Studien zu sein scheint und die Darstellung der Evaluierungskultur in politischen, sozialen und beruflichen Bereichen abdeckt. Zweitens würde es den Vergleich zwischen den neuesten verfügbaren Evaluierungen der Situation in den europäischen und asiatischen Ländern erleichtern, ohne durch konzeptionelle Unterschiede behindert zu werden. Drittens ist dies die erste Studie, die die Institutionalisierung der Evaluierung in den Ländern des asiatisch-pazifischen Raums untersucht. Und sie ist im Vergleich zu anderen Studien umfassender. Daher trägt diese Studie zur bestehenden Literatur über die Institutionalisierung der Evaluierung bei. Die Studie stützt sich auf vier Fallstudien in ausgewählten Ländern: Sri Lanka, Nepal, Philippinen und Bangladesch. Die vier Länder für die Fallstudien wurden auf der Grundlage einer Evaluierung von neun Ländern anhand bestimmter Kriterien ausgewählt, darunter das Vorhandensein aktiver VOPEs, nationaler Evaluierungsgesetze und -systeme, institutioneller Mechanismen, Evaluierungsstandards und -leitlinien. Die ersten drei dieser Länder kommen aus Südasien und die Philippinen aus Ostasien. Alle vier Länder sind wirtschaftliche und soziale Entwicklungsländer, wenn auch auf leicht unterschiedlichen Entwicklungsstufen. Die Forschungsfragen wurden auf der Grundlage der Kriterien entwickelt, die im analytischen Rahmen der Evaluierungskugel vorgeschlagen wurden. Für diese Studie wurden die Daten durch Interviews mit Schlüsselinformanten, Fokusgruppendiskussionen und durch Beobachtungen aufgrund der Erfahrungen des Forschers gesammelt. Die Ergebnisse der Fallstudien ermöglichen einen Vergleich mit der Evaluation Globe Studie in Europa. Was das politische System betrifft, so ist Nepal das einzige der vier Länder, in dem die nationale Verfassung gesetzliche Bestimmungen zur Evaluierung enthält. Die Verfassung enthält eindeutige Bestimmungen sowohl für die Überwachung als auch für die Evaluierung. In Sri Lanka, den Philippinen und Bangladesch hingegen gibt es keine gesetzlichen Bestimmungen für die Evaluierung, obwohl in Nepal, den Philippinen und Sri Lanka Entwürfe für Evaluierungsgesetze vorliegen, die noch genehmigt werden müssen. In Sri Lanka und auf den Philippinen gibt es jedoch eine nationale Evaluierungspolitik, die von den jeweiligen Regierungen genehmigt wurde. In den Philippinen wurde der Nationale Rahmen für die Evaluierungspolitik gebilligt und durch ein gemeinsames Memorandum im Jahr 2015 in Kraft gesetzt. Gemäß dem gemeinsamen Memorandum müssen alle öffentlichen Einrichtungen den nationalen Evaluierungsrahmen einhalten. In Sri Lanka wurde die nationale Evaluierungspolitik im Juni 2018 von der Regierung gebilligt, nachdem der erste Entwurf 15 Jahre alt war. Im Vergleich zu den europäischen Ländern gibt es in drei von 16 untersuchten Ländern Regelungen zur Evaluierung. Die Ergebnisse deuten darauf hin, dass der Rechtsstatus eine wichtige Komponente für die Professionalisierung der Evaluation ist. Es wird davon ausgegangen, dass die Gesetze das allgemeine Bewusstsein für die Bedeutung von Evaluierungen stärken werden. Auch in Europa gibt es mindestens fünf Länder, in denen Evaluierungsbezogene Verordnungen in Kraft sind. Dazu gehören Deutschland, Frankreich, Finnland, die Niederlande, Polen, die Schweiz, das Vereinigte Königreich und Lettland. In allen vier Ländern gibt es eine öffentliche Einrichtung, die für die Überwachung und Evaluierung zuständig ist, auch wenn sie sich nicht nur auf die Evaluierung beschränkt. In Nepal verfügt die Nationale Planungskommission (NPC) über ein spezielles Referat für die Evaluierung, darüber hinaus hat jede staatliche Einrichtung ein Monitoring und ist die benannte öffentliche Einrichtung, die über eine Evaluierungsstelle verfügt. Der NPC koordiniert und kommuniziert mit den M&E-Einheiten der jeweiligen öffentlichen Institutionen in Bezug auf die M&E-Funktion. Das Department of Project Management and Monitoring (DPMM) ist die zuständige Abteilung in Sri Lanka. In der Bezeichnung der Abteilung ist die Evaluierung nicht enthalten, aber durch den Arbeitsumfang ist die Evaluierung Teil des Mandats von DPMM. In Sri Lanka gibt es in anderen öffentlichen Einrichtungen keine M&E-Einheiten, auch wenn es in einigen wenigen auf Anfrage. solche Einheiten gibt. Das Landwirtschaftsministerium beispielsweise verfügt über eine M&E-Einheit mit eigenem M&E-Personal. Das DPMM verfügt über keine Evaluatoren oder Mitarbeiter mit technischen Kapazitäten für die Evaluierung, obwohl das Personal für die Evaluierung öffentlicher Projekte zuständig ist. Auf den Philippinen ist die Nationale Agentur für wirtschaftliche Entwicklung (NEDA) die für die Evaluierung zuständige öffentliche Einrichtung. Die NEDA verfügt über eine eigene Evaluierungsabteilung, die Evaluierungen durchführt und verwaltet. Und es gibt eine Reihe von öffentlichen Einrichtungen und Ministerien, die über M&E-Einheiten verfügen. Das Gesundheitsministerium ist ein Beispiel dafür. In Bangladesch ist die Abteilung für Umsetzungsüberwachung und Evaluierung (IMED) die zuständige öffentliche Einrichtung des Landes. Wie der Titel schon sagt, geht es auch um die Durchführung und Überwachung. Die Art der Arbeit zeigt, dass IMED sich stark auf die Überwachung von Infrastrukturprojekten und die Beschaffung konzentriert. Darüber hinaus hat das IMED die für die Überwachung und Evaluierung erforderlichen Formate und Instrumente entwickelt. Betrachtet man jedoch die Formate, scheint die Evaluierung eine einfache Übung zum Ausfüllen von Formaten zu sein. Auch die Evaluierungspraxis ist in allen vier Ländern eine Herausforderung, da es an einem System, an Leitlinien/Standards und an zugewiesenen Ressourcen für die Evaluierung mangelt. Außerdem sind in allen vier Ländern die zu bewertenden Sektoren nicht festgelegt. So werden beispielsweise in vielen Sektoren Evaluierungen durchgeführt, ohne dass es eine angemessene Vorgehensweise und ein angemessenes System gibt. Die sektorale Verteilung der Evaluierungen hängt also von der Finanzierung ab oder davon, wo die Spender beteiligt sind. Ein Vergleich dieser Ergebnisse mit europäischen Ländern zeigt, dass eine Reihe von Ländern über ausgewiesene M&E-Referate oder -Abteilungen in der Regierung verfügen. In Belgien ist dies zum Beispiel das Evaluierungsbüro für Entwicklungszusammenarbeit. In allen vier Ländern sind Wirtschaftlichkeitsprüfungen und LeistungsEvaluierungen Teil des Rechnungshofs. In der Praxis finden jedoch in drei Ländern mit Ausnahme der Philippinen keine Leistungs- und Wirtschaftlichkeitsprüfungen in Bezug auf die technischen Anforderungen von Evaluierungen statt. Im Gegensatz dazu gibt es in mehreren europäischen Ländern wie Belgien, der Tschechischen Republik, Dänemark, Finnland, Lettland, den Niederlanden, Portugal und der Schweiz neben den Audits auch Evaluierungen. In der Schweiz zum Beispiel hat die Eidgenössische Finanzkontrolle zwischen 2000 und 2014 56 Evaluationen durchgeführt. In Sri Lanka und Nepal begannen die Parlamentarier, mit ihren VOPEs, der Evaluierungsgemeinschaft und Entwicklungsorganisationen zusammenzuarbeiten, um die Evaluierung zu fördern. Die Institutionalisierung der Evaluierung begann im srilankischen Parlament erst nach der Colombo Declaration on Evaluation, die auf der EvalColombo2018 unterzeichnet wurde. Die Erklärung trug dazu bei, dass das Parlament von Sri Lanka den Institutionalisierungsprozess einleitete, einschließlich des parlamentarischen Sonderausschusses, des nationalen Evaluierungsgesetzes und des Aufbaus von Evaluierungskapazitäten bei den Parlamentsmitarbeitern. Ein nepalesischer Parlamentarier war maßgeblich an der Aufnahme der Evaluierung in die neue Verfassung von 2015 beteiligt. Er ist derselbe Parlamentarier, der das Parlamentarierforum in Südasien gegründet hat. Er war auch der Gründer des Nationalen Parlamentarierforums in Nepal. Das Parlament akzeptierte auch die Evaluierungsbestimmungen und billigte die Verfassung, womit es das erste Parlament in Asien ist, das Evaluierungsbestimmungen in der Verfassung angenommen hat. Andererseits hat das nepalesische Parlament keine andere Rolle bei der Institutionalisierung der Evaluierung oder der Förderung der Nutzung der Evaluierung im Parlament gespielt. Darüber hinaus war die Colombo-Erklärung zur Evaluierung und EvalColombo2018 auch für die Philippinen von Bedeutung. Der philippinische Senat begann nach der Veranstaltung mit dem Aufbau von Evaluierungskapazitäten für seine Mitarbeiter und regte außerdem an, einen Gesetzentwurf zur Evaluierung vorzulegen. Außerdem war ein Parlamentarier aus Bangladesch Gründungsmitglied des Parlamentarierforums, und einige andere Parlamentarier nahmen in den vergangenen Jahren an Evaluierungsveranstaltungen teil. Das Parlament von Bangladesch hat jedoch keine besondere Rolle bei der Institutionalisierung der Evaluierung oder der Nutzung der Evaluierung im Rahmen des Parlaments gespielt. Keines der vier Parlamente hat die Kapazität oder die Möglichkeit, Evaluierungen in Auftrag zu geben. Trotz einiger Bemühungen und Initiativen einiger Parlamentarier in jedem untersuchten Land sind keine großen Fortschritte bei der Beauftragung von Evaluierungen oder der Nutzung der Ergebnisse von Evaluierungsberichten auf der Ebene der jeweiligen Parlamente zu beobachten. In vier Ländern spielt das Parlament bei der Evaluierung nur selten und meist spontan eine Rolle. Vergleicht man diese Ergebnisse mit früheren Studien, so ist festzustellen, dass auch in vielen europäischen Ländern die Parlamente keine besondere und wichtige Rolle bei der Evaluierung spielen. Die Ausnahme ist das Schweizer Parlament auf Bundes- und Kantonsebene, das zum Initiator und Anwender von Evaluationen geworden ist. Das Schweizer Parlament gibt Evaluationen in erster Linie deshalb in Auftrag, um seine Kontrollbefugnisse auszuüben. In allen vier Ländern sind die zu bewertenden Bereiche nicht spezifisch. In vielen Sektoren werden Evaluierungen durchgeführt, ohne dass es eine angemessene Politik und ein entsprechendes System gibt. Evaluierungen finden meist in Bereichen wie Gesundheit, Bildung, Umwelt, Armut und Infrastruktur statt, sind aber nicht darauf beschränkt. Die sektorale Verteilung der Evaluierungen hängt von der Finanzierung oder der Beteiligung der Geber ab. Alle vier Länder sind stark von Gebermitteln abhängig. Die Mittel der Geber werden in der Regel für die von ihnen initiierten Projekte verwendet und nicht für andere Maßnahmen der Regierung oder anderer Organisationen. In Nepal sollten gemäß den nationalen Überwachungs- und Evaluierungsrichtlinien alle öffentlichen Programme evaluiert werden. Der NPC führt direkt Evaluierungen ausgewählter Programme durch, während die einzelnen Ministerien und Abteilungen mit der Durchführung von Evaluierungen durch ihre M&E-Referate beauftragt sind. Die meisten öffentlichen Programme werden von internen Mitarbeitern evaluiert, während die von Gebern finanzierten Projekte von externen Bewertern beurteilt werden. Die Studie hat jedoch gezeigt, dass die Regierungsstellen eher eine Überwachung als eine Evaluierung durchführen. Auch in Nepal werden die Überwachung und Evaluierung auf dezentraler Ebene eingeführt. Obwohl die nepalesische Verfassung Bestimmungen für die Evaluierung enthält und eine starke Institution für die Evaluierung sowie M&E-Einheiten in den Ministerien vorgesehen sind, ist es noch ein weiter Weg bis zu landesweiten Evaluierungen, die den politischen Entscheidungsträgern und den Bürgern als Entscheidungsgrundlage dienen. Starke gesetzliche Bestimmungen allein reichen nicht aus, um eine starke Evaluierungspraxis in einem Land zu erreichen. Das zeigt sich auch in Europa, zum Beispiel in Frankreich. Außerdem gibt es in einem Land wie Deutschland keine formale Gesetzgebung auf nationaler Ebene, aber interne und externe Evaluierungen werden in großem Umfang durchgeführt. Auf den Philippinen verfügt die NEDA über eine Evaluierungsabteilung zur Durchführung von Evaluierungen. Einige Ministerien haben auch M&E-Abteilungen, aber nicht alle. Obwohl einige Ministerien über M&E-Abteilungen verfügen, gibt es Hindernisse wie fehlende Ressourcen und mangelndes technisches Know-how für die Durchführung von Evaluierungen. Die Institutionen, die über Ressourcen zur Durchführung von Evaluierungen verfügen, führen meist Ex-ante-Evaluierungen durch, die jedoch aufgrund der geringen internen Kapazitäten von externen Evaluatoren durchgeführt werden. Evaluierungen werden in der Regel bei ausländisch finanzierten Projekten unter der Leitung der Geber oder der finanzierenden Stelle wiederum durch externe Evaluatoren durchgeführt. Der Fallstudie aus Sri Lanka zufolge wurden in der Vergangenheit regelmäßig Evaluierungen durchgeführt und für die Entscheidungsträger in der gesamten Regierung in einem Online-Repository veröffentlicht. Es hat sich eine Kultur herausgebildet, bei der die durchgeführten Evaluierungen weithin bekannt gemacht und den betroffenen Parteien vorgelegt werden, damit sie Maßnahmen ergreifen und der Öffentlichkeit zur Verfügung gestellt werden können. Da sich jedoch die institutionelle Struktur geändert hat, wurden die Evaluierungen spontan durchgeführt, und die Nutzung war nicht gewährleistet. Gegenwärtig gibt es in Sri Lanka keine systematische Methode zur Durchführung von Evaluierungen. Die Fachministerien und das DPMM führen Evaluierungen durch, die von internen Mitarbeitern durchgeführt werden, die anscheinend nur über sehr begrenzte technische Kapazitäten für die Durchführung von Evaluierungen verfügen. Obwohl Sri Lanka eine nationale Evaluierungspolitik verabschiedet hat, gibt es keine Beweise dafür, dass diese seit der Verabschiedung im Jahr 2018 Auswirkungen auf die Evaluierungspraxis hat. In Bangladesch führt IMED Monitoring-Evaluierungen/Feldbesuche durch IMED-Mitarbeiter durch. Es werden auch Checklisten für Evaluierungen verwendet, die jedoch nicht als Evaluierungen angesehen werden können, da sie eine Art Überprüfung der Fortschritte darstellen, obwohl sie als Evaluierungen bezeichnet werden. Das IMED spielt eine wichtige Rolle im Evaluierungsprozess, von der Ausarbeitung der Aufgabenstellung über die Beauftragung der Berater bis hin zur Erstellung des Evaluierungsberichts durch das Evaluierungsteam. Obwohl IMED-Mitarbeiter die Überwachungsmaßnahmen und Vor-Ort-Besuche durchführen, werden die Evaluierungen von externen Evaluatoren durchgeführt. In allen vier Ländern findet die Evaluierungspraxis in unterschiedlichem Maße statt, unabhängig von den geltenden Evaluierungsvorschriften. Nepal verfügt über klare gesetzliche Bestimmungen, während Sri Lanka und die Philippinen Dekrete verabschiedet haben und Bangladesch weder über Gesetze noch Dekrete verfügt. In allen vier Ländern gibt es mehrere Mängel in der Evaluierungspraxis, die es ermöglichen, das optimale Niveau zu erreichen, um die Nutzung und das Lernen für Verbesserungen zu erleichtern. Der Grad der Institutionalisierung der Evaluierung im Sozialsystem in den vier Ländern ähnelt der Situation in Europa, da sie in allen vier Ländern schwach ausgeprägt ist. Die Bürger und die Zivilgesellschaft nehmen an den Evaluierungen als Auskunftspersonen teil. Es stellt sich jedoch die Frage, ob die Bürger und die Zivilgesellschaft informierte Teilnehmer an den Evaluierungen sind, da sie meist eine passive Rolle bei den Evaluierungen spielen und vor der Teilnahme an der Evaluierung nicht umfassend informiert werden. Religiöse Einrichtungen beteiligen sich in der Regel nicht an Evaluierungen. In allen vier Ländern werden Evaluierungen von den Bürgern so gut wie gar nicht zur politischen Entscheidungsfindung herangezogen. Im europäischen Vergleich weisen nur Belgien und die Schweiz auf einen allgemeinen Einsatz der Evaluierung in der Zivilgesellschaft hin. In der Schweiz, die bei der Institutionalisierung der Evaluation im politischen System einen hohen Stellenwert einnimmt, wird die Evaluation zur Unterstützung der politischen Prozesse durch die Zivilgesellschaft eingesetzt. In Belgien wird die Evaluierung von der Zivilgesellschaft für die Entscheidungsfindung genutzt, obwohl sie keinen zentralen Stellenwert hat. Darüber hinaus ist die Öffentlichkeit in allen vier Ländern mit dem Begriff "Evaluierung" nicht vertraut. Abgesehen davon gibt es in den jeweiligen Ländern keinen formellen oder informellen Prozess, um die Bürge

Berücksichtigung der Leistungen für Praxis und Gesellschaft in der Forschungsevaluierung

Im etablierten System der Forschungsevaluierung (z. B. Peer Review Publikationen, SCI, SSCI, JIF) werden die Wirkungen der Wissenschaft auf Praxis und Gesellschaft nur unzureichend berücksichtigt. Im BÖLN Projekt 06 OE 307 wurde daher erforscht, wie praxis- und gesellschaftsrelevante Leistungen der Ökolandbauforschung adäquat in der Evaluierung berücksichtigt werden können. Die Analyse von Konzepten für die Evaluierung angewandter, insbesondere inter- und transdisziplinärer Forschung und qualitative Interviews mit 22 Experten der ökologischen Agrarforschung zeigten, mit großer Übereinstimmung, dass folgende Leistungen der Forschung für eine solche Evaluierung relevant sind: - Fragestellungen und umsetzbare Ergebnisse haben einen Bezug zu relevanten Problemlagen von Praxis und Gesellschaft; - Zusammenarbeit und Austausch mit anderen Wissenschaftlern und Akteuren aus Praxis und Gesellschaft; - Publikationen und andere Produkte der Forschung für nicht-wissenschaftliche Zielgruppen, - Relevanz und tatsächlicher Impact für Praxis und Gesellschaft. Von den Interviewpartnern wurde ein breites und kontextbezogen anpassbares Kriterienset für notwendig erachtet. Dieses stimmt mit Empfehlungen in der Evaluierungsliteratur überein. Die meisten bestehenden Konzepte sind spezifisch auf den jeweiligen Evaluierungsgegenstand abgestimmt und unterscheiden sich daher in Zielsetzungen, Methoden sowie Breite und Detaillierungsgrad der Kriteriensets und Bewertungsraster. Entsprechend braucht eine generelle Ergänzung der Forschungseva-luierung anpassbare Kriterien. Die Konzepte in der Literatur umfassen vielfältige Evaluierungsinstrumente, u.a. Multi-Methoden Ansätze und die Kombination interner und externer Perspektiven. Diese Evaluierungskonzepte werden meistens als „stand-alone-Vorhaben“ umgesetzt. Dadurch erfolgt die Datenerhebung derzeit mit beträchtlichem Aufwand (z.B. Interviews oder Dokumentenanalysen). Erste Ansätze einer generalisierten Datenerfassung finden sich beispielsweise bei den Research Councils in Großbritannien. Von den projektbeteiligten Agrarwissenschaftlern wurden drei Aspekte für die Methodik der Evaluierung besonders betont: a) Akteure aus Praxis und Gesellschaft sollten an der Evaluierung beteiligt sein; b) Für die Analyse von Folgewirkungen ist eine angemessene Nachbeobachtung über das Projektende hinaus sinnvoll; c) Zur Verbesserung der Anwendbarkeit und Akzeptanz der Evaluierung sollte der zusätzliche Aufwand von Forschern für die Datenerfassung gering bleiben und die Daten für verschiede-ne Evaluierungen nutzbar gemacht werden. Im vorliegenden Projekt wurde ein Konzept entwickelt, mit dem die Datenerfassung für die Evaluierung in die Antragstellung und Berichterstattung für die öffentliche Drittmittelförderung integriert werden könnte. Dieses würde sowohl einen zusätzlichen Aufwand für die Datenerfassung seitens der Wissenschaftler und der Evaluatoren vermeiden, als auch die Nutzbarkeit der Daten verbessern. Ein solches Vorgehen ist naheliegend, weil eine Analyse sowohl der Leitbilder als auch der Dokumentationsanforderungen vieler öffentlicher Forschungsförderer (z.B. BMBF, BMWi, BMELV, BMU) zeigte, dass eine erhebliche Schnittmenge mit dem Datenbedarf für die Evaluierung von Leistungen der Forschung für Praxis und Gesellschaft gegeben ist. Um die bereits vorhandenen Informationen in Anträgen und Berichten für eine Evaluierung nutzbar zu machen, ist es notwendig, a) die Daten so zu strukturieren, dass sie gleichermaßen für die Forschungsförderung und verschiedene Evaluierungsgegenstände (Wissenschaftler, Projekte, Institutionen, Programme) nutzbar sind, b) bisher nicht oder nur implizit geforderte, aber für die Evaluierung notwendige Informationen, explizit zu erfassen und c) für die technische Umsetzung ein Datenbanksystem zu nutzen. Durch letzteres können einmalig eingegebene Daten leicht zu späteren Zeitpunkten ergänzt werden (Nachbeobachtung) und Datensätze kontextbezogen für verschiedene Evaluierungsgegenstände gefiltert und unterschiedlich detailliert oder aggregiert ausgewertet werden. Da Teile von Anträgen und Berichten durch strukturierte Dokumentation ersetzt werden können, bliebe der Dokumentationsaufwand für Wissenschaftler voraussichtlich gleich. Wie und mit welchem Nutzen das skizzierte Konzept umgesetzt werden kann, wird über Fallstudien in einem Folgeprojekt erprobt. Darüber hinaus ist eine breite Diskussion in der Scientific Community weiterhin notwendig um eine Ergänzung der Forschungsevaluierung über den wissenschaftlichen Impact hinaus zu gestalten

Cumulation of Cross-Section Surveys: Evaluation of Alternative Concepts for the Cumulated Continuous Household Budget Surveys (LWR) 1999 until 2003 Compared to the Sample Survey of Income and Expenditures (EVS) 2003

With the development of household budget systems and with regard to the requirements of the European Union with new EU-SILC approaches, the cumulation of cross-section surveys to an integrated information system is recently discussed and required. In particular the reconstruction of household budget surveys should deliver yearly results as well multi-annual sufficient large samples to allow in depth analyses. This study contributes by a general conceptual foundation of the cumulation of cross-sections and an application which in particular evaluates the new cumulation concept with actual large official samples: the cross sectional cumulation of five yearly Continuous Household Budget Surveys (Laufende Wirtschaftsrechnungen, LWR) which will be compared to the large quinquennial Sample Survey of Income and Expenditures (Einkommens- und Verbrauchsstichprobe, EVS) of the German Federal Statistical Office. Therewith the sensitivity of the cumulation concept with its alternatives is evaluated for private household consumption expenditures of selected expenditure groups. A recommendation concludes.cumulation of cross sections, temporary cumulation, adjustment by information theory, consumption expenditures, Continuous Household Budget Surveys (Laufende Wirtschaftsrechnungen, LWR), Sample Survey of Income and Expenditures (Einkommens- und Verbrauchsstichprobe, EVS) of the German Federal Statistical Office

Evaluierung von Motivationsschreiben als Instrument in universitären Aufnahmeverfahren

Während Zulassungstests an Universitäten im Regelfall evaluiert werden, sind entsprechende Verfahren zur Evaluierung anderer Prozessschritte in Bewerbungsverfahren - wie die Einreichung von Motivationsschreiben - noch nicht etabliert. Um diese Lücke zu schließen, wird in diesem Beitrag ein Multi-Method-Ansatz zur Evaluierung von Motivationsschreiben vorgestellt, bei dem Text-Mining-Techniken mit inhaltsanalytischen Elementen kombiniert werden. Es wird dargelegt, wie unterschiedliche von Studierenden gesendete "Signale" mit Studienerfolg korrelieren, und aufgezeigt, dass soziodemografische Effekte bei der Bewertung von Motivationsschreiben berücksichtigt werden müssten

Evaluierung praxisorientierter Ökolandbauforschung

Evaluierung praxisorientierter Ökolandbauforschung soll die Praxisrelevanz/-wirkung und die Beiträge für eine Weiterentwicklung des Ökolandbaus bewerten. Dabei ist sowohl der besondere Aufwand praxisorientierter Forschung als auch der Erfolg in der Praxis zu berücksichtigen. Die Kombination aus einer Selbstdokumentation der Wissenschaftler und einer externen Qualitätskontrolle auf Basis breiter Praxisbeteiligung, stellt das geeignete Instrumentarium dar, muss jedoch noch weiter operationalisiert werden

Evaluating Regional Governance - Methodological Concerns and Practical Experiences

Since the early 1990s, new forms of regional governance have spread over Western Europe: In many countries, the competencies and ressources of the subnational level have been reinforced (Jessop 1997). In parallel, there has been a shift from hyrarchical modes of government to more flexible, network-based types of governance. These are largely based on the cooperation of public and private actors as well as the civic sector (Benz 2003, Healey 2002 a.o.). Despite its popularity, the regional governance approach has so far only rarely been evaluated systematically. There might be several reasons for this shortcoming. First, the regional governance concept still lacks a clear definition; without knowing what regional governance is, it is hardly feasible to “test” for its outcomes. Moreover, regional governance systems and processes are marked by continuous and rapid transformations. Hence it is difficult to capture their impacts. Finally, the complexity of regional development processes render the assessment of the institutional background a methodological challenge. In the face of these considerations, this paper pursues a threefold objective. First, the authors explain the various needs of evaluating regional governance approaches. These include matters of efficiency as well as cohesion and accountability. Second, the paper discusses the methodological pitfalls and tasks that evaluators need to tackle in order to assess the benefits and weaknesses of regional governance processes . Third, the paper povides an insight into German evaluation experiences in the field, namely some first results from an evaluation of regional cooperation processes in Northrhine-Westfalia carried out at the ILS NRW in Dortmund. The paper concludes by deducing recommendations on how to evaluate regional governance.