How to generate and share evidence effectively? : Comparing evidence syntheses and exploring scientists’ challenges in environmental science-policy interfaces
Science is an important source of evidence for diverse public policy decisions addressing complex environmental problems. Generating and providing policy-relevant scientific evidence and expertise can be a challenging task especially in policy decisions related to complex and contested natural resource policy decisions. Influencing policy decisions with evidence requires scientists successfully maneuvering science-policy interfaces (SPI), but in contested spaces such as forests and forest land in the Global South, SPI is often underpinned by contention and conflict.
This thesis is motivated by the need to understand how scientists can generate policy-relevant evidence as well as inform and influence policy decisions in contested environments. It examines four articles to explore two crucial aspects of the SPI: evidence generation methods (Articles I, II and III) and the risks that scientists may encounter when seeking to inform policy-making (Article IV). In terms of evidence generation, this thesis compares the strengths and limitations of two prominent evidence syntheses methods, systematic review (Articles I and II) and realist synthesis (Article III), which have been applied to a contested and long-standing debate within natural resource governance, namely: what are the environmental impacts of different property rights regimes of natural resource systems and how are the impacts influenced by contextual factors. In terms of risks, this thesis examines international forest researchers’ experiences in SPI and how they identify and navigate tensions within SPIs (Article IV). In both cases, this thesis draws on the credibility, relevance and legitimacy framework by Cash et al. (2003) that emphasizes the importance of these attributes for effective science-policy interactions.
Both synthesis methods aim for theoretical and policy insights but take different approaches to ensuring credibility of the evidence. The systematic review method struggles with data heterogeneity, and the use of explicit, pre-defined criteria leads to a narrow evidence-base with limited policy insights. The constructive approach of the realist synthesis is better able to cope with data heterogeneity and build insightful policy explanations. However, given the role of the reviewer choices, the validity of the explanations needs to be re-evaluated in new policy contexts. The policy relevance of the reviews is limited due to one-way knowledge translation activities with policy-makers. Also, the review focus excludes important policy-making aspects, such as policy impacts on livelihoods. In terms of legitimacy of evidence, transparency of data sources and inclusive data coverage is emphasized in both review papers.
In terms of risks researchers may encounter during their engagement in SPIs, the credibility, relevance and legitimacy framework proved to be a useful assessment tool for unpacking the tensions over evidence and expertise. Additionally, ensuring SPI effectiveness (research impact) emerged as an additional source of tension. Despite identifying and discussing multiple response strategies to tensions, such as knowledge co-production and strategic engagement with key policy actors, some of the tensions led to compromise, including a trade-off between upkeeping scientific credibility and maintaining relationships with important policy-makers. As a theoretical contribution, this thesis underscores that the role of power and politics should be a crucial addendum for frameworks addressing the functioning of SPI.
This thesis concludes by highlighting that within contested policy arenas such as sustainable natural resource governance, effective planning and evaluation of SPI calls for more comprehensive, transparent approaches that entail critical assessments of evidence generation methods as well as acknowledgment of the role of power and politics. Similarly, increased attention as well as awareness of the tensions and risks within SPI are needed: both the research community and wider society need to acknowledge that scientific freedom and independence cannot be taken for granted within SPI. In addition to striving for policies that are evidence-based or evidence-informed, equal attention should be given to transparency and openness in terms of whose and what kind of evidence influences policy making.Tieteellisellä tiedolla on merkittävä rooli julkisen päätöksenteon tukena. Päätöksenteolle merkityksellisen tieteellisen näytön ja asiantuntemuksen tuottamisessa on kuitenkin omat haasteensa, erityisesti kun päätökset liittyvät monimutkaisiin ja kiistanalaisiin luonnonvarojen käytön kysymyksiin. Poliittisiin päätöksiin vaikuttaminen tieteellisellä näytöllä (evidence) edellyttää, että tutkijat toimivat onnistuneesti tieteen ja politiikan välisissä rajapinnoissa (science-policy interface, SPI). Kiistanalaisissa kysymyksissä konfliktit rajapinnoissa ovat kuitenkin yleisiä.
Tämä väitöskirjatyö pyrkii ymmärtämään, kuinka tutkijat voivat tuottaa politiikan kannalta merkityksellistä näyttöä sekä informoida ja vaikuttaa poliittisiin päätöksiin kiistanalaisissa ympäristö- ja luonnonvarakysymyksissä. Väitöskirjan neljä artikkelia tarkastelevat kahta olennaista näkökulmaa tieteen ja päätöksenteon rajapinnassa: tieteellisen näytön (evidence) tuottamista (Artikkelit I, II ja III) sekä riskejä, joita tutkijat voivat kohdata tarjotessaan näyttöä päätöksentekoon (Artikkeli IV). Näytön tuottamista arvioidaan vertailemalla kahden synteesimenetelmän, systemaattisen katsauksen (Artikkelit I ja II) ja realistisen synteesin (artikkeli III), vahvuuksia ja rajoituksia. Tarkasteltavien synteesien aiheena on pitkään jatkunut kiistakysymys luonnonvarojen eri omistus- ja hallintajärjestelmien ympäristövaikutuksista sekä taustatekijöiden merkityksestä. Riskien osalta tarkastellaan kansainvälisten metsäntutkijoiden kokemuksia tieteen ja päätöksenteon rajapinnassa toimimisesta sekä kuinka tutkijat tunnistavat ja vastaavat tieteen ja päätöksenteon rajapinnan jännitteisiin (Artikkeli IV). Kumpikin tarkasteluista perustuu Cash et. al. (2003) analyysikehykseen, joka korostaa luotettavuuden, politiikkarelevanttiuden ja legitiimiyden merkitystä tehokkaassa rajapintatyöskentelyssä.
Synteesimenetelmien tavoitteena on uusien teoreettisten ja poliittisten näkemysten tuottaminen, mutta menetelmät eroavat siinä, kuinka näytön luotettavuus varmistetaan. Systemaattisen katsauksen rajoitteena on kyky käsitellä heterogeenistä dataa. Ennalta määriteltyjen datakriteerien käyttö johtaa myös kapeaan näyttöpohjaan ja niukkoihin politiikkasuosituksiin. Realistisen synteesin konstruktiivinen lähestymistapa näytön tuottamiseen pystyy paremmin hyödyntämään heterogeenistä dataa, ja tuottaa uusia näkemyksiä politiikan tueksi. Menetelmän tulokset nojaavat vahvasti synteesin tekijöiden valintoihin, joten tulosten paikkansapitävyyttä on arvioitava uudelleen politiikkakontekstin vaihtuessa. Tarkasteltujen katsausten merkitystä päätöksenteolle rajoittaa niukka tiedeviestintä, lisäksi synteesien tarkastelukohde ei sisällä julkisen päätöksenteon kannalta tärkeitä näkökohtia, kuten toimenpiteiden toimeentulovaikutuksia. Näytön legitiimiyden osalta tietolähteiden läpinäkyvyys ja erilaisten tietolähteiden huomiointi korostuu molemmissa synteeseissä.
Artikkeli IV tunnisti useita uskottavuuteen, politiikkarelevanttiuteen ja legitiimisyyteen liittyviä jännitteitä näytön tuottamisessa ja asiantuntijatyössä. Vaatimus vaikuttavasta tutkimuksesta toi myös lisäjännitteitä. Jännitteisiin vastattiin useilla eri strategioilla, kuten tiedon yhteistuotannolla ja strategisella yhteistyöllä keskeisten politiikan toimijoiden kanssa. Jotkin jännitteet johtivat kompromisseihin ja riskiin, että tutkijaa vaadittiin valitsemaan tieteellisen uskottavuuden säilyttämisen ja poliittisten suhteiden ylläpidon välillä.
Kiistanalaisissa politiikkakysymyksissä, kuten kestävässä luonnonvarojen hallinnassa, tiedon- ja päätöksenteon rajapinnan tehokas ja kokonaisvaltainen suunnittelu ja arviointi edellyttävät kattavampia, läpinäkyvämpiä lähestymistapoja, kuten näytön tuottamismenetelmien kriittistä arviointia sekä vallan ja politiikan merkityksen tunnistamista. Vastaavasti tiedon ja päätöksenteon rajapinnan jännitteet ja kompromissit tulisi huomioida ja tiedostaa entistä paremmin. Tutkimusyhteisön ja laajemman yhteiskunnan on tunnistettava, että tieteen ja päätöksenteon rajapinnassa tieteellistä vapautta ja riippumattomuutta ei voida pitää itsestäänselvyytenä. On kiinnitettävä huomiota näytön läpinäkyvyyteen ja avoimuuteen, erityisesti sen suhteen, kenen ja millainen näyttö vaikuttaa päätöksentekoon
