Ekebom, Liisa

Forsman, Maria

Helsingin yliopiston digitaalinen arkisto

Tutkimuksen arviointi ja bibliometriikkakeräsivät kuulijoitaPosted on 3.10.2011 by Johanna LahikainenMiltä näyttävät eri tieteenalojen julkaisemisen tavat? Millainen kuva Helsingin yliopistontutkimuksesta saadaan bibliometrisilla analyyseilla? Miksi TUHAT-tutkimustietojärjestelmä on niintärkeä?Helsingin yliopiston kirjasto järjesti 7.9.2011 seminaarin ”Research Evaluation and Bibliometrics”.Seminaari liittyy yliopistossa parhaillaan tehtävään tutkimuksen ja jatkokoulutuksenkansainväliseen arviointiin. Seminaarin kieli oli englanti ja mukaan oli kutsuttu erityisesti kaikkiarviointiin osallistuvien tutkijayhteisöjen vastuulliset johtajat (Principal  Investigators). Lisäksipaikalla oli kirjastoasiantuntijoita ja muita tutkimuksen arvioinnista kiinnostuneita.Aamupäivän puheenjohtajana toimi kirjastonhoitaja Antti Virrankoski Kumpulankampuskirjastosta. Päivän aluksi ylikirjastonhoitaja Kaisa Sinikara toivotti seminaarin osallistujattervetulleiksi. Hän kertoi lyhyesti kirjaston roolista tutkimuksen arvioinnissa. Vararehtori JohannaBjörkroth, joka on myös arvioinnin ohjausryhmän puheenjohtaja, kuvaili Helsingin yliopistossatekeillä olevaa arviointia ja sen taustaa. Tämänkertaisen arvioinnin toteutus poikkeaaaikaisemmista.Tutkijayhteisöt ovat voineet ilmoittautua arviointiin ja valita itse arviointikategorian, johon hekokevat kuuluvansa. Viisi kategoriaa ovat:1. Osallistuvan yhteisön tutkimus edustaa omalla alallaan kansainvälistä huippua.2. Osallistuvan yhteisön tutkimus on korkeatasoista, mutta nykyisellään yhteisö ei vielä olesaavuttanut vahvaa kansainvälistä tunnustusta tai selkeää läpimurtoa.3. Osallistuvan yhteisön tutkimus poikkeaa tutkimuksen valtavirrasta, ja tutkimustraditionominaispiirteet tällä alalla tulee ottaa huomioon arvioinnissa.4. Osallistuvan yhteisön tutkimus edustaa innovatiivista avausta.5. Osallistuvan yhteisön tutkimuksella on erittäin merkittävä yhteiskunnallinen vaikuttavuus.Lisäksi tutkijayhteisöt ovat voineet esittää muita toivomuksia arvioinnin suhteen. Arvioinnissakäytetään TUHAT–tutkimustietojärjestelmään tallennettuja julkaisutietoja ja muuta toimintaakoskevia tietoja. Ilmoittautuneita tutkijayhteisöjä oli 138.Millaisia analyysejä tehtiin?Seminaarin aamupäivän osiossa tarkasteltiin tutkimuksen arvioinnissa tehtyjä bibliometrisiaanalyysejä. Tutkija Ed Noyons Leidenin yliopiston tieteen ja teknologian tutkimuskeskuksesta(CWTS) kertoi tutkimuksen arvioinnista ja bibliometriikasta yleensä sekä erityisesti niistäanalyyseistä, joita Leidenissä on Helsingin yliopistolle tehty ja mitä ne kuvaavat.Analyysit tehtiin siten, että Leideniin lähetettiin tutkijayhteisöjen julkaisuja koskeva TUHATistatuotettu data, joka CWTS:ssä yhdistettiin Web of Science –tietokannassa oleviintietoihin.  Leidenissä tehtiin seuraavat analyysit:P             Number of publicationsTCS         Total amount of citations receivedMCS        Average number of citations received per paper (citation impact)Pnc          Percentage of non-cited papersMNCS     normalized citation impactMNJS      average normalized impact of journals usedNPHCP10Contribution to top 10% most highly cited papers (actual compared to expected)Int_cov    Internal coverage: average percentage of reference covered by the Web of Science (WoS)Johtava tietoasiantuntija Maria Forsman Helsingin yliopiston kirjastosta kertoi, minkälaisiaanalyysejä tehtiin niille tieteenaloille ja tutkijayhteisöille, joiden julkaisutoiminnasta Leidenissätehdyt analyysit eivät antaneet riittävää kuvaa. Näitä yhteisöjä oli 66, ja ne edustivat humanistisiatieteitä, yhteiskuntatieteitä ja tietojenkäsittelytiedettä. Analyysit tehtiin TUHATista tuotetustaaineistosta.Kirjastossa tehtiin seuraavat analyysit:1)      Tekijöiden määrä julkaisuissa vuosittain taulukkona; lisäksi piirakkakuviona tekijöiden määräjulkaisuissa koko ajanjaksolla 2005-2010.2)      Julkaisujen kieli vuosittain; lisäksi piirakkakuviona julkaisukielet koko ajanjaksona 2005-2010.3)      Lehdet, joissa artikkeleita on julkaistu, vuosittain; lisäksi lehtiä verrattiin Norjan, Australian jaERIH:n ”journal ranking” -listoihin ja laskettiin, kuinka monta tutkijayhteisön artikkelia onjulkaistu rankkeeratuissa lehdissä.4)      Kirjojen kustantajat vuosittain; kustantajia verrattiin Norjan ”publisher ranking” -listaan, jossakustantajat on ryhmitelty kahteen kategoriaan – johtava tieteellinen ja tieteellinen kustantaja. Tämänperusteella on laskettu, montako tutkimusryhmän monografiaa minkäkin tyyppinen kustantaja onjulkaissut.5)      Konferenssien ranking – erityisesti tietojenkäsittelytieteessä on haettu TUHATistatutkimusryhmän konferenssijulkaisut ja verrattu niitä Australian ”conference ranking” -listaan.Tutkimuksen arvioinnin tämänhetkisessä vaiheessa ei ollut mahdollista esittää minkään todellisentutkijayhteisön julkaisuista tehtyjä analyysejä, joten sekä Noyonsin että Forsmanin TUHATinpohjalta tehdyt esimerkkianalyysit koskivat laajempia tieteenalakokonaisuuksia.Esimerkkianalyysi.Kirjaston rooli ja arvioinnin tulevaisuusIltapäivän aloitti assoc. prof. David Lawrence Linköpingin yliopiston kirjastosta kertomalla siitä,miten kirjasto on mukana tutkimuksen arvioinnissa ja bibliometristen analyysien tuottamisessa.Bibliometriikka on tullut osaksi kirjaston tehtäviä vuonna 2007, ja nyt bibliometrisissa palveluissaon mukana 5 henkilöä, joista 2 päätoimista. LiU:ssa tehdään analyysejä sekä tutkimushallintoavarten että tutkijaryhmille ja laitoksille. Lisäksi kirjastossa neuvotaan tutkijoita tehtyjen analyysientulkinnassa.Lawrence korosti omassa esityksessään analyysissä käytettävän datan oikeellisuuden ja laadunmerkitystä. Lisäksi hyvät yhteydet kirjaston ja yliopiston hallinnon välillä ovat tärkeät. Hän puhuimyös julkaisustrategian tärkeydestä. Myös Linköpingin yliopiston kirjastossa käytetään sekä Webof Science -tietokannasta tehtyjä, että Norjan mallin mukaan laadittuja analyysejä.Iltapäivän päätteeksi ohjelmassa oli paneelikeskustelu bibliometriikan tulevaisuudesta. Paneeliinosallistuivat Ed Noyonsin ja David Lawrencen lisäksi prof. Markku Kulmala (luonnontieteet),prof. Risto Saarinen (humanistiset ja yhteiskuntatieteet) sekä prof. Jussi Kangasharju(tietojenkäsittelytiede). Paneelin puheenjohtajana toimi kirjastonhoitaja Terhi Sandgren Terkosta.Panelisteille oli annettu etukäteen pohdittavaksi kaksi kysymystä:1)      Mitä seuraavassa arvioinnissa tulisi mielestäsi tehdä?2)      Millaisia analyysejä tutkijayhteisö tarvitsisi arviointien välissä?Ensimmäiseen kysymykseen David Lawrence totesi seuraavan arvioinnin toteutuksen riippuvansiitä, mikä yliopiston tavoitteena on. Yksi arviointimalli ei voi vastata kaikkiin kysymyksiin, vaanyliopiston täytyy ensi määritellä tavoitteensa ja edetä sitten arvioinnissa sen mukaisesti.Risto Saarinen sanoi, että arvioinnissa nyt käytetyt keinot ovat riittämättömiä keskustakampuksenkannalta, koska kirjat ja toimitetuissa kirjoissa olevat artikkelit eivät päässeet oikeuksiinsa. Häntoivoi, että keskustakampus otettaisiin jatkossa paremmin huomioon ja arvioinnin välineitäkehitettäisiin tätä silmällä pitäen.Tämän syksyn aikana julkistetaan Tieteellisten seurain valtuuskunnan (TSV) julkaisufoorumi, jokaolisi hyvä ottaa seuraavissa arvioinneissa käyttöön.Markku Kulmala totesi tämänhetkisen analyysin hyväksi lähtökohdaksi arvioinneille. ISI:n Web ofScience–tietokannan olisi tärkeää olla ajan tasalla, jotta tietokannasta saadaan luotettavaa tietoaarviointien käyttöön.Jussi Kangasharju toi esiin tieteenalojen erilaisuuden. Hän totesi, ettei ole hyvä yrittää tehdäanalyysiä samalla kaavalla kaikille, vaan tulevaisuudessakin on tärkeä pitää mielessä eri alojenerilaiset tarpeet. Analyysit on räätälöitävä ottaen huomioon eri tieteenalojen erilaiset kulttuurit.Maria Forsman totesi, että arvioinnin tiukan aikataulun vuoksi räätälöinnille ei nyt ollut tarpeeksiaikaa. Toiveena on, että jatkossa olisi mahdollista tehdä enemmän. TUHAT–tietokantaan ei olenykyisellään tallennettu sellaisia tietoja, joiden pohjalta voitaisiin tehdä kansainvälisiä vertailuja taitarkastella kansainvälistä yhteistyötä. Tuleva kansallinen julkaisurekisterijärjestelmä tulee antamaanmahdollisuuksia ainakin kansallisiin vertailuihin.Ed Noyons korosti, että tärkeää arvioinnissa on olla selvillä ryhmän tavoitteista. Tässä arvioinnissakäytetyt viisi kategoriaa ovat hyvät ja tukevat tätä tavoitetta. Kaikki vaikutukset eivät näy yhdelläanalyysillä, vaan arvioinnin pitäisi pystyä näyttämään erilaisten ryhmien kehittyminen kohti niidenerilaisia tavoitteita.Toiseen kysymykseen Lawrence totesi, että arviointien välillä pitäisi osoittaa ryhmille, miltä niidentoiminta näyttää eri malleilla kuvattuna ja antaa ryhmien itsensä päätellä, olisiko niiden syytä tehdäjotain eri tavalla. Näin voidaan seurata ryhmän kehittymistä.Saarinen esitti, että arviointien välilläkin voitaisiin hyötyä räätälöidyistä analyyseistä. MyösKulmala sanoi, että arviointien välillä olisi hyvä saada tietoa ryhmän edistymisestä ja sentutkimuksen näkyvyydestä. Kangasharju totesi, että julkaisustrategian tukeminen ja kehityksenseuraaminen arviointien välillä ryhmittäin tai laitoksittain olisi tärkeää.David Lawrence kertoi Linköpingin yliopiston käytännöistä.Keskustelua virisiNäiden kysymysten lisäksi seminaarissa käytiin vilkasta keskustelua yleisön ja esiintyjien välillä.Yleisöpuheenvuorossa todettiin, että julkaisujen kirjoittajien määrä ja affiliaatioiden määräkirjoittajaa kohti on nousussa ja kysyttiin, onko bibliometriikalla keinoja tunnistaa lukuisistakirjoittajista ne, jotka ovat olleet keskeisimmässä roolissa tietyn artikkelin kannalta.Noyonsin mukaan ratkaisua siihen, miten yhden kirjoittajan osuus tietyssä julkaisussa saataisinostettua esiin, ei toistaiseksi ole; asiaan on kiinnitetty kuitenkin huomiota. Tutkimuksen muutos jahalu näyttää hyvältä arvioinneissa vaikuttavat tutkijoiden julkaisukäyttäytymiseen.Kulmala totesi, että voi olla hyödyllistä tarkastella tutkijan nimen esiintymistä ensimmäisenä,toisena tai viimeisenä kirjoittajana WoS-hakutuloksissa. Aakkosellinen tekijälistaus vaikeuttaaedelleen tietyn kirjoittajan osuuden määrittelyä. Saarinen toi esiin, että myös tekijöiden vähäinenmäärä saattaa muodostua ongelmaksi arvioinnissa ja esimerkiksi kirjat eivät ole toistaiseksi saaneetansaitsemaansa painoarvoa. Lawrence kertoi, että Linköpingissä oli kokeiltu ensimmäisen javiimeisen kirjoittajan merkityksen korostamista, mutta tulokset eivät toistaiseksi vakuuttaneet.Keskustelua herättivät myös bibliometristen analyysien rahoitus ja arviointiin ilmoittautuneidenryhmien kokoonpanot. Kulmala ja Saarinen katsoivat analyysien rahoituksen olevan jokseenkinsopivalla tasolla, mutta toivoivat sen sijaan lisäpanostusta siihen, että tutkijoiden aikaa vapautuisiapurahahakemusten kirjoittamisesta tutkimuksen tekemiseen. Raivio totesi, että bibliometristenanalyysien rahoituksesta käydään nyt keskustelua, joten asiaan kannattaisi kiinnittää huomiota.Arviointiin ilmoittautuneiden tutkimusryhmien koostamisesta ja tämän vaikutuksista ryhmienjulkaisuihin kysyttiin. Ed Noyons totesi, että ryhmän julkaisut voidaan koota siihen kuuluvientutkijoiden julkaisuista korostaen joko ryhmän pitemmän ajan toimintaa tai sen tulevaa potentiaalia.Näistä kahdesta mallista voidaan valita toinen sen mukaan, mitä arvioinnissa halutaan mitata.Johanna Björkroth kertoi, että nyt meneillään olevassa arvioinnissa ei käytetty tutkimusryhmienjäsenten vanhoja julkaisuja, jotka oli tehty Helsingin yliopiston ulkopuolella.Bibliometriset analyysit ovat olleet tutkimuksen arvioinnin kansainvälisten paneelien käytössä, janämä paneelit ovat kokoontuneet syyskuussa täällä Helsingissä. Julkaisuja koskevat analyysit ovatvain osa siitä aineistosta, joiden perusteella tutkijayhteisön toimintaa arvioidaan. Paneelienpalautekeskustelut on videoitu.· Video seminaarista (linkki väliaikaisesti pois käytöstä)· Tutkimuksen arvioinnin paneelien palautekeskustelutTekstiMaria Forsmanjohtava tietoasiantuntijaKeskustakampuksen kirjastoHelsingin yliopiston kirjastoLiisa EkebomtietoasiantuntijaKeskustakampuksen kirjastoHelsingin yliopiston kirjastoKuvatMaria Forsmanjohtava tietoasiantuntijaKeskustakampuksen kirjastoHelsingin yliopiston kirjastoJohanna LahikainentietoasiantuntijaKeskustakampuksen kirjastoHelsingin yliopiston kirjasto

Tutkimuksen arviointi ja bibliometriikka keräsivät kuulijoita

Abstract

Similar works

Full text

Available Versions

Helsingin yliopiston digitaalinen arkisto