The impact factor as a legitimator of the scientific knowledge produced: a review of the literature

The impact factor (IF) is perceived by all researchers and scientists as the main criterion in their publication strategies, in order to respond to the demands of the academic reward system that defines career progression and the allocation of funds for research. Through a review of published literature we aim to explore different limits and ranges associated with impact factor, according to academia. We also try to understand in which way the state of the art is evolving, as well as the features that point to ambiguous criteria inherent to the construct on which impact factor was established as the legitimising criteria of scientific knowledge production.info:eu-repo/semantics/publishedVersio

Comparison of USA and UK rankings of LIS journals

Purpose – The purpose of this paper is to investigate UK academics’ views of the importance and prestige of journals relevant to library and information science (LIS) teaching and research. Design/methodology/approach – A questionnaire, based on one used previously in the USA, was sent to UK academics involved in LIS teaching and research. The questionnaire asked respondents to rate the importance of 87 LIS journals, to suggest others that were of importance to them but that were not amongst the 87, and to identify the five most prestigious journals for promotion purposes. In addition, those journals were identified that had figured in institutional submissions to the LIS Unit of Assessment in Research Excellence Framework (REF). Findings – While there was a fair measure of overall agreement between US and UK rankings of the 87 journals, with both highlighting the standing of the Journal of the Association for Information Science and Technology and of the Journal of Documentation, some substantial differences were also noted. Evidence is presented for a strong locational component to academics’ assessments of journal prestige, and analysis of the REF2014 submissions demonstrates the highly inter-disciplinary nature of LIS research in the UK. Research limitations/implications – The sample size is small, comprising 30 completed responses. Originality/value – This is the first study to report UK academics’ rankings of LIS journals, and to compare those with comparable data for US academics

Global Ranking of Management- and Clinical-centered E-health Journals

This study presents a ranking list of 35 management- and 28 clinical-centered e-health academic journals developed based on a survey of 398 active researchers from 46 countries. Among the management-centered journals, the researchers ranked Journal of the American Medical Informatics Association and Journal of Medical Internet Research as A+ journals; among the clinical-focused journals, they ranked BMC Medical Informatics and Decision Making and IEEE Journal of Biomedical and Health Informatics as A+ journals. We found that journal longevity (years in print) had an effect on ranking scores such that longer standing journals had an advantage over their more recent counterparts, but this effect was only moderately significant and did not guarantee a favorable ranking position. Various stakeholders may use this list to advance the state of the e-health discipline. There are both similarities and differences between the present ranking and the one developed earlier in 2010

Evaluation of academic legal publications in Finland

Peer reviewe

Procedury ewaluacji jednostek podstawowych i instytucji

Publikacja finansowana w ramach programu Ministra Nauki i Szkolnictwa Wyższego pod nazwą „DIALOG” w latach 2016-2019 na podstawie umowy nr 0021/DLG/2016/10 z dnia 20 grudnia 2016 r.Celem niniejszego raportu jest wskazanie wyzwań polityki naukowej w zakresie instytucjonalnej ewaluacji nauki w Polsce. W związku z realizacją tego zadania definiowana jest ewaluacja nauki, charakteryzowane są podstawowe sposoby oraz momenty oceny. Raport pokazuje istotne problemy i wyzwania, przed którymi stoją twórcy systemu ewaluacji nauki w Polsce oraz prezentuje doświadczenia innych krajów europejskich mogące służyć za inspirację lub punkt wyjścia do doskonalenia instrumentów polskiej polityki naukowej. W raporcie zostały zaprezentowane istotne informacje niezbędne do zrozumienia kontekstu oceny nauki w Polsce. Instytucjonalna ewaluacja została wdrożona w Polsce na początku lat 90. ubiegłego wieku. W 1991 roku Komitet Badań Naukowych zaproponował pierwszą wersją instytucjonalnej ewaluacji nauki, która przez ćwierć wieku uległa wielu zmianom, aby obecną formę przyjąć w 2017 roku. Przez blisko trzy dekady funkcjonowanie ewaluacji nauki w Polsce sprawiło, że naukowcy i instytucje przyzwyczaiły się do sytuacji bycia ewaluowanym, co natomiast przyczyniło się do wielu pożądanych (m.in. wzrost produktywności) i niepożądanych (m.in. pojawienie się punktozy) efektów. Udoskonalenie tego systemu wymaga zatem nie tylko wykorzystania najlepszych i najbardziej adekwatnych metod oceny, ale również uwzględnienia obecnej sytuacji i statusu nauki w Polsce. Należy pamiętać, że rekomendowane w raporcie rozwiązania nie mogą być proponowane tylko dlatego, że sprawdziły się w innych krajach. Ważne jest również to, aby zaistniały przesłanki do tego, że proponowany system będzie implementowany w podobnych warunkach początkowych

Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych. Kryteria oceny a praktyki ewaluacyjne w naukach humanistycznych i społecznych

Badania zostały przeprowadzone w ramach projektu pt. „Współczesna polska humanistyka wobec wyzwań naukometrii”, finansowanego ze środków Narodowego Programu Rozwoju Humanistyki, nr decyzji 0057/NPHR3/H11/82/2014.Badania oceny koleżeńskiej rzadko odnoszą się do awansów naukowych, koncentrując się na ocenie koleżeńskiej w czasopismach oraz konkursach grantowych. Można to wiązać z ograniczonym dostępem do recenzji z przeprowadzanych postępowań. Pojawiły się analizy, które, w oparciu o dane z włoskiej procedury awansowej, pokazują zjawiska faworyzacji i defaworyzacji ocenianych uczonych przez recenzentów. I choć odnoszą się one do procesu, w którym uwzględnia się ocenę jakościową i ilościową, to skupiają się na ocenie ilościowej. Brak jest więc badań, które pokazywałyby pogłębiony obraz praktyk recenzenckich odbywających się w ramach awansów naukowych. Problem ten nabiera szczególnego znaczenia w kontekście tzw. nauk miękkich, czyli humanistyki i nauk społecznych, których potencjału nie ukazują narzędzia oceny właściwe dla tzw. nauk twardych. Obecność takich narzędzi w obowiązujących kryteriach oceny dla przedstawicieli różnych nauk rodzi pytanie o sposób posługiwania się nimi przez reprezentantów humanistyki i nauk społecznych, czy szerzej o sposób działania recenzentów ewaluujących innych uczonych w awansach naukowych w tej grupie nauk. Problem ten podejmuje prezentowana rozprawa. Badania oceny koleżeńskiej rzadko odnoszą się do awansów naukowych, koncentrując się na ocenie koleżeńskiej w czasopismach oraz konkursach grantowych. Można to wiązać z ograniczonym dostępem do recenzji z przeprowadzanych postępowań. Pojawiły się analizy, które, w oparciu o dane z włoskiej procedury awansowej, pokazują zjawiska faworyzacji i defaworyzacji ocenianych uczonych przez recenzentów. I choć odnoszą się one do procesu, w którym uwzględnia się ocenę jakościową i ilościową, to skupiają się na ocenie ilościowej. Brak jest więc badań, które pokazywałyby pogłębiony obraz praktyk recenzenckich odbywających się w ramach awansów naukowych. Problem ten nabiera szczególnego znaczenia w kontekście tzw. nauk miękkich, czyli humanistyki i nauk społecznych, których potencjału nie ukazują narzędzia oceny właściwe dla tzw. nauk twardych. Obecność takich narzędzi w obowiązujących kryteriach oceny dla przedstawicieli różnych nauk rodzi pytanie o sposób posługiwania się nimi przez reprezentantów humanistyki i nauk społecznych, czy szerzej o sposób działania recenzentów ewaluujących innych uczonych w awansach naukowych w tej grupie nauk. Problem ten podejmuje prezentowana rozprawa. Autorka skupia się na praktykach recenzenckich obecnych w pięciu dyscyplinach naukowych: ekonomii, językoznawstwie, prawie, psychologii i teologii. Na podstawie analizy 300 dokumentów z postępowań habilitacyjnych autorka odpowiada na pytanie: Jakie są wzory praktyk recenzenckich w różnych dyscyplinach? Odpowiedź na to pytanie jest poprzedzona odpowiedzią na pytania szczegółowe: (1) Jaka jest charakterystyka ilościowa postępowań habilitacyjnych?; (2) Jak recenzenci w postępowaniach habilitacyjnych argumentują ocenę osiągnięć naukowych i konkluzję? (3) Jak recenzenci w postępowaniach habilitacyjnych używają kryteriów oceny osiągnięć naukowych wskazanych w aktach prawnych? (4) Jak recenzenci w postępowaniach habilitacyjnych używają metod bibliometrycznych w ewaluacji osiągnięć naukowych? Aby zrealizować postawiony cel badań, którym jest pokazanie dyscyplinarnej różnorodności i podobieństw w praktykach recenzenckich w ramach ewaluacji osiągnięć naukowych w postępowaniach habilitacyjnych z zakresu nauk humanistycznych i społecznych, autorka posługuje się metodami mieszanymi (ang. mixed methods). Badanie składa się z dwóch faz: ilościowej i jakościowej. Analiza ilościowa obejmuje dane o postępowaniach habilitacyjnych ze wszystkich obszarów wiedzy (N = 3695), natomiast analiza jakościowa obejmuje recenzje z pięciu dyscyplin naukowych z obszaru nauk humanistycznych i obszaru nauk społecznych (N = 300). Wyniki badań jakościowych mają wyższy priorytet w niniejszej rozprawie, gdyż pozwalają odpowiedzieć na główne pytanie badawcze. Wyniki badań ilościowych wspierają interpretację wyników badań jakościowych. Analiza wykazała istnienie różnic w praktykach recenzenckich obecnych w badanych dyscyplinach naukowych. Dotyczą one w szczególności podejść do kryteriów oceny osiągnięć naukowych habilitantów. Różnice te wiążą się z metodologiami i warsztatem badawczym, jakimi posługują się reprezentanci poszczególnych dyscyplin naukowych. Okazuje się, że przedstawiciele tych nauk, którym bliższa jest perspektywa scjentystyczna (ekonomia i psychologia), są bardziej skłonni wykorzystywać w ocenie obowiązujące kryteria oceny, aniżeli przedstawiciele tych nauk, którym bliższe jest podejście interpretatywne oraz historyczne (językoznawstwo, prawo, teologia). Można łączyć to z lepszym dopasowaniem obowiązujących narzędzi oceny do ekonomii i psychologii, aniżeli pozostałych dyscyplin naukowych. Brak akceptacji dla kryteriów oceny wyraża się w różnych metodach działania, np. w pomijaniu kryteriów przy ocenie osiągnięć naukowych habilitanta lub w nieprzypisywaniu znaczenia wynikowi zastosowania takich kryteriów w ocenie. Takie strategie „radzenia” sobie recenzentów z nieakceptowanymi kryteriami autorka nazywa „ogrywaniem” systemu. Prezentowane wyniki badań rzucają nowe światło na praktyki ewaluacyjne, w szczególności na wykorzystanie w ewaluacji obowiązujących kryteriów oceny. Na ich podstawie autorka rekomenduje, aby na nowo określić rolę kryteriów oceny osiągnięć naukowych, zmniejszyć ich liczbę, jak również dostosować je do potrzeb oceny humanistyki i nauk społecznych

Experiences with the rating of publication channels for the Nordic Model. With a response to a proposal for automated ratings from Saarela et al. (2016)

<div>Norway, Denmark and Finland use the “Norwegian model” of block-grant allocation that links national publication data to a weighted quality index of publication channels. In each country, the rating of the publication channels is the responsibility of experts in the field. Nordforsk is presently funding a Nordic collaboration project where we merge the lists, compare ratings and study the possibility of sharing information, thereby reducing the workload and improving the data quality. </div><div>In a parallel project in Finland, Saarela et al. (2016) have used new techniques to demonstrate that Scopus-based IPP, SNIP and SJR, in combination with the Danish and Norwegian levels, allow for good prediction of the Finnish expert-ratings. They suggest that automatic rules could replace or assist the expert qualitative judgment to improve the transparency and objectivity and to save man-hours and money in the Norwegian model. </div><div>In this presentation, we will present the experiences with expert-based assessments and Nordic collaboration so far and discuss the following topics: </div><div>1.Why involve expert panels in the evaluation and what is their task?</div><div>2.How large part of the publication channel lists is covered by metrics for journals?</div><div>3.Under what conditions can expert based ratings be expected to be correlated with citation based journal metrics. Where do we find exceptions? </div><div>4.What metrics are already used to inform the panels, and what other information could be appropriate?</div><div>5.What are the main challenges with involving panels in the rating process?</div><div>6.To what degree would automated rankings improve the evaluation process?</div><div>7.To what degree would the creation of Nordic versus national panels improve the process?</div><div><br></div><div><b>References</b></div><div><br></div><div>Ahlgren, P., Corriander, C., & Persson, O. (2012). Field normalized citation rates, field normalized journal impact and Norwegian weights for allocation of university research funds. Scientometrics, 92(3), 767–780.</div><div>Saarela, M., Kärkkäinen, T., Lahtonen, t., Rossi, T. (2016) “Expert-based versus citation-based ranking of scholarly and scientific publication channels”, Journal of Informetrics, 10 (2016), 693–718.</div><div><br></div