Ocenianie publikacji naukowych na podstawie wskaźników bibliometrycznych publikujących je czasopism i wydawnictw stało się akademickim standardem, oczywistym  zwłaszcza dla młodego pokolenia. Niniejszy tekst poświęcony jest tematyce oceny monografii naukowych, przede wszystkim w naukach przyrodniczych i ścisłych

Drabek, Aneta

Racki, Grzegorz

Repozytorium Uniwersytetu Śląskiego RE-BUŚ

             Title: Monografie - niekochane dziecko systemu parametryzacji  Author: Grzegorz Racki, Aneta Drabek  Citation style: Racki Grzegorz, Drabek Aneta. (2021). Monografie - niekochane dziecko systemu parametryzacji. "Forum Akademickie" (2021, nr 4, s. 32-34). 32 Forum Akademickie 4/2021patologia punktozyGrzegorz Racki, Aneta DrabekMonografie – niekochane dziecko systemu parametryzacjiOgraniczenie punktowania monografii polskich autorów do 728 wydawnictw jest poważną niekonsekwencją, chociaż w oczywisty sposób wymuszoną brakiem odpowiednich baz danych oraz danymi z uprzednich lat .Ocenianie publikacji naukowych na podstawie wskaźników bibliometrycznych publikujących je czasopism i wydawnictw stało się akademickim standardem, oczywistym zwłaszcza dla młodego pokolenia. Na przełomie wieków budziło jednak – rów-nież na łamach „FA” – żywe emocje przy wprowadzaniu przez Komitet Badań Naukowych tego typu parametryzacji (https://forumakademickie.pl/fa-archiwum/archiwum/2001/09/arty-kuly/18-polemiki-jak_i_po_co_dyskutowac.htm). Co gorsza mówi się i pisze od pewnego czasu nawet o swoistej „punkto-zie”, co niektórzy przedstawiają jako alibi dla mizeroty swoich bieżących osiągnięć („chcę pracować naukowo, a muszę ciułać punkty!”). Dotyczy to w pierwszej kolejności humanistyczno--społecznego sektora nauki polskiej. Warto jednak zauważyć, iż ilościowe testowanie tego systemu oceny dorobku naukowego potwierdza jego racjonalność. Sprawdza się on mniej więcej na poziomie 90%, tzn. tyle artykułów zamieszczanych w wysoko ocenionych periodykach osiąga sukces w postaci ponadprzecięt-nej liczby cytowań i vice versa (patrz https://www.researchgate.net/publication/24012689_Rank-normalized_journal_impact_factor_as_a_predictive_tool). A więc taka jakościowa predyk-cja, powiązana ze zróżnicowaniem dotowania publikacji, ma praktyczny sens. Ogólnie rzecz biorąc, odzwierciedla ona praw-dopodobieństwo dostrzeżenia publikacji i wykorzystania pre-zentowanych wyników w zależności od miejsca ich upublicz-nienia. A to jest miara osiągnięć w dobie narastającego szumu informacyjnego i walki o widzialność w światowej społeczno-ści naukowców.Niniejszy tekst poświęcony jest tematyce oceny monografii naukowych, przede wszystkim w naukach przyrodniczych i ści-słych. Wprowadzanie systemu parametryzacji w 1998 r. odbyło się niejako na odpowiedzialność tej domeny nauki polskiej (jego inicjator, prof. Andrzej Kajetan Wróblewski z Uniwersy-tetu Warszawskiego, to fizyk). Nic dziwnego, bo reszta środo-wiska (przynajmniej w publikowanych wypowiedziach) usto-sunkowała się w swej masie do tych rozwiązań niezbyt pozy-tywnie. Obstrukcja w pewnym stopniu trwa do dziś i skutkuje wciąż nierozwiązanym problemem, jakim – mimo wielu dys-kusji, stanowisk, konkluzji z prac zespołów – jest ustawicznie zaniżone pozycjonowanie monografii naukowych w systemie ewaluacji jakości działalności naukowej (np. artykuł J.M. Brze-zińskiego w „FA” 11/2011).Co to jest monografia?Nieporozumienie dotyczy samego pojęcia „monografia naukowa”, tzn. tego, iż nie są to tylko zespołowe publikacje, czę-sto jedynie sumujące wyniki konferencji, zgromadzone w mniej lub bardziej merytorycznie wartościową całość przez redaktora-(ów) opracowania (dalej: monografie zbiorowe). Trzeba bowiem pamiętać o wyjątkowej randze często (jedno)autorskich syntez, stanowiących oryginalne podsumowanie stanu wiedzy w danej tematyce badawczej (dalej: monografie autorskie). Obfitują one na ogół we wnioski co do perspektyw danej specjalności, tak to przynajmniej wygląda w perspektywie historycznej. Pomi-jając walory dydaktyczne, wartość merytoryczna takiego opus magnum, stanowiącego ukoronowanie dorobku badacza, może być nieporównywalnie wyższa nawet w zestawieniu z ważnymi artykułami w najwyżej punktowanych periodykach.Lekceważenie przez humanistów systemu parametrycz-nego owocowało w sposób oczywisty długotrwałym deprecjo-nowaniem monografii. Ustaliła się bowiem reguła, iż autor-stwo monografii jest punktowo co najwyżej równoważne arty-kułowi w najwyższej klasie czasopism… I niewiele się zmieniło do dziś, mimo prac ministerialnego zespołu specjalistycznego do oceny czasopism naukowych na potrzeby przeprowadzenia kompleksowej oceny działalności naukowej lub badawczo-roz-wojowej jednostek naukowych pod kierunkiem dr. hab. Ema-nuela Kulczyckiego (dalej: zespół Kulczyckiego), a więc przed-stawiciela nauk społecznych.patologia punktozy33Forum Akademickie 4/2021patologia punktozyLista wydawnictw naukowych AD 2019Problem w przygotowaniu wykazu wydawnictw zaczyna się już na samym początku. Okazuje się bowiem, że nie ma bazy, która rejestrowałaby wydawców z całego świata. W przypadku czasopism tę funkcję spełnia baza ISSN, natomiast wydawnic-twa – pomimo nadawania własnego identyfikatora, czyli ISBN – nie mają podobnego rejestru. Dodatkowo wydawcy często nie stosują zawsze tej samej nazwy, ale ich różne warianty. Stąd nie da się szybko i łatwo stwierdzić, że pod kilkoma (często bardzo różnymi) nazwami kryje się ta sama oficyna – może ona uży-wać bowiem kilka(naście) różnych ISBN-ów. Próba sporządze-nia wykazu z konieczności musi się więc opierać (przynajmniej na początku) na czymś ograniczonym, ale już sprawdzonym, tak aby później móc modyfikować dodając (lub odejmując) kolejne pozycje do takiego zestawienia.Do przygotowania pierwszej wersji listy wydawców przez zespół Kulczyckiego wykorzystano sześć różnych źródeł. Na początku przeanalizowane zostały dane o wydawcach mono-grafii, rozdziałów i redakcji z opisów (tzw. zdarzeń ewalu-acyjnych), które zostały zgłoszone przez polskie instytucje naukowe w ewaluacji za okres 2013-2016. Powstała w ten spo-sób baza wydawców licząca ponad 52 tys. różnych nazw. Skąd tak duża liczba? Wiele nazw wydawnictw zapisano w tak różny sposób, że powstała olbrzymia liczba wariantów (nawet 200 i więcej dla jed-nego wydawcy) obejmująca skróty, nazwy obcojęzyczne i przeróżne sposoby zapisu. Samo uporządkowanie tych danych zajęło kilka miesięcy. W efekcie uzyskano listę 3395 wydawców. Dopiero później wykaz skonfrontowany został z pięcioma źródłami wydaw-nictw naukowych. Były to trzy listy krajowe: Publica-tion Forum (tzw. lista fiń-ska), The Norwegian Register for Scientific Journals (tzw. lista norweska), Scholarly Publishers Indicators (tzw. lista hiszpańska) oraz dane z bazy Book Citation Index (część bazy Web of Science Core Collection) i Scopus (E. Kulczycki, Książkowe publi-kacje naukowe w europejskich systemach ewaluacji nauki, „Nauka”, nr 2, 2019, s. 39). Dane z tych źródeł zostały wykorzystane przede wszyst-kim do wyłonienia wydaw-nictw II poziomu – za 200 pkt.Należy mocno podkre-ślić, iż aktualnie obowiązu-jący „Wykaz wydawnictw publ ikujących recenzo-wane monografie naukowe” z 29 września 2020 r. (https://www.gov.pl/web/edukacja-i--nauka/wykaz-wydawnictw-publikujacych-recenzowane-monografie-naukowe) bazuje co prawda na propozycjach zespołu Kulczyckiego, ale zmiany – zarówno w samym zestawie wydawnictw, jak i w zasadach punktacji – wprowadzał później Komitet Ewaluacji Naukowej (KEN; wcześniej Komitet Ewaluacji Jednostek Naukowych) oraz kolejni ministrowie. Problem różnorodności monografii jest dostrzeżony w obecnych zasadach ewaluacji przez dopuszcze-nie zwiększenia punktacji „wybitnych” monografii o 50% (z 200 do 300 pkt). Mimo wszystko jest to niedostateczne dowartościo-wanie. Postulujemy, by na wniosek ocenianej instytucji KEN mógł rozpatrywać wielokrotne zwiększenie punktacji w przy-padku unikatowych dzieł wydanych przez renomowane domy wydawnicze.Swoją drogą fakt uwzględnienia (prawie) wszystkich pol-skich instytucji naukowych, łącznie z Wyższą Szkołą Kultury Społecznej i Medialnej w Toruniu, raczej wyklucza możliwość dalszych odgórnych ingerencji.Ile jest wydawnictw naukowych?Oficjalny ministerialny wykaz wydawnictw publikujących recenzowane monografie naukowe obejmuje 728 wydawnictw: 692 wydawnictwa na poziomie I (80 pkt) i 36 wydawnictw na poziomie II (200 pkt). Można by naiwnie pomyśleć, iż w ten Rys . Sławomir Makal34 Forum Akademickie 4/2021patologia punktozy sposób wyczerpano zasób wydawnictw, w których publikują monografie polscy naukowcy. Jednakże według Wikipedii na rynku wydawniczym działa ponad dwa tysiące komercyjnych domów wydawniczych, nawet jeśli tylko oligopol pięciu kon-cernów (Elsevier, Springer, Wiley-Blackwell, Taylor & Francis, Sage) wydaje połowę publikacji. A do tego dochodzą – rów-nież nieregularnie publikujące – wydawnictwa szkół wyż-szych, towarzystw naukowych, instytutów branżowych itp., których liczbę można jedynie szacować na dziesiątki tysięcy (patrz wyżej).W tej sytuacji ograniczenie punktowania monografii pol-skich autorów do 728 wydawnictw jest poważną niekonse-kwencją, chociaż w oczywisty sposób wymuszoną brakiem odpowiednich baz danych oraz danymi z uprzednich lat. I łatwo dać na to dobitne egzemplifikacje, np. w dyscypli-nie nauk o Ziemi i środowisku. W ministerialnym wyka-zie zabrakło wydawnictw, a zatem i prestiżowych serii północnoamerykańskich towarzystw naukowych: Geological Society of America, Mineralogical Society of America, Society for Sedimentary Geology, American Association of Petroleum Geologists, Society of Vertebrate Paleontology czy Canadian Association of Petroleum Geologists. Chyba jeszcze bardziej razi niewłączenie wielu uczelni przodujących w cenionym akademickim rankingu szanghajskim (http://www.shanghai-ranking.com/ARWU2020.html), w tym o tak wysokiej ran-dze jak California Institute of Technology (8. pozycja), Paris-Saclay University (14), University College London (16), Uni-versity of Pennsylvania (19), ETH Zurich (20) czy University of Copenhagen (33). A warto pamiętać, że najlepsze polskie uniwersytety nie przekraczają 300. pozycji na tej liście – bez fetyszyzacji tego faktu. A zatem polskie publikacje wydane przez te instytucje naukowe – nawet autorskie – w obecnym systemie są warte 5 pkt! Trudno jednak przypuszczać, iż ustę-pują one tak znacznie poziomem monografiom z lokalnych towarzystw naukowych czy diecezji, ujętym w ministerial-nym zestawieniu.Z innych kuriozów: 38 z 52 roczników z wydawnictwa „Annual Reviews” (https://www.annualreviews.org/) jest repre-zentowanych w wykazie czasopism (z niewiadomych przyczyn selektywnie uwzględnionych w bazie Scopus), w większości z notą 200 pkt. A zatem w przypadku publikacji z pozostałych dyscyplin (m.in. Computer Science, Law and Social Science, Plant Biology, Political Science) te prestiżowe serie obszernych artykułów przeglądowych z definicji powinny być traktowane jako punkt wyjścia do maksymalnej punktacji (jako rozdziałów w monografiach). Takich przykładów przypadkowego uznania serii wydawniczych za czasopismo w światowych bazach danych jest oczywiście więcej.Propozycja wnioskowania ocenianej instytucji o objęcie zwiększoną punktacją limitowanej liczby dodatkowych prac – z wydawnictw pominiętych w wykazie – jest, naszym zda-niem, jak najbardziej racjonalnym rozwiązaniem. Sęk w tym, iż w obecnym systemie ewaluacji jakości działalności nauko-wej dopuszczono tę możliwość wyłącznie dla dyscyplin humanistyczno-społecznych.Monografie w naukach przyrodniczych i ścisłychCo prawda rola monografii jest skrajnie różna w naukach humanistyczno-społecznych i pozostałych, ale ich podwójne uprzywilejowanie w tych pierwszych jest zupełnie nieuzasad-nione. I dodatkowo to zróżnicowanie pogłębia. System punk-tacji wymusza bowiem, by pisać artykuły do nawet przecięt-nych czasopism, zamiast męczyć się latami nad monografiami, podręcznikami itp.Polscy naukowcy są z pewnością w stanie wydać znaczące monografie – tak autorskie, jak i zbiorowe – w wydawniczym mainstreamie z zakresu fizyki, chemii czy matematyki. Dotyczy to nie tylko międzynarodowych sukcesów. Niektóre dyscypliny mają wiodący aspekt regionalny, co przekłada się na potrzeby polskojęzycznych podręczników przy kształceniu specjalistów. I tak np. w dziedzinie geologii ukazała się właśnie nowoczesna monografia pt. Historia geologiczna Polski, efekt wielu lat pracy prof. Marka Narkiewicza. Ponieważ wydawcą jest Uniwersytet Warszawski, może ona być wyceniona w obowiązującym syste-mie ewaluacji na 80 pkt. A więc – po skorygowaniu przez mini-stra Czarnka – niewiele więcej niż za artykuł w „Biuletynie Sto-warzyszenia Absolwentów i Przyjaciół Wydziału Prawa KUL”. Propozycja, by i w domenie nauk przyrodniczych i ścisłych było dopuszczane zwiększenie punktacji, ma na celu wyeliminowa-nie tej dyskryminacji.Patologia „punktozy” a ocena eksperckaPrzy tylu ubolewających nad niedomaganiami systemu parametryzacji, najprostszym postulatem powinno być jego odrzucenie i powrót do ocen jakościowych przez zespoły eks-perckie. Byłaby to recepta na niezmiennie powracające złote myśli w stylu „liczy się przecież treść, a nie punkty”. Ale jakoś nie słychać specjalnie głosów zwolenników takiego podejścia, tak jak i dwadzieścia lat temu malkontenci nie byli w stanie zaproponować konstruktywnej alternatywy. Lata doświad-czeń, choćby w ramach kategoryzacji jednostek naukowych przez KBN, wykazały słabość systemu oceny panelowej i jego immamentną skłonność do wypaczania ocen. Co by złego nie powiedzieć, twarda ewaluacja dorobku oparta na wskaźni-kach bibliometrycznych pośrednio oddaje – lepiej lub gorzej – jakość procesu recenzowania i proporcję odrzuconych sub-misji. Nic nie stoi jednak na przeszkodzie, by elementy oceny eksperckiej wprowadzić szerszym frontem do obecnej ewalu-acji, ale i w tej sprawie nie można narzekać na nadmiar pro-pozycji. W ogóle wiele kolektywnych ciał oceniających, czy to przy awansach naukowych i ocenach okresowych, czy przy ewaluacji zespołowego dorobku, idzie na łatwiznę i ogranicza swą aktywność do sprawdzenia formalnej zgodności propo-nowanej punktacji z obowiązującym schematem ewaluacji. A do tego nie potrzeba przecież uczonych komisji – wystar-czy sprawna sekretarka.Reasumując, proponujemy, by przy ewaluacji jakości dzia-łalności naukowej w 2022 r. KEN miał możliwość – na uza-sadniony wniosek ocenianej instytucji – (1) oceny eksperckiej w pełnym zakresie nauki dla wybitnych monografii w zakre-sie dopuszczającym trzykrotne podwyższenie punktacji (do 600 pkt). Podobna jakościowa ewaluacja powinna dotyczyć (2) wytypowanych przez instytucję określonej liczby monografii (lub rozdziałów w nich) niezamieszczonych w obowiązującym wykazie. Jako wspomagające rozwiązanie można wskazać (3) okresowe (np. coroczne) uzupełnianie listy wydawnictw przez KEN na podstawie bieżącego dorobku polskich badaczy. Nie powinno się uciekać od zasady, iż członkostwo w ciałach oce-niających – jak szlachectwo – zobowiązuje do czegoś więcej niż konwencjonalne działanie. Systematyzacja dorobku nauko-wego jest jak dzielenie wody w rzece. Ze względu na różno-rodność i ciągłą ewolucję wymyka się najbardziej drobiazgo-wej typologii.Prof. dr hab. Grzegorz Racki, Wydział Nauk o Ziemi Uniwersytetu Śląskiego w KatowicachDr Aneta Drabek, starszy kustosz dyplomowany, Centrum Informacji Naukowej i Biblioteka Akademicka Uniwersytetu Śląskiego w Katowicach

Monografie - niekochane dziecko systemu parametryzacji

https://rebus.us.edu.pl/bitstream/20.500.12128/21096/1/Racki_Monografie.pdf

Monografie - niekochane dziecko systemu parametryzacji

Abstract

Similar works

Full text

Available Versions

Repozytorium Uniwersytetu Śląskiego RE-BUŚ