Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych. Kryteria oceny a praktyki ewaluacyjne w naukach humanistycznych i społecznych

Badania zostały przeprowadzone w ramach projektu pt. „Współczesna polska humanistyka wobec wyzwań naukometrii”, finansowanego ze środków Narodowego Programu Rozwoju Humanistyki, nr decyzji 0057/NPHR3/H11/82/2014.Badania oceny koleżeńskiej rzadko odnoszą się do awansów naukowych, koncentrując się na ocenie koleżeńskiej w czasopismach oraz konkursach grantowych. Można to wiązać z ograniczonym dostępem do recenzji z przeprowadzanych postępowań. Pojawiły się analizy, które, w oparciu o dane z włoskiej procedury awansowej, pokazują zjawiska faworyzacji i defaworyzacji ocenianych uczonych przez recenzentów. I choć odnoszą się one do procesu, w którym uwzględnia się ocenę jakościową i ilościową, to skupiają się na ocenie ilościowej. Brak jest więc badań, które pokazywałyby pogłębiony obraz praktyk recenzenckich odbywających się w ramach awansów naukowych. Problem ten nabiera szczególnego znaczenia w kontekście tzw. nauk miękkich, czyli humanistyki i nauk społecznych, których potencjału nie ukazują narzędzia oceny właściwe dla tzw. nauk twardych. Obecność takich narzędzi w obowiązujących kryteriach oceny dla przedstawicieli różnych nauk rodzi pytanie o sposób posługiwania się nimi przez reprezentantów humanistyki i nauk społecznych, czy szerzej o sposób działania recenzentów ewaluujących innych uczonych w awansach naukowych w tej grupie nauk. Problem ten podejmuje prezentowana rozprawa. Badania oceny koleżeńskiej rzadko odnoszą się do awansów naukowych, koncentrując się na ocenie koleżeńskiej w czasopismach oraz konkursach grantowych. Można to wiązać z ograniczonym dostępem do recenzji z przeprowadzanych postępowań. Pojawiły się analizy, które, w oparciu o dane z włoskiej procedury awansowej, pokazują zjawiska faworyzacji i defaworyzacji ocenianych uczonych przez recenzentów. I choć odnoszą się one do procesu, w którym uwzględnia się ocenę jakościową i ilościową, to skupiają się na ocenie ilościowej. Brak jest więc badań, które pokazywałyby pogłębiony obraz praktyk recenzenckich odbywających się w ramach awansów naukowych. Problem ten nabiera szczególnego znaczenia w kontekście tzw. nauk miękkich, czyli humanistyki i nauk społecznych, których potencjału nie ukazują narzędzia oceny właściwe dla tzw. nauk twardych. Obecność takich narzędzi w obowiązujących kryteriach oceny dla przedstawicieli różnych nauk rodzi pytanie o sposób posługiwania się nimi przez reprezentantów humanistyki i nauk społecznych, czy szerzej o sposób działania recenzentów ewaluujących innych uczonych w awansach naukowych w tej grupie nauk. Problem ten podejmuje prezentowana rozprawa. Autorka skupia się na praktykach recenzenckich obecnych w pięciu dyscyplinach naukowych: ekonomii, językoznawstwie, prawie, psychologii i teologii. Na podstawie analizy 300 dokumentów z postępowań habilitacyjnych autorka odpowiada na pytanie: Jakie są wzory praktyk recenzenckich w różnych dyscyplinach? Odpowiedź na to pytanie jest poprzedzona odpowiedzią na pytania szczegółowe: (1) Jaka jest charakterystyka ilościowa postępowań habilitacyjnych?; (2) Jak recenzenci w postępowaniach habilitacyjnych argumentują ocenę osiągnięć naukowych i konkluzję? (3) Jak recenzenci w postępowaniach habilitacyjnych używają kryteriów oceny osiągnięć naukowych wskazanych w aktach prawnych? (4) Jak recenzenci w postępowaniach habilitacyjnych używają metod bibliometrycznych w ewaluacji osiągnięć naukowych? Aby zrealizować postawiony cel badań, którym jest pokazanie dyscyplinarnej różnorodności i podobieństw w praktykach recenzenckich w ramach ewaluacji osiągnięć naukowych w postępowaniach habilitacyjnych z zakresu nauk humanistycznych i społecznych, autorka posługuje się metodami mieszanymi (ang. mixed methods). Badanie składa się z dwóch faz: ilościowej i jakościowej. Analiza ilościowa obejmuje dane o postępowaniach habilitacyjnych ze wszystkich obszarów wiedzy (N = 3695), natomiast analiza jakościowa obejmuje recenzje z pięciu dyscyplin naukowych z obszaru nauk humanistycznych i obszaru nauk społecznych (N = 300). Wyniki badań jakościowych mają wyższy priorytet w niniejszej rozprawie, gdyż pozwalają odpowiedzieć na główne pytanie badawcze. Wyniki badań ilościowych wspierają interpretację wyników badań jakościowych. Analiza wykazała istnienie różnic w praktykach recenzenckich obecnych w badanych dyscyplinach naukowych. Dotyczą one w szczególności podejść do kryteriów oceny osiągnięć naukowych habilitantów. Różnice te wiążą się z metodologiami i warsztatem badawczym, jakimi posługują się reprezentanci poszczególnych dyscyplin naukowych. Okazuje się, że przedstawiciele tych nauk, którym bliższa jest perspektywa scjentystyczna (ekonomia i psychologia), są bardziej skłonni wykorzystywać w ocenie obowiązujące kryteria oceny, aniżeli przedstawiciele tych nauk, którym bliższe jest podejście interpretatywne oraz historyczne (językoznawstwo, prawo, teologia). Można łączyć to z lepszym dopasowaniem obowiązujących narzędzi oceny do ekonomii i psychologii, aniżeli pozostałych dyscyplin naukowych. Brak akceptacji dla kryteriów oceny wyraża się w różnych metodach działania, np. w pomijaniu kryteriów przy ocenie osiągnięć naukowych habilitanta lub w nieprzypisywaniu znaczenia wynikowi zastosowania takich kryteriów w ocenie. Takie strategie „radzenia” sobie recenzentów z nieakceptowanymi kryteriami autorka nazywa „ogrywaniem” systemu. Prezentowane wyniki badań rzucają nowe światło na praktyki ewaluacyjne, w szczególności na wykorzystanie w ewaluacji obowiązujących kryteriów oceny. Na ich podstawie autorka rekomenduje, aby na nowo określić rolę kryteriów oceny osiągnięć naukowych, zmniejszyć ich liczbę, jak również dostosować je do potrzeb oceny humanistyki i nauk społecznych