Counting and comparing publication output with and without equalizing and inflationary bias

This paper examines the effects of inflationary and equalizing bias on publication output rankings. Any identifiable amount of bias in authorship accreditation was detrimental to accuracy when ranking a select group of leading Canadian aquaculture researchers. Bias arose when publication scores were calculated without taking into account information about multiple authorship and differential coauthor contributions. The ensuing biased equal credit scores, whether fractional or inflated, produced rankings that were fundamentally different from the ranking of harmonic estimates of actual credit calculated by using all relevant byline information in the source data. In conclusion, the results indicate that both fractional and inflated rankings are misleading, and suggest that accurate accreditation of coauthors is the key to reliable publication performance rankings.Paid Open Acces

Ewaluacja osiągnięć naukowych w postępowaniach habilitacyjnych. Kryteria oceny a praktyki ewaluacyjne w naukach humanistycznych i społecznych

Badania zostały przeprowadzone w ramach projektu pt. „Współczesna polska humanistyka wobec wyzwań naukometrii”, finansowanego ze środków Narodowego Programu Rozwoju Humanistyki, nr decyzji 0057/NPHR3/H11/82/2014.Badania oceny koleżeńskiej rzadko odnoszą się do awansów naukowych, koncentrując się na ocenie koleżeńskiej w czasopismach oraz konkursach grantowych. Można to wiązać z ograniczonym dostępem do recenzji z przeprowadzanych postępowań. Pojawiły się analizy, które, w oparciu o dane z włoskiej procedury awansowej, pokazują zjawiska faworyzacji i defaworyzacji ocenianych uczonych przez recenzentów. I choć odnoszą się one do procesu, w którym uwzględnia się ocenę jakościową i ilościową, to skupiają się na ocenie ilościowej. Brak jest więc badań, które pokazywałyby pogłębiony obraz praktyk recenzenckich odbywających się w ramach awansów naukowych. Problem ten nabiera szczególnego znaczenia w kontekście tzw. nauk miękkich, czyli humanistyki i nauk społecznych, których potencjału nie ukazują narzędzia oceny właściwe dla tzw. nauk twardych. Obecność takich narzędzi w obowiązujących kryteriach oceny dla przedstawicieli różnych nauk rodzi pytanie o sposób posługiwania się nimi przez reprezentantów humanistyki i nauk społecznych, czy szerzej o sposób działania recenzentów ewaluujących innych uczonych w awansach naukowych w tej grupie nauk. Problem ten podejmuje prezentowana rozprawa. Badania oceny koleżeńskiej rzadko odnoszą się do awansów naukowych, koncentrując się na ocenie koleżeńskiej w czasopismach oraz konkursach grantowych. Można to wiązać z ograniczonym dostępem do recenzji z przeprowadzanych postępowań. Pojawiły się analizy, które, w oparciu o dane z włoskiej procedury awansowej, pokazują zjawiska faworyzacji i defaworyzacji ocenianych uczonych przez recenzentów. I choć odnoszą się one do procesu, w którym uwzględnia się ocenę jakościową i ilościową, to skupiają się na ocenie ilościowej. Brak jest więc badań, które pokazywałyby pogłębiony obraz praktyk recenzenckich odbywających się w ramach awansów naukowych. Problem ten nabiera szczególnego znaczenia w kontekście tzw. nauk miękkich, czyli humanistyki i nauk społecznych, których potencjału nie ukazują narzędzia oceny właściwe dla tzw. nauk twardych. Obecność takich narzędzi w obowiązujących kryteriach oceny dla przedstawicieli różnych nauk rodzi pytanie o sposób posługiwania się nimi przez reprezentantów humanistyki i nauk społecznych, czy szerzej o sposób działania recenzentów ewaluujących innych uczonych w awansach naukowych w tej grupie nauk. Problem ten podejmuje prezentowana rozprawa. Autorka skupia się na praktykach recenzenckich obecnych w pięciu dyscyplinach naukowych: ekonomii, językoznawstwie, prawie, psychologii i teologii. Na podstawie analizy 300 dokumentów z postępowań habilitacyjnych autorka odpowiada na pytanie: Jakie są wzory praktyk recenzenckich w różnych dyscyplinach? Odpowiedź na to pytanie jest poprzedzona odpowiedzią na pytania szczegółowe: (1) Jaka jest charakterystyka ilościowa postępowań habilitacyjnych?; (2) Jak recenzenci w postępowaniach habilitacyjnych argumentują ocenę osiągnięć naukowych i konkluzję? (3) Jak recenzenci w postępowaniach habilitacyjnych używają kryteriów oceny osiągnięć naukowych wskazanych w aktach prawnych? (4) Jak recenzenci w postępowaniach habilitacyjnych używają metod bibliometrycznych w ewaluacji osiągnięć naukowych? Aby zrealizować postawiony cel badań, którym jest pokazanie dyscyplinarnej różnorodności i podobieństw w praktykach recenzenckich w ramach ewaluacji osiągnięć naukowych w postępowaniach habilitacyjnych z zakresu nauk humanistycznych i społecznych, autorka posługuje się metodami mieszanymi (ang. mixed methods). Badanie składa się z dwóch faz: ilościowej i jakościowej. Analiza ilościowa obejmuje dane o postępowaniach habilitacyjnych ze wszystkich obszarów wiedzy (N = 3695), natomiast analiza jakościowa obejmuje recenzje z pięciu dyscyplin naukowych z obszaru nauk humanistycznych i obszaru nauk społecznych (N = 300). Wyniki badań jakościowych mają wyższy priorytet w niniejszej rozprawie, gdyż pozwalają odpowiedzieć na główne pytanie badawcze. Wyniki badań ilościowych wspierają interpretację wyników badań jakościowych. Analiza wykazała istnienie różnic w praktykach recenzenckich obecnych w badanych dyscyplinach naukowych. Dotyczą one w szczególności podejść do kryteriów oceny osiągnięć naukowych habilitantów. Różnice te wiążą się z metodologiami i warsztatem badawczym, jakimi posługują się reprezentanci poszczególnych dyscyplin naukowych. Okazuje się, że przedstawiciele tych nauk, którym bliższa jest perspektywa scjentystyczna (ekonomia i psychologia), są bardziej skłonni wykorzystywać w ocenie obowiązujące kryteria oceny, aniżeli przedstawiciele tych nauk, którym bliższe jest podejście interpretatywne oraz historyczne (językoznawstwo, prawo, teologia). Można łączyć to z lepszym dopasowaniem obowiązujących narzędzi oceny do ekonomii i psychologii, aniżeli pozostałych dyscyplin naukowych. Brak akceptacji dla kryteriów oceny wyraża się w różnych metodach działania, np. w pomijaniu kryteriów przy ocenie osiągnięć naukowych habilitanta lub w nieprzypisywaniu znaczenia wynikowi zastosowania takich kryteriów w ocenie. Takie strategie „radzenia” sobie recenzentów z nieakceptowanymi kryteriami autorka nazywa „ogrywaniem” systemu. Prezentowane wyniki badań rzucają nowe światło na praktyki ewaluacyjne, w szczególności na wykorzystanie w ewaluacji obowiązujących kryteriów oceny. Na ich podstawie autorka rekomenduje, aby na nowo określić rolę kryteriów oceny osiągnięć naukowych, zmniejszyć ich liczbę, jak również dostosować je do potrzeb oceny humanistyki i nauk społecznych