Replikovatelnost českého psychologického výzkumu

Východiska: Bezdíček, Preiss a Dočkalová (2009) a Preiss a Mačudová (2012) sledovali počet publikací českých docentů a profesorů psychologie a zhodnotili ji jej jako nedostatečný – samotné množství publikací však neříká nic o jejich kvalitě. Jedním z ukazatelů kvality výzkumu je jeho replikovatelnost, která je přitom jedním z nosných témat současné světové psychologie. Ukazuje se totiž, že přinejmenším část psychologického výzkumu replikovatelná není (zejm. Open Science Collaboration, 2015; Klein a kol., 2016) a že nalezené efekty ve skutečnosti neexistují. Naopak efekty, které existují, mohou zůstat skryty v důsledku špatně naplánovaného výzkumu a nízké síly testů. Cíle: Představíme statistické postupy pro odhad replikovatelnosti výzkumu a aplikujeme je na české psychologické publikace. Soubor: Vzorek byl náhodně vybrán ze všech českých časopiseckých publikací indexovaných na Web of Science, u nichž bylo možné získat full-text a které testovaly alespoň jednu hypotézu. Ke každé publikaci byly dohledány údaje o autorech (počet publikací, citovanost aj.). Metody: V každé publikaci jsme identifikovali hlavní hypotézy a zaznamenali reportované statistiky. Na jejich základě jsme odhadli replikovatelnost těchto studií pomocí několika různých statistických testů, a to jak pro celý soubor dohromady, tak i zvlášť podle počtu publikací autorů a dalších ukazatelů. Výsledky: Výsledky popisují replikovatelnost českého psychologického výzkumu. Zároveň ukazujeme souvislosti mezi publikační aktivitou autora a replikovatelností jeho výzkumu.Background: Bezdíček, Preiss and Dočkalová (2009) and Preiss and Mačudová (2012) rated the number of publications of Czech academics (professors and associate professors) and evaluated it as insufficient– however, the number of publications says nothing about their quality. One indicator of research quality is its replicability, which is one of the main topics in the present psychology science. It has been shown that at least part of psychological research is not replicable (e.g. Open Science Collaboration, 2015; Klein et al., 2016) and some of the published psychological effects actually do not exist. On the contrary, some effects can remain hidden due to poor research and underpowered design. Objectives: We introduce statistical methods to estimate the replicability of research and apply them to the Czech psychological publications. Sample: The sample was randomly selected from all Czech journal publications indexed on the Web of Science, where it was possible to get a full-text and which tested at least one hypothesis. For each publication, we search their authors and publication impact (number of publications, their citation etc.). Method: In each publication, we identified the main hypotheses and reported statistics. Then we estimated the replicability of these studies using several different statistical tests, both for the whole set and also stratified by the authors and other indicators. Results: The results describe the replicability of the Czech psychological research. We also show the relationship between authors’ publication activity and replicability of their research