Research on research:A meta-scientific study of problems and solutions in psychological science

De psychologie zit in een crisis. Het blijkt dat een steeds groter aantal “bewezen” effecten niet meer gevonden worden als onderzoek herhaald wordt. Hierdoor maken steeds meer onderzoekers zich zorgen dat psychologische effecten in de wetenschappelijke literatuur overschat zijn, of zelfs überhaupt niet bestaan. In dit proefschrift hebben we onderzocht of we in psychologische artikelen aanwijzingen konden vinden voor overschatte effecten en andere problemen. In het eerste deel van dit proefschrift hebben we onderzoek gedaan naar statistische inconsistenties in gepubliceerde artikelen. Hiervoor hebben we het programma statcheck ontwikkeld; een soort “spellingschecker” voor statistiek (Hoofdstuk 2 en 3). We vonden dat een groot deel van de psychologische artikelen inconsistenties bevatten (Hoofdstuk 2). Tegen onze verwachting in, vonden we geen bewijs dat artikelen die hun ruwe data deelden, minder kans hadden om statistische inconsistenties te bevatten (Hoofdstuk 4). Ik adviseer redacteurs van wetenschappelijke tijdschriften om statcheck te gebruiken om ingestuurde artikelen te controleren op fouten (Hoofdstuk 5). In het tweede deel van dit proefschrift onderzochten we een ander groot probleem: publicatiebias - artikelen die bewijs voor het bestaan van een effect vinden, hebben een grotere kans om gepubliceerd te worden dan artikelen die geen bewijs voor een effect vinden. Wanneer alleen “succesverhalen” worden gepubliceerd, levert dit een enorme vertekening op van de effecten in de wetenschappelijke literatuur. Tegen de intuïties van de meeste wetenschappers in, kan de vertekening zelfs erger worden als informatie uit verschillende studies wordt gecombineerd (Hoofdstuk 7). We vinden sterk bewijs dat effecten overschat zijn in een analyse van studies uit de sociale wetenschappen in het algemeen (Hoofdstuk 8), en in een grote set studies naar intelligentie (Hoofdstuk 9). In het intelligentie-onderzoek blijkt bovendien dat de steekproeven systematisch te klein zijn. In onze analyses hebben we geen studiekenmerken kunnen identificeren die samenhangen met effecten die sterker overschat zijn. In dit proefschrift vinden we bewijs voor een hoge prevalentie van statistische inconsistenties en overschatte effecten in de psychologie. Dit zijn problematische bevindingen, en het is belangrijk om na te denken over concrete oplossingen om de kwaliteit van psychologisch onderzoek te verhogen. Een van de oplossingen is preregistratie: onderzoekers publiceren hun hele onderzoeksplan online, voordat ze data gaan verzamelen. Op deze manier kunnen onderzoeken die geen bewijs vinden voor effecten niet ongezien verdwijnen in de archiefkasten, en wordt publicatiebias tegengegaan. Daarnaast is het belangrijk om herhaalonderzoek (replicaties) aan te moedigen, zodat eventuele overschatte effecten uiteindelijk gecorrigeerd worden. Verder zouden onderzoekers ruwe data en onderzoeksmaterialen vaker moeten delen, zodat eventuele fouten makkelijker aan het licht kunnen komen en verbeterd kunnen worden. Uiteindelijk draait het om de vraag: hoe kunnen we de kwaliteit van psychologisch onderzoek verbeteren? Om hiervoor de beste strategieën te selecteren, moeten we onderzoek doen naar onderzoek: meta-onderzoek. Als we wetenschappelijke methodes gebruiken om te bestuderen hoe we de wetenschap kunnen verbeteren, zie ik de toekomst van de psychologie rooskleurig tegemoet

Journal policies that encourage data sharing prove extremely effective

There is currently little incentive for researchers to share their data. But what if it was enough for journals to simply ask authors to make their data available? Michèle B. Nuijten reports on a recent study that found journal policies that encourage data sharing to be extremely effective, with a steep increase in the percentage of articles with open data from the moment these policies took effect. Even something as seemingly frivolous as offering a badge to display on your paper as a reward for sharing data can have a transformative effect, not only on the overall availability of data but also on its relevance, usability and completeness, as well as on the rigour and quality of science as a whole

statcheck - a spellchecker for statistics

A study has revealed a high prevalence of inconsistencies in reported statistical test results. Such inconsistencies make results unreliable, as they become "irreproducible", and ultimately affect the level of trust in scientific reporting. statcheck is a free, open-source tool that automatically extracts reported statistical results from papers and recalculates p-values. Following an investigation into its accuracy, Michèle B. Nuijten finds statcheck to be very effective at flagging inconsistencies and gross inconsistencies, with an overall accuracy of 96.2% to 99.9%

Towards a research agenda for promoting responsible research practices

This opinion piece aims to inform future research funding programs on responsible research practices (RRP) based on three specific objectives: (1) to give a sketch of the current international discussion on responsible research practices (RRPs); (2) to give an overview of current initiatives and already obtained results regarding RRP; and (3) to give an overview of potential future needs for research on RRP. In this opinion piece, we have used seven iterative methodological steps (including literature review, ranking, and sorting exercises) to create the proposed research agenda. We identified six main themes that we believe need attention in future research: (1) responsible evaluation of research and researchers, (2) the influence of open science and transparency on RRP, (3) research on responsible mentoring, supervision, and role modeling, (4) the effect of education and training on RRP, (5) checking for reproducibility, and (6) responsible and fair peer review. These themes have in common that they address aspects of research that are mostly on the level of the scientific system, more than on the level of the individual researcher. Some current initiatives are already gathering substantial empirical evidence to start filling these gaps. We believe that with sufficient support from all relevant stakeholders, more progress can be made

Replicability, Robustness, and Reproducibility in Psychological Science

Replication—an important, uncommon, and misunderstood practice—is gaining appreciation in psychology. Achieving replicability is important for making research progress. If findings are not replicable, then prediction and theory development are stifled. If findings are replicable, then interrogation of their meaning and validity can advance knowledge. Assessing replicability can be productive for generating and testing hypotheses by actively confronting current understandings to identify weaknesses and spur innovation. For psychology, the 2010s might be characterized as a decade of active confrontation. Systematic and multi-site replication projects assessed current understandings and observed surprising failures to replicate many published findings. Replication efforts highlighted sociocultural challenges such as disincentives to conduct replications and a tendency to frame replication as a personal attack rather than a healthy scientific practice, and they raised awareness that replication contributes to self-correction. Nevertheless, innovation in doing and understanding replication and its cousins, reproducibility and robustness, has positioned psychology to improve research practices and accelerate progress

The Meta-Plot: A Graphical Tool for Interpreting the Results of a Meta-Analysis

The meta-plot is a descriptive visual tool for meta-analysis that provides information on the primary studies in the meta-analysis and the results of the meta-analysis. More precisely, the meta-plot portrays (1) the precision and statistical power of the primary studies in themetaanalysis, (2) the estimate and confidence interval of a random-effects meta-analysis, (3) the results of a cumulative random-effects metaanalysis yielding a robustness check of the meta-analytic effect size with respect to primary studies' precision, and (4) evidence of publication bias. After explaining the underlying logic and theory, the meta-plot is applied to two cherry-picked meta-analyses that appear to be biased and to 10 randomly selected meta-analyses from the psychological literature. We recommend accompanying any meta-analysis of common effect size measures with the meta-plot

A many-analysts approach to the relation between religiosity and well-being

The relation between religiosity and well-being is one of the most researched topics in the psychology of religion, yet the directionality and robustness of the effect remains debated. Here, we adopted a many-analysts approach to assess the robustness of this relation based on a new cross-cultural dataset (N=10,535 participants from 24 countries). We recruited 120 analysis teams to investigate (1) whether religious people self-report higher well-being, and (2) whether the relation between religiosity and self-reported well-being depends on perceived cultural norms of religion (i.e., whether it is considered normal and desirable to be religious in a given country). In a two-stage procedure, the teams first created an analysis plan and then executed their planned analysis on the data. For the first research question, all but 3 teams reported positive effect sizes with credible/confidence intervals excluding zero (median reported β=0.120). For the second research question, this was the case for 65% of the teams (median reported β=0.039). While most teams applied (multilevel) linear regression models, there was considerable variability in the choice of items used to construct the independent variables, the dependent variable, and the included covariates