La valutazione di ipotesi definite in accordo con le aspettative dei ricercatori o di prospettive teoriche è uno degli obiettivi principali della ricerca empirica. Quando viene condotto uno studio, infatti, i ricercatori di solito vogliono valutare la plausibilità delle loro ipotesi sulla base dei dati osservati. Per fare ciò, sono stati sviluppati diversi approcci statistici come, ad esempio, il Null Hypothesis Significance Testing (NHST).
In psicologia, il NHST è l'approccio statistico dominante per valutare le ipotesi di ricerca. In realtà, tuttavia, l'approccio NHST non consente ai ricercatori di rispondere alla domanda a cui di solito sono interessati. Infatti, l'approccio NHST non quantifica l'evidenza a favore di un'ipotesi, ma quantifica solo l'evidenza contro l'ipotesi nulla. Ciò può facilmente portare a un'errata interpretazione dei risultati che, insieme all'applicazione meccanica ad insensata dell'approccio NHST, è considerata una delle cause dell'attuale crisi di replicabilità.
Nella prima parte della tesi, introduciamo il framework della Design Analysis che ci permette di valutare i rischi inferenziali legati alla stima della dimensione dell'effetto quando si seleziona per la significatività. Nel caso di studi con campioni ridotti che valutano fenomeni complessi e con grande variabilità nei dati (tutte condizioni molto comuni in psicologia), la selezione per significatività può facilmente portare a risultati fuorvianti ed inaffidabili. Questo aspetto è spesso trascurato nella Power Analysis tradizionale. La Design Analysis, invece, mette in evidenza questo importante problema.
Nella seconda parte della tesi, ci spostiamo dal NHST verso l'approccio del Model Comparison. Il Model Comparison ci consente di valutare correttamente l'evidenza relativa a favore di un'ipotesi in base ai dati. In primo luogo, le ipotesi di ricerca vengono formalizzate sotto forma di diversi modelli statistici. Successivamente, queste vengono valutate secondo diversi possibili criteri come, ad esempio, gli Information Criteria e il Bayes Factor con encompassing prior. Gli Information Criteria valutano la capacità predittiva dei modelli penalizzando per la complessità del modello. Il Bayes Factor con encompassing prior, invece, consente ai ricercatori di valutare facilmente ipotesi informative con vincoli di uguaglianza e disuguaglianza sui parametri del modello.The evaluation of research and theoretical hypotheses is one of the principal goals of empirical research. In fact, when conducting a study, researchers usually have expectations based on hypotheses or theoretical perspectives they want to evaluate according to the observed data. To do that, different statistical approaches have been developed, for example, the Null Hypothesis Significance Testing (NHST).
In psychology, the NHST is the dominant statistical approach to evaluate research hypotheses. In reality, however, the NHST approach does not allow researchers to answer the question they usually are interested in. In fact, the NHST approach does not quantify the evidence in favour of a hypothesis, but it only quantifies the evidence against the null hypothesis. This can easily lead to the misinterpretation of the results that, together with a mindless and mechanical application of the NHST approach, is considered as one of the causes of the ongoing replicability crisis.
In the first part of the thesis, we introduce the Design Analysis framework that allows us to evaluate the inferential risks related to effect size estimation when selecting for significance. In the case of underpowered studies evaluating complex multivariate phenomena with noisy data (all very common conditions in psychology), selecting for significance can easily lead to misleading and unreliable results. This aspect is often neglected in traditional power Analysis. Design analysis, instead, highlights this relevant issue.
In the second part of the thesis, we move away from the NHST towards the model comparison approach. Model comparison allows us to properly evaluate the relative evidence in favour of one hypothesis according to the data. First, research hypotheses are formalized into different statistical models, subsequently, these are evaluated according to different possible criteria. We consider the information criteria and the Bayes Factor with encompassing prior. Information criteria assess models predictive ability penalizing for model complexity. Bayes Factor with encompassing prior, instead, allows researchers to easily evaluate informative hypotheses with equality and inequality constraints on the model parameters
