Sequential Bayesian updating for Big Data

The velocity, volume, and variety of big data present both challenges and opportunities for cognitive science. We introduce sequential Bayesian updat-ing as a tool to mine these three core properties. In the Bayesian approach, we summarize the current state of knowledge regarding parameters in terms of their posterior distributions, and use these as prior distributions when new data become available. Crucially, we construct posterior distributions in such a way that we avoid having to repeat computing the likelihood of old data as new data become available, allowing the propagation of information without great computational demand. As a result, these Bayesian methods allow continuous inference on voluminous information streams in a timely manner. We illustrate the advantages of sequential Bayesian updating with data from the MindCrowd project, in which crowd-sourced data are used to study Alzheimer’s Dementia. We fit an extended LATER (Linear Ap-proach to Threshold with Ergodic Rate) model to reaction time data from the project in order to separate two distinct aspects of cognitive functioning: speed of information accumulation and caution

Cortisol dynamics in depression:Application of a continuous-time process model

Background: The temporal dynamics of cortisol may be altered in depression. Optimally studying these dynamics in daily life requires specific analytical methods. We used a continuous-time multilevel process model to study set point (rhythm-corrected mean), variability around this set point, and regulation strength (speed with which cortisol levels regulate back to the set point after any perturbation). We examined the generalizability of the parameters across two data sets with different sampling and assay methods, and the hypothesis that regulation strength, but not set point or variability thereof, would be altered in depressed, compared to non-depressed individuals. Methods: The first data set is a general population sample of female twins (n = 523), of which 21 were depressed, with saliva samples collected 10 times a day for 5 days. The second data set consists of pair-matched clinically depressed and non-depressed individuals (n = 30), who collected saliva samples 3 times a day for 30 days. Set point, regulation strength and variability were examined using a Bayesian multilevel Ornstein-Uhlenbeck (OU) process model. They were first compared between samples, and thereafter assessed within samples in relation to depression. Results: Set point and variability of salivary cortisol were twice as high in the female twin sample, compared to the pair-matched sample. The ratio between set point and variability, as well as regulation strength, which are relative measures and therefore less affected by the specific assay method, were similar across samples. The average regulation strength was high; after an increase in cortisol, cortisol levels would decrease by 63 % after 10 min, and by 95 % after 30 min, but depressed individuals of the pair-matched sample displayed an even faster regulation strength. Conclusions: The relative parameters of the two data sets. The results suggest that regulation strength is increased in depressed individuals. We recommend the presented methodology for future studies and call for replications with more diverse depressed populations

Metastudies for Robust Tests of Theory

We describe and demonstrate an empirical strategy useful for discovering and replicating empirical effects in psychological science. The method involves the design of a metastudy, in which many independent experimental variables—that may be moderators of an empirical effect—are indiscriminately randomized. Radical randomization yields rich datasets that can be used to test the robustness of an empirical claim to some of the vagaries and idiosyncrasies of experimental protocols and enhances the generalizability of these claims. The strategy is made feasible by advances in hierarchical Bayesian modeling that allow for the pooling of information across unlike experiments and designs and is proposed here as a gold standard for replication research and exploratory research. The practical feasibility of the strategy is demonstrated with a replication of a study on subliminal priming

Time to get personal? The impact of researchers choices on the selection of treatment targets using the experience sampling methodology:The impact of researchers choices on the selection of treatment targets using the experience sampling methodology

OBJECTIVE: One of the promises of the experience sampling methodology (ESM) is that a statistical analysis of an individual’s emotions, cognitions and behaviors in everyday-life could be used to identify relevant treatment targets. A requisite for clinical implementation is that outcomes of such person-specific time-series analyses are not wholly contingent on the researcher performing them. METHODS: To evaluate this, we crowdsourced the analysis of one individual patient’s ESM data to 12 prominent research teams, asking them what symptom(s) they would advise the treating clinician to target in subsequent treatment. RESULTS: Variation was evident at different stages of the analysis, from preprocessing steps (e.g., variable selection, clustering, handling of missing data) to the type of statistics and rationale for selecting targets. Most teams did include a type of vector autoregressive model, examining relations between symptoms over time. Although most teams were confident their selected targets would provide useful information to the clinician, not one recommendation was similar: both the number (0–16) and nature of selected targets varied widely. CONCLUSION: This study makes transparent that the selection of treatment targets based on personalized models using ESM data is currently highly conditional on subjective analytical choices and highlights key conceptual and methodological issues that need to be addressed in moving towards clinical implementation

Analyzing core affect changes with the hierarchical Ornstein-Uhlenbeck process model

Onze emotionele levens worden gekenmerkt door veranderingen en fluctuaties doorheen de tijd. Verschillende onderzoekers in de emotiepsychologie hebben recent opgeroepen tot een nieuwe focus met een paradigma dat meer toepasselijk is voor de studie van emotionele dynamie k. In dit proefschrift willen we tot deze onderzoekslijn bijdragen. Ons hoofdd oel is het ontwikkelen van een coherent kader waarin we de dynamische eigenscha ppen van emotionele beleving kunnen modelleren. Hiertoe hebben we een hiërarc hisch model op basis van een stochastisch proces ontwikkeld. Verder gaan we di eper in op de algoritmische aspecten voor de statistische inferentie en tonen we hoe men een dergelijk model kan toepassen om de dynamische componenten van e moties te vatten. We baseren ons dynamisch model op het stochastische Ornstein-Uhlenbeckproces (OU proces). Dit proces laat toe om continue bewegingen doorheen de tijd te beschrijven met behulp van drie belangrij ke onderliggende eigenschappen (te weten: de gemiddelde positie, de intraindividuele variabiliteit en de centripetale tendens naar het gemid delde). Deze componenten kunnen rechtstreeks worden gekoppeld aan de belangrijks te eigenschappen van emotionele veranderingen. Omdat het waarschijnlijk is dat mensen onderling verschillen in deze aspecten, ontwerpen we een hiërarch ische (multilevel) versie van het model om interindividuele verschillen te kun nen onderzoeken. Een groot voordeel van de aanpak is dat het de belangrijkst e eigenschappen van emotionele verandering in één wiskundig model vat en tegelijkertijd met interindividuele verschillen rekening houdt. Het proefschrift opent met een Algemene inleiding. Dit is een korte uiteenzetting over de zin van wiskundige modellen in de emotiepsychologie. De rest van het proefschrift bestaat uit vijf manuscr ipten. Hoofdstuk 1 bevat een eerste versie van een hiërarchisch model op basis van het bivariate OU proces. We ontwikkelen een hiërarchi sch OU model waarbij de variabelen gemeten worden zonder meetfout. Het statisti sch kader waarin de infererenties gebeuren is Bayesiaans van aard, en we beschrijven het Markov chain Monte Carlo (MCMC) algoritme waarmee steekp roeven uit de posteriorverdeling getrokken worden. Op basis van de ontwikkelingen in het eerste hoofdstuk, stellen we in Hoofdstuk 2 een meer complexe versie van het hiërarchische OU model (HOU model) voor. In de versie van het model die in dit hoofdstuk wordt voorgesteld, is het mogelijk dat de geobserveerde variabelen aan meetfou t onderhevig zijn. Het model wordt dan ook op het latente niveau gedefinie erd. Dit hoofdstuk belicht hoofdzakelijk de implementatie van een MCMC algori tme voor de statistische inferentie met het model in het Bayesiaanse statist ische kader. Voorts wordt de methode getoetst in simulatiestudies. In Hoofdstuk 3 wordt het model uit het tweede hoofdstuk in groter detail besproken. Het doel van dit hoofdstuk is om het model en z ijn eigenschappen voor te stellen aan een breder publiek van onderzoekers me t een mogelijke interesse in het toepassen van het HOU model op inhoudelijke problemen. Het HOU model wordt stapsgewijze geïntroduceerd door eerst de overeenstemmende differentiaalvergelijking van de eerste orde te besprek en en vervolgens de stochastische differentiaalvergelijkingen. Het hoofdstuk b evat tevens een toepassing van het model op kernaffect. In Hoofdstuk 4 onderzoeken we op een meer uitgebreide wijze hoe valide onze aanpak is voor het modelleren van emotionele verandering en. Eerst geven we een gedetailleerd overzicht van de inhoudelijke theorie betreffende emotionele veranderingen en concluderen dat het basisprincip e van het HOU model met deze bevindingen overeenstemt. Dan passen we een uitge breide versie van het HOU model toe in twee studies en geven we statistische ev identie voor de validiteit van onze aanpak door verschillende aspecten van goodness-of-fit (hoofdzakelijk grafisch) te onderzoeken. Door het HOU mo del toe te passen, konden we nieuwe en consistente bevindingen trekken over de r elatie tussen de modelparameters en verschillende trekmaten. In Hoofdstuk 5 plaatsen we het model in een breder perspectief door het te vergelijken met een vaak toegepast algemeen stat istisch kader: de familie van de Linear Mixed Models (LMM). We bespreken enkele gelijkenissen tussen het HOU model en de LMMs. Verder geven we aan onder welke omstandigheden de ene aanpak nuttiger kan zijn dan de andere.status: publishe

Modeling core affect trajectories with stochastic models

The proposed doctoral research aims to explore the possibilities of developing stochastic process based statistical models for analyzing intensive longitudinal data. In the planned projects the major area of application is focused on emotion changes (mainly core affect variability, see e.g., Russell, 2003). In general and most importantly, the proposed models investigate the change mechanism in continuous time framework and they capture and explain interindividual variability with a special interest in regulatory mechanisms. In the first project we have modeled intraindividual variability with a specific continuous time, continuous state-space diffusion process - called the Ornstein-Uhlenbeck (OU) process - and we have extended it with a hierarchical structure to account for individual differences. It was applied to data from an experience sampling study on core affect. The findings involved the better understanding of interindividual differences in regulatory dynamics. The goal of the second project is to define a more flexible OU model with time-varying covariates and measurement error. This more complex model might reveal some intriguing substantive findings, such as the regulatory pattern around an attractor in a two-dimensional space, for instance in the core affect space. The third project seeks to investigate the potentials of the stochastic oscillator model, which has gained relatively little attention so far in the literature on modeling temporal change. Our approach involves extending the basic model hierarchically, fitting it within a Bayesian framework and comparing it to the OU model. As for the fourth project we propose a switching-state Markov model for capturing the qualitative changes in the behavior over time. The hypothesis here implies that the parameters driving the continuous space diffusion model may change over time. We expect that the described research will contribute to knowledge about the dynamics of the intraindividual temporal variability. The substantive findings should include a better understanding of the dynamics in emotion changes over time, particularly the interindividual differences in the intraindividual variation with respect to one’s core affect. We intend to formulate the models in a general way in order to provide a broad applicability.status: publishe