Granger Causality Mapping during Joint Actions Reveals Evidence for Forward Models That Could Overcome Sensory-Motor Delays

Studies investigating joint actions have suggested a central role for the putative mirror neuron system (pMNS) because of the close link between perception and action provided by these brain regions [1], [2], [3]. In contrast, our previous functional magnetic resonance imaging (fMRI) experiment demonstrated that the BOLD response of the pMNS does not suggest that it directly integrates observed and executed actions during joint actions [4]. To test whether the pMNS might contribute indirectly to the integration process by sending information to brain areas responsible for this integration (integration network), here we used Granger causality mapping (GCM) [5]. We explored the directional information flow between the anterior sites of the pMNS and previously identified integrative brain regions. We found that the left BA44 sent more information than it received to both the integration network (left thalamus, right middle occipital gyrus and cerebellum) and more posterior nodes of the pMNS (BA2). Thus, during joint actions, two anatomically separate networks therefore seem effectively connected and the information flow is predominantly from anterior to posterior areas of the brain. These findings suggest that the pMNS is involved indirectly in joint actions by transforming observed and executed actions into a common code and is part of a generative model that could predict the future somatosensory and visual consequences of observed and executed actions in order to overcome otherwise inevitable neural delays

When we move together : the neural correlates of joint action

Om een gedekte eettafel te verplaatsen zonder dat er iets omvalt, zijn er twee mensen nodig die hun handelingen nauwgezet kunnen coördineren. Dit proefschrift beschrijft wat er zich afspeelt in de hersenen terwijl mensen samen een handeling uitvoeren. We hebben dit onderzocht door gebruik te maken van sociale paradigma’s waarin de deelnemer van het experiment direct contact had met een ander persoon. Door middel van functionele Magnetische Resonantie (fMRI) hebben we hersengebieden geïdentificeerd die een rol spelen bij verschillende sociale taken. De deelnemers lagen in de MR-scanner en (1) speelden een coöperatief spel waarbij ze een gezamenlijke handeling moesten uitvoeren met de proefleider, (2) speelden hetzelfde spel als bij 1, maar nu met de computer, (3) drumden een simpel ritme met een drumpartner (respectievelijk Hoofdstuk 2 en 4). Door gebruik te maken van de analysemethode Granger Causaliteit (Hoofdstuk 3) konden we ook de informatiestroom onderzoeken van en naar de anterieure gebieden van het spiegelsysteem tijdens het spelen van het coöperatieve spel. Hiermee hebben we een dieper inzicht gekregen in de bijdrage van het spiegelsysteem aan gezamenlijke handelingen. Als laatste hebben we getest of hersenactiviteit in het beloningssysteem gerelateerd is aan het werkelijke sociale gedrag van de drumpartners (Hoofdstuk 4). Hoofdstuk 2 Het eerst beschreven fMRI experiment in dit proefschrift onderzoekt het hersennetwerk dat betrokken is bij het integreren van geobserveerde en uitgevoerde handelingen. Deze integratie onderscheidt een gezamenlijke handeling van het observeren en uitvoeren van een handeling op zich. Recent onderzoek heeft uitgewezen dat het spiegelsysteem in de hersenen de basis is van onze capaciteit om onze handelingen met die van anderen te kunnen afstemmen (Knoblich and Jordan, 2002; Newman-Norlund et al., 2008; Newman-Norlund et al., 2007a). Met behulp van fMRI hebben we de hersenactiviteit van proefpersonen gemeten terwijl ze een coöperatief spel speelden met de proefleider. Hun taak was om één van de twee wijzers van een klok-achtig apparaat te bewegen. Ze moesten hem of één kant op bewegen of een bepaalde vorm creëren samen met de wijzer van de proefleider. In de controle condities moest de deelnemer kijken naar de bewegingen van de wijzer van de proefleider zonder zelf iets te doen (observatie) of hij moest alleen zijn eigen wijzer bewegen zonder dat de proefleider iets deed (executie). Het spiegelsysteem is betrokken bij zowel het observeren als het uitvoeren van een handeling en omvat de linker inferieure frontale gyrus (IFG) en de linker inferieure parietale kwab (IPL). De gebieden die actiever waren gedurende het spel dan gedurende de observatie en executie condities lagen naast de gebieden van het spiegelsysteem in de IFG en de IPL. Ook vonden we activiteit in de temporale en occipitale cortex (het integratie netwerk). Onze resultaten suggereren dat bij het dynamisch koppelen van je eigen handelingen aan die van iemand anders meer gebieden in de hersenen betrokken zijn dan alleen het klassieke spiegelsysteem. Hoewel de resultaten van het eerste experiment een netwerk van hersengebieden laten zien die betrokken zijn bij de integratie van visuele input en motorische output, kunnen we niet zeggen of deze integratie activiteit specifiek is voor een wederzijdse afstemming die karakteristiek is voor gezamenlijke handelen, of dat het net zo sterk zou kunnen zijn gedurende een taak die slechts afstemming nodig heeft in één richting. Om te onderzoeken of de hersengebieden uit het eerste onderzoek gevoelig zijn voor wederzijdse coördinatie hebben we de helft van de deelnemers hetzelfde spel nogmaals laten spelen (a) met een proefleider die haar bewegingen aanpast aan die van de proefpersoon of (b) met een computer die dit niet doet. De resultaten hiervan laten zien dat hersenactiviteit in alle hersengebieden binnen het integratie netwerk en het spiegelsysteem sterker was tijdens het spelen met een menselijke tegenstander dan met een computer als tegenstander. Dit laat zien dat deze hersengebieden gevoelig zijn voor wederzijdse coördinatie. De contingentie die deelnemers bemerkten tussen de menselijke tegenstander en zijn eigen bewegingen (wederzijdse coördinatie) moet beide netwerken gevoelig hebben gemaakt voor de aanwezigheid van de ‘social loop’ die zo karakteristiek is voor gezamenlijke handelingen (Liepelt, et al. 2008). Hoofdstuk 3 In hoofdstuk 3 hebben we ons gericht op de bijdrage van het spiegelsysteem aan gezamenlijk handelen met een andere methode: Granger causaliteitsmapping (GCM). We hebben GCM toegepast op onze fMRI data en konden daarmee de gerichte informatiestroom vaststellen tussen de anterieure gebieden van het spiegelsysteem (BA 44 en BA 6) en de gebieden zoals geïdentificeerd in het eerste experiment. GCM op fMRI data maakt gebruik van het verschil in Granger Causaliteit (Roebroeck, et al. 2005). Simulaties hebben laten zien dat GCM toegepast op fMRI signalen niet kan laten zien of informatie op zich wordt verzonden van een gebied naar een ander gebied, het kan echter wel laten zien of er meer informatie de ene kant wordt opgestuurd ten opzichte van de andere kant (Roebroeck, et al. 2005). Door het volgen van deze methode komen we tot drie bevindingen: als eerste laten onze resultaten een voornamelijk achterwaartse informatiestroom zien (dus van linker frontaal BA 44 naar meer posterieure gebieden: bilateraal BA 2 binnen SI, rechter MOG). Dit suggereert dat de premotorische gebieden meer voorspellingen zenden naar sensorische gebieden dan andersom wanneer iemand bezig is met gezamenlijke handelingen met iemand anders. Dit is verenigbaar met het steeds prominenter wordende idee van ‘forward models’ (Gazzola and Keysers 2009; Keysers and Perrett 2004; Kilner, et al. 2007; Kilner, et al. 2004; Miall 2003; Wolpert, et al. 2003; Wolpert and Miall 1996). Waarschijnlijk is het zo dat het spiegelsysteem een rol speelt doordat het de sensorische vertragingen op kan vangen doordat het kan voorspellen wat de somatosensorische en visuele consequenties zullen zijn van geobserveerde en uitgevoerde handelingen van anderen. Als tweede hebben we gevonden dat anterieure gebieden van het spiegelsysteem in de linker hersenhelft (BA 44 en BA 6) gedurende gezamenlijk handelingen informatie uitwisselen met het integratienetwerk. Twee functioneel gescheiden netwerken worden dus effectief gekoppeld om te komen tot gezamenlijk handelen. Dit suggereert dat, wanneer iemand zijn of haar handelingen moet coördineren met die van iemand anders, het spiegelsysteem de rol van het integratienetwerk ondersteunt door de handelingen van de deelnemer en van de proefleider in eenzelfde code te representeren (Etzel, et al. 2008). Als laatste hebben we gevonden dat zowel de linker BA44 en de linker BA 6 meer informatie sturen naar het cerebellum dan dat ze ervan ontvangen. Tijdens het uitvoeren van bewegingen convergeert input van de premotorische cortex en de sensorische structuren in het cerebellum, wat de cerebellum tot een ideale plek maakt om in real time de afwijking tussen de bedoelde en de daadwerkelijk uitgevoerde beweging te berekenen en deze afwijking te gebruiken voor het verbeteren van de motoriek (Wolpert, et al. 1998). We speculeren dat het cerebellum gedurende gezamenlijke handelingen een soortgelijke integrerende rol speelt voor het detecteren van afwijkingen in de synchroniteit tussen iemand zijn eigen handelingen en die van een ander. Daarnaast hebben we gevonden dat het cerebellum meer input krijgt van de premotor cortex gedurende gezamenlijke handelingen dan gedurende solistische handelingen. Dit suggereert dat gedurende gezamenlijke handelingen, het cerebellum meer informatie zou kunnen ontvangen over de (voorspelde) handelingen van de ander, naast het motorische commando van de bedoelde handeling die het cerebellum van de premotor cortex ontvangt gedurende solistische uitvoering van een handeling. Dit geeft het cerebellum de informatie die het nodig heeft om de eigen handelingen goed af te stemmen met die van de ander. Hoofdstuk 4 In Hoofdstuk 4 onderzoeken we of het beloningssysteem, voornamelijk de caudate, een modulerend effect heeft op sociaal gedrag die volgt op gesynchroniseerde activiteit. We hebben de voorspelling getest dat de caudate een grote rol speelt in de koppeling tussen de ervaring van het synchroon handelingen uitvoeren en het beloningssysteem en dat deze koppeling sociaal gedrag moduleert. De caudate is in onze deelnemers betrokken bij een geldelijke beloning. We hebben neurale activiteit in dit gebied gemeten, terwijl we de mate van synchroniteit tussen drumpartners in een sociale drumtaak manipuleren. Gedurende deze taak geloofden de deelnemers dat ze aan het drummen waren met een van de twee proefleiders in afwisselende blokken in de MR-scanner. Een van de proefleiders drumde synchroon met de deelnemer, terwijl de andere proefleider niet synchroon drumde. De laatste herhaling van het fMRI experiment was ontworpen als een manipulatie waarin één van de proefleiders synchroon drumde (bij de helft van de deelnemers) of asynchroon drumde (bij de andere helft van de deelnemers). Hierna liet de proefleider, zogenaamd per ongeluk, 8 pennen op de grond vallen in nabijheid van de deelnemer, waarbij de deelnemer de keus had om zich altruïstisch te gedragen of niet. Deze gedragstest liet zien dat de deelnemers meer pennen opraapten om de drumpartner te helpen wanneer deze synchroon had gedrumd vergeleken met als er asynchroon was gedrumd tijdens het scannen. Onze fMRI resultaten laten zien dat het beloningsgebied, de caudate, actief wordt tijdens gesynchroniseerd drummen. Daarnaast voorspelt de activiteit in de caudate de hoeveelheid pennen die de deelnemer later opraapt om zijn of haar drumpartner te helpen. Deze resultaten impliceren dat onze hersenen gesynchroniseerde activiteit transformeren in basale beloningsactiviteit. Dit beïnvloedt, door middel van de caudate, toekomstige beslissingen om altruïstisch gedrag te vertonen tegenover de persoon met wie gesynchroniseerd is gehandeld. Dit laat zien dat de caudate de mediërende structuur is die gesynchroniseerd gedrag met anderen koppelt met de sociale effecten van het uitvoeren van gezamenlijke muzikale activiteiten. Dit licht een tipje van de sluier op over waarom gesynchroniseerd gedrag en de bijbehorende effecten hiervan zo wijd verspreid zijn in vele verschillende culturen door te laten zien dat het aangrijpt op het basale beloningssysteem, net zoals geld dat doet. Moving a set dinner table often takes two people, and doing so without spilling the glasses requires the close coordination of the two agents' actions. With the current thesis we aimed at investigating how our brain processes true social interactions in which a participant directly interacts with another agent. We investigated a range of joint actions in a series of functional magnetic resonance imaging (fMRI) experiments in which our participants (1) engaged in joint actions with an experimenter standing next to them during a cooperation game, (2) played the same cooperation game with a computer and (3) drummed a simple rhythm with a drum partner. In addition, we employed Granger causality mapping (GCM) to test the contribution of the Mirror Neuron System (MNS) to joint actions. Besides, we took the line of research investigating joint action one crucial step further by exploring the continuum from action to social behavior. Recently, interest in the behavioral effects of music making as a collective activity has surged. Many studies have demonstrated a link between joint action in musical context and a change in future social behavior. In the last chapter of this thesis we investigated this link with fMRI by measuring the neural processes associated with synchronized drumming in a reward area, caudate, and testing the effects of drumming together on prosocial behavior.

Acting together in and beyond the mirror neuron system

Moving a set dinner table often takes two people, and doing so without spilling the glasses requires the close coordination of the two agents' actions. It has been argued that the mirror neuron system may be the key neural locus of such coordination. Instead, here we show that such coordination recruits two separable sets of areas: one that could translate between motor and visual codes and one that could integrate these information to achieve common goals. The former includes regions of the putative mirror neuron system, the latter, regions of the prefrontal, posterior parietal and temporal lobe adjacent to the putative mirror neuron system. Both networks were more active while participants cooperated with a human agent, responding to their actions, compared to a computer that did not, evidencing their social dimension. This finding shows that although the putative mirror neuron system can play a critical role in joint actions by translating both agents' actions into a common code, the flexible remapping of our own actions with those of others required during joint actions seems to be performed outside of the putative mirror neuron system. (C) 2009 Elsevier Inc. All rights reserved

Synchronized drumming enhances activity in the caudate and facilitates prosocial commitment--if the rhythm comes easily

Why does chanting, drumming or dancing together make people feel united? Here we investigate the neural mechanisms underlying interpersonal synchrony and its subsequent effects on prosocial behavior among synchronized individuals. We hypothesized that areas of the brain associated with the processing of reward would be active when individuals experience synchrony during drumming, and that these reward signals would increase prosocial behavior toward this synchronous drum partner. 18 female non-musicians were scanned with functional magnetic resonance imaging while they drummed a rhythm, in alternating blocks, with two different experimenters: one drumming in-synchrony and the other out-of-synchrony relative to the participant. In the last scanning part, which served as the experimental manipulation for the following prosocial behavioral test, one of the experimenters drummed with one half of the participants in-synchrony and with the other out-of-synchrony. After scanning, this experimenter "accidentally" dropped eight pencils, and the number of pencils collected by the participants was used as a measure of prosocial commitment. Results revealed that participants who mastered the novel rhythm easily before scanning showed increased activity in the caudate during synchronous drumming. The same area also responded to monetary reward in a localizer task with the same participants. The activity in the caudate during experiencing synchronous drumming also predicted the number of pencils the participants later collected to help the synchronous experimenter of the manipulation run. In addition, participants collected more pencils to help the experimenter when she had drummed in-synchrony than out-of-synchrony during the manipulation run. By showing an overlap in activated areas during synchronized drumming and monetary reward, our findings suggest that interpersonal synchrony is related to the brain's reward system