Brains in interaction

Wanneer twee mensen met elkaar communiceren, dan ontstaat er een soort tijdelijke verbinding tussen hen. Deze verbinding bestaat uit een keten van gebeurtenissen en begint bijvoorbeeld bij de hersenactiviteit in de motorische cortex van de ene persoon. Deze activiteit leidt tot gedrag, bijvoorbeeld het maken van een gebaar, dat wordt gezien door de andere persoon. Deze bekijkt en interpreteert dit gebaar wat leidt tot activiteit in de visuele, sensorische en associatieve cortices. Dit kan dan weer leiden tot hersenactiviteit in de motorische cortex, tot een ander gebaar en zo verder. Dit proefschrift beschrijft een hersenonderzoek naar zo’n dergelijke indirecte verbinding tussen twee mensen. Voordat ik in ga op het onderzoek wat we hebben uitgevoerd, is het belangrijk om iets te weten over de achtergrond en inspiratie waarop dit onderzoek is gebaseerd. De afgelopen jaren zijn er twee belangrijke ideeën ontwikkelt over hoe mensen elkaar begrijpen en met elkaar kunnen communiceren: het idee van een spiegelsysteem en een ‘redeneersysteem’. Deze twee ideeën vormen de basis van dit onderzoek en worden beschreven in de volgende paragraven. Verder heeft de ontwikkeling van ‘Granger causaliteit’, een analysemethode om verbindingen tussen hersengebieden vast te stellen ook een belangrijke rol gespeeld, deze wordt hierna beschreven. HE T S P I EGE L S Y S T E EM Het idee van spiegelen is dat ons brein de handelingen van andere mensen ‘nabootst’. Aan de basis van dit idee staat de ontdekking van spiegelneuronen (‘mirror neurons’) in de jaren negentig (Gallese et al., 1996; Pellegrino et al., 1992). Deze spiegelneuronen zijn min of meer per toeval ontdekt in een lab in Parma tijdens het meten van neuronen in het gebied F5 (ventrale premotorische cortex) van deMakaak aap. Een onderzoeker merkte op dat deze neuronen niet alleen reageerden op het moment dat de aap zelf een pinda oppakte, maar ook op het moment dat de aap naar de onderzoeker keek terwijl deze een pinda oppakte. Het was bekend dat deze neuronen betrokken zijn bij het uitvoeren van doelgerichte handelingen met de handen en met de mond. Maar nu werd opeens duidelijk dat deze gebieden ook sensorische eigenschappen bezitten (Kurata and Tanji, 1986; Rizzolatti et al., 1988). Deze neuronen representeren hiermee zowel het uitvoeren van een handeling als de waarneming van die handeling. De ontdekking van spiegelneuronen had een grote impact, omdat hiermee het vermoeden werd bevestigd dat waarnemen en handelen sterk aan elkaar gekoppeld zijn. Dit idee speelde al langer een rol in psychologische theorieën. James Gibson beweerde bijvoorbeeld dat perceptie bestaat uit het direct waarnemen van handelingsmogelijkheden (Gibson, 1986). Kort na de eerste ontdekking van spiegelneuronen wilde men weten of de menselijke hersenen ook zo’n dergelijk mechanisme bezitten. Omdat het meten van een individuele neuron vrijwel niet mogelijk is zonder een brein te beschadigen, richtten onderzoeken zich op de vraag of er wellicht hersengebieden bestaan die activiteit laten zien tijdens zowel het uitvoeren als het waarnemen van een handeling (Buccino et al., 2001; Grafton et al., 1996; Grèzes et al., 1998; Grèzes and Decety, 2001; Grèzes et al., 2003; Nishitani and Hari, 2000, 2002; Perani et al., 2001; Gazzola et al., 2007b,a; Gazzola and Keysers, 2008). Dat blijkt inderdaad zo te zijn en de gebieden met deze eigenschap vormen samen het menselijke spiegelsysteem (Keysers and Gazzola, 2009). Deze gebieden zijn de ventrale en dorsale premotorische cortex, de inferieure parietale cortex en de middelste superieure temporele gyrus (zie Figuur 3). Er bestaan overigens niet alleen spiegelgebieden die een overlap in activiteit laten zien voor het uitvoeren en waarnemen van handelingen, maar ook voor het ervaren en het waarnemen van emoties en sensaties, zoals walging, aanraking en pijn (Wicker et al., 2003; Keysers and Perrett, 2004; Singer et al., 2004; Bastiaansen et al., 2009). Innovatieve experimenten, die bijvoorbeeld gebruikmaken van ‘cross-modal repetition suppression’, hebben inmiddels wetenschappelijk bewijs geleverd voor het bestaan van individuele spiegelneuronen in de menselijke hersenen (Kilner et al., 2009; Lingnau et al., 2009; Chong et al., 2008;Mukamel et al., 2010). Doordat spiegelneuronen een directe link leggen tussen de handelingen die we zelf uitvoeren en de handelingen die we anderen zien doen, wordt aangenomen dat spiegelneuronen een functie hebben in het begrijpen van wat de ander aan het doen is (zie Rizzolatti and Sinigaglia, 2010, voor een recent overzicht van de literatuur). Bij het zien van een handeling van iemand anders wordt de motorische representatie van deze handeling in de eigen hersenen actief, alsof deze handeling zelf wordt uitgevoerd. Dit idee vormt de kern van de simulatietheorie: we begrijpen wat een ander doet doordat we deze handeling als het ware simuleren in onze eigen hersenen (Goldman, 1992; Gibson, 1986; Gallese, 2003). Belangrijk voor het onderzoek in dit proefschrift is dat de simulatietheorie een voorspellingmaakt over spiegelneuronen. Deze theorie beweert namelijk dat spiegelneuronen in het brein van degene die een handeling waarneemt resoneren met de spiegelneuronen van degene die de handeling uitvoert. De term‘resonantie’ wordt hier losjes gebruikt en er wordt mee bedoeld dat de pieken en dalen in de hersenactiviteit van het motorsysteem van de ene persoon overeenkomstige pieken en dalen veroorzaakt in de hersenactiviteit van het motorsysteem in de andere persoon (Gallese and Goldman, 1998; Gallese et al., 2004; Rizzolatti et al., 2001). In Hoofdstuk 4 van dit proefschrift wordt deze bewering over resonantie onderzocht. HE T REDENE ERS Y S T E EM Naast dit spiegelmechanisme waarmee we anderen begrijpen, bezitten we ook een meer reflectief vermogen om na te denken over wat er in anderen omgaat. Denk bijvoorbeeld aan een typische scene uit een soap, zoals The Bold and the Beautiful: Taylor and Ridge staan op het punt om met elkaar in het huwelijk te treden. Zonder dat Taylor dit weet, staat Brooke op het punt om te vertellen dat ze zwanger is van Ridge, hopende dat ze hiermee de bruiloft kan verhinderen. Om zo’n situatie te kunnen begrijpen en te kunnen waarderen, moeten we in staat zijn om bij te houden wat de verschillende personen wel en niet weten en wat ze zullen denken op het moment dat ze het te horen zullen krijgen. Dit soort bewuste denkprocessen wordt in de literatuur wel ‘Theory of Mind’ (ToM) genoemd (Premack andWoodruff, 1978; Wimmer and Perner, 1983) en vindt plaats in andere gebieden dan de spiegelgebieden (Frith and Frith, 1999, 2006). Het zijn de ‘redeneergebieden’ (zie Figuur 3), die actief zijn tijdens bijvoorbeeld het interpreteren van (strip)verhalen en het nadenken over jezelf en anderen (Amodio and Frith, 2006; Fletcher et al., 1995; Frith and Frith, 2006, 2003; Gallagher et al., 2000; Gusnard et al., 2001). De belangrijkste twee gebieden van dit redeneersysteem zijn de ventrale mediale prefrontale cortex en de temporeelparietale junctie. Over the decades, two important networks in the brain have been identified about how people interact: the mirror system and the mentalizing network. This thesis investigates how these networks work together during social interaction. We performed an experiment in which brain activity of two persons was measured while they engaged in a social communication game (Charades). Results showed that the mirror system is highly involved during the game, while the main mentalizing area does not show any involvement. We then extended a connectivity analysis, Granger causality, which is usually applied within one brain, to a between-brain analysis. With this method, we used brain activity of the gesturer to map regions in the brain of the guesser, whose brain activity has a Granger-causal relation to that of the gesturer. The mirror system of the gesturer shows a Granger-causal relation to the mirror system of the guesser, but also to the main mentalizing area of the guesser. This means that, even while this mentalizing area does not show involvement when analyzed using a classic method, it does show a temporal relationship with the brain activity of the gesturer. We furthermore performed simulations to investigate a possible confound of Granger causality: inter- and intrasubject variability in hemodynamic responses. Results show high sensitivity and accuracy for Granger causality between-brains, while sensitivity of within-brain Granger causality remains low. However, if a Grangercausality is found, this indicates the correct underlying direction in 80% of the cases. Finally, we used within-brain Granger causality to investigate how areas in the mirror system influence each other during gesturing and guessing.

Playing Charades in the fMRI: Are Mirror and/or Mentalizing Areas Involved in Gestural Communication?

Communication is an important aspect of human life, allowing us to powerfully coordinate our behaviour with that of others. Boiled down to its mere essentials, communication entails transferring a mental content from one brain to another. Spoken language obviously plays an important role in communication between human individuals. Manual gestures however often aid the semantic interpretation of the spoken message, and gestures may have played a central role in the earlier evolution of communication. Here we used the social game of charades to investigate the neural basis of gestural communication by having participants produce and interpret meaningful gestures while their brain activity was measured using functional magnetic resonance imaging. While participants decoded observed gestures, the putative mirror neuron system (pMNS: premotor, parietal and posterior mid-temporal cortex), associated with motor simulation, and the temporo-parietal junction (TPJ), associated with mentalizing and agency attribution, were significantly recruited. Of these areas only the pMNS was recruited during the production of gestures. This suggests that gestural communication relies on a combination of simulation and, during decoding, mentalizing/agency attribution brain areas. Comparing the decoding of gestures with a condition in which participants viewed the same gestures with an instruction not to interpret the gestures showed that although parts of the pMNS responded more strongly during active decoding, most of the pMNS and the TPJ did not show such significant task effects. This suggests that the mere observation of gestures recruits most of the system involved in voluntary interpretation

The Effect of the Visual Context in the Recognition of Symbolic Gestures

Background: To investigate, by means of fMRI, the influence of the visual environment in the process of symbolic gesture recognition. Emblems are semiotic gestures that use movements or hand postures to symbolically encode and communicate meaning, independently of language. They often require contextual information to be correctly understood. Until now, observation of symbolic gestures was studied against a blank background where the meaning and intentionality of the gesture was not fulfilled. Methodology/Principal Findings: Normal subjects were scanned while observing short videos of an individual performing symbolic gesture with or without the corresponding visual context and the context scenes without gestures. The comparison between gestures regardless of the context demonstrated increased activity in the inferior frontal gyrus, the superior parietal cortex and the temporoparietal junction in the right hemisphere and the precuneus and posterior cingulate bilaterally, while the comparison between context and gestures alone did not recruit any of these regions. Conclusions/Significance: These areas seem to be crucial for the inference of intentions in symbolic gestures observed in their natural context and represent an interrelated network formed by components of the putative human neuron mirro

fMRI exploration of the cerebral mechanisms of the perception of pain in others via facial expression

La douleur ressentie entraine des réactions de différents ordres : physique, neurologique, comportemental. L’expression de la douleur sur un visage constitue une de ces réactions, d’ordre comportemental. Cette expression faciale intègre les éléments caractérisant la douleur ressentie et il est possible de l’analyser en tant qu’observateur extérieur. Les travaux d’imagerie cérébrale étudiant la réaction du cerveau à la perception d’une douleur chez autrui ont mis en lumière un chevauchement entre les régions du cerveau réagissant à une douleur personnellement ressentie et celles réagissant à l’observation d’une expression de douleur chez les autres. Dans la première étude présentée ici, la réaction du cerveau à l’expression de la douleur chez autrui a été analysée en établissant dans quelle mesure l’intensité plus ou moins forte de la douleur exprimée pouvait moduler cette réaction. Les résultats de cette étude indiquent que la perception de la douleur chez autrui ne concerne pas seulement certaines régions du cerveau réagissant à la douleur personnellement ressentie mais aussi des régions habituellement impliquées dans le système des neurones miroirs (MNS; « human mirror neuron system ») ainsi que dans des régions associées à la Théorie de l’esprit (‘Theory of Mind’, ToM; ou « mentalizing »). En outre, ce travail montre que l’implication relative de ces différentes régions varie selon que la personne évalue la signification affective de l’expression – la magnitude de la douleur – ou qu’elle discrimine les composantes motrices de l’expression – les mouvements faciaux. Une deuxième étude a donc été réalisée, s’appuyant sur un paradigme combinant l’observation et l’exécution pour vérifier et confirmer la « réponse miroir » observée dans la première étude et pour examiner plus en détail les différences apparentes entre la résonance émotionnelle et la résonance motrice. En confirmation de la première étude, il a été établi que ce sont différentes régions du cerveau qui sont impliquées dans les réactions à l’expression de la douleur selon qu’elles relèvent de la résonance émotionnelle ou de la résonance motrice. En somme, ces résultats montrent que la perception de la douleur chez autrui est un processus complexe qui met en jeu un chevauchement entre les régions réagissant à une douleur personnellement ressentie et à une douleur constatée chez autrui, ainsi que les phénomènes de résonance motrice (« mirroring ») et de « mentalizing », processus plus généraux de la cognition sociale.The pain experience provokes several responses – physical, neural, behavioral. The facial expression of pain is one such behavioral response: it encodes the subjective experience of pain and, as observers, we can decode it. Neuroimaging studies looking at the brain response to the perception of pain in others have identified overlap between brain areas active for the experience of self-pain, and those active during the observation of pain in others. In the first study described below, the brain response to pain in others was investigated using a paradigm that investigated how the intensity of the perceived pain modulated the brain response. The results of this work indicate that the perception of pain in others involves not only certain brain regions involved in self-pain, but also regions previously implicated in the human mirror neuron system (MNS), as well as areas underlying Theory of Mind (i.e. mentalizing). Further, the relative contribution of these areas depended on whether the subject is evaluating the affective meaning of the expression – the pain magnitude – or if they are discriminating the motor components of the expression – the facial movements. A second study was thus designed, using a combined observation and execution paradigm, to confirm the mirroring response observed in the first study, as well as to further explore the hypothesized difference between emotional and motor mirroring. Similarly to the first study, it was found that different brain regions are responsible for mirroring for emotional, versus motor, content of the observed pain expressions. Taken together, these results reveal the perception of pain in others to be a complex process that involves overlap between self and other affective pain areas, as well as mirroring and mentalizing – more general processes of social cognition

Toward a second-person neuroscience

LS & BT : equal contributions (shared first-authorship)Peer reviewedPreprin

Neonatal imitation and early social experience predict gaze following abilities in infant monkeys

Individuals vary in their social skills and motivation, the causes of which remain largely unknown. Here we investigated whether an individual’s propensity to interact with others measured within days after birth, and differences in infants’ early social environment, may predict a later social skill. Specifically, we tested whether neonatal imitation—newborns’ capacity to match modelled actions—and social experience in the first months of life predict gaze following (directing attention to locations where others look), in infant macaques (Macaca mulatta; n = 119). Facial gesture imitation in the first week of life predicted gaze following at 7 months of age. Imitators were better at gaze following than non-imitators, suggesting neonatal imitation may be an early marker predicting socio-cognitive functioning. In addition, infants with rich social environments outperformed infants with less socialization, suggesting early social experiences also support the development of infants’ gaze following competence. The present study offers compelling evidence that an individual difference present from birth predicts a functional social cognitive skill in later infancy. In addition, this foundational skill—gaze following—is plastic, and can be improved through social interactions, providing infants with a strong foundation for later social interaction and learning

Social cognition and behavioral responses in kinematic interactions

As social beings, humans are constantly probed to infer intentions from verbal and non- verbal communication and to react according to the kinematic signals of other people. In this way, social cognition is tightly bound to our ability to perceive, predict and perform socially relevant actions. Being characterized by impairments in social interactions, in- dividuals with autism spectrum disorder (ASD) demonstrate insensitivity to predictive social stimuli as well as abnormal kinematic control both on the behavioral and the brain level. Underlining the severe consequences of impaired social interactive capabilities, autistic individuals are at high risk of social exclusion and concomitant mental health issues. Therefore, the investigation of the behavioral and brain responses to social ac- tions might yield valuable insights into the fundamental dynamics of social interactions, which could lay the foundation for clinical research and interventions in ASD. In order to provide first insights, the main goal of this thesis was to identify the non-pathological brain mechanisms in perceptual action prediction and action control within a social context. For this purpose, two functional magnetic resonance imaging (fMRI) experiments in healthy control participants were conducted: The first study of this thesis addressed the effect of observing communicative, i.e. predictive, actions on visual perception [interpersonal predictive coding (IPPC)]. By the use of point-light displays, we replicated behavioral findings of improved visual discriminability of a point-light agent after seeing a communicative as compared to an individual action of another point-light agent. Furthermore, our findings suggest a perceptual integration of social event knowledge implemented by the superior frontal gyrus (SFG) during predictive trials and a specific role of the amygdala in setting network configurations to meet the demands of the specific social context. Moving from a spectator perspective to direct involvement in a social interaction, the second study of this thesis examined the interaction of gaze processing and action control during an encounter with an anthropomorphic virtual character. The key finding of this second study comprises an increased functional coupling during high action control demands between the right temporoparietal junction (TPJ) as central gaze processing region and brain areas implicated in both action control processes and social cognition such as the inferior frontal gyri. The results of the two studies demonstrate that predictive social actions as well as direct gaze signals can modify multimodal functional integration in the brain, thereby recruiting and modulating activation in brain structures implicated in ASD. In this way, the two studies of this thesis underline the interdependence of social cognition and kinematic processes while providing a reference point for future studies on ASD

The role of social cognition in decision making

Successful decision making in a social setting depends on our ability to understand the intentions, emotions and beliefs of others. The mirror system allows us to understand other people's motor actions and action intentions. ‘Empathy’ allows us to understand and share emotions and sensations with others. ‘Theory of mind’ allows us to understand more abstract concepts such as beliefs or wishes in others. In all these cases, evidence has accumulated that we use the specific neural networks engaged in processing mental states in ourselves to understand the same mental states in others. However, the magnitude of the brain activity in these shared networks is modulated by contextual appraisal of the situation or the other person. An important feature of decision making in a social setting concerns the interaction of reason and emotion. We consider four domains where such interactions occur: our sense of fairness, altruistic punishment, trust and framing effects. In these cases, social motivations and emotions compete with each other, while higher-level control processes modulate the interactions of these low-level biases