Language structure in the brain: A fixation-related fMRI study of syntactic surprisal in reading

How is syntactic analysis implemented by the human brain during language comprehension? The current study combined methods from computational linguistics, eyetracking, and fMRI to address this question. Subjects read passages of text presented as paragraphs while their eye movements were recorded in an MRI scanner. We parsed the text using a probabilistic context-free grammar to isolate syntactic difficulty. Syntactic difficulty was quantified as syntactic surprisal, which is related to the expectedness of a given word's syntactic category given its preceding context. We compared words with high and low syntactic surprisal values that were equated for length, frequency, and lexical surprisal, and used fixation-related (FIRE) fMRI to measure neural activity associated with syntactic surprisal for each fixated word. We observed greater neural activity for high than low syntactic surprisal in two predicted cortical regions previously identified with syntax: left inferior frontal gyrus (IFG) and less robustly, left anterior superior temporal lobe (ATL). These results support the hypothesis that left IFG and ATL play a central role in syntactic analysis during language comprehension. More generally, the results suggest a broader cortical network associated with syntactic prediction that includes increased activity in bilateral IFG and insula, as well as fusiform and right lingual gyri

Complex Grammar Processing in the Brain: Development and Evaluation of a Child-Friendly fMRI Paradigm

In der Folge von links-hemisphärischen Hirnläsionen in der Prä- und Perinatalzeit kann eine Reorganisation von Sprachfunktionen in homotope Hirnareale der rechten Hemisphäre beobachtet werden. Dieser Kompensationsmechanismus ermöglicht später eine Sprachentwicklung ohne klinisch offensichtliche Schwächen. Wenn man die betroffenen Kinder jedoch genauer untersucht, können durchaus distinkte Sprachdefizite gefunden werden. Eine Verhaltensstudie von Schwilling et al., 2012 entdeckte signifikante Unterschiede zwischen Patienten mit reorganisierter (rechts-hemisphärischer) Sprachorganisation und einer gesunden Kontrollgruppe im Verstehen von nicht-kanonischen, objekt-topikalisierten Satzstrukturen. Inspiriert durch diese Ergebnisse war es unser Ziel ein Paradigma zu entwickeln, um die neuronalen Grundlagen dieser Unterschiede zu untersuchen. Insbesondere interessierte uns hierbei die Repräsentation der Verarbeitung von komplexen (nicht-kanonischen) im Vergleich zu einfachen (kanonischen) Satzstrukturen. Das Paradigma sollte geeignet sein für die Untersuchung von Kindern, Jugendlichen und jungen Erwachsenen mit reorganisierter Sprache. Diese Arbeit beschreibt, wie solch ein Paradigma entwickelt, umgesetzt und an 23 jungen Erwachsenen Probanden (12 Frauen; Durchschnittsalter: m = 24,39 ± 3,39 Jahre) erfolgreich pilotiert wurde. Es wurden 12 kindgerechte Szenarien mit jeweils 2 nicht-kanonischen und 2 kanonischen Satzbedingungen entwickelt. Die 48 Sätze wurden durch eine professionelle Sprecherin aufgenommen. Die visuelle Umsetzung erfolgte anhand kurzer Playmobil® stop-motion Filme. Als nicht-invasive bildgebende Methode wurde die funktionelle Magnetresonanztomographie (fMRT) genutzt. Eine Satz-Wiederholungs- („sentence repetition“, SR) und eine Wahrheits-Beurteilungs-Aufgabe („truth value judgement“, TVJ) wurden in ein gemischtes Block- und Event-Related Design eingebettet. Während der SR-Aufgabe mussten die Probanden den über Kopfhörer dargebotenen Satz laut und deutlich wiederholen (100% Konkordanz von Satz und Film). Während der TVJ-Aufgabe mussten die Probanden entscheiden, ob akustischer Satz und stop-motion Film inhaltlich übereinstimmten (50% Konkordanz von Satz und Film). Innerhalb der Aufgaben waren die 4 Satzbedingungen pseudorandomisiert. In beiden Aufgaben wurden die 2 nicht-kanonischen gegen die 2 kanonischen Satzbedingungen kontrastiert. Die Probanden zeigten keine Fehler bei der Wiederholung der Satzbedingungen. In der SR-Aufgabe zeigten sich Aktivierungen im linken superioren frontalen Gyrus, im rechten präzentralen Gyrus und im linken parahippocampalen Gyrus. Während der TVJ-Aufgabe waren die Fehlerraten für die nicht-kanonischen Satzbedingungen signifikant höher als für die kanonischen Satzbedingungen (11,9% nicht-kanonisch; 6,1% kanonisch; p = 0,0063). In der TVJ-Aufgabe zeigten sich Aktivierungen in der linken Insel, im linken inferioren frontalen Gyrus (pars opercularis), im rechten inferioren frontalen Gyrus (pars orbitalis) und im linken Cingulum. Die Aktivierung während der SR-Aufgabe im linken parahippocampalen Gyrus wird interpretiert als Hinweis darauf, dass das Merken und/oder Reproduzieren von objekt-topikalisierten Sätze auf mehr Unterstützung dieser Struktur angewiesen ist als bei kanonischen Satzstrukturen. Dies könnte durch das seltenere Auftreten von nicht-kanonischen Sätzen im Alltag oder durch deren höhere Komplexität zu erklären sein. Die Aktivierung im rechten präzentralen Gyrus könnte auf eine erschwerte auditorisch-zu-artikulatorische Planung hinweisen. Während der TVJ-Aufgabe könnte die Aktivierung in der linken Insel die motorische Planung von verdeckter Sprache widerspiegeln, welche zum Verstehen komplexer Inhalte genutzt wird. Die Aktivierung im linken Cingulum reflektiert wahrscheinlich eine ausgeprägtere kognitive Kontrolle bei der Bearbeitung der nicht-kanonischen Satzbedingungen. Dies könnte durch die unterschiedliche Vertrautheit der Strukturen oder durch ein nicht-Erfüllen der Erwartung der häufigeren kanonischen Struktur zu erklären sein. Die Beteiligung von linkem und rechtem inferiorem frontalen Gyrus (linker pars opercularis, rechter pars orbitalis) deutet auf höhere syntaktische und semantische Anforderungen für die Verarbeitung von nicht-kanonischen im Vergleich zu kanonischen Satzbedingungen hin. Das gute Abschneiden unserer Probanden in beiden Aufgaben deutet auf einen gewissen Deckeneffekt, welcher die resultierende Effektstärke limitiert haben könnte. Dies dürfte allerdings bei Kindern und Jugendlichen ein geringeres Problem sein. Die signifikant höhere Fehlerrate bei der nicht-kanonischen Satzstruktur, verbunden mit einem Aktivierungsmuster in Kern-Sprachregionen, deutet darauf hin, dass diese Aufgabe einen interessanten Ansatz für die Untersuchung dieses speziellen Aspektes des Sprachsystems bietet. Zusammenfassend lässt sich ableiten, dass dieses Paradigma sowohl geeignet wie auch vielversprechend ist für die Untersuchung der spezifischen Defizite bei Kindern und jungen Erwachsenen mit links-hemisphärischen Hirnläsionen

Behavioral and neural correlates of deep and surface anaphora

Thesis (Ph. D.)--Harvard-MIT Division of Health Sciences and Technology, 2011.Cataloged from PDF version of thesis.Includes bibliographical references (p. 126-134).Anaphora in language is defined as an expression that refers to another expression. Hankamer & Sag 1976 and Sag & Hankamer 1984 proposed that anaphors can be divided into deep anaphors, which are resolved using a non-linguistic discourse-level interpretation of the antecedent, and surface anaphors, which are resolved by accessing their antecedents at a linguistic level which is highly determined by surface syntactic structure. Previous behavioral studies of the differences between deep and surface anaphors have conflicting and inconsistent results. Additionally, no neuroimaging studies have previously been conducted on deep and surface anaphors or on verb-phrase anaphora in general. Using two sets of materials which differed in whether they used a surface or a deep anaphor, the behavioral and neural responses as a function of anaphor type were determined. One set of materials was used to examine the effect of placing an intervening sentence between the antecedent and anaphor (distance materials), and one set was used to examine the effect of shifted word order (particle shift materials), both of which were expected to affect surface anaphors more than deep anaphors. Behavioral responses were measured using naturalness ratings and self-paced reading times, and neural responses were measured using blood-oxygenlevel dependent (BOLD) signal differences obtained with functional magnetic resonance imaging (fMRI). Increasing the distance between the antecedent and anaphor affected surface anaphors more than deep anaphors in naturalness ratings, question response times, and BOLD signal, while altering word order had similar or insignificant effects on surface and deep anaphors. These results are consistent with Sag and Hankamer's idea that surface and deep anaphora are distinct categories that are processed differently, but are not consistent with the exact level of access of surface anaphora proposed by Sag and Hankamer. Instead, the results suggest that surface anaphors are more dependent on syntactic information that decays over distance than deep anaphors, but do not differ from deep anaphors in terms of accessing exact surface word order information.by Rebecca R. Woodbury.Ph.D

L'épilepsie bénigne à pointes centrotemporales : investigation cognitive et études en imagerie fonctionnelle et structurelle

L’épilepsie bénigne à pointes centrotemporales (EPCT) est la forme la plus fréquente des épilepsies idiopathiques chez l’enfant (Fastenau et al., 2009). Le pronostic de ces patients est bon, notamment en raison de la rémission spontanée de cette épilepsie à l’adolescence; toutefois plusieurs études suggèrent la présence de troubles cognitifs et de spécificités neuroanatomiques. Il n’existe pas actuellement de consensus sur les liens entre leurs troubles cognitifs et leurs particularités neuroanatomiques et neurofonctionnelles. Dans cette thèse, notre but est de préciser le profil des enfants ayant une épilepsie bénigne à pointes centro-temporales, en investiguant les caractéristiques des patients à plusieurs niveaux: cognitif, fonctionnel, structurel. La thèse est composée de quatre articles, dont deux articles empiriques. Notre premier article a pour objectif de recenser les difficultés cognitives et affectives rapportées par les études s’intéressant aux caractéristiques des enfants ayant une épilepsie bénigne. Bien qu’une certaine variabilité soit retrouvée dans la littérature, cette revue démontre qu’une histoire d’épilepsie, même bénigne, peut être un facteur de risque pour le développement cognitif et socio-affectif des enfants. Notre revue de littérature a indiqué des troubles particuliers du langage chez ces enfants, mais aucune étude n’avait auparavant investigué spécifiquement la compréhension de lecture chez les enfants ayant une EPCT, une compétence essentielle dans le cheminement scolaire des enfants. Ainsi, nous avons développé une tâche novatrice de compréhension de lecture de phrases en imagerie par résonnance magnétique fonctionnelle (IRMf), adaptée à la population pédiatrique. Dans notre second article, nous avons validé cette tâche auprès d’enfants sains et nous avons mis en évidence une mobilisation des régions cérébrales généralement engagées dans des tâches langagières chez l’enfant sain, y compris les régions impliquées dans le traitement sémantique (Berl et al., 2010; Blumenfeld, Booth et Burman, 2006). Le troisième article de cette thèse rapporte notre investigation du réseau cérébral activé durant cette nouvelle tâche de compréhension de lecture de phrases en IRMf chez les enfants ayant une EPCT. Nos résultats suggèrent que ces derniers ont recours à l’activation d’un réseau cérébral plus large, présentant des similarités avec celui retrouvé chez les enfants dyslexiques. Par ailleurs, l’activation du striatum gauche, structure généralement associée à la réalisation de processus cognitifs complexes est uniquement retrouvée chez les enfants épileptiques. Étant donné que les enfants ayant une EPCT obtiennent des performances à la tâche d’IRMf équivalentes à celles des enfants sains, il est possible d’émettre l’hypothèse que ces différences d’activations cérébrales soient adaptatives. L’étude des relations entre les résultats neuropsychologiques, la performance à la tâche et les activations cérébrales a mis en évidence des prédicteurs différents entre les deux groupes d’enfants, suggérant qu’ils ne s’appuient pas exactement sur les mêmes processus cognitifs pour réussir la tâche. De plus, nous avons réalisé un travail d’intégration des diverses méthodologies utilisées dans les études en imagerie pondérée en diffusion chez l’enfant épileptique, ce qui constitue le quatrième article de cette thèse. Nous rapportons les diverses applications de cette méthode dans la caractérisation des anomalies structurelles subtiles de la matière blanche chez les enfants épileptiques en général. Les différentes méthodologies employées, les enjeux, et les biais potentiels relatifs aux traitements des données de diffusion y sont discutés. Enfin, pour mieux comprendre l’origine et les marqueurs de cette épilepsie, nous avons étudié les spécificités structurelles des cerveaux des enfants ayant une EPCT à l’aide d’analyses sur les données d’imagerie par résonnance magnétique. Aucune différence n’a été mise en évidence au niveau de la matière grise entre les cerveaux d’enfants sains et ceux ayant une EPCT. À l’inverse, nous rapportons des différences subtiles au niveau de la matière blanche dans notre population d’enfants épileptiques, avec une diminution de l’anisotropie fractionnelle (FA) au niveau temporal inférieur/moyen de l’hémisphère gauche, ainsi que dans l’hémisphère droit dans les régions frontales moyennes et occipitales inférieures. Ces résultats suggèrent la présence d’altérations de la matière blanche subtiles et diffuses dans le cerveau des enfants ayant une EPCT et concordent avec ceux d’autres études récentes (Ciumas et al., 2014).Benign epilepsy with centrotemporal spikes (BECTS) is the most common idiopathic epilepsy in children. Owing to its spontaneous remission during adolescence, prognosis is usually good. However, studies have recently demonstrated cognitive deficits and neuroanatomical abnormalities in BECTS. To date, the relationship between cognitive impairment and brain function and structure in BECTS is unclear owing to a lack of consensus in the literature. The aim of the present thesis was to establish a multidimensional profile of children with BECTS, investigating impairments on a cognitive, functional and structural level as compared to healthy controls. The present thesis is composed of four articles, including two review articles and two empirical articles. Our first review article summarizes the cognitive and behavioural impairments reported by studies investigating the characteristics of children with BECTS. Although some variability was found in the literature, our review demonstrates that a history of childhood epilepsy, even if benign, can be considered as a risk factor for both cognitive and socio-affective development in children. More precisely, our review showed that children with BECTS present specific language impairments. However, none of the studies reviewed investigated reading comprehension in these children, which represent an essential academic skill. Thus, we developed an innovative functional magnetic resonance imaging (fMRI) sentence reading comprehension task, adapted to a pediatric population. In our first empirical article, we validated this task in healthy children. Our results were concordant with those of other studies investigating semantic processing in children (Berl et al., 2010; Blumenfeld et al., 2006). The second empirical article aimed at investigating cerebral reading networks activated in BECTS children during our fMRI sentence-reading comprehension task. Our results suggest that these children activate a larger cerebral reading network as compared to healthy controls, showing similar activation patterns to children with dyslexia while performing a similar task. Moreover, activations in the left striatum, a region generally associated with complex cognitive processes, were found in BECTS children. Given that the performance of these children on the fMRI task was similar to that of healthy controls, we hypothesize that these differences in brain reading network activations are adaptive. We further studied relationships between neuropsychological results, task performance and brain activations. Our results suggest that BECTS children rely on slightly different cognitive processes during task performance as compared to healthy controls. In addition, we performed an integrated review of various methodologies used in diffusion magnetic resonance imaging (dMRI) studies of epileptic children, which constitutes the second review article in the present thesis. We reported various applications of this method in the characterisation of subtle white matter abnormalities in epileptic children in general. The different methodologies utilized, the challenges and the potential biases associated with data processing were discussed. Finally, we investigated structural abnormalities in children with BECTS using MRI data in order to better understand the origin and markers of this epilepsy. No grey matter differences were found between BECTS children and healthy controls. However, we reported subtle white matter differences between groups, such that children with BECTS demonstrated a decreased fractional anisotropy (FA) in the middle/superior temporal region of the left hemisphere as well as in the middle frontal and inferior occipital regions of the right hemisphere. These results suggest subtle and diffuse white matter alterations in BECTS, supporting recently reported results (Ciumas et al., 2014)

Artificial grammar learning in primates :behaviour and neuroimaging

PhD ThesisNeuroimaging studies have shown that natural language processes engage left hemisphere perisylvian brain regions. Artificial Grammars (AG), which are designed to emulate aspects of language syntactic structure, recruit comparable brain areas. Nonhuman animals have been shown to learn a range of different AGs. However, no data is currently available regarding the brain areas that support these processes. In this thesis, I combined behavioural artificial grammar learning (AGL) and fMRI experiments to generate insights regarding language evolution, and as a first step to developing animal model systems for aspects of language processing. These experiments provide novel evidence that nonhuman primates are able to learn a non-deterministic AG, designed to emulate some of the variability of the structure of sentences in natural language, and demonstrated notable correspondences between the brain regions involved in macaque and human AGL. I developed a quantitative method to compare AGL abilities across species and studies, and a novel eye-tracking technique with which to collect objective behavioural data. Using this technique, and a refined version of a traditional video-coding paradigm, I demonstrated that Rhesus macaques notice violations of the AG structure and that these results could not be explained by reliance on simple cues. Common marmosets also showed evidence of AGL however, these results may have been driven by simple learning strategies. Comparative fMRI experiments showed that, in humans, violations of the AG activated a number of perisylvian brain regions associated with language processing, including the ventral frontal cortex (vFC), temporal and temporo-parietal regions, although not Broca’s area (BA44/45). In Rhesus macaques, comparable patterns of activation were seen in the ventral frontal cortex and temporo-parietal regions. Additional activation in BA44/45 in macaques provides interesting insights into the evolution of this region. These experiments provide novel evidence regarding the AGL capabilities of nonhuman primates, and the brain areas that support them, suggesting that some language related functions may represent generic, rather than language specific processes. Therefore, some of the brain regions involved in AGL in both species might share a common evolutionary heritage, and therefore Rhesus macaques might represent a valuable animal model system for aspects of language processing

Imaging neural correlates of syntactic complexity in a naturalistic context

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Linguistics and Philosophy, 2008.Includes bibliographical references (p. 253-280).The aim of this thesis, and the research project within which it is embedded, is to delineate a neural model of grammatical competence. For this purpose, we develop here a novel integrated, multi-disciplinary experimental paradigm that endorses the fundamental premise of generative grammar, that the study of language is in essence, the study of the mind. We use functional Magnetic Resonance Imaging (fMRI) to monitor brain activation while subjects listen to short narratives. The texts have been written so as to introduce various syntactic complexities (relative clauses, embedded questions, etc.) not usually found (in such density) in actual corpora. We have calculated a number of complexity measures (both at the level of the single word and at that of the phrase) based on current linguistic and psycholinguistic theory and with the use of a computationally implemented probabilistic parser. By correlating these measures with observed brain activity, we are able to identify the different brain networks that support linguistic processing and characterize their particular function. Conversely, we use the rich brain data to inform our cognitive, and linguistic, theory. We report here the neural correlates of surprisal (based on contextual predictions), syntactic complexity, structural ambiguity and disambiguation, Theory of Mind and non-local dependencies. This work made use of novel solutions to compute numerical predictions for these linguistic dimensions, which are often tested only qualitatively, and of a novel parametric fMRI design that allowed for the use of single subject unaveraged data as the dependent variable. The thesis ends with a synthesis of the results in the form of a blue print for a neural model of grammatical competence.by Asaf Bachrach.Ph.D