Affective encoding in the speech signal and in event-related brain potentials

A number of perceptual features have been utilized for the characterization of the emotional state of a speaker. However, for automatic recognition suitable objective features are needed. We have examined several features of the speech signal in relation to accentuation and traces of event-related brain potentials (ERPs) during affective speech perception. Concerning the features of the speech signal we focus on measures related to breathiness and roughness. The objective measures used were an estimation of the harmonics-to-noise ratio, the glottal-to-noise excitation ratio, a measure for spectral flatness, as well as the maximum prediction gain for a speech production model computed by the mutual information function and the ERPs. Results indicate that in particular the maximum prediction gain shows a good differentiation between neutral and non-neutral emotional speaker state. This differentiation is partly comparable to the ERP results that show a differentiation of neutral, positive and negative affect. Other objective measures are more related to accentuation than to emotional state of the speaker

ERP correlates of motivating voices: quality of motivation and time-course matters

Here, we conducted the first study to explore how motivations expressed through speech are processed in real-time. Participants listened to sentences spoken in two types of well-studied motivational tones (autonomy-supportive and controlling), or a neutral tone of voice. To examine this, listeners were presented with sentences that either signaled motivations through prosody (tone of voice) and words simultaneously (e.g. ‘You absolutely have to do it my way’ spoken in a controlling tone of voice), or lacked motivationally biasing words (e.g. ‘Why don’t we meet again tomorrow’ spoken in a motivational tone of voice). Event-related brain potentials (ERPs) in response to motivations conveyed through words and prosody showed that listeners rapidly distinguished between motivations and neutral forms of communication as shown in enhanced P2 amplitudes in response to motivational when compared with neutral speech. This early detection mechanism is argued to help determine the importance of incoming information. Once assessed, motivational language is continuously monitored and thoroughly evaluated. When compared with neutral speech, listening to controlling (but not autonomy-supportive) speech led to enhanced late potential ERP mean amplitudes, suggesting that listeners are particularly attuned to controlling messages. The importance of controlling motivation for listeners is mirrored in effects observed for motivations expressed through prosody only. Here, an early rapid appraisal, as reflected in enhanced P2 amplitudes, is only found for sentences spoken in controlling (but not autonomy-supportive) prosody. Once identified as sounding pressuring, the message seems to be preferentially processed, as shown by enhanced late potential amplitudes in response to controlling prosody. Taken together, results suggest that motivational and neutral language are differentially processed; further, the data suggest that listening to cues signaling pressure and control cannot be ignored and lead to preferential, and more in-depth processing mechanisms

Physiological and psychological assessment of schizophrenia and affective disorders

The study examined data on the physiological and psychological changes which occur in schizophrenia and the affective disorders. The main physiological variable studied was the P3, a component of Event Related Potentials (ERPs), which has been hypothesized to reflect a manifestation of information processing involving the matching of incoming stimuli with the subject's cognitive set. Information processing deficits have also been implicated in schizophrenia and in the affective disorders.The specific aims were:a) to compare the P3 components of the ERPs in clinical groups (schizophrenia, bipolar depression and unipolar depression) and non - patient groups (normal controls and relatives of schizophrenic patients)b) to identify dysfunctional cognitive styles which correlate with abnormalities in P3 latency and amplitudec) to consider whether the cognitive and physiological abnormalities correlate with structural change measured by Magnetic Resonance Imaging (MRI) in the schizophrenic patientsd) to consider whether another physiological variable (Eye Tracking Dysfunction, ETD) which is also involved in information processing differentiates the groups and correlates with cognitive function and structural change.Three studies were conducted. In the first study, physiological responses (P3 and ETD) and psychological performance related to the formation and use of cognitive sets were identified in 24 schizophrenic, 10 bipolar manic, 10 bipolar depressed, 10 unipolar depressed and 24 control subjects. P3 latencies were found to be significantly different in the schizophrenic and bipolar groups compared with the control subjects. Deficits in cognitive function in these patient groups correlated significantly with increased P3 latencies, indicating that schizophrenic and bipolar subjects experience dysfunctions in cognitive set which are reflected in their physiological funtioning. Two sub -groups were identified in the schizophrenic population: one group showed a strong correlation between P3 latency and tests which are sensitive to frontal lobe function, and the other group showed a significant correlation between P3 latency and performance in verbal recall.In the second test, MRI measures of structural change were correlated with physiological and cognitive scores, to validate the specific deficits identified in the schizophrenic population. Thirty schizophrenic patients and thirty control subjects were assessed. The data indicated that the schizophrenic subjects who showed physiological abnormalities had frontal lobe or hippocampal impairment or both. A decline in IQ with illness was found in the sub -group which showed most frontal lobe impairment. The same psychological tests were applied to schizophrenic patients' relatives (n =30). Relatives with prolonged P3 latencies showed deficits in frontal lobe and hippocampal function which were similar to those found in the patients.The third study compared the P3 amplitude and latency of visual ERPs to emotive stimuli in 15 depressed, 15 recovered depressed and 15 control subjects. The physiological data were correlated with ratings of severity of depression, depressogenic attitudes and personality variables. Significant differences were found between the depressed and control subjects in the physiological and psychological data. A significant relationship between the physiological and psychological measures was established. The study supported cognitive theories of depression by showing a negative set in information processing.The results from the three studies supported the hypothesis that P3 abnormalities reflect dysfunctions in cognitive set

Cognitive control and discourse comprehension in schizophrenia.

Cognitive deficits across a wide range of domains have been consistently observed in schizophrenia and are linked to poor functional outcome (Green, 1996; Carter, 2006). Language abnormalities are among the most salient and include disorganized speech as well as deficits in comprehension. In this review, we aim to evaluate impairments of language processing in schizophrenia in relation to a domain-general control deficit. We first provide an overview of language comprehension in the healthy human brain, stressing the role of cognitive control processes, especially during discourse comprehension. We then discuss cognitive control deficits in schizophrenia, before turning to evidence suggesting that schizophrenia patients are particularly impaired at processing meaningful discourse as a result of deficits in control functions. We conclude that domain-general control mechanisms are impaired in schizophrenia and that during language comprehension this is most likely to result in difficulties during the processing of discourse-level context, which involves integrating and maintaining multiple levels of meaning. Finally, we predict that language comprehension in schizophrenia patients will be most impaired during discourse processing. We further suggest that discourse comprehension problems in schizophrenia might be mitigated when conflicting information is absent and strong relations amongst individual words are present in the discourse context."There is no "centre of Speech" in the brain any more than there is a faculty of Speech in the mind.The entire brain, more or less, is at work in a man who uses language"William JamesFrom The Principles of Psychology, 1890"The mind in dementia praecox is like an orchestra without a conductor"Kraepelin, 1919

The Influence of Emotional Content on Event-Related Brain Potentials during Spoken Word Processing

In unserem alltäglichen Leben ist Sprache ein unerlässliches Mittel für Kommunikation und die Umsetzung sozialer Interaktionen. Sprache kann in zwei verschiedene Modalitäten unterteilt werden, in die auditorische und die visuelle Modalität. Die auditorische Modalität umfasst gesprochene Sprache, wohingegen die visuelle Modalität vom geschriebenen Teil der Sprache gebildet wird. Auch wenn ein Tag ohne Sprechen für die meisten von uns unvorstellbar ist, hat die bisherige Forschung die Untersuchung von Effekten bei der Verarbeitung von emotionalem Bedeutungsinhalt in gesprochener Sprache, im Gegensatz zu der Verarbeitung von geschriebener Sprache, vernachlässigt. Die Verarbeitung des emotionalen Bedeutungsinhalts von geschriebenen Wörtern hat eine Vielzahl von Studien mit Hilfe von ereigniskorrelierten Potentialen (EKPs) ausführlich untersucht. Im Gegensatz dazu wurde der emotionale Bedeutungsinhalt bei der Verarbeitung von gesprochener Sprache nur gelegentlich und meist entweder in seiner Interaktion mit emotionaler Prosodie oder fokussiert auf die Existenz einer spezifischen EKP Komponente untersucht. Daher bleibt die Frage offen, wie und an welchen Verarbeitungsschritten der emotionale Inhalt gesprochener Sprache ereigniskorrelierte Potentiale beeinflusst, unabhängig von emotionaler Prosodie und der Frage, ob Gemeinsamkeiten mit der Verarbeitung von geschriebenen emotionalen Wörtern bestehen. In dieser Dissertation untersuche ich die Verarbeitung von gesprochenen Einzelwörtern mit positivem, neutralem und negativem Inhalt, mit der erkenntnisleitenden Fragestellung, ob der emotionale Inhalt von gesprochenen Wörtern Emotionseffekte in EKPs hervorruft und ob diese vergleichbar sind zu denen, die für geschriebene Wörter gezeigt wurden. In der ersten dieser Dissertation zugrundeliegenden Studie wurden gesprochene Wörter mit emotionalem und neutralem Inhalt den Versuchspersonen in zwei verschiedenen Lautstärken präsentiert, um mögliche Interaktionen mit bottom-up Aufmerksamkeitseffekten, geleitet durch die Größe des Stimulus, zu erklären. Für visuelle Stimuli mit emotionalem Inhalt, wie Bilder oder geschriebene Wörter, hat die Größe des Stimulus erhöhte emotions-bedingte EKPs hervorgerufen, zum Beispiel auf der Ebene der early posterior negativity (EPN). Es wurde untersucht, ob diese erhöhte Relevanz von größeren visuellen Stimuli auf die auditorische Modalität übertragbar sein könnte. Negativer emotionaler Bedeutungsinhalt führt zu einer erhöhten frontalen Positivierung und einer parieto-okzipitalen Negativierung zwischen 370 und 530 Millisekunden. Diese Komponente zeigt Ähnlichkeit mit der visuellen EPN, obwohl sich die Negativierung zu zentraleren Arealen der Kopfoberfläche ausweitet. Daher stellt sich die Frage, ob diese Komponente das auditorische Pendant zu einer visuellen EPN darstellen könnte. Entscheidend ist hier, dass keine Interaktion dieser emotions-bedingten EKP Komponente mit dem Lautstärkefaktor beobachtet werden kann. Die folgenden Vergleichsaspekte deuten auf umfassendere Unterschiede zwischen visueller und auditorischer Sprachverarbeitung hin: die fehlende Interaktion zwischen der Größe des Stimulus und der Emotionseffekte, die Unterschiede in den Topographien der Emotionseffekte sowie unterschiedliche Latenzen verglichen zu der visuellen EPN. Der zweite Teil dieser Dissertation ist auf einen direkteren Vergleich von Emotionseffekten in der visuellen und auditorischen Modalität ausgerichtet. Zu diesem Zweck wurde eine zweite Studie durchgeführt, in der Versuchspersonen dieselben Wörter in geschriebener und gesprochener Modalität präsentiert bekamen. Die gesprochenen Wörter wurden dabei sowohl von einer Computerstimme (Experiment 1) als auch von einer menschlichen Stimme (Experiment 2) produziert. Diese Studie wurde konzipiert, um die Existenz einer „auditorischen EPN“ und ihre Randbedingungen zu untersuchen. Darüber hinaus sollte die These überprüft werden, ob die höhere soziale Relevanz einer menschlichen Stimme die Emotionseffekte vergrößert. In beiden Experimenten zeigen sich Emotionseffekte. Für geschriebene Wörter zwischen 230 und 400 Millisekunden, im Zeitbereich der early posterior negativity, für gesprochene Wörter zwischen 460 und 510 Millisekunden. Wenn man die Verteilung der EKP Differenzen zwischen emotionalen und neutralen auditorischen Wörtern berücksichtigt, zeigen die Effekte interessanterweise sogar eine größere Ähnlichkeit mit der visuellen EPN als die Ergebnisse des ersten Teils dieser Dissertation. Eine Quellenlokalisierung ergab vergleichbare neuronale Generatoren im superioren parietalen Lobus (SPL) und im inferioren temporalen Lobus (IPL), sowohl im visuellen als auch im „auditorischen EPN“ Zeitfenster. Diese Befunde deuten auf Gemeinsamkeiten in der Verarbeitung emotionaler Inhalte über die Modalitäten hinweg hin, die – zumindest teilweise – durch das gleiche neuronale System gestützt werden. Trotzdem erscheinen diese Gemeinsamkeiten überraschend, da für die visuelle EPN angenommen wird, dass sie eine verstärkte sensorische Enkodierung für emotionale Stimuli in visuellen Arealen abbildet. Die oben beschriebenen und in diesen Studien gezeigten Emotionseffekte unterscheiden sich bezüglich ihrer Latenzen, Topographien und der Valenz, welche den Effekt hervorruft (positiv oder negativ). Im letzten Teil der Dissertation wurden daher systematisch Unterschiede zwischen den Studien untersucht um potenzielle Ursachen für die oben aufgeführten Unterschiede in den Emotionseffekten bestimmen zu können. Es zeigen sich Geschlechterunterschiede in den Topographien in Studie 2, die jedoch nicht die gefundenen Unterscheide in den Emotionseffekten zwischen den beiden Studien erklären können. Es wird angenommen, dass beide Studien die gleiche auditorische emotions-bedingte Komponente (AEK) in einem vergleichbaren Zeitfenster (Studie 1: 477 530 ms; Studie 2: 464 515 ms) hervorrufen, welcher in der ersten Studie eine N400-ähnlichen Verteilung vorausgegangen ist. Obwohl keine Interaktionen zwischen emotionalem Inhalt und Lautstärke aufgezeigt werden können, gehe ich davon aus, dass die Manipulation der Lautstärke in der ersten Studie den Kontext des Experiments verändert, und so den früheren Effekt ausgelöst hat. Auch wenn keine verifizierbaren Ursachen für die beschriebenen Unterschiede zwischen den Emotionseffekten aufgezeigt werden konnten, ist es mir mit dieser Dissertation gelungen, die Existenz einer auditorischen emotions-bedingten Komponente zu zeigen, die durch emotionalen (in Vergleich zu neutralem) Inhalt während der Verarbeitung von gesprochener Sprache hervorgerufen wird. Diese Komponente spiegelt sich in einer anterioren Positivierung und einer posterioren Negativierung zwischen 460 und 520 Millisekunden nach Wortbeginn wider. Diese zeigt sich gleichbleibend, unabhängig von der sozialen Signifikanz der Stimme des Sprechers oder der Manipulation der Lautstärke. Bezüglich eines Vergleich des zugrundeliegenden neuronalen Netzwerkes während der Verarbeitung des Inhalts von gesprochenen und geschriebenen Wörtern, kann man annehmen, dass die Verarbeitung Hirnareale aktiviert, die zumindest teilweise im SPL und IPL liegen. Obwohl die Verteilung der AEK eine hohe Ähnlichkeit zur visuellen EPN aufzeigt, kann man nicht annehmen, dass dieser Effekt ein auditorisches Pendant darstellt. Diese Schlussfolgerung beruht darauf, dass sich eine typische EPN-Verteilung nur bei der Berechnung der Differenzkurven von emotionalen und neutralen Stimuli zeigt. Die daraus resultierende posteriore Negativierung spiegelt eine erhöhte Aktivierung von visuellen Arealen - hervorgerufen durch emotionale Stimuli - wider. Die Analyse der zugrundeliegenden neuronalen Generatoren für den Unterschied zwischen auditorischen emotionalen und neutralen Stimuli liefert keine signifikanten Ergebnisse. Trotzdem zeigen die zugrundeliegenden Topographien der einzelnen Emotionskategorien, dass die Gemeinsamkeit auf der Ebene der Differenzkurven aus völlig unterschiedlichen Verteilungen resultiert. Zukünftige Forschung müsste das auditorische Stimulusmaterial bezüglich der Wortlänge oder des Worterkennungspunktes strikter kontrollieren, um den zeitlichen Jitter in den Daten zu reduzieren und somit die neuronalen Generatoren einer auditorischen emotions-bedingten Komponente besser bestimmen zu können

The brain is a prediction machine that cares about good and bad - Any implications for neuropragmatics?

Experimental pragmatics asks how people construct contextualized meaning in communication. So what does it mean for this field to add neuroas a prefix to its name? After analyzing the options for any subfield of cognitive science, I argue that neuropragmatics can and occasionally should go beyond the instrumental use of EEG or fMRI and beyond mapping classic theoretical distinctions onto Brodmann areas. In particular, if experimental pragmatics ‘goes neuro’, it should take into account that the brain evolved as a control system that helps its bearer negotiate a highly complex, rapidly changing and often not so friendly environment. In this context, the ability to predict current unknowns, and to rapidly tell good from bad, are essential ingredients of processing. Using insights from non-linguistic areas of cognitive neuroscience as well as from EEG research on utterance comprehension, I argue that for a balanced development of experimental pragmatics, these two characteristics of the brain cannot be ignored