Who is that? Brain networks and mechanisms for identifying individuals

Social animals can identify conspecifics by many forms of sensory input. However, whether the neuronal computations that support this ability to identify individuals rely on modality-independent convergence or involve ongoing synergistic interactions along the multiple sensory streams remains controversial. Direct neuronal measurements at relevant brain sites could address such questions, but this requires better bridging the work in humans and animal models. Here, we overview recent studies in nonhuman primates on voice and face identity-sensitive pathways and evaluate the correspondences to relevant findings in humans. This synthesis provides insights into converging sensory streams in the primate anterior temporal lobe (ATL) for identity processing. Furthermore, we advance a model and suggest how alternative neuronal mechanisms could be tested

People-selectivity, audiovisual integration and heteromodality in the superior temporal sulcus

The functional role of the superior temporal sulcus (STS) has been implicated in a number of studies, including those investigating face perception, voice perception, and face–voice integration. However, the nature of the STS preference for these ‘social stimuli’ remains unclear, as does the location within the STS for specific types of information processing. The aim of this study was to directly examine properties of the STS in terms of selective response to social stimuli. We used functional magnetic resonance imaging (fMRI) to scan participants whilst they were presented with auditory, visual, or audiovisual stimuli of people or objects, with the intention of localising areas preferring both faces and voices (i.e., ‘people-selective’ regions) and audiovisual regions designed to specifically integrate person-related information. Results highlighted a ‘people-selective, heteromodal’ region in the trunk of the right STS which was activated by both faces and voices, and a restricted portion of the right posterior STS (pSTS) with an integrative preference for information from people, as compared to objects. These results point towards the dedicated role of the STS as a ‘social-information processing’ centre

A unified coding strategy for processing faces and voices

Both faces and voices are rich in socially-relevant information, which humans are remarkably adept at extracting, including a person's identity, age, gender, affective state, personality, etc. Here, we review accumulating evidence from behavioral, neuropsychological, electrophysiological, and neuroimaging studies which suggest that the cognitive and neural processing mechanisms engaged by perceiving faces or voices are highly similar, despite the very different nature of their sensory input. The similarity between the two mechanisms likely facilitates the multi-modal integration of facial and vocal information during everyday social interactions. These findings emphasize a parsimonious principle of cerebral organization, where similar computational problems in different modalities are solved using similar solutions

Emotional Voice Areas: Anatomic Location, Functional Properties, and Structural Connections Revealed by Combined fMRI/DTI

We determined the location, functional response profile, and structural fiber connections of auditory areas with voice- and emotion-sensitive activity using functional magnetic resonance imaging (fMRI) and diffusion tensor imaging. Bilateral regions responding to emotional voices were consistently found in the superior temporal gyrus, posterolateral to the primary auditory cortex. Event-related fMRI showed stronger responses in these areas to voices-expressing anger, sadness, joy, and relief, relative to voices with neutral prosody. Their neural responses were primarily driven by prosodic arousal, irrespective of valence. Probabilistic fiber tracking revealed direct structural connections of these "emotional voice areas” (EVA) with ipsilateral medial geniculate body, which is the major input source of early auditory cortex, as well as with the ipsilateral inferior frontal gyrus (IFG) and inferior parietal lobe (IPL). In addition, vocal emotions (compared with neutral prosody) increased the functional coupling of EVA with the ipsilateral IFG but not IPL. These results provide new insights into the neural architecture of the human voice processing system and support a crucial involvement of IFG in the recognition of vocal emotions, whereas IPL may subserve distinct auditory spatial functions, consistent with distinct anatomical substrates for the processing of "how” and "where” information within the auditory pathway

Investigating the Neural Basis of Audiovisual Speech Perception with Intracranial Recordings in Humans

Speech is inherently multisensory, containing auditory information from the voice and visual information from the mouth movements of the talker. Hearing the voice is usually sufficient to understand speech, however in noisy environments or when audition is impaired due to aging or disabilities, seeing mouth movements greatly improves speech perception. Although behavioral studies have well established this perceptual benefit, it is still not clear how the brain processes visual information from mouth movements to improve speech perception. To clarify this issue, I studied the neural activity recorded from the brain surfaces of human subjects using intracranial electrodes, a technique known as electrocorticography (ECoG). First, I studied responses to noisy speech in the auditory cortex, specifically in the superior temporal gyrus (STG). Previous studies identified the anterior parts of the STG as unisensory, responding only to auditory stimulus. On the other hand, posterior parts of the STG are known to be multisensory, responding to both auditory and visual stimuli, which makes it a key region for audiovisual speech perception. I examined how these different parts of the STG respond to clear versus noisy speech. I found that noisy speech decreased the amplitude and increased the across-trial variability of the response in the anterior STG. However, possibly due to its multisensory composition, posterior STG was not as sensitive to auditory noise as the anterior STG and responded similarly to clear and noisy speech. I also found that these two response patterns in the STG were separated by a sharp boundary demarcated by the posterior-most portion of the Heschl’s gyrus. Second, I studied responses to silent speech in the visual cortex. Previous studies demonstrated that visual cortex shows response enhancement when the auditory component of speech is noisy or absent, however it was not clear which regions of the visual cortex specifically show this response enhancement and whether this response enhancement is a result of top-down modulation from a higher region. To test this, I first mapped the receptive fields of different regions in the visual cortex and then measured their responses to visual (silent) and audiovisual speech stimuli. I found that visual regions that have central receptive fields show greater response enhancement to visual speech, possibly because these regions receive more visual information from mouth movements. I found similar response enhancement to visual speech in frontal cortex, specifically in the inferior frontal gyrus, premotor and dorsolateral prefrontal cortices, which have been implicated in speech reading in previous studies. I showed that these frontal regions display strong functional connectivity with visual regions that have central receptive fields during speech perception

The Neural Correlates of Face-Voice-Integration in Social Anxiety Disorder

Faces and voices are very important sources of threat in social anxiety disorder (SAD), a common psychiatric disorder where core elements are fears of social exclusion and negative evaluation. Previous research in social anxiety evidenced increased cerebral responses to negative facial or vocal expressions and also generally increased hemodynamic responses to voices and faces. But it is unclear if also the cerebral process of face-voice-integration is altered in SAD. Applying functional magnetic resonance imaging, we investigated the correlates of the audiovisual integration of dynamic faces and voices in SAD as compared to healthy individuals. In the bilateral midsections of the superior temporal sulcus (STS) increased integration effects in SAD were observed driven by greater activation increases during audiovisual stimulation as compared to auditory stimulation. This effect was accompanied by increased functional connectivity with the visual association cortex and a more anterior position of the individual integration maxima along the STS in SAD. These findings demonstrate that the audiovisual integration of facial and vocal cues in SAD is not only systematically altered with regard to intensity and connectivity but also the individual location of the integration areas within the STS. These combined findings offer a novel perspective on the neuronal representation of social signal processing in individuals suffering from SAD

Voice- Identity Processing in Patients with Brain Lesions

Hintergrund: Die menschliche Stimme wird in der Fachliteratur als “auditorisches Gesicht” bezeichnet (Belin et al., 2004), weil sie neben der Sprache auch Informationen zu Identität und Emotionen des Sprechers vermittelt, die wir in der alltäglichen Kommunikation mühelos wahrnehmen und verarbeiten. Zerebrale Pathologien, beispielsweise ischämische Hirninfarkte oder Hämorrhagien, können in der Folge verschiedene Kommunikationsdefizite verursachen. Ein bedeutsames Kommunikationsdefizit auf sprachlicher Ebene ist die Aphasie. Defizite der Stimmerkennung als eine Entität der nicht-sprachlichen Ebene werden durch den Begriff Phonagnosie definiert. Phonagnosie beschreibt ein Defizit der Stimmidentifizierung einschließlich der Analyse akustischer vokaler Signale, dem Wiedererkennen bekannter Stimmen und der semantischen Assoziation einer erkannten Stimme (Roswandowitz C, Maguinness C, von Kriegstein K., in rev.). Klinische Studien wiesen die Existenz von Stimmerkennungsdefiziten als eine mögliche Folge zerebraler Läsionen nach (Van Lancker and Canter, 1982; Van Lancker et al., 1989; Neuner and Schweinberger, 2000; Lang et al., 2009; Hailstone et al., 2011). Hierbei wurden insbesondere Läsionen der rechten Hemisphäre als zugrundeliegende neuronale Repräsentationen hervorgehoben, allerdings gelang bisher keine exakte Lokalisierung der betroffenen Hirnregionen bei isolierten Stimmerkennungsdefiziten. In funktionellen MRT-Studien an gesunden Probanden zeigten sich stimmspezifische Areale entlang des rechten superioren temporalen Gyrus und Sulcus (STG/S) (Belin et al., 2000; von Kriegstein et al., 2003; Kriegstein and Giraud, 2004). Zielsetzung: Ziel der vorliegenden Patientenstudie war es, mögliche isolierte Stimmerkennungsdefizite als Folge einer zerebralen Läsion nachzuweisen und zu charakterisieren. In einem zweiten Schritt widmete sich die Studie der Frage nach den neuronalen Korrelaten von Stimmerkennungsdefiziten. Wir stellten die Hypothesen auf, dass Stimmerkennungsdefizite (i) häufiger bei Patienten mit rechtshemisphärischen Läsionen und (ii) darüber hinaus als isoliertes Stimmerkennungsdefizit gegenüber kombinierten Defiziten von Stimm- und Gesichtererkennung auftreten können. Die Untersuchung von neuronalen Korrelaten dieser Defizite wurde in einer weiterführenden Analyse mittels Voxel-based lesion symptom mapping (VLSM) vorgenommen (Roswandowitz, C., Kappes, C., Obrig, H., von Kriegstein K., accepted, Brain). Material und Methoden: 40 Patienten der Tagesklinik für kognitive Neurologie der Universität Leipzig nahmen an der Studie teil. Alle Patienten wiesen unilaterale Hirnläsionen (n = 14 links, 24 rechts) auf, die entweder Folge eines cerebrovaskulären Ereignisses oder einer Tumorextraktion waren. Wir führten eine umfangreiche experimentelle Testreihe durch, die insbesondere der Stimmerkennung (Stimmlerntests und Tests zur Erkennung bekannter Stimmen) galt. Außerdem wurde die Kontrollmodalität der Gesichtererkennung und die Verarbeitung akustischer vokaler Signale (Pitch und Timbre) überprüft. Die individuelle Patientenwahrnehmung zur Stimm- und Gesichtererkennung erhoben wir in einem Fragebogen. Wir analysierten die Daten in IBM SPSS 22, für die Gruppenvergleiche wendeten wir sowohl parametrische als auch nicht-parametrische Tests, Varianzanalysen und bivariate Korrelationen an. In einem weiterführenden Teil der Studie wurden die behavioralen Daten und strukturelle MRTs anhand von Voxel-based lesion symptom mapping (VLSM) analysiert. Ergebnisse: In der Datenanalyse fanden sich im Gruppenvergleich der Patientien mit rechts- bzw. linkshemisphärischen Läsionen keine signifikanten Unterschiede in den Tests zur Stimmerkennung. Allerdings wiesen 9 Patienten, deren Läsionen ausschließlich rechtshemisphärisch lokalisiert waren, Stimmererkennungsdefizite auf. Die Lokalisation der Läsionen innerhalb der rechten Hemisphäre war heterogen. Während sechs Patienten dieser Gruppe ein kombiniertes Defizit der Gesichter- und Stimmerkennung zeigten, fand sich bei drei Patienten ein isoliertes Defizit der Stimmerkennung. Wir charakterisieren in der vorliegenden Arbeit das spezifische Verhaltensmuster und die Lokalisation der Läsionen dieser drei Patienten, die alle eine Beteiligung des rechten Temporallappens aufwiesen. Im Hinblick auf grundlegende Mechanismen der Stimmverarbeitung konnte insbesondere Timbre als relevantes akustisches Stimmsignal zur Erkennung neu erlernter Stimmen identifiziert werden. In der weiterführenden Analyse mittels VLSM wurden Assoziationen von (i) selektiven Defiziten der Stimmerkennung mit Läsionen im rechten Temporallappen sowie (ii) der Stimm-Gesichter-Integration im rechten inferioren Parietallappen nachgewiesen. Schlussfolgerungen: Die vorliegende Studie hebt auf der Grundlage des untersuchten Patientenkollektivs die bedeutsame Rolle der rechten Hemisphäre bei der Stimmerkennung hervor. Wir identifizierten drei Patienten mit isolierten Stimmerkennungsdefiziten, deren Läsionen sich im rechten Temporallappen befanden. Dieses Ergebnis stützt bisherige Evidenz zur Stimmverarbeitung an gesunden Probanden (Belin et al., 2000; Kriegstein and Giraud, 2004). Die weiterführende VLSM-Analyse, auf der Grundlage des vorliegenden Patientenkollektivs, charakterisiert spezifische Areale des rechten Temporallappens und inferioren Parietallappens als neuronale Korrelate defizitärer Stimmerkennung. In Erweiterung bisheriger klinischer Evidenz liefert die vorliegende Studie neue Erkenntnisse zu neuronalen Korrelaten von isolierten Stimmerkennungsdefiziten und Defiziten der Stimm- Gesichter -Integration (Roswandowitz, C., Kappes, C., Obrig, H. von Kriegstein K., in prep.). Im klinischen Kontext erlaubt die Studie einen weiteren Schritt zum besseren Verständnis von nonverbalen Kommunikationsdefiziten, insbesondere Stimmerkennungsschwierigkeiten, nach zerebralen Läsionen. Literatur: Belin P, Fecteau S, Bedard C (2004) Thinking the voice: neural correlates of voice perception. Trends Cogn Sci 8:129–135. Belin P, Zatorre RJ, Lafaille P, Ahad P, Pike B (2000) Voice-selective areas in human auditory cortex. Nature 403:309–312. Hailstone JC, Ridgway GR, Bartlett JW, Goll JC, Buckley AH, Crutch SJ, Warren JD (2011) Voice processing in dementia: a neuropsychological and neuroanatomical analysis. Brain 134:2535–2547. Kriegstein K V, Giraud AL (2004) Distinct functional substrates along the right superior temporal sulcus for the processing of voices. Neuroimage 22:948–955. Lang CJ, Kneidl O, Hielscher-Fastabend M, Heckmann JG (2009) Voice recognition in aphasic and non-aphasic stroke patients. J Neurol 256:1303–1306. Neuner F, Schweinberger SR (2000) Neuropsychological impairments in the recognition of faces, voices, and personal names. Brain Cogn 44:342–366. Roswandowitz, C., Kappes, C., Obrig, H. von Kriegstein K (2017) Voice-identity recognition deficits are induced by lesions in the temporal and inferior parietal lobe. Prep. Roswandowitz C., Maguinness C., von Kriegstein K., Deficits in voice-identity processing: acquired and developmental phonagnosia. Oxford Handb Voice Perception, under Rev. Van Lancker DR, Canter GJ (1982) Impairment of voice and face recognition in patients with hemispheric damage. Brain Cogn 1:185–195. Van Lancker DR, Kreiman J, Cummings J (1989) Voice perception deficits: neuroanatomical correlates of phonagnosia. J Clin Exp Neuropsychol 11:665–674. von Kriegstein K, Eger E, Kleinschmidt A, Giraud AL (2003) Modulation of neural responses to speech by directing attention to voices or verbal content. Brain Res Cogn Brain Res 17:48–55. von Kriegstein K, Smith DR, Patterson RD, Kiebel SJ, Griffiths TD (2010) How the human brain recognizes speech in the context of changing speakers. J Neurosci 30:629–638. Hintergrund: Die menschliche Stimme wird in der Fachliteratur als “auditorisches Gesicht” bezeichnet (Belin et al., 2004), weil sie neben der Sprache auch Informationen zu Identität und Emotionen des Sprechers vermittelt, die wir in der alltäglichen Kommunikation mühelos wahrnehmen und verarbeiten. Zerebrale Pathologien, beispielsweise ischämische Hirninfarkte oder Hämorrhagien, können in der Folge verschiedene Kommunikationsdefizite verursachen. Ein bedeutsames Kommunikationsdefizit auf sprachlicher Ebene ist die Aphasie. Defizite der Stimmerkennung als eine Entität der nicht-sprachlichen Ebene werden durch den Begriff Phonagnosie definiert. Phonagnosie beschreibt ein Defizit der Stimmidentifizierung einschließlich der Analyse akustischer vokaler Signale, dem Wiedererkennen bekannter Stimmen und der semantischen Assoziation einer erkannten Stimme (Roswandowitz C, Maguinness C, von Kriegstein K., in rev.). Klinische Studien wiesen die Existenz von Stimmerkennungsdefiziten als eine mögliche Folge zerebraler Läsionen nach (Van Lancker and Canter, 1982; Van Lancker et al., 1989; Neuner and Schweinberger, 2000; Lang et al., 2009; Hailstone et al., 2011). Hierbei wurden insbesondere Läsionen der rechten Hemisphäre als zugrundeliegende neuronale Repräsentationen hervorgehoben, allerdings gelang bisher keine exakte Lokalisierung der betroffenen Hirnregionen bei isolierten Stimmerkennungsdefiziten. In funktionellen MRT-Studien an gesunden Probanden zeigten sich stimmspezifische Areale entlang des rechten superioren temporalen Gyrus und Sulcus (STG/S) (Belin et al., 2000; von Kriegstein et al., 2003; Kriegstein and Giraud, 2004). Zielsetzung: Ziel der vorliegenden Patientenstudie war es, mögliche isolierte Stimmerkennungsdefizite als Folge einer zerebralen Läsion nachzuweisen und zu charakterisieren. In einem zweiten Schritt widmete sich die Studie der Frage nach den neuronalen Korrelaten von Stimmerkennungsdefiziten. Wir stellten die Hypothesen auf, dass Stimmerkennungsdefizite (i) häufiger bei Patienten mit rechtshemisphärischen Läsionen und (ii) darüber hinaus als isoliertes Stimmerkennungsdefizit gegenüber kombinierten Defiziten von Stimm- und Gesichtererkennung auftreten können. Die Untersuchung von neuronalen Korrelaten dieser Defizite wurde in einer weiterführenden Analyse mittels Voxel-based lesion symptom mapping (VLSM) vorgenommen (Roswandowitz, C., Kappes, C., Obrig, H., von Kriegstein K., in prep.). Material und Methoden: 40 Patienten der Tagesklinik für kognitive Neurologie der Universität Leipzig nahmen an der Studie teil. Alle Patienten wiesen unilaterale Hirnläsionen (n = 14 links, 24 rechts) auf, die entweder Folge eines cerebrovaskulären Ereignisses oder einer Tumorextraktion waren. Wir führten eine umfangreiche experimentelle Testreihe durch, die insbesondere der Stimmerkennung (Stimmlerntests und Tests zur Erkennung bekannter Stimmen) galt. Außerdem wurde die Kontrollmodalität der Gesichtererkennung und die Verarbeitung akustischer vokaler Signale (Pitch und Timbre) überprüft. Die individuelle Patientenwahrnehmung zur Stimm- und Gesichtererkennung erhoben wir in einem Fragebogen. Wir analysierten die Daten in IBM SPSS 22, für die Gruppenvergleiche wendeten wir sowohl parametrische als auch nicht-parametrische Tests, Varianzanalysen und bivariate Korrelationen an. In einem weiterführenden Teil der Studie wurden die behavioralen Daten und strukturelle MRTs anhand von Voxel-based lesion symptom mapping (VLSM) analysiert. Ergebnisse: In der Datenanalyse fanden sich im Gruppenvergleich der Patientien mit rechts- bzw. linkshemisphärischen Läsionen keine signifikanten Unterschiede in den Tests zur Stimmerkennung. Allerdings wiesen 9 Patienten, deren Läsionen ausschließlich rechtshemisphärisch lokalisiert waren, Stimmererkennungsdefizite auf. Die Lokalisation der Läsionen innerhalb der rechten Hemisphäre war heterogen. Während sechs Patienten dieser Gruppe ein kombiniertes Defizit der Gesichter- und Stimmerkennung zeigten, fand sich bei drei Patienten ein isoliertes Defizit der Stimmerkennung. Wir charakterisieren in der vorliegenden Arbeit das spezifische Verhaltensmuster und die Lokalisation der Läsionen dieser drei Patienten, die alle eine Beteiligung des rechten Temporallappens aufwiesen. Im Hinblick auf grundlegende Mechanismen der Stimmverarbeitung konnte insbesondere Timbre als relevantes akustisches Stimmsignal zur Erkennung neu erlernter Stimmen identifiziert werden. In der weiterführenden Analyse mittels VLSM wurden Assoziationen von (i) selektiven Defiziten der Stimmerkennung mit Läsionen im rechten Temporallappen sowie (ii) der Stimm-Gesichter-Integration im rechten inferioren Parietallappen nachgewiesen. Schlussfolgerungen: Die vorliegende Studie hebt auf der Grundlage des untersuchten Patientenkollektivs die bedeutsame Rolle der rechten Hemisphäre bei der Stimmerkennung hervor. Wir identifizierten drei Patienten mit isolierten Stimmerkennungsdefiziten, deren Läsionen sich im rechten Temporallappen befanden. Dieses Ergebnis stützt bisherige Evidenz zur Stimmverarbeitung an gesunden Probanden (Belin et al., 2000; Kriegstein and Giraud, 2004). Die weiterführende VLSM-Analyse, auf der Grundlage des vorliegenden Patientenkollektivs, charakterisiert spezifische Areale des rechten Temporallappens und inferioren Parietallappens als neuronale Korrelate defizitärer Stimmerkennung. In Erweiterung bisheriger klinischer Evidenz liefert die vorliegende Studie neue Erkenntnisse zu neuronalen Korrelaten von isolierten Stimmerkennungsdefiziten und Defiziten der Stimm- Gesichter -Integration (Roswandowitz, C., Kappes, C., Obrig, H. von Kriegstein K., in prep.). Im klinischen Kontext erlaubt die Studie einen weiteren Schritt zum besseren Verständnis von nonverbalen Kommunikationsdefiziten, insbesondere Stimmerkennungsschwierigkeiten, nach zerebralen Läsionen. Literatur: Belin P, Fecteau S, Bedard C (2004) Thinking the voice: neural correlates of voice perception. Trends Cogn Sci 8:129–135. Belin P, Zatorre RJ, Lafaille P, Ahad P, Pike B (2000) Voice-selective areas in human auditory cortex. Nature 403:309–312. Hailstone JC, Ridgway GR, Bartlett JW, Goll JC, Buckley AH, Crutch SJ, Warren JD (2011) Voice processing in dementia: a neuropsychological and neuroanatomical analysis. Brain 134:2535–2547. Kriegstein K V, Giraud AL (2004) Distinct functional substrates along the right superior temporal sulcus for the processing of voices. Neuroimage 22:948–955. Lang CJ, Kneidl O, Hielscher-Fastabend M, Heckmann JG (2009) Voice recognition in aphasic and non-aphasic stroke patients. J Neurol 256:1303–1306. Neuner F, Schweinberger SR (2000) Neuropsychological impairments in the recognition of faces, voices, and personal names. Brain Cogn 44:342–366. Roswandowitz, C., Kappes, C., Obrig, H. von Kriegstein K (2017) , accepted, Obligatory and facultative brain regions for voice-identity recognition, Brain Roswandowitz C., Maguinness C., von Kriegstein K., Deficits in voice-identity processing: acquired and developmental phonagnosia. Oxford Handb Voice Perception, under Rev. Van Lancker DR, Canter GJ (1982) Impairment of voice and face recognition in patients with hemispheric damage. Brain Cogn 1:185–195. Van Lancker DR, Kreiman J, Cummings J (1989) Voice perception deficits: neuroanatomical correlates of phonagnosia. J Clin Exp Neuropsychol 11:665–674. von Kriegstein K, Eger E, Kleinschmidt A, Giraud AL (2003) Modulation of neural responses to speech by directing attention to voices or verbal content. Brain Res Cogn Brain Res 17:48–55. von Kriegstein K, Smith DR, Patterson RD, Kiebel SJ, Griffiths TD (2010) How the human brain recognizes speech in the context of changing speakers. J Neurosci 30:629–638