Affect Recognition in Human Emotional Speech using Probabilistic Support Vector Machines

The problem of inferring human emotional state automatically from speech has become one of the central problems in Man Machine Interaction (MMI). Though Support Vector Machines (SVMs) were used in several worksfor emotion recognition from speech, the potential of using probabilistic SVMs for this task is not explored. The emphasis of the current work is on how to use probabilistic SVMs for the efficient recognition of emotions from speech. Emotional speech corpuses for two Dravidian languages- Telugu & Tamil- were constructed for assessing the recognition accuracy of Probabilistic SVMs. Recognition accuracy of the proposed model is analyzed using both Telugu and Tamil emotional speech corpuses and compared with three of the existing works. Experimental results indicated that the proposed model is significantly better compared with the existing methods

Components of strategic competence in advanced foreign language users

Niniejsza rozprawa doktorska podejmuje temat kompetencji strategicznej u zaawansowanych użytkowników języka obcego. W szczególności poświęcono ją zbadaniu funkcjonowania modelu kompetencji strategicznej Bachman’a i Palmer’a (1996), który zakłada, że jest ona zbiorem strategii metakonitywnych regulowanych przez czynniki afektywne, a nie tylko opanowaniem umiejętnego posługiwania się strategiami komunikacyjnymi. Główne cele niniejszej pracy obejmują: • określenie, czy model Bachman’a i Palmer’a oddaje dynamiczną naturę spontanicznej wypowiedzi, w naszym przypadku – zaawansowanych użytkowników języka; • obserwację dotyczącą założeń w/w modelu, według których użytkownicy: określają cel komunikacji przed rozpoczęciem wypowiedzi, oceniają swoją wypowiedź w czasie realnym oraz ją planują; • zbadanie, czy prawidłowe określenie lub nieokreślenie celu komunikacji wpływa na pozostałe składowe kompetencji strategicznej, jak i stosowane przez nich strategie komunikacyjne; • określenie, jakie to są strategie i jaką ich część stanowią strategie parajęzykowe (zdecydowaliśmy się zastosować nazwę parajęzykowe (Corder, 1983), ponieważ w trakcie badania zaobserwowaliśmy, że większości z nich nie da się odizolować od strategii stricte językowych); • określenie, jak często zaawansowani użytkownicy języka stosują strategie prajęzykowe i w jaki sposób współgrają one ze strategiami językowymi; • określić, czy zastosowanie strategii metakonitywnych wymienionych przez Bachman’a i Palmer’a (1996) jest faktycznie związanie ze świadomością językową; • sprawdzenie, czy zaawansowani użytkownicy języka w naszym przypadku studenci piątego roku anglistyki, stosują w praktyce wiedzę zdobytą na przedmiotach teoretycznych; 294 • zbadanie wypowiedzi zaawansowanych użytkowników pod kątem nowych składowych kompetencji strategicznej, które nie zostały wyróżnione przez Bachman’a i Palmer’a (1996) i opisaniu ich charakterystyki. Rozprawa składa się z dwóch części. W części pierwszej obejmującej rozdziały I – VI, przedstawiono badania bezpośrednio lub pośrednio związane z zagadnieniem kompetencji strategicznej. Rozdział I, jest poświęcony historii badań dotyczących zagadnienia kompetencji językowej i wyróżnienia w niej jako elementu składowego kompetencji strategicznej. Rozdział II zawiera prezentację modelu Bachman’a (1990) i jego zmodyfikowanej i rozwiniętej wersji zaprezentowanej przez Bachman’a i Palmer’a (1996). Następny rozdział prezentuje kognitywne podstawy teoretyczne związane z określeniem celu komunikacji oraz planowaniem. Rozdział IV prezentuje afektywne aspekty oceny w realnym czasie spontanicznej wypowiedzi z perspektywy badań neurolingwistycznych. Rozdział V prezentuje strategie komunikacyjne, związane z produkcją. Szczególna uwagę poświęcono na to, jak w taksonomiach strategii komunikacyjnych ujmowane są strategie para językowe. Ostatni rozdział określa relację pomiędzy zagadnieniem kompetencji strategicznej a zaawansowanym użytkownikiem języka. Część druga niniejszej rozprawy, obejmująca rozdziały VII-IX stanowi opis badań ilościowych i jakościowych przeprowadzonych przez autorkę rozprawy. Rozdział VII, stanowiący wstęp do badania głównego, zawiera opis pytań badawczych, schemat badań oraz szczegółowe sprawozdanie z badania pilotażowego, a także opis metod badawczych, w tym opis próby, instrumentów oraz procedur badawczych. W rozdziale VIII zaprezentowano wyniki oraz analizę danych, a w rozdziale IX, następujące wnioski. Model kompetencji strategicznej zaproponowanej przez Bachman’a i Palmer’a (1996) pozwala na zdiagnozowanie jej poziomu u zaawansowanych użytkowników języka; określenie celu komunikacji jest najbardziej strategicznym składnikiem kompetencji strategicznej rozumianej jako zbiór strategii metakognitywnych. Tylko 37% badanych użytkowników było w stanie określić ten cel prawidłowo. Prawidłowe, bądź nie, określenie celu komunikacji pozwoliło na wyodrębnienie dwóch grup użytkowników, u których zaobserwowaliśmy następujące różnice: 295 • użytkownicy, którzy poprawnie określili cel komunikacji byli bardziej refleksyjni i świadomi tego, jak przebiegała ich wypowiedź udzielając więcej ilości komentarzy podczas kierowanej retrospekcji; • poprawne określenie celu komunikacji miało także wpływ na to, jak przebiegała ocena wypowiedzi przez badanych, wzorzec afektywny różnił się w obydwu grupach, co można było zaobserwować na podstawie aktywacji mięśni twarzy, które są nieodłącznie związane z oceną sytuacji (nad którą można sprawować kontrolę lub nie); to z kolei dowodzi, że kompetencja strategiczna rozumiana jako zbiór strategii metakognitywnych łączy w sobie teorię z podstawami neuroanatomicznymi regulującymi naszym zachowaniem, także językowym; • w przypadku planowania, obydwie grupy badanych w większości deklarowały, że nie planowały swojej wypowiedzi ani globalnie, ani lokalnie, natomiast dane zebrane w trakcie obserwacji wykazały, że globalny plan wypowiedzi jest ściśle związany z określeniem celu komunikacji; plan lokalny był realizowany w formie parafraz; użytkownicy, którzy poprawnie określili cel komunikacji parafrazowali znacznie częściej (nie byli sztywni syntaktycznie) niż ci, którzy cel komunikacji określili źle; parafrazowanie dowodzi, że użytkownik posiada pewien plan lub wzorzec, który chce zrealizować i parafraza jest narzędziem, które ma do tego doprowadzić; • produkcja, która jest ostatnim elementem kompetencji strategicznej w naszym badaniu dotyczy przede wszystkim strategii komunikacyjnych, które zdecydowanie różniły się pod względem jakościowym i ilościowym w obydwu grupach; wbrew przekonaniu, że to niekompetencja lub luki wiedzy przyczyniają się do stosowania strategii okazało się, że to użytkownicy, którzy poprawnie określili cel komunikacji częściej stosowali strategie komunikacyjne. Na postawie przeprowadzonego badania nie wyodrębniono nowego składnika kompetencji strategicznej, jako że uważamy, iż model zaproponowany przez Bachman’a i Palmer’a (1996) określa precyzyjnie dynamiczną naturę kompetencji strategicznej. Wszystkie materiały badawcze zamieszczono w aneksie oraz na płycie DVD- ROM (okładka). Pracę kończy Bibliografia, zawierająca wykaz cytowanych prac

Emotional Prosody Processing in the Schizophrenia Spectrum.

THESIS ABSTRACT Emotional prosody processing impairment is proposed to be a main contributing factor for the formation of auditory verbal hallucinations in patients with schizophrenia. In order to evaluate such assumption, five experiments in healthy, highly schizotypal and schizophrenia populations are presented. The first part of the thesis seeks to reveal the neural underpinnings of emotional prosody comprehension (EPC) in a non-clinical population as well as the modulation of prosodic abilities by hallucination traits. By revealing the brain representation of EPC, an overlap at the neural level between EPC and auditory verbal hallucinations (AVH) was strongly suggested. By assessing the influence of hallucinatory traits on EPC abilities, a continuum in the schizophrenia spectrum in which high schizotypal population mirrors the neurocognitive profile of schizophrenia patients was established. Moreover, by studying the relation between AVH and EPC in non-clinical population, potential confounding effects of medication influencing the findings were minimized. The second part of the thesis assessed two EPC related abilities in schizophrenia patients with and without hallucinations. Firstly, voice identity recognition, a skill which relies on the analysis of some of the same acoustical features as EPC, has been evaluated in patients and controls. Finally, the last study presented in the current thesis, assessed the influence that implicit processing of emotional prosody has on selective attention in patients and controls. Both patients studies demonstrate that voice identity recognition deficits as well as abnormal modulation of selective attention by implicit emotion prosody are related to hallucinations exclusively and not to schizophrenia in general. In the final discussion, a model in which EPC deficits are a crucial factor in the formation of AVH is evaluated. Experimental findings presented in the previous chapters strongly suggests that the perception of prosodic features is impaired in patients with AVH, resulting in aberrant perception of irrelevant auditory objects with emotional prosody salience which captures the attention of the hearer and which sources (speaker identity) cannot be recognized. Such impairments may be due to structural and functional abnormalities in a network which comprises the superior temporal gyrus as a central element

Impaired recognition and regulation of disgust is associated with distinct but partially overlapping patterns of decreased gray matter volume in the ventroanterior insula

Background The ventroanterior insula is implicated in the experience, expression, and recognition of disgust; however, whether this brain region is required for recognizing disgust or regulating disgusting behaviors remains unknown. Methods We examined the brain correlates of the presence of disgusting behavior and impaired recognition of disgust using voxel-based morphometry in a sample of 305 patients with heterogeneous patterns of neurodegeneration. Permutation-based analyses were used to determine regions of decreased gray matter volume at a significance level p <=.05 corrected for family-wise error across the whole brain and within the insula. Results Patients with behavioral variant frontotemporal dementia and semantic variant primary progressive aphasia were most likely to exhibit disgusting behaviors and were, on average, the most impaired at recognizing disgust in others. Imaging analysis revealed that patients who exhibited disgusting behaviors had significantly less gray matter volume bilaterally in the ventral anterior insula. A region of interest analysis restricted to behavioral variant frontotemporal dementia and semantic variant primary progressive aphasia patients alone confirmed this result. Moreover, impaired recognition of disgust was associated with decreased gray matter volume in the bilateral ventroanterior and ventral middle regions of the insula. There was an area of overlap in the bilateral anterior insula where decreased gray matter volume was associated with both the presence of disgusting behavior and impairments in recognizing disgust. Conclusions These findings suggest that regulating disgusting behaviors and recognizing disgust in others involve two partially overlapping neural systems within the insula. Moreover, the ventral anterior insula is required for both processes

An investigation into vocal expressions of emotions: the roles of valence, culture, and acoustic factors.

This PhD is an investigation of vocal expressions of emotions, mainly focusing on non-verbal sounds such as laughter, cries and sighs. The research examines the roles of categorical and dimensional factors, the contributions of a number of acoustic cues, and the influence of culture. A series of studies established that naive listeners can reliably identify non-verbal vocalisations of positive and negative emotions in forced-choice and rating tasks. Some evidence for underlying dimensions of arousal and valence is found, although each emotion had a discrete expression. The role of acoustic characteristics of the sounds is investigated experimentally and analytically. This work shows that the cues used to identify different emotions vary, although pitch and pitch variation play a central role. The cues used to identify emotions in non-verbal vocalisations differ from the cues used when comprehending speech. An additional set of studies using stimuli consisting of emotional speech demonstrates that these sounds can also be reliably identified, and rely on similar acoustic cues. A series of studies with a pre-literate Namibian tribe shows that non-verbal vocalisations can be recognized across cultures. An fMRI study carried out to investigate the neural processing of non-verbal vocalisations of emotions is presented. The results show activation in pre-motor regions arising from passive listening to non-verbal emotional vocalisations, suggesting neural auditory-motor interactions in the perception of these sounds. In sum, this thesis demonstrates that non-verbal vocalisations of emotions are reliably identifiable tokens of information that belong to discrete categories. These vocalisations are recognisable across vastly different cultures and thus seem to, like facial expressions of emotions, comprise human universals. Listeners rely mainly on pitch and pitch variation to identify emotions in non verbal vocalisations, which differs with the cues used to comprehend speech. When listening to others' emotional vocalisations, a neural system of preparatory motor activation is engaged

ICA Based EEG Energy Spectrum for Detection of Negative Emotion by EEG

Master'sMASTER OF SCIENC

Mechanisms of voice processing in dementia

Perception of nonverbal vocal information is essential in our daily lives. Patients with degenerative dementias commonly have difficulty with such aspects of vocal communication; however voice processing has seldom been studied in these diseases. This thesis comprises a series of linked studies of voice processing in canonical dementias: Alzheimer’s disease, behavioural variant frontotemporal dementia, semantic dementia and progressive nonfluent aphasia. A series of neuropsychological tests were developed to examine perceptual and semantic stages of voice processing and to assess two aspects of accent processing: comprehension of foreign accented speech and recognition of regional and foreign accents; patient performance was referenced to healthy control subjects. Neuroanatomical associations of voice processing performance were assessed using voxel based morphometry. Following a symptom-led approach, a syndrome of progressive associative phonagnosia was characterised in two detailed case studies. Following a disease-led approach, this work was extended systematically to cohorts of patients representing the target diseases and assessing voice processing in relation to other aspects of person recognition (faces and names). This work provided evidence for separable profiles of voice processing impairment in different diseases: associative deficits were particularly severe in semantic dementia, whilst perceptual deficits showed relative specificity for Alzheimer’s disease. Neuroanatomical associations were identified for voice recognition in the right temporal pole and anterior fusiform gyrus, and for voice discrimination in the right inferior parietal lobe. The final phase of this work addressed the neuropsychological and neuroanatomical basis of accent processing, as an important dimension of nonverbal vocal analysis that is not dependent on voice identity. This work provides evidence for impaired processing of accents in progressive nonfluent aphasia and Alzheimer’s with neuroanatomical associations in the anterior and superior temporal lobe. The thesis contributes new information about voice processing in the degenerative dementias and furthers our understanding of the mechanisms of human voice analysis