On the development of an automatic voice pleasantness classification and intensity estimation system

In the last few years, the number of systems and devices that use voice based interaction has grown significantly. For a continued use of these systems, the interface must be reliable and pleasant in order to provide an optimal user experience. However there are currently very few studies that try to evaluate how pleasant is a voice from a perceptual point of view when the final application is a speech based interface. In this paper we present an objective definition for voice pleasantness based on the composition of a representative feature subset and a new automatic voice pleasantness classification and intensity estimation system. Our study is based on a database composed by European Portuguese female voices but the methodology can be extended to male voices or to other languages. In the objective performance evaluation the system achieved a 9.1% error rate for voice pleasantness classification and a 15.7% error rate for voice pleasantness intensity estimation.Work partially supported by ERDF funds, the Spanish Government (TEC2009-14094-C04-04), and Xunta de Galicia (CN2011/019, 2009/062

Exploratory physiological analysis of gambling depending on consumer personality

Tese de Mestrado Integrado, Engenharia Biomédica e Biofísica (Sinais e Imagens Médicas), 2022, Universidade de Lisboa, Faculdade de CiênciasAo longo das últimas décadas, jogar a dinheiro tornou-se numa atividade cada vez mais popular em todo o mundo. Uma grande variedade de novos tipos de jogos de apostas ou, como também são conhecidos, jogos de sorte ou jogos de azar, foram surgindo, incluindo jogos a dinheiro online. Os recentes e constantes avanços tecnológicos facilitaram significativamente o desenvolvimento e crescimento deste tipo de jogos à distância, principalmente através da Internet, utilizando computadores e smartphones. Este trata-se de um mercado em crescimento que oferece novas oportunidades de marketing, mas também acarreta inúmeros riscos. O aumento das oportunidades de jogo teve como consequência um número crescente de jogadores cuja tendência se acredita que seja continuar a aumentar. Alguns estudos afirmam que este tipo de jogo pode ser mais problemático para indivíduos vulneráveis, tais como jogadores patológicos, ou seja, que sofrem de uma adição ao jogo, adolescentes ou desempregados, devido à sua disponibilidade (24h por dia), acessibilidade, anonimato e conveniência. Atualmente acredita-se cada vez mais que os distúrbios de jogo se começam a desenvolver em casa, online, e a surgir em indivíduos cada vez mais novos. No entanto, apesar destas novas possibilidades comerciais, pouco foi feito no que se refere à aplicação de técnicas de neuromarketing neste segmento de mercado dos jogos a dinheiro. Neuromarketing pode ser definido como a ligação interdisciplinar entre a área das neurociências e o marketing. Cada vez mais se torna relevante, nos dias de hoje, compreender a mente humana através de avanços no campo das neurociências, de forma a que medidas mais eficazes para influenciar o pensamento dos clientes/consumidores sejam desenvolvidas. O propósito não é criar estudos específicos para esse fim, mas reunir conhecimentos de estudos já realizados e aplicá-los a estratégias de marketing. Assim, o neuromarketing recorre a técnicas de aquisição e análise de sinais cerebrais e fisiológicos não invasivos, a fim de captar respostas cognitivas e emocionais dos consumidores a vários estímulos de marketing, permitindo a previsão dos padrões de compra e a melhoria dos produtos e serviços de marketing. O presente estudo recorreu à utilização de ferramentas de neuromarketing, nomeadamente eletroencefalografia (EEG) e fotopletismografia (PPG), bem como à classificação de personalidades de acordo com o Myers-Briggs Type Indicator (MBTI) e ao Self-Assessment Manikin (SAM), para uma análise fisiológica exploratória do jogo. Os principais objetivos do estudo foram entender como diferentes características de personalidade e diferentes hábitos de jogo respondem a diversos estímulos impostos, e como os seus sinais fisiológicos diferem durante as atividades relacionadas com o jogo. Além disso, aplicando três algoritmos de classificação de aprendizagem automática - K-Nearest Neighbours (KNN), Naïve Bayes e Decision Trees -, pretendia-se determinar se, recorrendo às medidas fisiológicas recolhidas durante o jogo, os participantes poderiam ser corretamente classificados de acordo com as suas características, tais como sexo, características de personalidade MBTI e hábitos de jogo. Durante a experiência, 61 participantes com idade entre 18 e 25 anos, dos quais 22 eram do sexo feminino e 39 do sexo masculino, todos não jogadores patológicos e a grande maioria estudantes (59), foram expostos a diferentes estímulos relacionados com jogos a dinheiro. Mais especificamente, foilhes pedido que cumprissem quatro tarefas distintas. A primeira tarefa (T1) consistiu na visualização de três vídeos cujo tema estava relacionado com jogos a dinheiro: dois excertos de dois filmes e um excerto de um anúncio publicitário a uma casa de apostas online. Posteriormente, os participantes tiveram um tempo limitado para pesquisar livremente na internet por sites relacionados com este tema do jogo (T2), tarefa após a qual jogaram num website previamente escolhido com um crédito virtual disponibilizado pelo website (T3). No final, para concluírem a última tarefa, os participantes foram convidados a preencher dois questionários acerca dosseus hábitos de jogo. Enquanto os participantes desempenhavam as tarefas propostas, foram medidas as suas atividades cardíacas, cognitivas e emocionais, e o ecrã do computador e o áudio foram gravados. A análise dos resultados obtidos foi dividida em género, personalidade e hábitos de jogo dos participantes. O género foi a característica com maior expressão neste estudo, indicando que as mulheres estudadas tiveram menos interesse neste tipo de atividades e, geralmente, estiveram menos dispostas a assumir riscos enquanto jogam do que os homens estudados. Estas diferenças encontradas entre os dois géneros corroboram a informação obtida na literatura. Em relação à personalidade dos participantes, as conclusões foram muito limitadas, pois a maioria das características não foi afetada pelos estímulos. Aquela com maior expressão frente aos estímulos impostos foi a função auxiliar – percetivos/julgadores (P/J): os valores de engajamento e foco dos P aumentaram durante o jogo, enquanto os dos J diminuíram durante a mesma tarefa. Uma vez que esta função pode ser considerada uma escala de impulsividade, foi possível deduzir que os percetivos tendem a ser mais impulsivos do que os julgadores quando jogam a dinheiro. No que diz respeito aos grupos de personalidade, os analistas (NT) têm o maior aumento da métrica de foco em comparação com a baseline, ao passo que os sentinelas (SJ) são os únicos que apresentam uma diminuição desta métrica, o que sugere que os SJ têm menos interesse em atividades relacionadas com o jogo, enquanto os NT procuram completar as tarefas propostas de forma eficiente. Por último, em relação aos hábitos de jogo, observou-se que os jogadores tendem a apresentar níveis de frequência cardíaca (FC) mais elevados, enquanto a FC dos não jogadores diminuiu ligeiramente durante as tarefas. Tal pode indicar que os jogadores apresentaram níveis de arousal mais elevados durante as atividades relacionadas com o jogo, o que seria expectável uma vez que estes devem apresentar maior interesse em atividades relacionadas com o jogo. Todas estas conclusões relativas aos diferentes tipos de personalidade estão de acordo com a informação fornecida pela literatura. Além disso, vale a pena destacar que os resultados mais precisos dos algoritmos de classificação foram obtidos a partir da combinação de métricas estatisticamente significativas com outras que só permitiram a identificação de tendências. No entanto, devido ao pequeno tamanho da amostra e de esta não ser representativa de uma população bem distribuída em relação às características que se pretendiam distinguir, não foi possível obter resultados suficientemente precisos para que a escolha do melhor classificador para este tipo de dados fosse possível. O presente trabalho apresentou várias limitações, sendo que a que mais se destacou foi o aparecimento do COVID-19 e todas as dificuldades que com ele surgiram, nomeadamente a limitação de deslocações e a consequente alteração do grupo de estudo. A obrigação de direcionar o estudo apenas à população universitária resultou numa amostra constituída essencialmente por não-jogadores, limitando-se assim possíveis conclusões. A dificuldade em encontrar participantes de todos os tipos de personalidades MBTI também se destacou uma vez que deu origem a uma discrepância no grupo de estudo, estando certas personalidades mais representadas do que outras. O cenário controlado em que decorreu a experiência e o facto de os participantes apenas apostarem dinheiro virtual disponibilizado pelo website também foram fatores muito condicionantes para os resultados deste estudo. Para trabalhos futuros é fundamental ultrapassar estas limitações através de algumas modificações, tais como limitar a amostra do estudo a jogadores, patológicos e não patológicos, e recrutar uma população mais representativa dos diferentes tipos de personalidade e equilibrada em relação a todas as suas características sociodemográficas. Além disso, embora difícil de implementar, o ideal seria conseguir que os participantes pudessem jogar, em condições semelhantes, com dinheiro real, sendo que o expectável é estes se mostrarem menos impulsivos a apostar e que a sua resposta emocional seja exacerbada.Gambling has been a popular activity at least since there has been written language. In more recent decades, with the advent of digital media, new types of gambling have emerged, including online gambling, a growing market of significant economic gains but also risks. In particular, the straightforward accessibility of online gambling has resulted in an increasing number of gamblers, and some studies claim that it may be more problematic for vulnerable individuals. Nonetheless, not much has been done in regard to the application of neuromarketing techniques in this gambling market segment. Neuromarketing, the interdisciplinary link between neuroscience and marketing, resorts to non-invasive cerebral and physiological signal acquisition and analysis techniques in order to capture cognitive and emotional responses of consumers to various marketing stimuli, allowing the prediction of buying patterns and the enhancement of marketing products and services. The following study was based on the use of neuromarketing tools, namely electroencephalography (EEG) and photoplethysmography (PPG), as well as the Myers-Briggs personality Type Indicator, in an exploratory physiological analysis of gambling. The main purposes of the study were to understand how different personality characteristics and different gambling habits respond to diverse imposed stimuli, and how their physiological signals differ during gambling related activities. Also, three classification algorithms (KNN, Naïve Bayes and Decision Trees) were applied to determine if, resorting to the data collected, participants could be correctly classified according to their characteristics: gender, personality characteristics and gambling habits. During the experiment, 61 subjects aged between 18 and 25 years old, of whom 22 were female and 39 male, all non-pathological gamblers and the vast majority students (59), were exposed to different stimuli related to gambling. More specifically, the participants were asked to watch three gamblingthemed videos and freely search for gambling related websites afterwards, task after which they gambled on a previously chosen website and, in the end, the subjects were asked to fulfil two surveys about their gambling habits. During the experiment the cardiac, cognitive, and emotional activities were measured, and the screen and audio were recorded. The results show that gender had the greatest expression in this study, indicating that women have less interest and are usually less willing to take risks while gambling than men. Regarding the subjects’ personalities, the conclusions were very limited, most characteristics were not affected by stimuli. The one with greater expression facing the imposed stimuli was the auxiliary function - perceptives (P)/judges (J) - that indicated that perceptives tend to be more impulsive than judges when gambling. Finally, in relation to gambling habits, it was observed that gamblers tend to present higher heart rate levels, which may indicate that gamblers showed higher arousal levels during gambling related activities. Furthermore, due to the small sample size, it was not possible to obtain accurate results to allow the choice of the best classifier for this type of data

Semi-Supervised Active Learning for Sound Classification in Hybrid Learning Environments

Coping with scarcity of labeled data is a common problem in sound classification tasks. Approaches for classifying sounds are commonly based on supervised learning algorithms, which require labeled data which is often scarce and leads to models that do not generalize well. In this paper, we make an efficient combination of confidence-based Active Learning and Self-Training with the aim of minimizing the need for human annotation for sound classification model training. The proposed method pre-processes the instances that are ready for labeling by calculating their classifier confidence scores, and then delivers the candidates with lower scores to human annotators, and those with high scores are automatically labeled by the machine. We demonstrate the feasibility and efficacy of this method in two practical scenarios: pool-based and stream-based processing. Extensive experimental results indicate that our approach requires significantly less labeled instances to reach the same performance in both scenarios compared to Passive Learning, Active Learning and Self-Training. A reduction of 52.2% in human labeled instances is achieved in both of the pool-based and stream-based scenarios on a sound classification task considering 16,930 sound instances

User Identity Protection in Automatic Emotion Recognition through Disguised Speech

Ambient Assisted Living (AAL) technologies are being developed which could assist elderly people to live healthy and active lives. These technologies have been used to monitor people’s daily exercises, consumption of calories and sleep patterns, and to provide coaching interventions to foster positive behaviour. Speech and audio processing can be used to complement such AAL technologies to inform interventions for healthy ageing by analyzing speech data captured in the user’s home. However, collection of data in home settings presents challenges. One of the most pressing challenges concerns how to manage privacy and data protection. To address this issue, we proposed a low cost system for recording disguised speech signals which can protect user identity by using pitch shifting. The disguised speech so recorded can then be used for training machine learning models for affective behaviour monitoring. Affective behaviour could provide an indicator of the onset of mental health issues such as depression and cognitive impairment, and help develop clinical tools for automatically detecting and monitoring disease progression. In this article, acoustic features extracted from the non-disguised and disguised speech are evaluated in an affect recognition task using six different machine learning classification methods. The results of transfer learning from non-disguised to disguised speech are also demonstrated. We have identified sets of acoustic features which are not affected by the pitch shifting algorithm and also evaluated them in affect recognition. We found that, while the non-disguised speech signal gives the best Unweighted Average Recall (UAR) of 80.01%, the disguised speech signal only causes a slight degradation of performance, reaching 76.29%. The transfer learning from non-disguised to disguised speech results in a reduction of UAR (65.13%). However, feature selection improves the UAR (68.32%). This approach forms part of a large project which includes health and wellbeing monitoring and coaching

BDNF Val66Met and 5-HTTLPR genotype are each associated with visual scanning patterns of faces in young children

Previous studies have documented both neuroplasticity-related BDNF Val66Met and emotion regulation-related 5-HTTLPR polymorphisms as genetic variants that contribute to the processing of emotions from faces. More specifically, research has shown the BDNF Met allele and the 5-HTTLPR Short allele to be associated with mechanisms of negative affectivity that relate to susceptibility for psychopathology. We examined visual scanning pathways in response to angry, happy, and neutral faces in relation to BDNF Val66Met and 5-HTTLPR genotyping in 49 children aged 4- to 7-years. Analyses revealed that variations in the visual processing of facial expressions of anger interacted with BDNF Val66Met genotype, such that children who carried at least one low neuroplasticity Met allele exhibited a vigilance-avoidance pattern of visual scanning compared to homozygotes for the high neuroplasticity Val allele. In a separate investigation of eye gaze towards the eye versus mouth regions of neutral faces, we observed that short allele 5-HTTLPR carriers exhibited reduced looking at the eye region compared with those with the higher serotonin uptake Long allele. Together, these findings suggest that genetic mechanisms early in life may influence the establishment of patterns of visual scanning of environmental stressors, which in conjunction with other factors such as negative life events may lead to psychological difficulties and disorders in the later adolescent and adult years

Atypical neural responses to vocal anger in attention-deficit/hyperactivity disorder

Background Deficits in facial emotion processing, reported in attention-deficit/hyperactivity disorder (ADHD), have been linked to both early perceptual and later attentional components of event-related potentials (ERPs). However, the neural underpinnings of vocal emotion processing deficits in ADHD have yet to be characterised. Here, we report the first ERP study of vocal affective prosody processing in ADHD. Methods Event-related potentials of 6–11-year-old children with ADHD (n = 25) and typically developing controls (n = 25) were recorded as they completed a task measuring recognition of vocal prosodic stimuli (angry, happy and neutral). Audiometric assessments were conducted to screen for hearing impairments. Results Children with ADHD were less accurate than controls at recognising vocal anger. Relative to controls, they displayed enhanced N100 and attenuated P300 components to vocal anger. The P300 effect was reduced, but remained significant, after controlling for N100 effects by rebaselining. Only the N100 effect was significant when children with ADHD and comorbid conduct disorder (n = 10) were excluded. Conclusion This study provides the first evidence linking ADHD to atypical neural activity during the early perceptual stages of vocal anger processing. These effects may reflect preattentive hyper-vigilance to vocal anger in ADHD