Aumento de Resolução Temporal de Sequências de Imagens do Trato Vocal por meio de Registro das Imagens

O imageamento por ressonância magnética tem sido bastanteutilizado no estudo da produção da fala. Sequências de imagens do trato vocal adquiridas durante a emissão de palavras e fonemas permitem a identificação dinâmica das formas assumidas por este tubo acústico. Entretanto, é importante ressaltar que as resoluções espacial e temporal necessárias para a identificação do movimento dos articuladores da fala variam de acordo com a velocidade e localidade desse movimento, e tal informação não é conhecida a priori. Abordagens existentes procuram aprimorar a resolução das sequências de imagens melhorando o processo de aquisição ou utilizando meios de aquisição mais potentes, o que pode ser financeiramente inviável. O método proposto neste artigo procura melhorar a resolução temporal por meio de um método de registro não-rígido proposto na literatura. O movimento identificado pelo registro permite o aumento de resolução temporal por meio de uma técnica de interpolação por compensação de movimento. O movimento presente em toda a sequência é considerado na geração de cada imagem intermediária. Dessa forma, o movimento dos articuladores da fala nessas imagens é coerente com o movimento presente em toda a sequência. Os resultados indicam a eficiência do método proposto

Speech synchronized 2D facial animation based on phonetic context dependent visemes images

Orientador: Jose Mario De MartinoDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Eletrica e de ComputaçãoResumo: A animação facial por computador sincronizada com a fala permite a implementação de cabeças virtuais que podem contribuir para tornar interfaces humano-computador mais eficientes e atraentes. O presente trabalho apresenta um método de síntese de animação facial 2D baseado em imagens cujo desenvolvimento foi guiado por dois objetivos principais: a reprodução realista da movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, e a possibilidade de implementação do método mesmo em plataformas com capacidades limitadas de processamento e memória, tais como celulares e assistentes pessoais digitais. O método desenvolvido baseia-se em uma base de imagens de visemas dependentes de contexto para o Português do Brasil e adota a técnica de metamorfose entre visemas para a síntese da animação facial. A abordagem proposta representa uma estratégia de síntese alternativa e inovadora, capaz de reproduzir a movimentação articulatória visível da fala, incluindo os efeitos da coarticulação, a partir de uma base de apenas 34 imagens. O trabalho inclui a implementação de um sistema piloto integrado a conversor texto-fala. Adicionalmente, o método de síntese proposto é avaliado através de teste de inteligibilidade da fala. Os resultados desta avaliação indicam que a informação visual fornecida pelas animações geradas pelo sistema contribui para a inteligibilidade da fala em condições de áudio contaminado por ruído. Apesar do trabalho estar restrito ao Português do Brasil, a solução apresentada é aplicável a outras línguas. Palavras-chave: Computação Gráfica, Animação Facial, Visemas, Coarticulação, MetamorfoseAbstract: Speech synchronized facial animation allows the implementation of talking heads that potentially can improve human-computer interfaces making them more efficient and attractive. This work presentsan image based 2D facial animation synthesis method whose development was guided by two main goals: the realistic reproduction of visible speech articulatory movements, including coarticulation effects, and the possibility to implement the method also on limited processing and memory platforms, like mobile phones or personal digital assistants. The developed method is based on an image database of Brazilian Portuguese context dependent visemes and uses the morphing between visemes strategy as facial animation synthesis technique. The proposed approach represents an alternative and innovative synthesis strategy, capable of reproducing the visible speech articulatory movements, including coarticulation effects, from an image database of just 34 images. This work includes the implementation of a pilot system integrated to a text-to-speech synthesizer. Additionally, the proposed synthesis method is evaluated through a speech intelligibility test. The test results indicate that the animations generated by the system contribute to improve speech intelligibility when audio is degraded by noise. Despite the fact this work is restricted to Brazilian Portuguese, the presented solution is applicable to other languages. Keywords: Computer Graphics, Facial Animation, Visemes, Coarticulation, MorphingMestradoEngenharia de ComputaçãoMestre em Engenharia Elétric

O agir simbólico corpo-vocal na composição poética cênica

O artigo apresenta uma discussão do processo de criação do espetáculo teatral “Ninguém matou Suhura”, inspirado na obra literária homônima da escritora moçambicana Lilia Momplè. As reflexões teóricas sobre este processo foram balizadas nos trabalhos de Boesch (1991); Laban (1978); Merleau-Ponty (2011; 2012; 2013) e Tragtemberg (1999). Esta pesquisa teórico-empírica levou-nos a compreender a composição poética (corpo-sonora) cênica como um processo colaborativo que opera o campo estético a partir de qualidades de movimentos corporais e vocais e elabora nexos teatrais fundados em texturas imagético-sonoras polifônicas. As experimentações que resultaram desse processo fazem emergir processos de construção pessoal de conhecimento, que potencializam novas dinâmicas de criação pessoal e coletiva. This paper discusses the creation process for “Ninguém matou Suhura”, theatrical spectacle inspired by the eponymous literary work by Mozambican writer Lilia Momplè. Poetic Scenic Composition, approach chosen for the construction of this spectacle, aims to build a universe of symbolic actions based on an everyday context shared between artists and public. The discussion of body-vocal compositions that constitute the score of the spectacle addresses the qualities of movement (Laban, 1978) and the role of the voice and the choir in musical creation for the theater (Tragtemberg, 1999). Broader reflections on the aesthetic perspective adopted and the formation of the subject-actor in the context of the creation process are guided by the concept of symbolic action (Boesch, 1991) in constructivist semiotic-cultural psychology and the propositions on the sensitive dimension of self-world relations (Merleau-Ponty, 2011; 2012; 2013) in cultural philosophy. This theoretical and empirical research led us to understand the poetic (body-sound) scenic composition as a collaborative process operating the aesthetic field from the qualities of body and vocal movements and elaborating theatrical links founded in image-sound polyphonic textures. From the resulting trials, new personal knowledge construction processes emerge, which power new dynamics of personal and collective creation

Dimensão do efeito musical em crianças normo-ouvintes em estado de luto

Tese de mestrado, Neurociências, Faculdade de Medicina, Universidade de Lisboa, 2011A criança institucionalizada, em presença da desconstrução dos seus referenciais familiares primários, pode nos revelar descobertas sobre luto por desamparo adquirido e a dimensão musical neste contexto com referenciais neurocientíficos. Objetiva-se, neste trabalho, verificar a dimensão do efeito musical em crianças normo-ouvintes em luto por desamparo adquirido, através dos objetivos específicos: averiguar o efeito das vibrações sonoras no processo neurofisiológico e neurocognitivo; investigar a dimensão desse efeito através do EEG; comparar diferenças significativas neurofisiológicas e neurocognitivas, de acordo com sexo, faixa etária e tipo de luto (abandono). O experimento foi realizado na cidade de João Pessoa - Brasil com 29 crianças sem conhecimento musical formal; ambos os sexos, independente do nível social, cultural ou financeiro, com idades entre 06 e 11 anos, abrigadas em institutos de apoio ao menor por abandono dos pais ou responsáveis. A pesquisa consiste na divisão amostral em dois grupos escutando a mesma história verídica, porém um com estímulo musical de fundo e o outro não. Utiliza-se como instrumento de coleta de dados o CDI, o questionário infanto-juvenil e o EEG. Os resultados foram: a) Decréscimo da amplitude média do grupo experimental, do tempo em vigília para audio-estímulo, em comparação ao grupo controle; b) Em ambos os grupos ocorre maior intensidade emocional feminina em comparação a masculina; c) Nos meninos as representações emocionais e mentais foram positivas, enquanto nas mulheres foram negativas em resposta ao estímulo musical; d) Intensificação dos sentimentos na presença musical; e) Enquanto os meninos vivenciam a aproximação emocional no luto por desamparo adquirido, as meninas tende a se isolar e a não enfrentar a situação, permanecendo mais tempo no luto. Conclui-se que a intensificação da emoção gerada em presença do estímulo musical é importante no entendimento dos mecanismos emocionais manifestos no luto por desamparo adquirido e do seu desenvolvimento psicossocial e neurocognitivo.The institutionalized child, in the presence of the deconstruction of primary family references, can reveal insights about grief by learned helplessness and musical dimension in this context with reference neuroscience. Objective, in this study, to investigate the dimension of the musical effect in normal-listeners children in grief for learned helplessness, through specific objectives: to explore the effect of sound vibrations in the process neurophysiological and neurocognitive; investigate the extent of this effect in grief by EEG, to compare neurophysiological and neurocognitive differences according to sex, age and type of grief (abandonment). The experiment was conducted in the city of Joao Pessoa, Paraiba, Brazil with 29 children without formal musical knowledge, both sexes, regardless of social, cultural or financial, aged between 06 and 11 years sheltered in Institutions of support to the minor for abandonment by parents or responsible. The research consists of the division of the sample in two distinct groups listening to same true story but one with a musical background stimulus and the other not. Used as an instrument to collect data, the CDI, the infant-juvenile questionnaire and the EEG. The main results were: a) Decrease of mean amplitude of the experimental group, the time to watch audio-stimulation, compared with the control group, b) In both groups there is greater emotional intensity in female compared to male c) In the boys emotional and mental representations were positive, while women were negative in response to musical stimulation, d) Intensification of feelings in musical presence, e) While the boys experience the emotional approach in the fight for learned helplessness, girls tend to isolate themselves and unable to cope the situation, staying longer in grief. It is concluded that the intensification of the emotion generated in the presence of the musical stimulus is important in understanding emotional manifest in mourning for learned helplessness and their neurocognitive and psychosocial development

As especificidades das representações mentais em função de diferentes condições de privações sensoriais na prática pianística : um estudo experimental

A presente tese teve como objetivo investigar as especificidades das representações mentais em função de diferentes condições de privação de feedbacks sensoriais por estudantes de diferentes níveis acadêmicos. Para tal, um experimento foi realizado no qual 16 participantes aprenderam quatro peças do compositor Franz Schubert em diferentes condições de privações sensoriais, desde um ponto de vista cognitivo já adotado por Wollner e Williamon (2007) e Brown e Palmer (2012). Os 16 participantes da amostra foram alocados em quatro diferentes grupos, de acordo com seu nível de instrução formal: extensão universitária; início de curso de graduação; fim de curso de graduação; e pós-graduação. As quatro condições de privações sensoriais envolveram a privação singular ou pareada de feedbacks e foram definidas como: (a) prática mental, com privação de feedbacks auditivo e cinestésico; (b) prática auditiva, com privação de feedbacks visual e cinestésico; (c) prática motora, com privação de feedback auditivo; (d) prática de tirar de ouvido, com privação de feedback visual. 64 sessões de coletas de dados foram realizadas, nas quais os 16 participantes praticaram sob as quatro condições, com o balanceamento da distribuição das variáveis sendo assegurado por um quadrado latino. As sessões de coleta de dados envolveram a prática, por período de até 15 minutos, sob as condições impostas, a gravação de produto de performance e a realização de entrevista semiestruturada. A análise dos dados envolveu o cômputo de incidências dos comportamentos observáveis durante a prática gravada, de acordo com 15 categorias propostas, bem como a avaliação dos produtos de performance por três árbitros independentes. Os resultados apontaram diferenças quanto aos seguintes aspectos: o tamanho dos trechos abordados, a seleção dos meios de execução (mãos juntas e mãos separadas) e o emprego de mecanismos de manipulação e pausas entre as quatro condições. Interações observadas entre comportamentos no âmbito de cada modalidade (por meio de análise de componentes principais e escalonamento multidimensional) evidenciam formas diferentes de construção e manipulação representacional em cada condição, conferindo às condições diferentes naturezas, a saber: especulativa na prática mental; elusiva na prática auditiva; motora e mecânica na prática motora; e manipulativa na prática de tirar de ouvido. Avaliações dos produtos de performance gerados atestam a inviabilidade, na amostra investigada, da utilização da prática auditiva como meio de construção performático e a viabilidade da prática mental para esse mesmo fim. Conclui-se que as diferentes modalidades de privações sensoriais investigadas possuem diferentes especificidades com relação à formação e manipulação de representações mentais associadas ao aprendizado de materiais musicais novos.The present thesis aimed to investigate the specificities of mental representations as a function of different conditions of feedback deprivation by students at different academic levels. An experiment was designed in which 16 participants learned four pieces by the composer Franz Schubert in different conditions of sensory deprivations, in a cognitivist perspective already adopted in studies such as Wollner and Williamon (2007) and Brown and Palmer (2012). The 16 participants we allocated to four different groups, according to their levels of formal instruction: university extension program; freshmen and sophomore; junior and senior; and graduate. The four conditions of sensory deprivation involved were so defined: (a) mental practice, with deprivation of auditory and kinesthetic feedbacks; (b) auditory practice, with deprivation of visual and kinesthetic feedbacks; (c) motor practice, with deprivation of auditory feedback; (d) learning by ear, with the deprivation of visual feedback. 64 experimental sessions were conducted wherein the participants practiced under the four conditions. The balanced distribution of the variables was assured by the utilization of a Latin square design. During the experimental sessions the participants practiced for periods whose duration did not exceed 15 minutes under the imposed conditions, recorded performance products and participated in semi-structured interviews. Data analysis involved the scoring of incidences of the observable behaviors according to 15 categories. The performance products were assessed by three independent referees. Results pointed to differences regarding the following aspects: the length of practiced music spans, the selection of means of execution (hands together and separate), the utilization of manipulation mechanisms, and the occurrence of pauses across the four conditions. Observed interactions among the behaviors in the scope of each modality (assessed via principal components analysis and multidimensional scaling) pointed to different ways of constructing and manipulating representations in each condition, endowing each of them with a distinctive nature: speculative in mental practice; elusive in auditory practice; motor and mechanic in motor practice; and manipulative in playing by ear. Assessments of the performance products attested the infeasibility of auditory practice as a means for generating performances. Mental practice was deemed valid when aiming to achieve performance products. Concluding, the different modalities of sensory deprivations possess different specificities with relation to mental representations associated to the learning of novel music materials

Popular singing and meaning : an analysis proposal of Gal Costa's singing in the album Fa-Tal - Gal a Todo Vapor

Orientador: Regina MachadoDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ArtesResumo: O canto popular brasileiro midiatizado tem sido recorrentemente estudado na academia, sob diversas vertentes epistemológicas. No entanto, ainda são poucas as pesquisas voltadas para a voz cantada, no que diz respeito ao seu potencial semântico. Nesta pesquisa, desenvolveremos um estudo sobre o gesto vocal de Gal Costa, no disco Fa-Tal - Gal a Todo Vapor (1971), utilizando como principais referências teóricas a Semiótica da Canção, elaborada por Luiz Tatit, na qual são estudados os regimes de integração entre letra e melodia, e a Análise Semiótica do Canto Popular - trabalho realizado por Regina Machado, que busca identificar os sentidos produzidos pelo cantor no uso de recursos vocais durante a performance. Além disso, serão investigados elementos biográficos e contextuais intrínsecos à concepção do show Gal a Todo Vapor, nos servindo também como insumo para a análise de faixas pré-selecionadas do álbumAbstract: The mediatized Brazilian popular singing has been recurrently studied in the academic environment under varios epistemological aspects. However, research on singing voice regarding its semantic potencial is still limited. This work intends to develop a study about the vocal gesture of Gal Costa in her album Fa-Tal - Gal a Todo Vapor (1971), using as main references The Song Semiotcs, by Luiz Tatit - wich examines the integration schemes between lyric and melody, and The Popular Singing Semiotics, a piece by Regina Machado, wich aims at identifying the meanings produced by the singer when using vocal resources during a performance. Furthermore, we also intend to investigate biographic and contextual elements intrinsic to the conception of the concert Gal a Todo Vapor, wich will provide us with some material to the analysis of previously selected tracks from the albumMestradoMúsica, Teoria, Criação e PráticaMestra em Música00.889.834/0001-08CAPE

Estudo acústico e aerodinâmico das consoantes nasais do português brasileiro: variedade de Florianópolis

Tese (doutorado) - Universidade Federal de Santa Catarina, Centro de Comunicação e Expressão, Programa de Pós-Graduação em Linguística, Florianópolis, 2017.Esta tese aborda os sons nasais consonantais e seus aspectos acústicos e aerodinâmicos. Objetiva investigar como se caracterizam e se relacionam as propriedades acústicas e aerodinâmicas da consoante nasal palatal e suas variações e das consoantes nasais [m] e [n], produzidas na variação da consoante nasal palatal e na produção das consoantes nasais [m], [n] e [?], por adultos falantes do português brasileiro (PB), da variedade de Florianópolis (Santa Catarina), com apoio teórico de modelos dinâmicos de produção da fala. Para isso, foram realizadas gravações de fala controlada (logatomas), com três participantes do sexo feminino e dois do sexo masculino. As medidas acústicas, coletadas por meio de microfone oral, foram sincronizadas às aerodinâmicas, obtidas com os instrumentos piezoelétrico e Estação EVA (Evaluation Vocale Assistée). Foram analisados parâmetros acústicos de duração relativa, frequências dos formantes nasais e intervalos entre essas frequências, bem como parâmetros de fluxo aéreo oral e nasal (FAN) da curva aerodinâmica, de modo qualitativo e quantitativo testado estatisticamente. Os resultados da consoante nasal palatal indicaram produções fônicas gradientes ou contínuas, identificadas como consoante [?] e semivogal nasalizada [??]. Os achados quanto aos sons nasais consonantais permitiram a caracterização de cada uma das consoantes nasais, o estabelecimento de critérios acústicos comuns para a classe das consoantes nasais e a distinção acústica e aerodinâmica entre as três consoantes nasais, principalmente por parâmetros acústicos (forma de onda, duração relativa, frequências dos formantes nasais e intervalos entre essas frequências), e de modo menos relevante, por aspectos aerodinâmicos (configuração aerodinâmica, valores mínimos e do início da curva de FAN). As evidências apresentadas e discutidas nesta tese apontam para a integração das características acústicas e aerodinâmicas na descrição das consoantes nasais do PB e contribuem para um embasamento teórico na perspectiva dinâmica de produção da fala.Abstract : The present dissertation investigates consonant nasal sounds and their acoustic and aerodynamic aspects. It seeks to characterize the acoustic and aerodynamic properties in the production of the variation of the palatal nasal consonant and of the nasal consonants [m], [n] and [?] by adult speakers of Brazilian Portuguese (PB), whose variety is from Florianópolis (Santa Catarina), with the theoretical support of dynamic models of speech production. In order to do so, controlled speech recordings (pseudowords) were obtained from three female and two male participants. The acoustic measurements were collected with an oral microphone, whereas the aerodynamic measurements were obtained with piezoelectric instruments and an EVA Station (Evaluation Vocale Assistée). Both types of measurements were later synchronized. Acoustic parameters of relative duration, nasal formant frequencies and the intervals among these frequencies, as well as both oral and nasal air fluxes of the aerodynamic curve were analyzed, qualitative and quantitatively with statistical treatment. The results of the palatal nasal consonant indicated gradient or continuous phonic production, identified as the consonant [?] and the nasalized semivowel [??]. The findings of this study allowed the characterization of each of the nasal consonants, the establishment of common acoustic criteria for this class of nasal consonants, and the acoustic and aerodynamic distinction among the three nasal consonants, principally by acoustic parameters (waveform, relative duration, nasal formant frequencies and their intervals), and, in a less relevant way, by aerodynamic aspects (aerodynamic configuration, minimum values, and the beginning of the FAN curve). The evidence presented and discussed in this dissertation points to the integration of acoustic and aerodynamic characteristics in the description of BP nasal consonants and contributes to a theoretical framework in the dynamic perspective of speech production

Minha filha aprende a falar: percurso de aquisição da linguagem de uma criança brasileira nos tempos atuais

EntretextosNeste trabalho, apresentamos os resultados de uma investigação realizada durante os anos de 2007 a 2009, cujo objetivo foi descrever o percurso de aquisição da língua portuguesa por uma criança brasileira. A pesquisa foi descritiva longitudinal, com abordagem qualitativa, utilizando o estudo de caso como estratégia. Os dados obtidos foram analisados de acordo com as seguintes áreas da linguagem: fonologia, morfologia, sintaxe, semântica e pragmática, e comparados com os dados fornecidos pelo referencial teórico disponível.In this paper, we present the results of an investigation accomplished during the years 2007 to 2009, which goal was to describe the route of Portuguese-speaking acquisition by a brazilian girl. The research was longitudinal descriptive, with qualitative approach, using the case study as strategy. The data were analyzed according to the following language areas: phonology, morphology, syntax, semantic and pragmatic, and compared to the data supplied by available theoretical reference