Integrating Articulatory Features into HMM-based Parametric Speech Synthesis

This paper presents an investigation of ways to integrate articulatory features into Hidden Markov Model (HMM)-based parametric speech synthesis, primarily with the aim of improving the performance of acoustic parameter generation. The joint distribution of acoustic and articulatory features is estimated during training and is then used for parameter generation at synthesis time in conjunction with a maximum-likelihood criterion. Different model structures are explored to allow the articulatory features to influence acoustic modeling: model clustering, state synchrony and cross-stream feature dependency. The results of objective evaluation show that the accuracy of acoustic parameter prediction can be improved when shared clustering and asynchronous-state model structures are adopted for combined acoustic and articulatory features. More significantly, our experiments demonstrate that modeling the dependency between these two feature streams can make speech synthesis more flexible. The characteristics of synthetic speech can be easily controlled by modifying generated articulatory features as part of the process of acoustic parameter generation

DesignSense: A Visual Analytics Interface for Navigating Generated Design Spaces

Generative Design (GD) produces many design alternatives and promises novel and performant solutions to architectural design problems. The success of GD rests on the ability to navigate the generated alternatives in a way that is unhindered by their number and in a manner that reflects design judgment, with its quantitative and qualitative dimensions. I address this challenge by critically analyzing the literature on design space navigation (DSN) tools through a set of iteratively developed lenses. The lenses are informed by domain experts\u27 feedback and behavioural studies on design navigation under choice-overload conditions. The lessons from the analysis shaped DesignSense, which is a DSN tool that relies on visual analytics techniques for selecting, inspecting, clustering and grouping alternatives. Furthermore, I present case studies of navigating realistic GD datasets from architecture and game design. Finally, I conduct a formative focus group evaluation with design professionals that shows the tool\u27s potential and highlights future directions

Enhancing decision-making in user-centered web development: a methodology for card-sorting analysis

The World Wide Web has become a common platform for interactive software development. Most web applications feature custom user interfaces used by millions of people every day. Information architecture addresses the structural design of information to build quality web applications with improved usability of content, navigation, and findability. One of the most frequently utilized information architecture methods is card sorting—an affordable, user-centered approach for eliciting and evaluating categories and navigable items. Card sorting facilitates decision-making during the development process based on users’ mental models of a given application domain. However, although the qualitative analysis of card sorts has become common practice in information architecture, the quantitative analysis of card sorting is less widely applied. The reason for this gap is that quantitative analysis often requires the use of customized techniques to extract meaningful information for decision-making. To facilitate this process and support the structuring of information, we propose a methodology for the quantitative analysis of card-sorting results in this paper. The suggested approach can be systematically applied to provide clues and support for decisions. These might significantly impact the design and, thus, the final quality of the web application. Therefore, the approach includes proper goodness values that enable comparisons among the results of the methods and techniques used and ensure the suitability of the analyses performed. Two publicly available datasets were used to demonstrate the key issues related to the interpretation of card sorting results and the overall suitability and validity of the proposed methodologyThis work was partially supported by the Spanish Government [grant number RTI2018-095255-B-I00]; and the Madrid Research Council [Grant Number P2018/TCS-4314

Doctor of Philosophy

dissertationTemporal reasoning denotes the modeling of causal relationships between different variables across different instances of time, and the prediction of future events or the explanation of past events. Temporal reasoning helps in modeling and understanding interactions between human pathophysiological processes, and in predicting future outcomes such as response to treatment or complications. Dynamic Bayesian Networks (DBN) support modeling changes in patients' condition over time due to both diseases and treatments, using probabilistic relationships between different clinical variables, both within and across different points in time. We describe temporal reasoning and representation in general and DBN in particular, with special attention to DBN parameter learning and inference. We also describe temporal data preparation (aggregation, consolidation, and abstraction) techniques that are applicable to medical data that were used in our research. We describe and evaluate various data discretization methods that are applicable to medical data. Projeny, an opensource probabilistic temporal reasoning toolkit developed as part of this research, is also described. We apply these methods, techniques, and algorithms to two disease processes modeled as Dynamic Bayesian Networks. The first test case is hyperglycemia due to severe illness in patients treated in the Intensive Care Unit (ICU). We model the patients' serum glucose and insulin drip rates using Dynamic Bayesian Networks, and recommend insulin drip rates to maintain the patients' serum glucose within a normal range. The model's safety and efficacy are proven by comparing it to the current gold standard. The second test case is the early prediction of sepsis in the emergency department. Sepsis is an acute life threatening condition that requires timely diagnosis and treatment. We present various DBN models and data preparation techniques that detect sepsis with very high accuracy within two hours after the patients' admission to the emergency department. We also discuss factors affecting the computational tractability of the models and appropriate optimization techniques. In this dissertation, we present a guide to temporal reasoning, evaluation of various data preparation, discretization, learning and inference methods, proofs using two test cases using real clinical data, an open-source toolkit, and recommend methods and techniques for temporal reasoning in medicine

Clustering

Clustering seeks to group or to lump together objects or variables that share some observed qualities or, alternatively, to partition or to divide a set of objects or variables into mutually exclusive classes whose boundaries reflect differences in the observed qualities of their members. Clustering thus extracts typologies from data which in turn represent a reduction of data complexity and may lead to conceptual simplifications

Multimodal MRI analysis of the whole brain connectome of apathy in cerebral small vessel disease

Tese de mestrado integrado, Engenharia Biomédica e Biofísica (Engenharia Clínica e Instrumentação Médica), Universidade de Lisboa, Faculdade de Ciências, 2019A revolução dos cuidados médicos do século XX e XXI possibilitou, nas últimas décadas, um crescimento sem precedente na esperança média de vida da população global. Porém, independentemente destes avanços na área da saúde, problemas associados ao declínio da função cognitiva permanecem um problema sem solução à vista. Este declínio é comummente associado ao envelhecimento. No entanto, problemas de função cognitiva são consequência de uma miríade de condições que afetam a população ao longo de todas as faixas etárias, com sintomas distintos, com grande variabilidade entre sujeitos. Demência é um termo com uma definição ampla, sendo que é caracterizada pela combinação de sintomas associados ao declínio de função cognitiva, cuja severidade conduz a uma redução de qualidade de vida. Por este motivo, a patofisiologia que conduz a demência é vasta, sendo que a sua progressão está associada a diversos fatores e condições. A segunda causa mais comum de demência é demência vascular, constituindo 15% dos casos diagnosticados (ficando apenas atrás da doença de Alzheimer). Este tipo de demência é definido pela sua associação a uma redução de fluxo nos vasos sanguíneos do cérebro. O maior contribuidor ao desenvolvimento de demência vascular é doença dos pequenos vasos cerebrais. É uma condição caracterizada pela ocorrência de enfartes lacunares, lacunas, espaços periventriculares, microhemorrogias e lesões da matéria branca. Esta condição pode estar associada ao envelhecimento e problemas de hipertensão (forma esporádica) ou pode resultar de uma mutação genética do gene NOTCH3 (forma genética, ou CADASIL). Ambas se demonstram de formas muito semelhantes, sendo que uma idade mais baixa nos pacientes hereditários esta associado a uma patologia mais limpa (com menos prevalência de outras condições) e por isso é encarado como um modelo puro desta doença. Um dos sintomas mais comuns e mais debilitantes da doença dos pequenos vasos cerebrais é apatia. Esta síndrome é definida como uma redução de motivação no comportamento do individuo (quando comparado com o seu passado) e está fortemente associada com a redução de qualidade de vida. Estudos em animais e em humanos saudáveis possibilitaram a compreensão aproximada de quais os mecanismos neurais associados com o comportamento motivado. Estes foram amplamente estudados e é aceite que possa ser caracterizado por três sistemas individuais: o primeiro sistema determina o valor subjetivo do ambiente em termos dos potenciais ganhos hedónicos e custos (sistema que envolve a parte ventral do corpo estriado e o córtex pré-frontal médio); em segundo lugar, um sistema dopaminérgico (com origem na área tegmental ventral do cérebro) atua como mediador para um último sistema que age sobre o ambiente em busca de recompensas positivas (parte dorsal do corpo estriado e a parte média do giro do cíngulo). Embora este mecanismo seja conhecido, não é consensual quais as partes do sistema interrompidas ou danificadas que causam problemas neste comportamento motivado. Sendo uma condição mal estudada, a apatia em doença dos pequenos vasos abre a possibilidade a várias questões – quais as alterações estruturais associadas a apatia? Quais as alterações funcionais? Qual a relação entre as alterações? Poderá o comportamento apático servir como um bom marcador de progressão de demência vascular? Neste sentido, com o objetivo de estudar as alterações e relações entre a estrutura e função do cérebro na presença de apatia, foi criada uma pipeline de analise de ressonância magnética que visa adquirir métricas sobre a integridade da matéria branca, a degeneração de matéria cinzenta e as alterações no reportório de conectividade funcional em duas populações com diagnostico clínico de doença dos pequenos vasos. Para além dos mais, foi também estudada a relação entre as alterações cerebrais e parâmetros de sensibilidade a recompensa e esforço obtidos através da modelação computacional de uma experiência comportamental. No âmbito deste estudo, foram recrutados 19 pacientes com CADASIL (forma hereditária de doença dos pequenos vasos cerebrais). Deste grupo, devido a incapacidade de completar a visita de ressonância, 2 participantes foram excluídos, sendo que 17 pacientes foram incluídos em todo o estudo. Foram também recrutados 104 pacientes com a forma esporádica de doença dos pequenos vasos cerebrais (associada ao envelhecimento e hipertensão). Deste segundo grupo, devido a ruído excessivo na aquisição de imagem ou complicações com o scan aquando a altura da visita, foram apenas incluídos 65 pacientes. A experiência comportamental foi completada por todos os pacientes e requeria que o doente realizasse decisões sequenciais sobre aceitar ou não uma certa recompensa (representada pelo número de maçãs numa árvore desenhada – sendo que cada maçã se traduzia num valor monetário de 1p) em troca de exercer uma certa quantidade de esforço – exercer certo nível de pressão num dinamómetro de mão, até a um máximo de 80% da capacidade máxima voluntária de cada sujeito. Os graus de recompensa e de esforço foram parametricamente controlados, igualmente distribuídos num espaço de 36 condições (6 níveis de recompensa x 6 níveis de esforço) e pseudo-aleatoriamente apresentados aos participantes. Todos os participantes realizaram um bloco de decisões, onde exploraram todo o espaço de condições para treino. Os dados de ressonância magnética foram adquiridos no mesmo scanner, recorrendo ao mesmo protocolo, para que não houvesse qualquer diferença entre os dados de cada participante. Primeiramente, os dados adquiridos foram pré-processados de forma a eliminar a maior quantidade de ruído possível. A primeira análise realizada consistia em comparar a integridade das fibras de matéria branca através dos parâmetros de difusão do fluido que neles se encontra. Mais especificamente, foi utilizada TBSS (tract-based spatial statistics), uma ferramenta integrada no pacote de software FSL, para comparar os valores de anisotropia de difusão das fibras. Seria esperado observar uma redução de anisotropia no grupo de pacientes com apatia face a sua contraparte não apática. Em segundo lugar, os volumes de matéria cinzenta foram comparados, não só com o objetivo de verificar uma redução entre o grupo apático e o grupo não apático, mas também de averiguar se as regiões afetadas por esta redução coincidiam com as regiões de redução de anisotropia das fibras de matéria branca. Esta análise estrutural realizou-se utilizando VBM (voxel-based morphometry). Em último lugar avaliou-se a conectividade funcional. Esta foi aferida de duas abordagens distintas: em primeiro lugar, utilizou-se uma metodologia que não considera a existência de flutuações de conectividade funcional ao longo da aquisição dos dados (dual regression) e uma que tinha por base a relevância da sua flutuação ao longo da aquisição para a compreensão da conectividade funcional (Leading Eigenvector Dynamics Analysis). Todos os modelos estatísticos aplicados foram controlados com covariáveis sem interesse (idade, género e dano causado na matéria branca) e corrigidas para erros de comparações múltiplas. Os nossos resultados fornecem provas de associação entre apatia e redução de integridade da matéria branca em certas regiões (especificamente no corpo caloso e no cíngulo anterior). Por outro lado, mostram também que o comportamento apático está associado a uma redução de volume da matéria cinzenta em regiões do lobo occipital na população de CADASIL, sendo que o mesmo não foi observado na versão esporádica. É interessante constatar que os nossos resultados parecem indicar uma associação entre a integridade da matéria branca e a degeneração da matéria cinzenta. Além do mais, os resultados demonstram enfraquecimento da conectividade funcional. Estas alterações funcionais parecem ser parcialmente derivadas das alterações estruturais, porém, não são totalmente moduladas por estas. Estes resultados não só fortalecem o argumento de que o conectoma funcional não é inteiramente definido pela anatomia cerebral, mas também que métricas de conectividade funcional podem ser marcadores úteis de diagnóstico de doença e podem conduzir a novas aplicações para tratamento de apatia. Embora as suas limitações sejam evidentes (como por exemplo o número reduzido de sujeitos por grupo, resolução do protocolo de imagem) e bastantes ideias tenham ficado por explorar (por exemplo, o impacto da severidade da condição nos conectomas), este estudo é um primeiro exemplo da utilidade da informação obtida aquando do estudo dos conectomas estruturais e funcionais em simultâneo. É também pioneiro na apresentação do conceito de uma rede funcional ligada a um comportamento motivado.Although human studies have identified the neural mechanisms of motivated behaviour, which part of its circuitry is actually being disrupted in disease is not yet well understood. Primarily, the literature has associated apathy with reduced white matter integrity, however, the relationship between structural and functional brain changes hasn’t been studied extensively in apathy. To address this concern, we’ve developed a comprehensive whole-brain magnetic resonance neuroimaging pipeline with which we’ve analysed two populations of cerebral small vessel disease (CADASIL, n = 19; sporadic SVD, n = 104). We’ve looked at the association between apathy and reduced white matter integrity, making use of tract-based spatial statistics; reduced grey matter volume with voxel-based morphometry; and reduced functional connectivity with a novel dynamic approach (Leading Eigenvector Dynamic Analysis). Furthermore, this project then aims at tying the neuroimaging findings with the parameter estimates of reward and effort sensitivity extracted through computational modelling of an effort-based decision-making task. Our results show that apathy is associated with reduced white matter integrity (reduced fractional anisotropy) of specific regions (particularly the corpus callosum and the anterior cingulum). Reduced grey matter volume of the occipital lobe seems to be associated with apathy, despite not being shown by any literature. Moreover, our results indicate that apathetic patients are associated with a weaker and more incoherent repertoire of functional connectivity than their non-apathetic counterparts. Functional connectivity associated with vmPFC regions and the occipital lobe is reduced in apathy. This shows a strong association between structural and functional changes in the brain. Apathetic patients seem to be characterised by a reduction in reward and effort sensitivity, which is associated with impaired functional connectivity. This study is a unique contributor to the understanding of the neural underpinnings of apathy in cerebral small vessel disease due to the uncommon combination of MRI modalities and relation between consequent structural and functional metrics. However, a lot more has to be done to fully understand the mechanisms of this syndrome and to extract clinically useful markers and therapies

A review of state-of-the-art speech modelling methods for the parameterisation of expressive synthetic speech

This document will review a sample of available voice modelling and transformation techniques, in view of an application in expressive unit-selection based speech synthesis in the framework of the PAVOQUE project. The underlying idea is to introduce some parametric modification capabilities at the level of the synthesis system, in order to compensate for the sparsity and rigidity, in terms of available emotional speaking styles, of the databases used to define speech synthesis voices. For this work, emotion-related parametric modifications will be restricted to the domains of voice quality and prosody, as suggested by several reviews addressing the vocal correlates of emotions (Schröder, 2001; Schröder, 2004; Roehling et al., 2006). The present report will start with a review of some techniques related to voice quality modelling and modification. First, it will explore the techniques related to glottal flow modelling. Then, it will review the domain of cross-speaker voice transformations, in view of a transposition to the domain of cross-emotion voice transformations. This topic will be exposed from the perspective of the parametric spectral modelling of speech and then from the perspective of available spectral transformation techniques. Then, the domain of prosodic parameterisation and modification will be reviewed