A Multimodal corpus to check on pragmatic competence for Mild Cognitive Impaired aging people

This article presents a multimodal video corpus with the principal aim to model and predict the effects of aging in Mild Cognitive Impairment situation on pragmatic and communicative skills. We take as observable variables the verbal pragmatic markers and non-verbal pragmatic markers. This approach, at the interface of the psycholinguistics, cognitive sciences and rehabilitation medicine (speech-language pathology and therapy) is part of a longitudinal research process in an ecological situation (interviews conducted by close intimate of the elderly).In the first part of the article we present the linguistic, cognitive and social characteristics of aging in its continuum up to mild cognitive impairment and pathological disorders such as Alzheimer’s disease. In the second part, we develop a multimodal approach, in particular to inform and enrich speech and language therapy knowledge. Finally, we present our experimental design and preliminary results on two female participants over 75 years of age with mild cognitive impairment.Our general findings indicate that with aging, verbal pragmatic markers acquire an interactive function that allows people with Mild Cognitive Impairment to maintain intersubjective relationships with their interlocutor. In addition, at the non-verbal level, gestural manifestations are increasingly mobilized over time with a preference for non-verbal pragmatic markers with a referential function and an interactive function. One such non-verbal manifestation compensates for naming deficits, planning difficulties, discursive hitches; while another optimizes and maintains the interaction with the interlocutor.Clinicians have a duty to develop their professional practice through an evidence-based clinical approach whose main objective is to reconcile clinical practice with the best evidence from research (Dollaghan 2007). In the case of speech-language pathology, clinicians consider themselves very limited in this approach (Lof 2011; McCurtin 2011), especially for patients with Mild Cognitive Impairment (Mungas et al. 2010; Hopper 2013; Morello 2017) and more specifically when it comes to assessing or supporting language functions (Cummings 2014).The studies focusing on Mild Cognitive Impairment require longitudinal corpora i) to understand the naturally occurring evolutions in subjects, ii) the implication of the cognitive reserve in each individual, and iii) to take advantage of these parameters as evidence for research and earlier rehabilitation. We aim to show the benefits of linguistic and interactional scientific investigation methods through fragile aging, for health professionals and everyday caregivers.Cet article présente un corpus vidéo d’analyse multimodale dont l’objectif principal est de modéliser et prédire les effets du vieillissement en situation de trouble cognitive léger sur les compétences pragmatiques et communicationnelles. Nous prenons comme observable les marqueurs pragmatiques verbaux et non-verbaux. Cette démarche, à l’interface des sciences du langage, des sciences cognitives et de la médecine réadaptative (l’orthophonie) s’inscrit dans un processus de recherche longitudinale en situation écologique (entretiens menés par des intimes des personnes âgées).Nous présenterons en première partie de cet article les caractéristiques langagières, cognitives et sociales du vieillissement dans son continuum jusqu’aux troubles cognitifs léger et pathologiques. En seconde partie nous développerons l’intérêt d’une approche multimodale sur corpus notamment pour renseigner l’accompagnement non-médicamenteux et enrichir les connaissances orthophoniques. Enfin nous présenterons le corpus depuis sa conception expérimentale à ses résultats préliminaires qui concernent deux locutrices de l’étude âgées de plus 75 ans et qui présentent un trouble cognitif léger.Les conclusions générales indiquent qu’avec l’avancée en âge, les marqueurs pragmatiques verbaux revêtent préférentiellement une fonction interactive permettant ainsi aux personnes avec TCL de maintenir les relations intersubjectives avec l’interlocuteur. Par ailleurs, au niveau non-verbal, les manifestations gestuelles sont de plus en plus mobilisées dans le temps avec une préférence pour les marqueurs pragmatiques non-verbaux à fonction référentielle et à fonction interactive. L’une permettant de compenser les manques du mot, difficultés de planification, accrocs discursifs ; l’autre optimisant et maintenant l’interaction avec l’interlocuteur.Les cliniciens ont le devoir de développer leur pratique professionnelle par l’approche clinique basée sur des données probantes dont l’objectif majeur est de concilier la pratique clinique et les meilleures preuves issues de la recherche (Dollaghan 2007). Pour le cas de l’orthophonie, les cliniciens s'estiment très limités quant à cette approche (Lof 2011 ; McCurtin 2011) en particulier pour les patients avec TCL (Mungas et al. 2010 ; Hopper 2013 ; Morello 2017) et plus spécifiquement lorsqu’il s’agit d’évaluer ou soutenir les fonctions langagières (Cummings 2014).L’approche en TCL nécessite des corpus longitudinaux pour comprendre i) les évolutions naturellement en œuvre chez les sujets, ii) renseigner l’implication de la réserve cognitive chez chaque individu et iii) tirer avantage de ces paramètres comme bases de données attestées pour la recherche et la rééducation précoce. Nous désirons montrer quels sont les avantages des méthodes d’investigation scientifiques linguistiques et interactionnelles à travers le vieillissement fragilisé, pour les professionnels de la santé et les aidants au quotidien

CYCLIC GESTURES AND MULTIMODAL SYMBOLIC ASSEMBLIES: AN ARGUMENT FOR SYMBOLIC COMPLEXITY IN GESTURE

In this dissertation, I seek to better understand the nature of the relationship between meanings expressed in gesture and those expressed in speech. This research focuses on the use of cyclic gestures in English. Cyclic gestures are manual co-speech gestures that are characterized by a circular movement of the hand or arm. Despite cyclic gestures being commonplace in many types of spoken discourse, no previous studies to date have specifically explored the functions these gestures serve in English. Broadly, this dissertation addresses two questions: (1) What functions do cyclic gestures serve in interaction in English, and (2) how are cyclic gestures integrated with other meaningful units in multimodal expressions? Using data collected from television talk shows, I examine the functional-semantic properties of spoken language expressions that accompany cyclic gestures and identify properties of meaning that repeatedly align with the expression of the gestures. I also explore relationships between fine-grained formal properties of cyclic gestural expressions and functional-semantic properties of the co-expressed speech. The results of the study find a number of significant relationships between gesture forms and spoken language meanings. For example, when cyclic gestures were expressed with spoken constructions serving an evaluative function, they were significantly associated with bimanual asynchronous rotations and finger spreading (p \u3c .001) with a moderately strong effect size (φc = 0.26). Drawing on the patterns identified in the analysis of the data, I analyze cyclic gestures as component symbolic structures that profile schematic processes. I argue that formal properties that accompany cyclic movement gestures (e.g., handshapes and locations of the hands in space) have the potential to be meaningful. Data from English suggest that cyclic gestures can integrate simultaneously with other symbolic structures in gesture to form complex gestural expressions (i.e., symbolic assemblies). Extending theoretical tools from the framework of Cognitive Grammar (Langacker, 1987, 1991), I explore how the schematic meaning of cyclic gestures is instantiated in specific complex gestural expressions and how those gestural constructions interact with symbolic structures in speech. This work challenges traditional assumptions about the nature of gesture meaning, which treats gestures as simplex, holistic structures. Instead, the findings of this research suggest that gestures are best analyzed as constructions

Scientific and Parascientific Communication

There is an increasing need for scholars and scientists to not only conduct research that has a significant impact on society but also to communicate that research widely. Such research outreach also contributes to engaging wide, diverse audiences. As such, the discursive practices have become more and more complex, multimodal, and multimedia-based for scholars and scientists. Scientific communication is currently shared to a great extent with peers in technology-mediated contexts, which allows formal scientific publications to be opened to public viewing. Alongside this so-called “primary output” (Puschmann 2015), new ways, modes, and discourses are being used to bring science closer to a lay audience and promote citizen participation. The affordances of existing and emergent platforms are fostering a change in audience roles, and with it, the erosion of boundaries between scientific communities and the general public, entailing the dissemination of scientific information and knowledge beyond the former (Trench 2008). We are thus witnessing the development of discursive practices which may be referred to as instances of “parascientific communication”. These practices transcend previously well-delimited communities and spheres of communication. Parascientific genres are evolving based on authoritative or expert knowledge (communicated through conventional, sanctioned scientific genres) but not subjected to the filters of internal, formal science communication (Kelly and Miller 2016). This Special Issue seeks to gain a better understanding of the purposes and specific features of these new scientific communication practices

Entrainment in European Portuguese

A presente tese centra-se na análise da adaptação entre falantes em diálogos espontâneos em Português Europeu (PE). Esta adaptação, também designada por acomodação, sintonia ou mesmo sincronismo (do inglês entrainment), tem sido descrita como a capacidade de os seres humanos se ajustarem, tanto a nível comportamental como discursivo, ao seu interlocutor (Brennan and Clark, 1996; Beˇnuš, 2014a). Esta estratégia tem sido estudada sob diversas perspetivas, quer para compreender quais os mecanismos linguísticos, psicológicos e sociais (Levitan et al., 2012; Beˇnuš, 2014a) que a motivam, quer para replicar este comportamento, tipicamente humano, em sistemas de diálogo automáticos (Levitan, 2014; Hoegen et al., 2019). Estudos recentes sobre adaptação entre falantes em diferentes situações comunicativas têm mostrado a importância desta estratégia na resolução de tarefas específicas (e.g., diálogos em formato map-task, jogos colaborativos) e em sessões de terapia (e.g., terapia conjugal; sessões de aconselhamento sobre droga e linhas SOS anti-suicídio). Nesta tese, as semelhanças acústico-prosódicas entre falantes são analisadas ao nível do diálogo (adaptação global) e em tomadas de palavra intercaladas (adaptação local), tendo em conta variáveis sociais, como o papel desempenhado pelo falante no diálogo ou a familiaridade entre falantes. A nível local, verifica-se também se a adaptação entre pares de enunciados contíguos produzidos por falantes distintos varia de acordo com os tipos de frase (como, por exemplo, uma declarativa seguida de uma interrogativa ou quando ambas são declarativas ou interrogativas), bem como com a presença no início do segundo enunciado de estruturas muito frequentes em fala espontânea, tais como marcadores discursivos (e.g., agora; bem; bom; portanto; então), disfluências (pausas preenchidas, sobretudo aa e aam); repetições enfáticas (sim, sim, sim), constituintes afirmativos (sim; exacto; certo) e negativos (não; eu não tenho) e estruturas ambíguas (palavras que tanto podem ser marcadores discursivos como constituintes afirmativos, como pronto e ok). Para efetuar esta análise local, foi necessário um estudo mais aprofundado dos marcadores discursivos nos corpora disponíveis. As marcas de pontuação, que delimitam constituintes similares a frases (sentence-like units, SUs), as disfluências e até os constituintes afirmativos já haviam sido estudados em diversos trabalhos em fala espontânea em PE (Batista, 2011; Batista et al., 2012a; Moniz, 2013; Moniz et al., 2015; Cabarrão, 2013; Cabarrão et al., 2016). Por outro lado, a literatura sobre marcadores discursivos em dados de fala espontânea ainda é pouco exaustiva, na medida em que a maioria dos estudos se centram na análise das funções pragmáticas destas estruturas em textos escritos. O estudo dos marcadores discursivos visa não só contribuir para uma análise mais completa da adaptação local entre falantes (através dos exemplos destas estruturas em posição inicial), mas também para a descrição prosódica destas estruturas em fala espontânea em diferentes corpora, nomeadamente aulas universitárias e diálogos em formato map-task. Considerando o facto de marcadores e disfluências serem descritos na literatura como estruturas paralinguísticas que partilham algumas propriedades (Liu et al., 2006; Goldwater et al., 2010), e ainda o facto de ambos serem considerados na adaptação local, pretendeu-se aferir também se estas estruturas se distinguem prosodicamente. Como tal, foi realizada uma tarefa de classificação automática multiclasse para determinar, com base nas propriedades prosódicas das palavras, quais as que são marcadores discursivos, quais as que são disfluências e quais as que são SUs. Os resultados mostram que a seleção de marcadores discursivos depende do corpus e do falante. No mesmo corpus, existem falantes que tendem a utilizar o mesmo marcador e outros que variam entre diversas estruturas. Apesar de existir variação por corpus, também se observa que os marcadores mais frequentes são semelhantes em ambos os corpora. As experiências dentro do mesmo corpus (in-domain), em que o conjunto de treino e de teste correspondem a dados selecionados aleatoriamente a partir dos mesmos dados, mostram uma exatidão na classificação de 87% nas aulas universitárias e de 84%, nos diálogos. As pistas acústico-prosódicas GeMAPS e, especialmente, as eGeMAPS, parâmetros comummente utilizados em tarefas paralinguísticas, obtiveram um bom desempenho nos dados. Os resultados sugerem que os marcadores em posição inicial são geralmente mais fáceis de identificar do que as disfluências. Para testar a robustez do sistema de classificação entre corpora, realizou-se uma outra experiência com dados de um corpus para treino e do outro corpus para teste e vice-versa. Tal como expectável, os valores obtidos nesta tarefa são mais baixos (em cerca de 11% a 12%) do que utilizando os mesmos dados para treino e teste. Ainda assim, as melhorias obtidas face à base de comparação em ambos os corpora mostram que esta classificação pode ser utilizada em dados fora do domínio. De forma a perceber o impacto de cada pista acústico-prosódica na distinção entre marcadores e disfluências, foi efetuada também uma análise às pistas mais relevantes em ambos os domínios. As pistas relacionadas com a frequência fundamental (f0), nomeadamente declives de f0, são as mais relevantes na distinção entre estas estruturas. No geral, apesar da complexidade desta tarefa, os resultados são muito encorajadores para a classificação automática multiclasse. No que diz respeito à análise de adaptação global entre falantes, os resultados evidenciam adaptação acústico-prosódica, embora expressa em diferentes graus: os falantes não se adaptam sempre aos mesmos interlocutores e seguindo as mesmas estratégias acústico-prosódicas. Os resultados mostram que os falantes são mais semelhantes aos seus interlocutores do que ao seu próprio discurso noutros diálogos (cada falante participa em quatro conversas, duas como dador e duas como seguidor) na maioria dos parâmetros acústico-prosódicos, nomeadamente f0, duração e qualidade de voz, sendo a energia o único parâmetro inalterado. Já na comparação entre pares e não-pares, esta adaptação verifica-se maioritariamente em parâmetros de duração. Este estudo mostra também que os principais parâmetros prosódicos (f0, energia, duração e qualidade de voz) são monitorizados no processo de adaptação entre falantes, evidenciando um resultado para o PE que se diferencia dos obtidos para o Inglês e o Mandarim (Levitan, 2014). Nestas línguas, observa-se adaptação global entre interlocutores principalmente em pistas de energia, quer na comparação com não-pares, quer com o mesmo falante noutro diálogo. Quanto ao papel desempenhado, observa-se que cerca de metade dos falantes é mais consistente no seu discurso enquanto dador, mostrando menos adaptação ao interlocutor, e a outra metade como seguidor. Tal pode dever-se ao facto de se tratar de um diálogo colaborativo, em que os falantes trabalham em conjunto para ser bem-sucedidos na tarefa de chegar ao destino final no mapa. Estes resultados permitem também equacionar o facto de a adaptação entre falantes estar mais relacionada com o interlocutor, a sua postura e personalidade, do que com o papel desempenhado no diálogo. Os resultados obtidos quanto à adaptação local, sem considerar os tipos de frases ou estruturas específicas, revelam que os falantes são mais semelhantes entre enunciados contíguos do que entre não contíguos nos quatro parâmetros prosódicos: f0, energia, duração e qualidade de voz. Estes resultados não estão de acordo com uma análise similar para o inglês (Levitan, 2014): os falantes adaptam-se nos enunciados contíguos nos parâmetros média e máximo de energia e harmonics-to-noise-ratio (HNR), mas não em pistas de f0. Esses resultados permitem colocar a hipótese de que pistas como energia podem ser independentes da língua, pelo menos em corpora semelhantes, mas não os parâmetros de f0. As experiências realizadas até ao momento mostram assim que o comportamento acústico-prosódico da adaptação local em PE abrange não só pistas de energia mas todos os outros parâmetros prosódicos. Considerando a adaptação entre diferentes tipos de SUs, os pares pergunta-resposta são aqueles com maior semelhança na maioria dos parâmetros analisados, f0, energia, duração e qualidade de voz, sendo os pares declarativo-interrogativo aqueles nos quais ocorre menos adaptação. Estes resultados já eram expectáveis, dada a natureza colaborativa do corpus. Quanto aos subtipos de interrogativas nos pares pergunta-resposta, existem maiores evidências de adaptação com perguntas Sim-Não e Tags do que com perguntas parciais. Em PE, as perguntas Sim-Não e Tags compartilham um contorno alto/ascendente por oposição ao contorno baixo/descendente associado a perguntas parciais e a declarativas neutras. Além disso, as perguntas Sim-Não não possuem pistas léxico-sintáticas associadas, apenas prosódicas, o que pode constituir mais uma evidência para a adaptação local encontrada. Importa ainda referir que os pares pergunta-resposta são a força motriz da natureza dialógica do corpus, constituído por tarefas muito colaborativas que têm de ser resolvidas em conjunto por dois interlocutores. Os resultados deste estudo mostram que as estruturas com maior adaptação local são as que promovem colaboração e reforço positivo, estratégias que contribuem para a fluidez e sucesso do diálogo. Em linha com o que foi dito para as SUs, há maiores evidências de adaptação local com constituintes afirmativos no início do segundo enunciado em enunciados contíguos. Estes resultados evidenciam, uma vez mais, o esforço colaborativo entre os interlocutores para resolver a tarefa. Por outro lado, as pausas preenchidas e os marcadores discursivos são as estruturas que apresentam menor grau de adaptação. Uma possível explicação é o facto de que, quando os falantes proferem estas estruturas, estão já a planear o que dizer a seguir. O trabalho desenvolvido ao longo desta tese visa contribuir para a análise linguística e automática de tópicos inexplorados na fala espontânea em PE, nomeadamente estratégias de adaptação acústico-prosódica entre falantes.This thesis focuses on the analysis of entrainment, an adaptation strategy used by speakers to become more similar to their interlocutors. The main goal of this study is to find acousticprosodic similarities between speakers, considering social variables and different structural metadata events - types of sentence-like units in consecutive turns, as declaratives and interrogatives, and the presence of discourse markers, affirmative and negative cue words, and disfluencies, namely filled pauses, in the beginning of turns. To study the use of entrainment with these events, a special analysis of discourse markers was performed. Sentence-like units and disfluencies had already been studied in EP spontaneous speech, lacking only discourse markers. Experiments were performed using several acoustic-prosodic features and machine learning methods to automatically distinguish between markers, disfluencies and sentence-like units. In-domain and cross-domain experiments showed that, using exclusively acoustic-prosodic cues, markers can be fairly discriminated from the other events. The analysis of global and local entrainment in a corpus of map-task dialogues showed evidences of similarities between speakers in the main prosodic parameters, pitch, energy, duration, and voice quality, even though expressed in different degrees: speakers entrain in distinct features with different interlocutors. Regarding sentence-like units types, question-answer turns present stronger similarity, and declarative-interrogative pairs are the ones where less entrainment occurs. In question-answer pairs, there is stronger evidence of entrainment with Yes/No and Tag questions than with Wh- questions, which may be related with the fact that these subtypes are coded in distinctive prosodic ways. For turn-initial structures, entrainment is stronger when the second turn begins with an affirmative cue word; and scarce with disfluencies and discourse markers. The different degrees of entrainment may be related with the informative nature of these structures: in this data, entrainment is stronger with feedback structures

The impact of learning context on the acquisition of sociopragmatic variation patterns in non-native speaker teachers of English

The study is a cross-linguistic, cross-sectional investigation of the impact of learning contexts on the acquisition of sociopragmatic variation patterns and the subsequent enactment of compound identities. The informants are 20 non-native speaker teachers of English from a range of 10 European countries. They are all primarily mono-contextual foreign language learners/users of English: however, they differ with respect to the length of time accumulated in a target language environment. This allows for three groups to be established – those who have accumulated 60 days or less; those with between 90 days and one year and the final group, all of whom have accumulated in excess of one year. In order to foster the dismantling of the monolith of learning context, both learning contexts under consideration – i.e. the foreign language context and submersion context are broken down into micro-contexts which I refer to as loci of learning. For the purpose of this study, two loci are considered: the institutional and the conversational locus. In order to make a correlation between the impact of learning contexts and loci of learning on the acquisition of sociopragmatic variation patterns, a two-fold study is conducted. The first stage is the completion of a highly detailed language contact profile (LCP) questionnaire. This provides extensive biographical information regarding language learning history and is a powerful tool in illuminating the intensity of contact with the L2 that learners experience in both contexts as well as shedding light on the loci of learning to which learners are exposed in both contexts. Following the completion of the LCP, the informants take part in two role plays which require the enactment of differential identities when engaged in a speech event of asking for advice. The enactment of identities then undergoes a strategic and linguistic analysis in order to investigate if and how differences in the enactment of compound identities are indexed in language. Results indicate that learning context has a considerable impact not only on how identity is indexed in language, but also on the nature of identities enacted. Informants with very low levels of crosscontextuality index identity through strategic means – i.e. levels of directness and conventionality; however greater degrees of cross-contextuality give rise to the indexing of differential identities linguistically by means of speaker/hearer orientation and (non-) solidary moves. When it comes to the nature of identity enacted, it seems that more time spent in intense contact with native speakers in a range of loci of learning allows learners to enact their core identity; whereas low levels of contact with over-exposure to the institutional locus of learning fosters the enactment of generic identities

Cognitive architecture of multimodal multidimensional dialogue management

Numerous studies show that participants of real-life dialogues happen to get involved in rather dynamic non-sequential interactions. This challenges the dialogue system designs based on a reactive interlocutor paradigm and calls for dialog systems that can be characterised as a proactive learner, accomplished multitasking planner and adaptive decision maker. Addressing this call, the thesis brings innovative integration of cognitive models into the human-computer dialogue systems. This work utilises recent advances in Instance-Based Learning of Theory of Mind skills and the established Cognitive Task Analysis and ACT-R models. Cognitive Task Agents, producing detailed simulation of human learning, prediction, adaption and decision making, are integrated in the multi-agent Dialogue Man-ager. The manager operates on the multidimensional information state enriched with representations based on domain- and modality-specific semantics and performs context-driven dialogue acts interpretation and generation. The flexible technical framework for modular distributed dialogue system integration is designed and tested. The implemented multitasking Interactive Cognitive Tutor is evaluated as showing human-like proactive and adaptive behaviour in setting goals, choosing appropriate strategies and monitoring processes across contexts, and encouraging the user exhibit similar metacognitive competences