Perception and comprehension of linguistic and affective prosody in children with Landau-Kleffner syndrome

International audienceThe present study investigated language outcomes in children with Landau-Kleffner syndrome compared with 7 to 8 year-old healthy children and healthy adults. We examined their capacity of understanding simple sentences using linguistic and affective prosodic cues and perceiving them. A battery of prosodic tests was elaborated and used for this study. Results revealed certain delayed language development or a different pattern of performance in participants with Landau-Kleffner syndrome. With more subjects tested in the future results from our battery of prosodic tests would allow us to better understand language development in child and it would be helpful for speech-language therapies

Protocole d'évaluation du langage fondé sur le traitement de fonctions prosodiques (étude exploratoire de deux patients atteints de gliomes de bas grade en contexte péri-opératoire)

Notre étude est dédiée au développement d un protocole d évaluation du langage à visée clinique. Nous examinons les spécificités du traitement du langage oral à travers le filtre des fonctions langagières actualisées par la prosodie. Système composite par excellence, largement négligé tant dans l étude du traitement du langage que dans les évaluations orthophoniques, la prosodie est cependant en étroite relation avec les composantes du langage et réalise par ce biais l ensemble des fonctions structurantes du langage. Deux fonctions linguistiques de la prosodie sont ici testées en compréhension : une fonction syntaxique, sous-tendue par le marquage accentuel des frontières de syntagmes réalisé par un accent final et un accent initial, et une fonction pragmatique impliquant la fonction de focalisation initiée par un accent emphatique. Après avoir procédé à la normalisation de notre protocole auprès d un groupe de sujets contrôles, notre évaluation a été intégrée à la prise en charge longitudinale de deux patients atteints de gliomes de grade II. Dans ce cadre spécifique, nous avons adapté nos épreuves au contexte de la chirurgie éveillée. Les capacités langagières des patients ont été testées en condition pré-opératoire afin d observer l impact cognitif de la tumeur et en condition post-opératoire afin d évaluer les conséquences de l exérèse. Les résultats soulèvent des questionnements concernant la spécialisation hémisphérique de la prosodie. Ils ont aussi permis de mesurer la sensibilité de notre protocole. L étude exploratoire réalisée en condition peri-opératoire nous a permis de soulever les contraintes inhérentes à la méthode de stimulation électrique directe.This study is dedicated to the development of an exploratory clinical protocol for language evaluation, where prosody is seen as the core system for assessing spoken language processing in a more comprehensive way than is usually the case in clinical studies. Indeed, prosody is usually largely neglected in studies on language processing, as well as in speech therapy and neuropsychological evaluations. However, prosody is tightly linked to the different components of language, and plays a central role in linguistic structuring. Two linguistic functions of prosody are tested here in language comprehension: 1) the syntactic function of prosody, where both final and initial accenting help delimit syntagmatic grouping ; 2) the pragmatic function of prosody, where prosodic focus brings salience to a specific part of discourse. The protocol was first normalized on a control group of healthy participants. We then ran the evaluation in a peri-surgical context on two patients suffering from grade II glioma. The protocol had to be adapted to the context of awake surgery. The language capacities of the patients were tested first in pre-surgical context in order to assess the cognitive consequences of the brain tumor, then in post-surgical context to evaluate the consequences of the tumor removal. Results raise questions regarding the hemispheric specialization of prosody, and more globally regarding the localization of language processing. The other interesting outcome of this research is to propose improvements for the evaluation of language capacities in a surgical context using direct brain electric stimulation.TOULOUSE2-SCD-Bib. electronique (315559903) / SudocSudocFranceF

Analyse des performances des algorithmes d'estimation de la fréquence fondamentale dans le cadre de la voix pathologique

National audienceLa mesure de la fréquence fondamentale (F0) est un élément essentiel du traitement automatique de la parole, notamment dans le cadre de l'étude de la prosodie. Il est crucial d'avoir une bonne estimation de ce paramètre. De nombreux algorithmes d'estimation de la F0 fournissent de bonnes approximations sur de la parole saine, cependant les performances de ces algorithmes ne sont pas connues dans le cadre de la parole pathologique. L'objectif ici est de tester plusieurs algorithmes sur des enregistrements de personnes atteintes de cancers des voies aérodigestives supérieures (VADS) ainsi que de la Maladie de Parkinson afin de savoir quels algorithmes sont les plus aptes à être utilisés pour de futures études sur ces pathologies. Nous avons retenu 12 algorithmes de détection de F0 en se basant en partie sur une récente étude [9] ayant comparé ces algorithmes pour la parole bruitée. Nous avons ajouté plusieurs algorithmes basés sur des réseaux de neurones profonds ainsi qu’un vote médian entre plusieurs algorithmes (cf. tableau 1). Les enregistrements sont issus du projet RUGBI, contenant des patients atteints de cancer VADS [15] et des patients atteints de la Maladie de Parkinson [8]. Nous avons sélectionné 24 enregistrements (8 sains, 8 cancers, et 8 Parkinson) correspondant à une tâche de lecture. Les enregistrements présentant les plus grosses déficiences au niveau de la F0 ont été choisis en se basant sur des annotations d’experts. La F0 de référence a été obtenue via une correction manuelle de l’alignement des pics glottaux automatiquement annotés par le logiciel Praat [3] comme illustré sur la Figure 1. Chaque algorithme a été évalué selon sa capacité à déterminer si une zone de parole est voisée ou non ainsi que selon sa capacité à calculer une estimation proche de la F0 de référence [9]. Les résultats obtenus sont décrits dans le Tableau 1. Les algorithmes se basant sur le domaine temporel du signal proposent de bons résultats sur la détection de voisement : ACF [2], AMDF [13] et REAPER (score aux alentours de 5% d’erreurs que ce soit pour la parole pathologique ou saine). Concernant la précision des estimations de la F0, ce sont les algorithmes basés sur des réseaux neuronaux qui procurent les meilleurs résultats avec environ 1% d’erreurs grossières sur la parole cancer pour FCN-F0 et moins de 0.5% sur la parole saine et Parkinsonienne. Le vote médian est le meilleur compromis entre détection de voisement et estimation de la F0

Intelligibilité de la parole et qualité de vie. Réflexions à partir des résultats de l'étude «carcinologic speech severity index»

National audienceLe projet C2SI avait pour objectif la création d'un indice automatique de sévérité de la parole applicable en cancérologie des voies aérodigestives, particulièrement aux cancers de la cavité buccale et du pharynx. Les équipes de recherche en informatique et en linguistique en association avec l'équipe de cliniciens ont pour cela : - créé un corpus de parole dont le traitement perceptif par l'oreille humaine a produit des mesures de sévérité, d'intelligibilité et de compréhensibilité de la parole ainsi que des évaluations de la prosodie. - recruté 87 patients et 42 sujets sains qui ont enregistré le corpus et rempli des questionnaire de qualité de vie relatif à la parole et un questionnaire générique de qualité de vie - traité automatiquement les données de parole du corpus en lien avec les résultats perceptifs Le score automatique C2SI construit par modélisation pour chacun des patients de notre échantillon intègre des paramètres acoustiques de la fréquence de la voix, des scores de vraisemblance automatique sur des taches de production de non-mots et de lecture de texte et d'autres modalités de traitement automatique sur la production de non-mots. Il produit un coefficient de corrélation de Spearman avec le score perceptif de sévérité à 0,87. A partir des résultats du traitement perceptif, après ajustement sur la classe d'âge et la région anatomique atteinte par la tumeur, le traitement chirurgical sur la tumeur altère significativement l'intelligibilité et la sévérité de la parole. Le volume tumoral a également un impact sur les performances d'intelligibilité. Ces résultats ouvrent des perspectives sur l'utilisation en pratique clinique du traitement automatique de la production de parole. En accord avec les travaux d'autres équipes, ils sont en faveur de l'utilisation de mesures automatiques optimisées par les techniques d'apprentissage automatique qui pourront intégrés d'autres paramètres pour prédire l'impact sur la qualité de vie des patients. Pour cela l'analyse des interactions entre les différentes dimensions de la production de la parole, la communication fonctionnelle et la qualité de vie sont en cours

Rôle de la prosodie dans la fluence en lecture oralisée chez des apprenants de Français Langue Étrangère

Notre recherche a pour objectif de tester l incidence de la pratique linguistique à l oral sur les compétences en lecture d apprenants de Français Langue Etrangère (FLE). A partir d une hypothèse en psycholinguistique sur le rôle de la prosodie implicite dans le décodage de l écrit en Langue Maternelle (Fodor, 2002), nous postulons qu un travail poussé de correction phonétique centré sur la sensibilisation à la structure prosodique du français (via la Méthode Verbo Tonale, MVT) va non seulement améliorer la fluence des apprenants en parole spontanée et en parole lue, mais aussi faciliter le décodage de l écrit. Nous pensons que cet apprentissage sera plus efficace s il est proposé dès le niveau débutant. Pour tester ces hypothèses, nous avons mené deux études longitudinales avec des apprenants anglophones de FLE. Nous avons mesuré la fluence en lecture oralisée des apprenants avant et après la formation. Les résultats des analyses acoustiques et perceptives de la première étude (étude pilote) nous ont permis de confirmer nos hypothèses et d appuyer nos choix méthodologiques. Dans la deuxième étude, nous avons souhaité approfondir les résultats obtenus dans l étude pilote et valider expérimentalement l efficacité de la MVT. Nous avons comparé l impact de la MVT et de la méthode Articulatoire dans l évolution de la fluence des apprenants. Nous avons également testé un des présupposés de la méthodologie SGAV (dont est issue la MVT) selon lequel l écrit ne devrait pas être introduit avant que les paramètres prosodiques ne soient maitrisés, sans quoi le passage à l écrit entrainerait une chute de la fluence des apprenants. Les résultats de cette seconde étude vont dans le sens de nos hypothèses : seuls les apprenants qui ont suivi les cours de correction phonétique via la MVT ont amélioré leur fluence en parole lue. De plus, l introduction de l écrit fait chuter la fluence des productions chez tous les apprenants. En conclusion, la maitrise de la prosodie constitue un prérequis nécessaire au passage à l écrit en langue étrangère.This study investigates the influence of oral training on reading out loud in French as a Foreign Language (FFL). Based on the implicit prosody hypothesis by Fodor (2002), we venture that working on the phonetic correction orally will improve speaking fluency, as well as reading fluency, and facilitate the decoding of the written test. We think that the impact of this training will be stronger with beginner than advanced learners. In order to test these hypotheses, we have conducted two longitudinal studies with English FFL students. We have measured the students fluency before and after training. The acoustics and perceptive results of the first study have confirmed our hypothesis and supported our methodology. In the second study, we follow up on these results on a larger-scale longitudinal study, designed to systematically compare the impact of two phonetics teaching methods on reading skills for FFL learners of French: the Articulatory Method (AM) and the Verbo-Tonal Method (VTM). We have also tested one of the presuppositions of the Structuro-Global Audiovisual Methodology (SGAV) from which comes the VTM according to which readings and writings activities should be delayed until students phonetic and prosodic skills have reached a basic and steady level. Our data support our hypotheses: only the students who have received VTM classes have improved their reading fluency. Furthermore, the introduction of reading activities during the training has caused a decline in all the students' fluency. Thus mastering second language prosody is essential before introducing reading or writing activities.TOULOUSE2-SCD-Bib. electronique (315559903) / SudocSudocFranceF

Caractérisation automatique du rythme de la parole: Application aux cancers des voies aéro-digestives supérieures et à la maladie de Parkinson

National audienceLa prosodie est un élément essentiel de la parole. Elle constitue un moyen de transmettre l'emphase, le sens, la structure du discours ou encore les émotions. L'un des buts principaux de la prosodie est de segmenter les énoncés de parole en unités linguistiques plus courtes et de les organiser de manière cohérente pour l'auditeur. Les trois principes organisateurs de la prosodie sont : l'intonation, l'accentuation et le rythme. Le rythme de la parole peut être défini comme la récurrence de syllabes accentuées et leur organisation temporelle par rapport aux syllabes inaccentuées. Il joue un rôle primordial dans la structuration temporelle du flot de parole du point de vue du locuteur, et participe également à faciliter la compréhension du message pour l’auditeur. Le rythme est donc un élément central dans l’étude de la prosodie. Dans cette thèse, nous nous sommes intéressés à l’impact que certaines pathologies peuvent avoir sur la production du rythme de la parole. Plus particulièrement, nous avons étudié deux types de pathologies : la maladie de Parkinson, ainsi que les patients atteints d’un cancer de la cavité buccale ou de l'oropharynx ayant subi un traitement médical. Notre objectif principal a été de proposer une modélisation automatique du rythme de la parole pathologique. Grâce à cette modélisation, nous avons voulu mettre en évidence les régularités rythmiques à différents niveaux prosodiques, dans le but de pouvoir caractériser les stratégies de production de parole misent en jeu chez des personnes atteintes de ces deux pathologies. Après avoir posé le cadre théorique du rythme dans lequel nous nous plaçons, nous avons pû réaliser un état de l’art des différentes modélisations automatiques du rythmes existantes. Parmi les modélisations automatiques étudiées, nous avons sélectionné celles dont l’implémentation se rapproche au mieux de nos présupposés théoriques. Nous avons alors testé ces méthodes sur un corpus de slam dans le but de sélectionner les méthodologies qui modélisent au mieux la hiérarchie rythmique de la parole. La modélisation que nous avons retenu se base sur l’analyse des modulations lentes (inférieures à 10 Hz) de l’amplitude du signal de parole. Cette méthode appelée le spectre de modulation d’enveloppe (EMS) permet de caractériser la stratégie de segmentation de la parole des locuteurs. Ainsi, nous avons pu observer dans notre corpus de parole pathologique que les personnes présentant de forts troubles de l’articulation des syllabes ont tendance à favoriser une structuration prosodique très régulière. Au contraire, une personne sans troubles apparents de l’articulation présente une structuration prosodique moins régulière. Nous supposons donc que les patients dont l’intelligibilité est faible à cause de troubles articulatoires se focalisent davantage sur une structuration très régulière de leur parole avec des durées de groupes de mots de longueurs équivalentes. Nous avons par la suite modélisé l'intelligibilité des patients en nous focalisant uniquement sur des indices purement rythmiques issus de l’EMS. Cependant, après analyse des résultats, les indices rythmiques les plus corrélés au score d’intelligibilité de référence estimés par des médecins ORL étaient en réalité fortement dépendants du débit de parole. Nous avons donc proposé de nouvelles caractéristiques du rythme indépendantes du débit de parole. A l’aide de ces nouveaux paramètres, nous avons pu proposer une représentation en deux dimensions de notre corpus de parole pathologique. Cette représentation basée sur les niveaux principaux de régularités de l’EMS nous a permis de caractériser caractériser et de regrouper les personnes avec des stratégies de segmentation de la parole particulières. L’EMS est donc une modélisation pertinente du rythme de la parole qui permet de caractériser efficacement le rythme de la parole au travers d’une représentation de la régularité des niveaux prosodiques à différents niveaux de hiérarchie

Influence of syllabic lengthening on semantic processing in spoken french: behavioral and electrophysiological evidence

International audienceThe present work investigates the relationship between semantic and prosodic (metric) processing in spoken language under 2 attentional conditions (semantic and metric tasks) by analyzing both behavioral and event-related potential (ERP) data. Participants listened to short sentences ending in semantically and/or metrically congruous or incongruous trisyllabic words. In the metric task, ERP data showed that metrically incongruous words elicited both larger early negative and late positive components than metrically congruous words, thereby demonstrating the online processing of the metric structure of words. Moreover, in the semantic task, metrically incongruous words also elicited an early negative component with similar latency and scalp distribution as the classical N400 component. This finding highlights the automaticity of metrical structure processing. Moreover, it demonstrates that violations of a word's metric structure may hinder lexical access and word comprehension. This interpretation is supported by the behavioral data showing that participants made more errors for semantically congruous but metrically incongruous words when they were attending to the semantic aspects of the sentence. Finally, the finding of larger N400 components to semantically incongruous than congruous words, in both the semantic and metric tasks, suggests that the N400 component reflects automatic aspects of semantic processing

From the perception of emotion to their expression: a study on linguistic and affective prosody problems in French speaking high functioning autistic children

International audienc

Comparison of Rhythmic processing in Language and Music: An interdisciplinary approach

onlineIn this paper we describe an interdisciplinary collaboration between phoneticians, acousticians and neuroscientists that led to a study of rhythm in music and language. In the first part of the paper we discuss general aspects of rhythm, with a short overview of some earlier studies on the cultural influences of linguistic rhythm on musical rhythm. In the second part, we describe an experimental procedure aimed at comparing the perception of rhythmic and semantic violations in language with the perception of rhythmic and harmonic violations in music. Subjects listened to different sentences and melodies and were asked to focus on either rhythm or semantics/harmony to indicate whether or not the last word/arpeggio was acceptable or not in the context. The Event-Related Brain Potential method was used to study perceptual and cognitive processing related to the rhythmic and semantic/harmonic incongruities. The results indicated that the processing of rhythmic incongruities was associated with increased positive deflections in the Brain Potential in similar latency bands in both language and music. However, these positivities were present independently of the participants’ focus in the music part while they were only present when the participants focused on semantics in the language part

Construction of an automatic score for the evaluation of speech disorders among patients treated for a cancer of the oral cavity or the oropharynx: The Carcinologic Speech Severity Index

International audienceBackground: Speech disorders impact quality of life for patients treated with oral cavity and oropharynx cancers. However, there is a lack of uniform and applicable methods for measuring the impact on speech production after treatment in this tumor location. Objective: The objective of this work is to (1) model an automatic severity index of speech applicable in clinical practice, that is equivalent or superior to a severity score obtained by human listeners, via several acoustics parameters extracted (a) directly from speech signal and (b) resulting from speech processing and (2) derive an automatic speech intelligibility classification (i.e., mild, moderate, severe) to predict speech disability and handicap by combining the listener comprehension score with self-reported quality of life related to speech. Methods: Eighty-seven patients treated for cancer of the oral cavity or the oropharynx and 35 controls performed different tasks of speech production and completed questionnaires on speech-related quality of life. The audio recordings were then evaluated by human perception and automatic speech processing. Then, a score was developed through a classic logistic regression model allowing description of the severity of patients' speech disorders. Results: Among the group of parameters subject to extraction from automatic processing of the speech signal, six were retained, producing a correlation at 0.87 with the perceptual reference score, 0.77 with the comprehension score, and 0.5 with speech-related quality of life. The parameters that contributed the most are based on automatic speech recognition systems. These are mainly the automatic average normalized likelihood score on a text reading task and the score of cumulative rankings on pseudowords. The reduced automatic YC2SI is modeled in this way: YC2SIp = 11.48726 + (1.52926 × Xaveraged normalized likelihood reading) + (−1.94e-06 × Xscore of cumulative ranks pseudowords). Conclusion: Automatic processing of speech makes it possible to arrive at valid, reliable, and reproducible parameters able to serve as references in the framework of follow-up of patients treated for cancer of the oral cavity or the oropharynx