De la mesure de l'intelligibilité à l'évaluation de la compréhension de la parole pathologique en situation de communication

This research is a direct answer to a need that has been shown within the field of speech pathology. In order to assess their patients' skills and to follow their progress over time, speech pathologists need reliable and valid methods for quantifying communicative performance. Today speech intelligibility tests are the most widely used tools for this purpose.Despite this fact, few authors have studied the relationship between speech intelligibility scores and a patient's ability to be understood by others (Beukelman, 1979 ; Hustad, 2008). Our research work directly builds on these previous studies. We created a method to assess speech comprehension by observing the listener's reactions to speech. This method — implemented in a software program called ‘EloKanz‘ — allowed us to study the relationship between speech intelligibility and speech comprehension in a more precise manner.Our results show that speech intelligibility scores are not valid predictors of communicative performance. Clinical implications matter greatly, since speech intelligibility scores are used not only to evaluate the effectiveness of speech therapies and treatments, but also to make enrollment or dismissal decisions.Ce travail de recherche répond à un besoin exprimé par des médecins et des orthophonistes travaillant auprès de patients souffrant de troubles pathologiques de production de la parole (TPPP). Le suivi et la prise en charge des patients impliquent de disposer de méthodes d’évaluation fiables et valides permettant de quantifier leurs performances de communication verbale. Aujourd’hui les méthodes généralement utilisées à cette fin sont les tests de retranscription orthographique (tests d’intelligibilité).Malgré le fait que cette utilisation soit très répandue en pratique, peu d’auteurs ont étudié la relation entre les scores de retranscription orthographique et l’aptitude des patients à être compris par des tiers (Beukelman, 1979 ; Hustad, 2008). Notre travail s’inscrit dans la continuité directe de ces études. Nous avons élaboré une méthode permettant d’évaluer la compréhension de la parole en observant les réactions comportementales des auditeurs à des énoncés verbaux. Cette méthode, réalisée sous la forme d’un logiciel baptisé « EloKanz », nous a permis d’étudier plus en avant la relation existant entre l’intelligibilité et la compréhension de la parole en situation de communication, et de proposer un nouvel outil d’évaluation.Nos résultats montrent que les scores de retranscription orthographique ne sont pas des indicateurs fiables de la performance de communication verbale. Les implications cliniques de ce résultat sont importantes, dans la mesure où les scores d’intelligibilité sont non seulement utilisés pour suivre les progrès des patients dans le temps — et donc juger de l’efficacité de thérapies ou d’interventions — mais aussi pour prendre des décisions aussi importantes que la prise en charge d’une personne ou, au contraire, de l’arrêt d’un traitement

Predicting disordered speech comprehensibility from Goodness of Pronunciation scores

International audienceSpeech production assessment in disordered speech relies on tests such as intelligibility and/or comprehensibility tests. These tests are subjective and time-consuming for both the patients and the practitioners. In this paper, we report on the use of automatically-derived pronunciation scores to predict comprehensibility ratings, on a pilot development corpus comprised of 120 utterances recorded by 12 speakers with distinct pathologies. We found high correlation values (0.81) between Goodness Of Pronunciation (GOP) scores and comprehensibility ratings. We compare the use of a baseline implementation of the GOP algorithmwith a variant called forced-GOP, which showed better results. A linear regression model allowed to predict comprehensibility scores with a 20.9% relative error, compared to the reference scores given by two expert judges. A correlation value of 0.74 was obtained between both the manual and the predicted scores. Most of the prediction errors concern the speakers who have the most extreme ratings (the lowest or the largest values), showing that the predicted score range was globally more limited than the one of the manual scores due to the simplicity of the model

Automatic intelligibility measures applied to speech signals simulating age-related hearing loss

International audienceThis research work forms the first part of a long-term project designed to provide a framework for facilitating hearing aids tuning. The present study focuses on the setting up of automatic measures of speech intelligibility for the recognition of isolated words and sentences. Both materials were degraded in order to simulate presbycusis effects on speech perception. Automatic measures based on an Automatic Speech Recognition (ASR) system were applied to an audio corpus simulating the effects of presbycusis at nine severity stages. The results are compared to reference intelligibility scores collected from 60 French listeners. The aim of this system being to produce measures as close as possible to human behaviour, good performances were achieved since strong correlations between subjective and objective scores are observed

Comparaison de mesures perceptives et automatiques de l'intelligibilité : application à de la parole simulant la presbyacousie

International audienceCet article présente une étude comparative entre mesures perceptives et mesures automatiques de l'intelligibilité de la parole sur de la parole dégradée par une simulation de la presbyacousie. L'objectif est de répondre à la question : peut-on se rapprocher d'une mesure perceptive humaine en utilisant un système de reconnaissance automatique de la parole ? Pour ce faire, un corpus de parole dégradée a été spécifiquement constitué puis utilisé pour des tests perceptifs et enfin soumis à un traitement automatique. De fortes corrélations entre les performances humaines et les scores de reconnaissance automatique sont observées

Automatic Assessment of Speech Capability Loss in Disordered Speech

International audienceIn this article, we report on the use of an automatic technique to assess pronunciation in the context of several types of speech disorders. Even if such tools already exist, they are more widely used in a different context, namely, Computer-Assisted Language Learning, in which the objective is to assess nonnative pronunciation by detecting learners' mispronunciations at segmental and/or suprasegmental levels. In our work, we sought to determine if the Goodness of Pronunciation (GOP) algorithm, which aims to detect phone-level mispronunciations by means of automatic speech recognition, could also detect segmental deviances in disordered speech. Our main experiment is an analysis of speech from people with unilateral facial palsy. This pathology may impact the realization of certain phonemes such as bilabial plosives and sibilants. Speech read by 32 speakers at four different clinical severity grades was automatically aligned and GOP scores were computed for each phone realization. The highest scores, which indicate large dissimilarities with standard phone realizations, were obtained for the most severely impaired speakers. The corresponding speech subset was manually transcribed at phone level; 8.3% of the phones differed from standard pronunciations extracted from our lexicon. The GOP technique allowed the detection of 70.2% of mispronunciations with an equal rate of about 30% of false rejections and false acceptances. Finally, to broaden the scope of the study, we explored the correlation between GOP values and speech comprehensibility scores on a second corpus, composed of sentences recorded by six people with speech impairments due to cancer surgery or neurological disorders. Strong correlations were achieved between GOP scores and subjective comprehensibility scores (about 0.7 absolute). Results from both experiments tend to validate the use of GOP to measure speech capability loss, a dimension that could be used as a complement to physiological measures in pathologies causing speech disorders

From intelligibility measures to the assessment of disordered speech comprehension in a communication task.

Ce travail de recherche répond à un besoin exprimé par des médecins et des orthophonistes travaillant auprès de patients souffrant de troubles pathologiques de production de la parole (TPPP). Le suivi et la prise en charge des patients impliquent de disposer de méthodes d’évaluation fiables et valides permettant de quantifier leurs performances de communication verbale. Aujourd’hui les méthodes généralement utilisées à cette fin sont les tests de retranscription orthographique (tests d’intelligibilité).Malgré le fait que cette utilisation soit très répandue en pratique, peu d’auteurs ont étudié la relation entre les scores de retranscription orthographique et l’aptitude des patients à être compris par des tiers (Beukelman, 1979 ; Hustad, 2008). Notre travail s’inscrit dans la continuité directe de ces études. Nous avons élaboré une méthode permettant d’évaluer la compréhension de la parole en observant les réactions comportementales des auditeurs à des énoncés verbaux. Cette méthode, réalisée sous la forme d’un logiciel baptisé « EloKanz », nous a permis d’étudier plus en avant la relation existant entre l’intelligibilité et la compréhension de la parole en situation de communication, et de proposer un nouvel outil d’évaluation.Nos résultats montrent que les scores de retranscription orthographique ne sont pas des indicateurs fiables de la performance de communication verbale. Les implications cliniques de ce résultat sont importantes, dans la mesure où les scores d’intelligibilité sont non seulement utilisés pour suivre les progrès des patients dans le temps — et donc juger de l’efficacité de thérapies ou d’interventions — mais aussi pour prendre des décisions aussi importantes que la prise en charge d’une personne ou, au contraire, de l’arrêt d’un traitement.This research is a direct answer to a need that has been shown within the field of speech pathology. In order to assess their patients' skills and to follow their progress over time, speech pathologists need reliable and valid methods for quantifying communicative performance. Today speech intelligibility tests are the most widely used tools for this purpose.Despite this fact, few authors have studied the relationship between speech intelligibility scores and a patient's ability to be understood by others (Beukelman, 1979 ; Hustad, 2008). Our research work directly builds on these previous studies. We created a method to assess speech comprehension by observing the listener's reactions to speech. This method — implemented in a software program called ‘EloKanz‘ — allowed us to study the relationship between speech intelligibility and speech comprehension in a more precise manner.Our results show that speech intelligibility scores are not valid predictors of communicative performance. Clinical implications matter greatly, since speech intelligibility scores are used not only to evaluate the effectiveness of speech therapies and treatments, but also to make enrollment or dismissal decisions

Utilisation d'algorithmes de Goodness of Pronunciation pour l'évaluation de la compréhensibilité de la parole pathologique (JCP 2015)

International audienceL'évaluation des capacités de production de la parole de locuteurs ayant une pathologie de la parole d'origine motrice repose presque exclusivement sur des tests subjectifs tels que des tests d'intelligibilité. Ces tests consistent à demander à un locuteur de lire des listes de mots ou de phrases tandis qu'un ou plusieurs juge(s) évaluent leur production. Ils ont deux inconvénients principaux : ils sont très coûteux en temps et, de plus, ils sont subjectifs par nature. Dans ce contexte, des méthodes automatiques peuvent constituer des solutions pratiques pour l'évaluation des locuteurs. Les progrès récents dans la reconnaissance automatique de la parole (RAP) − en particulier dans le domaine de l'apprentissage des langues assisté par ordinateur − ont contribué au développement de techniques qui peuvent être d'un grand intérêt à cette fin. Dans des études précédentes, nous avons montré que l'algorithme du Goodness Of Pronunciation (GOP) [1, 2] pouvait être adapté et utilisé dans le contexte de la parole pathologique [3, 4]. Cet algorithme consiste 1) à aligner une séquence de phones attendue, de référence, à un signal audio de parole et 2) à comparer cet alignement à la séquence de phones obtenue lors d'une phase de reconnaissance dite \guillemotleft libre \guillemotright, c'est-à-dire sans contraindre le système de RAP à reconna\^ıtre une séquence de phones donnée. Dans le présent article, nous décrivons l'application d'une nouvelle méthode (Forced-Aligned GOP ou F-GOP [2]) qui vise à prédire des mesures de tests subjectifs à partir des scores de prononciation obtenus automatiquement. Nous avons utilisé un corpus de parole enregistré par 12 locuteurs souffrant de pathologies de production de la parole d'origine neurologique ou anatomique. Chaque locuteur a prononcé dix phrases correspondant à des commandes verbales telles que \guillemotleft Mettez l'ours à gauche du kangourou \guillemotright. Deux juges experts ont évalué les productions des locuteurs sur une échelle de 1 (compréhensibilité nulle) à 7 (compréhensibilité parfaite). La moitié du corpus a été utilisée comme corpus de développement et l'autre de corpus de test. Dans le corpus de développement, une forte corrélation entre les mesures subjectives et automatiques (F-GOP moyen) a été trouvée (r=0,81). Un modèle de régression linéaire a permis de définir des valeurs attendues pour la seconde moitié du corpus. Les valeurs prédites s'écartent des valeurs des juges de 16.3% relatifs. Le modèle utilisé a globalement tendance à sous-estimer la compréhensibilité des locuteurs. Cela pourrait être dû à une quantité de données insuffisante pour estimer le modèle linéaire. Ces résultats très encourageants, sous réserve de confirmation sur un panel plus important de locuteurs, sont un premier pas vers la mise en place d'un outil d'évaluation automatique destiné au domaine clinique

Élaboration de supports audiovisuels pour l'enseignement du FLE au Japon : vers une sensibilisation des apprenants aux variantes méridionales du français contemporain

International audienc

Constructing a know-how repository of advices and warnings from procedural texts

In this paper, we show how a domain dependent know-how textual database of advices and warnings can be constructed from procedural texts. We show how arguments of type warnings and advices can be annotated and extracted from procedural texts, and propose a format and a strategy to automatically generate a know-how textual database