Systèmes de compréhension et de traduction de la parole (vers une approche unifiée dans le cadre de la portabilité multilingue des systèmes de dialogue)

La généralisation de l usage des systèmes de dialogue homme-machine accroît la nécessité du développement rapide des différents composants de ces systèmes. Les systèmes de dialogue peuvent être conçus pour différents domaines d application et dans des langues différentes. La nécessité d une production rapide pour de nouvelles langues reste un problème ouvert et crucial auquel il est nécessaire d apporter des solutions efficaces.Nos travaux s intéressent particulièrement au module de compréhension de la parole et proposent des approches pour la portabilité rapide peu coûteuse de ce module.Les méthodes statistiques ont montré de bonnes performances pour concevoir les modules de compréhension de la parole pour l étiquetage sémantique de tours de dialogue.Cependant ces méthodes nécessitent de larges corpus pour être apprises. La collecte de ces corpus est aussi coûteuse en temps et en expertise humaine.Dans cette thèse, nous proposons plusieurs approches pour porter un système de compréhension d une langue vers une autre en utilisant les techniques de la traduction automatique. Les premiers travaux consistent à appliquer la traduction automatique à plusieurs niveaux du processus de portabilité du système de compréhension afin de réduire le coût lié à production de nouvelles données d apprentissage. Les résultats expérimentaux montrent que l utilisation de la traduction automatique permet d obtenir des systèmes performant avec un minimum de contribution humaine.Cette thèse traite donc à la fois de la traduction automatique et de la compréhension de la parole. Nous avons effectué une comparaison approfondie entre les méthodes utilisées pour chacune des tâches et nous avons proposé un décodage conjoint basé sur une méthode discriminante qui à la fois traduit une phrase et lui attribue ses étiquettes sémantiques. Ce décodage est obtenu par une approche à base de graphe qui permet de composer un graphe de traduction avec un graphe de compréhension. Cette représentation peut être généralisée pour permettre des transmissions d informations riches entre les composants du système de dialogueThe generalisation of human-machine dialogue system increases the need for a rapid development of the various components of these systems. Dialogue systems can be designed for different applications and in different languages. The need for a fast production of systems for new languages is still an open and crucial issue which requires effective solutions. Our work is particularly interested in speech understanding module and propose approaches for language portability of this module. The statistical methods showed good performance to design modules for speech understanding. However, these methods require large corpora to be trained. The collection of these corpora is expensive in time and human expertise. In this thesis, we propose several approaches to port an understanding system from one language to another using machine translation techniques. The experimental results show that the use of machine translation allows to produce efficient systems with minimal human effort. This thesis addresses both machine translation and speech understanding domain. We conducted a comparison between the methods used for each task and we have proposed a joint decoding between translation and understanding based on a discriminant method. This decoding is achieved by a graph-based approach which allows to compose a translation graph with an understanding graph. This representation can be generalized to allow a rich transmission of information between the components of the dialogue systemAVIGNON-Bib. numérique (840079901) / SudocSudocFranceF

Le lexique des verbes en dénomination orale : étude exploratoire chez l'aphasique et étude en IRMf chez le sujet sain

Our study deals with the organisation of verb lexicon in aphasics, partly through an exploratory study of oral action naming using a video stimulus, and partly through an fMRI investigation in healthy subjects. According to our results, patients with different types of aphasia experience verb production difficulties. We observed a high rate of non conventional utterances, mainly verbal, in the form of semantic approximations. In aphasiology, the study of these utterances, which are associated with semantic paraphasia and are considered as errors, is limited to a nominal framework. We emphasise that these utterances demonstrate a verb lexicon structure based on semantic proximity, and signal the existence of a cognitive flexibility in the structure of the mental lexicon. In the literature, specific verb difficulties in aphasics are associated with frontal lobe lesions, but these data have been disputed. Using fMRI, we obtained fronto-parietal activations in the more posterior regions as well as activations in the thalamo-fronto-striate loop. Our results support the recruitment of all the cerebral regions. The stimulus used in our study may have enabled access via two pathways to the representation of the sensorimotor nature of verbs via the left middle temporal gyrus and the premotor areas. Videos appear to be a more ecological evaluative tool than images for studying the lexical processing of verbs.Notre étude porte sur l’organisation du lexique des verbes chez l’aphasique, d’une part à travers une étude exploratoire en dénomination orale d’action sur support vidéo, et d’autre part à partir d’une investigation en IRMf chez le sujet sain. D’après nos résultats, les aphasiques de différents types ont des difficultés à produire des verbes, et on observe une production importante d’énoncés non conventionnels à pivot verbal : les approximations sémantiques. En aphasiologie, l’étude de ces énoncés, qu’on associe à des paraphasies sémantiques, se limite à un cadre nominal et sont considérés comme des erreurs. Nous soulignons qu’elles manifestent un mode de structuration du lexique des verbes par proximité sémantique et marquent l’existence d’une flexibilité cognitive dans la structuration du lexique mental. Dans la littérature, les troubles spécifiques du verbe, chez l’aphasique, sont associés à des lésions du lobe frontal, mais ces données sont controversées. En IRMf, nous obtenons des activations fronto-pariétales, des régions plus postérieures, et des activations de la boucle fronto-thalamo-striée. Nos résultats sont en faveur d’un recrutement d’un ensemble de régions cérébrales. Le support que nous avons utilisé permettrait d'accéder par deux voies à la représentation de la nature sensori-motrice du verbe, par le gyrus temporal moyen gauche et les aires prémotrices. Le mode vidéo semblerait être un outil d’évaluation plus écologique que le support imagé pour l’étude du traitement du lexique des verbes

Analyse de l'effet d'âge et du sexe sur l'utilisation des symboles graphiques

La suppléance à la communication (SC) est un moyen qui permet aux personnes qui ne peuvent pas communiquer par la parole de transmettre des informations à leur environnement et d'interagir de manière fonctionnelle avec lui. Le développement de la SC connaît des avancées importantes depuis quelques années, surtout avec l'avènement de nouvelles technologies. Toujours est-il qu'une compréhension plus approfondie des mécanismes qui sous-tendent l'utilisation de la SC reste primordiale. De plus, les relations qui existent entre l'utilisation du langage oral et de symboles graphiques sont peu explorées à ce jour. La présente étude fait partie d'un projet plus large visant donc à mieux explorer la nature des compétences nécessaires à une utilisation optimale de symboles graphiques dans la SC. Ainsi, et afin de mieux comprendre cette relation entre le langage oral et l'utilisation de symboles graphiques aussi bien en production qu'en compréhension, ainsi que pour mieux explorer l'effet d'âge et de genre, nous avons recruté 79 enfants (37 filles et 42 garçons), âgés entre 4;1 ans et 9;11ans, et qui présentent un développement typique du langage. L'étude du développement typique nous permet d'étudier certaines habiletés qui peuvent être difficiles à évaluer chez des enfants présentant des déficits sévères. Les sujets ont été répartis en 3 groupes selon leur âge: groupe 4-5 ans (n=26), groupe 6-7 ans (n=35) et groupe 8-9 ans (n=18). Plusieurs tâches ont été crées; celles-ci comprenaient des tâches de compréhension et de production, avec comme matériel des symboles graphiques, des objets ou des mots, qui étaient répartis au sein d'énoncés formés de trois, quatre, six ou huit éléments. Les résultats montrent tout d'abord deux profils distincts: chez les jeunes enfants, on observe une meilleure performance aux tâches d'interprétation par rapport aux tâches de production. Cependant, cette différence n'est plus évidente pour les groupes des plus âgés, et la distinction principale se situe alors au niveau de la différence de performance entre les tâches orales et les tâches symboliques au profit des premières. Par ailleurs, et conformément aux observations sur le développement du langage oral, la performance des filles est supérieure à celle des garçons à toutes les tâches, et cette différence semble disparaître avec l'âge. Enfin, nos résultats ont permis de montrer une amélioration plus marquée de la maîtrise du langage oral avec l'âge par comparaison à la maîtrise du traitement du symbole graphique. Par contre, l'interprétation et la production semblent être maîtrisées de manière similaire. Notre étude vient appuyer certains résultats rapportés dans la littérature, ainsi qu'élargir les connaissances surtout au niveau des liens qui existent entre la production et l'interprétation orale et symbolique en fonction de l'âge et du genre.Augmentative and alternative communication (AAC) is used by people who cannot communicate through speech to transmit information to their environment and interact functionally with it. AAC has seen significant advances in recent years, especially with the advent of new technologies. Nevertheless, a more thorough understanding of the mechanisms underlying the use of AAC remains crucial. In addition, the relationships between the use of oral language and graphic symbols are little explored to date. This study is part of a larger project aiming to explore the nature of skills underlying the optimal use of graphic symbols in AAC. Accordingly, and in order to better understand this relationship between spoken language and the use of graphic symbols both in production and in comprehension, as well as to explore the effect of age and gender on this relationship, we recruited 79 children (37 girls and 42 boys) aged between 4:1 and 9:11 years, with typical language development. The study of typical development allows us to explore certain skills that can be difficult to evaluate in children with severe deficits. Participants were divided into 3 groups according to age: 4-5 years (n = 26), 6-7 years (n = 35) and 8-9 years (n = 18). Several tasks were created; these included comprehension and production tasks, using graphic symbols, objects or words, in utterances consisting of three, four, six or eight elements. First, the results showed two distinct profiles: in young children, the main distinction fell on the interpretation-production axis, regardless of the task. However, this difference is less obvious for the older age groups, with the distinction falling on the oral-graphic symbols axis. In addition, and in accordance with observations made for oral language development, the performance of girls was higher than the performance of boys in all tasks, and this difference seemed to become less significant with age. Finally, our results showed that oral language is better mastered than graphic symbols with age, whereas the difference between the interpretation and production tends to disappear. Our study supports results reported in the literature, and widens our knowledge on the relationship between oral and symbolic production and interpretation according to age and gender

A study of semantic memory after brain injury: Learning newly coined French words

AbstractObjectiveTo investigate semantic memory in brain-injured patients.MethodsWe used the new word questionnaire (QMN) to assess the ability of 12 brain-injured patients and 12 healthy controls to define French words, which had been admitted to the dictionary in 1996 to 1997 or in 2006 to 2007.ResultsDespite amnesia or severe executive disorders, the brain-injured patients were able to learn new words and remember those that they already learnt. They successfully selected the relevant phrase in which the new word was placed and were reasonably good at recognizing the right definition from among decoys. In contrast, they had trouble defining the words and compensated for this by giving examples. These problems were correlated with their vocabulary and executive function scores in a battery of neuropsychological tests.ConclusionOur results suggest that frontal injury leads to an impairment in accurate word selection and the scheduling abilities required to generate word definitions

Classification automatique pour la compréhension de la parole (vers des systèmes semi-supervisés et auto-évolutifs)

La compréhension automatique de la parole est au confluent des deux grands domaines que sont la reconnaissance automatique de la parole et l'apprentissage automatique. Un des problèmes majeurs dans ce domaine est l'obtention d'un corpus de données conséquent afin d'obtenir des modèles statistiques performants. Les corpus de parole pour entraîner des modèles de compréhension nécessitent une intervention humaine importante, notamment dans les tâches de transcription et d'annotation sémantique. Leur coût de production est élevé et c'est la raison pour laquelle ils sont disponibles en quantité limitée.Cette thèse vise principalement à réduire ce besoin d'intervention humaine de deux façons : d'une part en réduisant la quantité de corpus annoté nécessaire à l'obtention d'un modèle grâce à des techniques d'apprentissage semi-supervisé (Self-Training, Co-Training et Active-Learning) ; et d'autre part en tirant parti des réponses de l'utilisateur du système pour améliorer le modèle de compréhension.Ce dernier point touche à un second problème rencontré par les systèmes de compréhension automatique de la parole et adressé par cette thèse : le besoin d'adapter régulièrement leurs modèles aux variations de comportement des utilisateurs ou aux modifications de l'offre de services du systèmeTwo wide research fields named Speech Recognition and Machine Learning meet with the Automatic Speech Language Understanding. One of the main problems in this domain is to obtain a sufficient corpus to train an efficient statistical model. Such speech corpora need a lot of human involvement to transcript and semantically annotate them. Their production cost is therefore quite high and they are difficultly available.This thesis mainly aims at reducing the need of human intervention in two ways: firstly, reducing the amount of corpus needed to build a model thanks to some semi-supervised learning methods (Self-Training, Co-Training and Active-Learning); And lastly, using the answers of the system end-user to improve the comprehension model.This last point addresses another problem related to automatic speech understanding systems: the need to adapt their models to the fluctuation of end-user habits or to the modification of the services list offered by the systemAVIGNON-Bib. numérique (840079901) / SudocSudocFranceF

Séquentialité et mouvements dans le discours : Présentation

Le terme de séquence est familier aux linguistes. Il est abondamment utilisé, notamment dans le domaine de l’analyse du discours. Vraisemblablement, sa commodité explique une part de ce succès : il permet en effet de désigner des fragments discursifs de toutes sortes, quelle que soit leur grandeur syntagmatique, sans avoir à se prononcer sur ce qui fonde leur cohésion : la syntaxe, un ordre au-delà de la syntaxe, un « mouvement » du discours, etc. En analyse de texte, plus particulièrement, i..

Analyse, modélisation, et détection automatique des disfluences dans le dialogue oral spontané contraint : le cas du Contrôle Aérien

The disfluencies are a frequently occurring phenomenon in any spontaneous speech production; it consists of the interruption of the normal flow of speech. They have given rise to numerous studies in Natural Language Processing. Indeed, their study and precise identification are essential, both from a theoretical and applicative perspective.However, most of the researches about the subject relate to everyday uses of language: “small talk” dialogs, requests for schedule, speeches, etc. But what about spontaneous speech production made in a restrained framework? To our knowledge, no study has ever been carried out in this context. However, we know that using a “language specialty” in the framework of a given task leads to specific behaviours.Our thesis work is devoted to the linguistic and computational study of disfluencies within such a framework. These dialogs concern air traffic control, which entails both pragmatic and linguistic constraints. We carry out an exhaustive study of disfluencies phenomena in this context. At first we conduct a subtle analysis of these phenomena. Then we model them to a level of abstraction, which allows us to obtain the patterns corresponding to the different configurations observed. Finally we propose a methodology for automatic processing. It consists of several algorithms to identify the different phenomena, even in the absence of explicit markers. It is integrated into a system of automatic processing of speech. Eventually, the methodology is validated on a corpus of 400 sentences.Les disfluences sont un phénomène apparaissant fréquemment dans toute production orale spontanée ; elles consistent en l'interruption du cours normal du discours. Elles ont donné lieu à de nombreuses études en Traitement Automatique du Langage Naturel. En effet, leur étude et leur identification précise sont primordiales, sur les plans théorique et applicatif.Cependant, la majorité des travaux de recherche sur le sujet portent sur des usages de langage quotidien : dialogues « à bâtons rompus », demandes d'horaire, discours, etc. Mais qu'en est-il des productions orales spontanées produites dans un cadre contraint ? Aucune étude n'a à notre connaissance été menée dans ce contexte. Or, on sait que l'utilisation d'une « langue de spécialité » dans le cadre d'une tâche donnée entraîne des comportements spécifiques.Notre travail de thèse est consacré à l'étude linguistique et informatique des disfluences dans un tel cadre. Il s'agit de dialogues de contrôle de trafic aérien, aux contraintes pragmatiques et linguistiques. Nous effectuons une étude exhaustive des phénomènes de disfluences dans ce contexte. Dans un premier temps nous procédons à l'analyse fine de ces phénomènes. Ensuite, nous les modélisons à un niveau de représentation abstrait, ce qui nous permet d'obtenir les patrons correspondant aux différentes configurations observées. Enfin nous proposons une méthodologie de traitement automatique. Celle-ci consiste en plusieurs algorithmes pour identifier les différents phénomènes, même en l'absence de marqueurs explicites. Elle est intégrée dans un système de traitement automatique de la parole. Enfin, la méthodologie est validée sur un corpus de 400 énoncés