Attelage de systèmes de transcription automatique de la parole

Nous abordons, dans cette thèse, les méthodes de combinaison de systèmesde transcription de la parole à Large Vocabulaire. Notre étude se concentre surl attelage de systèmes de transcription hétérogènes dans l objectif d améliorerla qualité de la transcription à latence contrainte. Les systèmes statistiquessont affectés par les nombreuses variabilités qui caractérisent le signal dela parole. Un seul système n est généralement pas capable de modéliserl ensemble de ces variabilités. La combinaison de différents systèmes detranscription repose sur l idée d exploiter les points forts de chacun pourobtenir une transcription finale améliorée. Les méthodes de combinaisonproposées dans la littérature sont majoritairement appliquées a posteriori,dans une architecture de transcription multi-passes. Cela nécessite un tempsde latence considérable induit par le temps d attente requis avant l applicationde la combinaison.Récemment, une méthode de combinaison intégrée a été proposée. Cetteméthode est basée sur le paradigme de décodage guidé (DDA :Driven DecodingAlgorithm) qui permet de combiner différents systèmes durant le décodage. Laméthode consiste à intégrer des informations en provenance de plusieurs systèmes dits auxiliaires dans le processus de décodage d un système dit primaire.Notre contribution dans le cadre de cette thèse porte sur un double aspect : d une part, nous proposons une étude sur la robustesse de la combinaison par décodage guidé. Nous proposons ensuite, une amélioration efficacement généralisable basée sur le décodage guidé par sac de n-grammes,appelé BONG. D autre part, nous proposons un cadre permettant l attelagede plusieurs systèmes mono-passe pour la construction collaborative, à latenceréduite, de la sortie de l hypothèse de reconnaissance finale. Nous présentonsdifférents modèles théoriques de l architecture d attelage et nous exposons unexemple d implémentation en utilisant une architecture client/serveur distribuée. Après la définition de l architecture de collaboration, nous nous focalisons sur les méthodes de combinaison adaptées à la transcription automatiqueà latence réduite. Nous proposons une adaptation de la combinaison BONGpermettant la collaboration, à latence réduite, de plusieurs systèmes mono-passe fonctionnant en parallèle. Nous présentons également, une adaptationde la combinaison ROVER applicable durant le processus de décodage via unprocessus d alignement local suivi par un processus de vote basé sur la fréquence d apparition des mots. Les deux méthodes de combinaison proposéespermettent la réduction de la latence de la combinaison de plusieurs systèmesmono-passe avec un gain significatif du WER.This thesis presents work in the area of Large Vocabulary ContinuousSpeech Recognition (LVCSR) system combination. The thesis focuses onmethods for harnessing heterogeneous systems in order to increase theefficiency of speech recognizer with reduced latency.Automatic Speech Recognition (ASR) is affected by many variabilitiespresent in the speech signal, therefore single ASR systems are usually unableto deal with all these variabilities. Considering these limitations, combinationmethods are proposed as alternative strategies to improve recognitionaccuracy using multiple recognizers developed at different research siteswith different recognition strategies. System combination techniques areusually used within multi-passes ASR architecture. Outputs of two or moreASR systems are combined to estimate the most likely hypothesis amongconflicting word pairs or differing hypotheses for the same part of utterance.The contribution of this thesis is twofold. First, we study and analyze theintegrated driven decoding combination method which consists in guidingthe search algorithm of a primary ASR system by the one-best hypothesesof auxiliary systems. Thus we propose some improvements in order to makethe driven decoding more efficient and generalizable. The proposed methodis called BONG and consists in using Bag Of N-Gram auxiliary hypothesisfor the driven decoding.Second, we propose a new framework for low latency paralyzed single-passspeech recognizer harnessing. We study various theoretical harnessingmodels and we present an example of harnessing implementation basedon client/server distributed architecture. Afterwards, we suggest differentcombination methods adapted to the presented harnessing architecture:first we extend the BONG combination method for low latency paralyzedsingle-pass speech recognizer systems collaboration. Then we propose, anadaptation of the ROVER combination method to be performed during thedecoding process using a local vote procedure followed by voting based onword frequencies.LE MANS-BU Sciences (721812109) / SudocSudocFranceF

Extraction automatique de segments textuels, détection de rôles, de sujets et de polarités

Dans cette thèse, nous présentons de nouvelles méthodes permettant l extraction de chaînes de mots (segments textuels) relatives à des catégories (thématiques, rôles des locuteurs, opinions). Nous proposons, dans un premier temps, une méthode basée su rune métrique de recherche de collocations, que nous appliquons de manière distincte sur les documents liés à la même catégorie et qui, par itérations, nous permet d obtenir des chaînes caractéristiques de cette catégorie. Ces chaînes sont alors employées pour améliorer les performances de systèmes de catégorisation de textes ou dans un but d extraction de connaissances (faire ressortir des éléments textuels tels que des expressions employées par un type de locuteurs, des sous-thématiques liées à la catégorie,...). Nous proposons ensuite une seconde méthode permettant de rechercher, dans un corpus d opinions, des n-grammes exprimant des jugements sur des sujets prédéfinis.Nous pouvons alors extraire des segments textuels représentant l expression d une opinion sur un des sujets cibles.Ces méthodes sont validées par un certain nombre d expériences effectuées dans des contextes différents : écrits de blogs, transcriptions manuelles de parole spontanée,critiques de produits culturels, enquêtes de satisfaction EDF, en français ou en anglais, ...Non communiquéAVIGNON-Bib. numérique (840079901) / SudocSudocFranceF

Contribution à l’amélioration de la recherche d’information par utilisation des méthodes sémantiques: application à la langue arabe

Un système de recherche d’information est un ensemble de programmes et de modules qui sert à interfacer avec l’utilisateur, pour prendre et interpréter une requête, faire la recherche dans l’index et retourner un classement des documents sélectionnés à cet utilisateur. Cependant le plus grand challenge de ce système est qu’il doit faire face au grand volume d’informations multi modales et multilingues disponibles via les bases documentaires ou le web pour trouver celles qui correspondent au mieux aux besoins des utilisateurs. A travers ce travail, nous avons présenté deux contributions. Dans la première nous avons proposé une nouvelle approche pour la reformulation des requêtes dans le contexte de la recherche d’information en arabe. Le principe est donc de représenter la requête par un arbre sémantique pondéré pour mieux identifier le besoin d'information de l'utilisateur, dont les nœuds représentent les concepts (synsets) reliés par des relations sémantiques. La construction de cet arbre est réalisée par la méthode de la Pseudo-Réinjection de la Pertinence combinée à la ressource sémantique du WordNet Arabe. Les résultats expérimentaux montrent une bonne amélioration dans les performances du système de recherche d’information. Dans la deuxième contribution, nous avons aussi proposé une nouvelle approche pour la construction d’une collection de test de recherche d’information arabe. L'approche repose sur la combinaison de la méthode de la stratégie de Pooling utilisant les moteurs de recherches et l’algorithme Naïve-Bayes de classification par l’apprentissage automatique. Pour l’expérimentation nous avons créé une nouvelle collection de test composée d’une base documentaire de 632 documents et de 165 requêtes avec leurs jugements de pertinence sous plusieurs topics. L’expérimentation a également montré l’efficacité du classificateur Bayésien pour la récupération de pertinences des documents, encore plus, il a réalisé des bonnes performances après l’enrichissement sémantique de la base documentaire par le modèle word2vec

Actes de la conférence Traitement Automatique de la Langue Naturelle, TALN 2018: Volume 2 : Démonstrations, articles des Rencontres Jeunes Chercheurs, ateliers DeFT

International audienc

TOTh 2011 Proceedings - Terminology & Ontology: Theories and applications

International audienceAvant-proposLa Terminologie est un domaine scientifique par nature pluridisciplinaire. Elle puise, entre autres, à la linguistique, la théorie de la connaissance, la logique. Pour que cette diversité soit une richesse, il faut lui offrir un cadre approprié au sein duquel elle puisse s’exprimer et s’épanouir : c’est une des raisons d’être des Conférences TOTh. Dans ce contexte, la formation et la transmission des connaissances jouent un rôle essentiel. La Formation TOTh, programmée sur un jour et demi précédant la conférence, se déroule depuis 2011 sur deux années consécutives dédiées pour l’une à la dimension linguistique et pour l’autre à la dimension conceptuelle de la terminologie, deux dimensions intimement liées. La Disputatio, introduite à partir de cette année, renoue avec une forme d’enseignement et de recherche héritée de la scolastique. Elle vise, à travers une lecture commentée effectuée par un membre du comité scientifique, à donner accès à des textes jugés fondateurs de notre domaine, trop souvent oubliés voire ignorés.La cinquième édition des Conférences TOTh a également été l’occasion de mettre en place un Prix « Jeune chercheur ». Décerné par le comité scientifique lors de la conférence, il récompense le travail soumis à TOTh d’un de nos jeunes collègues. Notre collègue Michele Prandi, professeur à l’Università degli Studi di Genova, a ouvert la Conférence TOTh 2011 par un exposé passionnant sur : « Signes, signifiés, concepts : pour un tournant philosophique en linguistique ». Le ton était donné.Ont suivi douze communications (hors conférence d’ouverture et disputatio) réparties sur deux jours en six sessions animées par différents présidents. Elles ont permis d’aborder en profondeur – chaque intervention dure au minimum 45 minutes – de nombreux sujets tant théoriques que pratiques rappelant qu’il ne peut y avoir de terminologie sans langue de spécialité ni savoir spécialisé.Les douze communications, équitablement réparties sur les deux langues officielles de la conférence et provenant de sept pays différents, confirment l’audience internationale acquise aujourd’hui par TOTh.Avant de vous souhaiter bonne lecture de ces actes, j’aimerais terminer en remerciant tous les participants de TOTh 2011 pour la richesse des débats et des moments partagés. Christophe RochePrésident du comité scientifiqu

Discours de presse et veille stratégique d'évènements. Approche textométrique et extraction d'informations pour la fouille de textes

This research demonstrates two methods of text mining for strategic monitoring purposes: information extraction and Textometry. In strategic monitoring, text mining is used to automatically obtain information on the activities of corporations. For this objective, information extraction identifies and labels units of information, named entities (companies, places, people), which then constitute entry points for the analysis of economic activities or events. These include mergers, bankruptcies, partnerships, etc., involving corresponding corporations. A Textometric method, however, uses several statistical models to study the distribution of words in large corpora, with the goal of shedding light on significant characteristics of the textual data. In this research, Textometry, an approach traditionally considered incompatible with information extraction methods, is applied to the same corpus as an information extraction procedure in order to obtain information on economic events. Several textometric analyses (characteristic elements, co-occurrences) are examined on a corpus of online news feeds. The results are then compared to those produced by the information extraction procedure. Both approaches contribute differently to processing textual data, producing complementary analyses of the corpus. Following the comparison, this research presents the advantages for these two text mining methods in strategic monitoring of current events.Ce travail a pour objet l’étude de deux méthodes de fouille automatique de textes, l’extraction d’informations et la textométrie, toutes deux mises au service de la veille stratégique des événements économiques. Pour l’extraction d’informations, il s’agit d’identifier et d’étiqueter des unités de connaissances, entités nommées — sociétés, lieux, personnes, qui servent de points d’entrée pour les analyses d’activités ou d’événements économiques — fusions, faillites, partenariats, impliquant ces différents acteurs. La méthode textométrique, en revanche, met en œuvre un ensemble de modèles statistiques permettant l’analyse des distributions de mots dans de vastes corpus, afin faire émerger les caractéristiques significatives des données textuelles. Dans cette recherche, la textométrie, traditionnellement considérée comme étant incompatible avec la fouille par l’extraction, est substituée à cette dernière pour obtenir des informations sur des événements économiques dans le discours. Plusieurs analyses textométriques (spécificités et cooccurrences) sont donc menées sur un corpus de flux de presse numérisé. On étudie ensuite les résultats obtenus grâce à la textométrie en vue de les comparer aux connaissances mises en évidence au moyen d’une procédure d’extraction d’informations. On constate que chacune des approches contribuent différemment au traitement des données textuelles, produisant toutes deux des analyses complémentaires. À l’issue de la comparaison est exposé l’apport des deux méthodes de fouille pour la veille d’événements

Etude sur la pensée animale : continuité neuro-cognitive de la catégorisation visuelle

Est-ce que les animaux pensent? Quelle est la nature des mécanismes qui dirigent leurs comportements? Peut-on comparer ces mécanismes au fonctionnement de l'esprit humain ? Ces questions animent les débats scientifiques, philosophiques et théologiques depuis des millénaires. L'idée d'une discontinuité fondamentale entre l'esprit humain et les rouages de l'animal-machine, prônée par Descartes, s'oppose à l'hypothèse de continuité de Darwin selon laquelle, la différence entre les capacités mentales de l'homme et de l'animal serait de degré et non de nature. Dans cette thèse, fort des récentes avancées méthodologiques et théoriques dans l'étude du comportement animal et des neurosciences, nous partons à la recherche de la pierre de rosette pouvant éclairer ce débat : l'homologie neuro-cognitive fonctionnelle. Existe-t-il un fonctionnement nerveux commun à plusieurs espèces (et notamment à l'homme), supportant un même fonctionnement cognitif ? Nous focalisons notre recherche sur l'une des fonctions clefs de l'esprit humain, qui semble aussi très répandue dans le monde animal : la catégorisation. Former des concepts -regrouper mentalement les objets ou événements auxquelles nous sommes confrontés en catégories- permet de simplifier, de donner un sens et de réagir de manière appropriée aux flux perceptuels incessants issus de nos sens. En testant des sujets humains et macaques dans un protocole rigoureusement identique de catégorisation visuelle rapide, en particulier, en contrôlant l'influence de l'information contextuelle de la scène visuelle sur les performances de catégorisation de l'objet, nous montrons ici que les deux espèces de primates semblent bien avoir recours à des représentations ou concepts visuels similaires pour résoudre cette tâche. Mieux, le développement de nouvelles méthodes d'analyses multivariées des potentiels de champs corticaux, nous permet de lire, essai par essai, l'émergence de représentations neuronales associées à cette tâche de catégorisation. En appliquant ces méthodes chez le singe, en EEG de surface chez l'homme et chez des patients épileptiques implantés pour raison médicale, on met en évidence le rôle analogue, chez ces deux espèces de primates, de la voie visuelle ventrale dans la formation ultra-rapide de ces représentations catégorielles. Pour résumer, la capacité de catégorisation visuelle rapide, semble être un trait neurocognitif partagé par l'homme et le macaque, probablement héritée d'un ancêtre commun. L'existence d'une telle homologie est un argument pour l'hypothèse de continuité et permet donc d'envisager une évolution de la cognition. Enfin, si on considère la catégorisation comme un élément clef de la pensée humaine, alors ces résultats suggèrent l'existence d'une pensée chez le macaque, dont au moins une partie fonctionne comme la nôtre.Do animals think? What are the mechanisms supporting their behavior? Can we compare these mechanisms with human mind? These questions animate scientific, philosophical and theological debates for millennia. The idea of a fundamental discontinuity between human mind and animal- machine workings, advocated by Descartes, is opposed to Darwin's assumption of continuity that suppose a difference of degree and not of kind between human's and animals' minds. In this thesis, based on recent theoretical and methodological advances in animal behavior and neuroscience, we go in search of the Rosetta Stone that can inform this debate: a functional neuro-cognitive homology. Is there a neural mechanism, shared by several species (including humans), supporting the same cognitive function? We focus our research on one of the key functions of human mind, which also seems widespread in the animal world: categorization ability. The making of concepts -to mentally regroup objects, or events, we face in categories- simplifies, makes sense and allows responding appropriately to the continuous perceptual streams. Testing humans and macaques in exactly the same protocol of rapid visual categorization, in particular, by controlling the influence of contextual information from the visual scene on object categorization performances, we show here that the two primates seem to rely on similar concepts or visual representations to solve this task. More, with a new multivariate pattern analysis for cortical field potentials, we can read, trial by trial, the emergence of neural representations associated with such categorization task. By applying these methods in monkeys, surface EEG in humans and in patients with epilepsy, implanted for medical reasons, we highlight the similar role of the ventral visual pathway to build quick categorical representations, in both species of primates. To summarize, the ability of rapid visual categorization seems to be a neuro-cognitive trait shared by humans and macaques, probably inherited from a common ancestor. The existence of such homology is an argument for the continuity hypothesis and can therefore justify an evolution of cognition. Finally, if we consider the categorization as a key element of human thought, then these results suggest the existence of a thought in macaques, which at least partially works like ours

Adaptation thématique non supervisée d'un système de reconnaissance automatique de la parole

Current automatic speech recognition (ASR) systems are based on language models (LM) which gather word sequence probabilities (n-gram probabilities) and assist the system in discriminating utterances with the highest likelihood. In practice, these ngram probabilities are estimated once and for all on large multitopic corpora based on a fixed, though large, general-purpose vocabulary. Hence, current systems suffer from a lack of specificity when dealing with topic-specific spoken documents. To circumvent this problem, we propose to modify the LM and the vocabulary through a new unsupervised topic-based adaptation scheme. Based on the sole automatic transcription of a thematically consistent broadcast segment, the process consists in automatically retrieving topic-specific texts on the Internet from which the LM probabilities are re-estimated and the vocabulary is enriched. By running a new transcription process, the use of these adapted components is finally expected to improve the segment recognition accuracy. This work is especially original since it avoids using any a priori knowledge about encountered topics and it integrates natural language processing techniques. In addition, we brought contributions to each step of the adaptation process. First, given a first-pass automatic transcript segment, we propose to adapt indexing methods from the information retrieval domain, namely tf-idf , to the specifics of automatic transcription (no case, potentially erroneous words, etc.) in order to characterize the encountered topic by a set of keywords. By submitting these keywords to Web search engines, Web pages are then retrieved and thematically filtered to guarantee a good topic similarity with the transcript segment. Second, we developed an original topic-based LM re-estimation technique based on the minimum discrimination information LM adaptation framework and on topic-specific words and phrases automatically extracted from Web corpora. This enables us to exclusively adapt LM n-gram probabilities related the topic of the segment, while other, general-purpose, n-gram probabilities are kept untouched. Third, topic-specific Web corpora can be used to spot out-of-vocabulary topic-specific words to be added to the ASR system vocabulary and LM. Whereas adding such words into the vocabulary is straightforward, their integration into a pre-existent LM is more complex. We thus proposed to achieve this task by building n-grams for each new word thanks to its paradigmatic relations with other words and thanks to the combined information about the usage of these latter words in the pre-existent LM. Experiments done on French-speaking broadcast news show that our whole topic-specific adaptation process yields significant recognition accuracy improvements of an ASR system.Les systèmes actuels de reconnaissance automatique de la parole (RAP) reposent sur un modèle de langue (ML) qui les aide à déterminer les hypothèses de transcription les plus probables. Pour cela, le ML recense des probabilités de courtes séquences de mots, appelées n-grammes, fondées sur un vocabulaire fini. Ces ML et vocabulaire sont estimés une fois pour toutes à partir d'un vaste corpus de textes traitant de sujets variés. En conséquence, les systèmes actuels souffrent d'un manque de spécificité lorsqu'il s'agit de transcrire des documents thématiquement marqués. Pour pallier ce problème, nous proposons un nouveau processus d'adaptation thématique non supervisée du ML et du vocabulaire. Sur la base d'une première transcription automatique d'un document audio, ce processus consiste à récupérer sur Internet des textes du même thème que le document, textes à partir desquels nous réestimons le ML et enrichissons le vocabulaire. Ces composants adaptés servent alors à produire une nouvelle transcription dont la qualité est espérée meilleure. Ce processus est particulièrement original car il se préserve de toute connaissance a priori sur les éventuels thèmes des documents à transcrire et il intègre des techniques de traitement automatique des langues. De plus, nous apportons des contributions pour chaque étape du processus. Tout d'abord, étant donnée la transcription initiale d'un document audio, nous avons aménagé le critère tf-idf , issu du domaine de la recherche d'information, aux spécificités de l'oral afin de caractériser le thème du document par des mots-clés extraits automatiquement. Via un moteur de recherche sur Internet, ces mots-clés nous permettent de récupérer des pages Web que nous filtrons afin d'assurer leur cohérence thématique avec le document audio. Ensuite, nous avons proposé une nouvelle technique de réestimation thématique du ML. En extrayant des mots et séquences de mots spécifiques au thème considéré à partir des corpora Web, nous utilisons le cadre de l'adaptation par minimum d'information discriminante pour ne modifier que les probabilités des n-grammes propres au thème, laissant les autres probabilités inchangées. Enfin, nous montrons également que les corpora extraits du Web peuvent servir à repérer des mots hors vocabulaire spécifiques aux thèmes. Nous proposons une technique originale qui permet d'apprendre ces nouveaux mots au système et, notamment, de les intégrer dans le ML en déterminant automatiquement dans quels n-grammes ils sont susceptibles d'apparaître. Pour cela, chaque nouveau mot est assimilé à d'autres, déjà connus du système, avec lesquels il partage une relation paradigmatique. Nos expériences, menées sur des émissions d'actualités radiodiffusées, montrent que l'ensemble de ces traitements aboutit à des améliorations significatives du taux de reconnaissance d'un système de RAP