Détecter le potentiel d'ambiguïté d'une requête - le cas des recherches portant sur l'actualité

International audienceL'objectif du travail que nous présentons ici est d'examiner la notion d'ambigüité à travers l'étude des requêtes produites dans un système de RI, le site 2424actu.fr d'Orange, opérationnel du 1/10/2009 au 1/09/2011. Celui-ci vise le traitement d'une base de documents relatifs à l'actualité française, domaine particulièrement mouvant et par conséquent propice à l'examen de la question de l'ambiguïté. Nous cherchons à déterminer la nature de l'ambiguïté des requêtes en examinant les logs de requêtes disponibles et en les confrontant à différents indices contextuels qui enrichissent la perception de la variabilité sémantique des termes de la requête

Normalisation orthographique de corpus bruités

The information contained in messages posted on the Internet (forums, social networks, review sites...) is of strategic importance for many companies. However, few tools have been designed for analysing such messages, the spelling, typography and syntax of which are often noisy. This industrial PhD thesis has been carried out within the viavoo company with the aim of improving the results of a lemma-based information retrieval tool. We have developed a processing pipeline for the normalisation of noisy texts. Its aim is to ensure that each word is assigned the standard spelling corresponding to one of its lemma’s inflected forms. First, among all tokens of the corpus that are unknown to a reference lexicon, we automatically determine which ones result from alterations — and therefore should be normalised — as opposed to those that do not (neologisms, loanwords...). Normalisation candidates are then generated for these tokens using weighted rules obtained by analogy-based machine learning techniques. Next we identify tokens that are known to the reference lexicon but are nevertheless the result of an alteration (grammatical errors), and generate normalisation candidates for each of them. Finally, language models allow us to perform a context-sensitive disambiguation of the normalisation candidates generated for all types of alterations. Numerous experiments and evaluations are carried out on French data for each module and for the overall pipeline. Special attention has been paid to keep all modules as language-independent as possible, which paves the way for future adaptations of our pipeline to other European languages.Les messages publiés par les internautes comportent un intérêt stratégique pour les entreprises. Néanmoins, peu d’outils ont été conçus pour faciliter l'analyse de ces messages souvent bruités. Cette thèse, réalisée au sein de l'entreprise viavoo, veut améliorer les résultats d’un outil d'extraction d'information qui fait abstraction de la variabilité flexionnelle. Nous avons ainsi développé une chaîne de traitements pour la normalisation orthographique de textes bruités. Notre approche consiste tout d'abord à déterminer automatiquement, parmi les tokens du corpus traité qui sont inconnus d'un lexique, ceux qui résultent d’altérations et qu'il conviendrait de normaliser, par opposition aux autres (néologismes, emprunts...). Des candidats de normalisation sont alors proposés pour ces tokens à l'aide de règles pondérées obtenues par des techniques d'apprentissage par analogie. Nous identifions ensuite des tokens connus du lexique qui résultent néanmoins d’une altération (fautes grammaticales), et proposons des candidats de normalisation pour ces tokens. Enfin, des modèles de langue permettent de prendre en compte le contexte dans lequel apparaissent les différents types d'altérations pour lesquels des candidats de normalisation ont été proposés afin de choisir les plus probables. Différentes expériences et évaluations sont réalisées sur le français à chaque étape et sur la chaîne complète. Une attention particulière a été portée au caractère faiblement dépendant de la langue des modules développés, ce qui permet d'envisager son adaptation à d'autres langues européennes

Multilinguisation d'ontologies dans le cadre de la recherche d'information translingue dans des collections d'images accompagnées de textes spontanés

Le Web est une source proliférante d'objets multimédia, décrits dans différentes langues natu- relles. Afin d'utiliser les techniques du Web sémantique pour la recherche de tels objets (images, vidéos, etc.), nous proposons une méthode d'extraction de contenu dans des collections de textes multilingues, paramétrée par une ou plusieurs ontologies. Le processus d'extraction est utilisé pour indexer les objets multimédia à partir de leur contenu textuel, ainsi que pour construire des requêtes formelles à partir d'énoncés spontanés. Il est basé sur une annotation interlingue des textes, conservant les ambiguïtés de segmentation et la polysémie dans des graphes. Cette première étape permet l'utilisation de processus de désambiguïsation factorisés au niveau d'un lexique pivot (de lexèmes interlingues). Le passage d'une ontologie en paramètre du système se fait en l'alignant de façon automatique avec le lexique interlingue. Il est ainsi possible d'utiliser des ontologies qui n'ont pas été conçues pour une utilisation multilingue, et aussi d'ajouter ou d'étendre l'ensemble des langues et leurs couvertures lexicales sans modifier les ontologies. Un démonstrateur pour la recherche multilingue d'images, développé pour le projet ANR OMNIA, a permis de concrétiser les approches proposées. Le passage à l'échelle et la qualité des annotations produites ont ainsi pu être évalués.The World Wide Web is a proliferating source of multimedia objects described using various natural languages. In order to use semantic Web techniques for retrieval of such objects (images, videos, etc.), we propose a content extraction method in multilingual text collections, using one or several ontologies as parameters. The content extraction process is used on the one hand to index multimedia objects using their textual content, and on the other to build formal requests from spontaneous user requests. The process is based on an interlingual annotation of texts, keeping ambiguities (polysemy and segmentation) in graphs. This first step allows using common desambiguation processes at th elevel of a pivot langage (interlingual lexemes). Passing an ontology as a parameter of the system is done by aligning automatically its elements with the interlingual lexemes of the pivot language. It is thus possible to use ontologies that have not been built for a specific use in a multilingual context, and to extend the set of languages and their lexical coverages without modifying the ontologies. A demonstration software for multilingual image retrieval has been built with the proposed approach in the framework of the OMNIA ANR project, allowing to implement the proposed approaches. It has thus been possible to evaluate the scalability and quality of annotations produiced during the retrieval process.SAVOIE-SCD - Bib.électronique (730659901) / SudocGRENOBLE1/INP-Bib.électronique (384210012) / SudocGRENOBLE2/3-Bib.électronique (384219901) / SudocSudocFranceF

Annotation en rôles sémantiques du français en domaine spécifique

In this Natural Language Processing Ph. D. Thesis, we aim to perform semantic role labeling on French domain-specific texts. This task first disambiguates the sense of predicates in a given text and annotates its child chunks with semantic roles such as Agent, Patient or Destination. The task helps many applications in domains where annotated corpora exist, but is difficult to use otherwise. We first evaluate on the FrameNet corpus an existing method based on VerbNet, which explains why the method is domain-independant. We show that substantial improvements can be obtained. We first use syntactic information by handling the passive voice. Next, we use semantic informations by taking advantage of the selectional restrictions present in VerbNet. To apply this method to French, we first translate lexical resources. We first translate the WordNet lexical database. Next, we translate the VerbNet lexicon which is organized semantically using syntactic information. We obtain its translation, VerbeNet, by reusing two French verb lexicons (the Lexique-Grammaire and Les Verbes Français) and by manually modifying and reorganizing the resulting lexicon. Finally, once those building blocks are in place, we evaluate the feasibility of semantic role labeling of French and English in three specific domains. We study the pros and cons of using VerbNet and VerbeNet to annotate those domains before explaining our future work.Cette thèse de Traitement Automatique des Langues a pour objectif l'annotation automatique en rôles sémantiques du français en domaine spécifique. Cette tâche désambiguïse le sens des prédicats d'un texte et annote les syntagmes liés avec des rôles sémantiques tels qu'Agent, Patient ou Destination. Elle aide de nombreuses applications dans les domaines où des corpus annotés existent, mais est difficile à utiliser quand ce n'est pas le cas. Nous avons d'abord évalué sur le corpus FrameNet une méthode existante d'annotation basée uniquement sur VerbNet et donc indépendante du domaine considéré. Nous montrons que des améliorations conséquentes peuvent être obtenues à la fois d'un point de vue syntaxique avec la prise en compte de la voix passive et d'un point de vue sémantique en utilisant les restrictions de sélection indiquées dans VerbNet. Pour utiliser cette méthode en français, nous traduisons deux ressources lexicales anglaises. Nous commençons par la base de données lexicales WordNet. Nous traduisons ensuite le lexique VerbNet dans lequel les verbes sont regroupés sémantiquement grâce à leurs traits syntaxiques. La traduction, VerbeNet, a été obtenue en réutilisant deux lexiques verbaux du français (le Lexique-Grammaire et Les Verbes Français) puis en modifiant manuellement l'ensemble des informations obtenues. Enfin, une fois ces briques en place, nous évaluons la faisabilité de l'annotation en rôles sémantiques en anglais et en français dans trois domaines spécifiques. Nous évaluons quels sont les avantages et inconvénients de se baser sur VerbNet et VerbeNet pour annoter ces domaines, avant d'indiquer nos perspectives pour poursuivre ces travaux

Contribution à la construction d’ontologies et à la recherche d’information : application au domaine médical

This work aims at providing efficient access to relevant information among the increasing volume of digital data. Towards this end, we studied the benefit from using ontology to support an information retrieval (IR) system.We first described a methodology for constructing ontologies. Thus, we proposed a mixed method which combines natural language processing techniques for extracting knowledge from text and the reuse of existing semantic resources for the conceptualization step. We have also developed a method for aligning terms in English and French in order to enrich terminologically the resulting ontology. The application of our methodology resulted in a bilingual ontology dedicated to Alzheimer’s disease.We then proposed algorithms for supporting ontology-based semantic IR. Thus, we used concepts from ontology for describing documents automatically and for query reformulation. We were particularly interested in: 1) the extraction of concepts from texts, 2) the disambiguation of terms, 3) the vectorial weighting schema adapted to concepts and 4) query expansion. These algorithms have been used to implement a semantic portal about Alzheimer’s disease. Further, because the content of documents are not always fully available, we exploited incomplete information for identifying the concepts, which are relevant for indexing the whole content of documents. Toward this end, we have proposed two classification methods: the first is based on the k nearest neighbors’ algorithm and the second on the explicit semantic analysis. The two methods have been evaluated on large standard collections of biomedical documents within an international challenge.Ce travail vise à permettre un accès efficace à des informations pertinentes malgré le volume croissant des données disponibles au format électronique. Pour cela, nous avons étudié l’apport d’une ontologie au sein d’un système de recherche d'information (RI).Nous avons tout d’abord décrit une méthodologie de construction d’ontologies. Ainsi, nous avons proposé une méthode mixte combinant des techniques de traitement automatique des langues pour extraire des connaissances à partir de textes et la réutilisation de ressources sémantiques existantes pour l’étape de conceptualisation. Nous avons par ailleurs développé une méthode d’alignement de termes français-anglais pour l’enrichissement terminologique de l’ontologie. L’application de notre méthodologie a permis de créer une ontologie bilingue de la maladie d’Alzheimer.Ensuite, nous avons élaboré des algorithmes pour supporter la RI sémantique guidée par une ontologie. Les concepts issus d’une ontologie ont été utilisés pour décrire automatiquement les documents mais aussi pour reformuler les requêtes. Nous nous sommes intéressés à : 1) l’identification de concepts représentatifs dans des corpus, 2) leur désambiguïsation, 3), leur pondération selon le modèle vectoriel, adapté aux concepts et 4) l’expansion de requêtes. Ces propositions ont permis de mettre en œuvre un portail de RI sémantique dédié à la maladie d’Alzheimer. Par ailleurs, le contenu des documents à indexer n’étant pas toujours accessible dans leur ensemble, nous avons exploité des informations incomplètes pour déterminer les concepts pertinents permettant malgré tout de décrire les documents. Pour cela, nous avons proposé deux méthodes de classification de documents issus d’un large corpus, l’une basée sur l’algorithme des k plus proches voisins et l’autre sur l’analyse sémantique explicite. Ces méthodes ont été évaluées sur de larges collections de documents biomédicaux fournies lors d’un challenge international

Esquisse d’un modèle linguistique pour l’étude des nominations émergentes

 The article presents the outline of a linguistic model that is part of a methodology for identifying and analyzing emerging or referentially unstable namings, such as cultural appropriation, street harassment, climate refugee or ecocide. The model and the method are intended to guide the interpretation – manual or semi-automatic – of the referential expressions, according to the semantic-cognitive type of the designated entity (human entity, social process, event, etc.), but also taking into account interdiscursive negotiations that affect the choice of terms and their uses. The proposed approach is original and is based on several guiding ideas: (1) take into account the complexity of the naming and the entanglement of his different facets which are categorization, meaning, performativity and valuation (desirability, preferences, social norms), (2) target the development phase of the naming (observe how speakers deal with the unstable): for this purpose, we will use the notion of identification between weak or identified entities and strong or reference entities, (3) report in an integrated way the referential elaboration of knowledge, the lexical and semantic elaboration of expressions, and the expression of intersubjective attitudes. The scientific framework combines three main disciplinary areas: automatic language processing (construction and representation of knowledge, reference), semantics (elaboration of meanings) and discourse analysis (interdiscursive elaboration of concepts and terms).L’article présente l’esquisse d’un modèle linguistique s’inscrivant dans une méthodologie de repérage et d’analyse des nominations émergentes ou référentiellement instables, telles que appropriation culturelle, harcèlement de rue, réfugié climatique ou écocide. Le modèle et la méthode sont destinés à guider l’interprétation – manuelle ou semi-automatique – des expressions référentielles, suivant le type sémantico-cognitif de l’entité désignée (entité humaine, processus social, événement), mais également en tenant compte des négociations interdiscursives qui touchent aux choix des termes et à leurs usages. L’approche proposée est originale et repose sur plusieurs idées directrices : (1) tenir compte de la complexité des nominations et de l’intrication de leurs différentes facettes que sont catégorisation, signification, performativité et valorisation (désidérabilité, préférences, normes sociales), (2) cibler la phase d’élaboration des nominations (observer comment les locuteurs composent avec l’instable) : on mobilisera, à cet effet, la notion de repérage entre entités faibles ou repérées et entités fortes ou repères, (3) rendre compte de manière intégrée de l’élaboration référentielle des connaissances, de l’élaboration lexicale et sémantique des expressions, et de l’expression des attitudes intersubjectives. Le cadre scientifique conjugue trois domaines disciplinaires principaux : le traitement automatique des langues (construction et représentation des connaissances, référence), la sémantique (élaboration des significations) et l’analyse de discours (élaboration interdiscursive des concepts et des termes)

Évaluer et améliorer une ressource distributionnelle : protocole d'annotation de liens sémantiques en contexte

National audienceL’application de méthodes d’analyse distributionnelle pour calculer des liens de proximité sémantique entre les mots est devenue courante en TAL. Toutefois, il reste encore beaucoup à faire pour mieux comprendre la nature de la proximité sémantique qui est calculée par ces méthodes. Cet article est consacré à la question de l’évaluation d’une ressource distributionnelle, et de son amélioration ; en effet, nous envisageons la mise en place d’une procédure d’évaluation comme une première étape vers la caractérisation de la ressource et vers son ajustement, c’est-à-dire la réduction du bruit en faveur de paires de voisins distributionnels exhibant une relation sémantique pertinente. Nous proposons un protocole d’annotation en contexte des voisins distributionnels, qui nous permet de constituer un ensemble fiable de données de référence (couples de voisins jugés pertinents ou non par les annotateurs). Les données produites sont analysées, puis exploitées pour entraîner un système de catégorisation automatique des liens de voisinage distributionnel, qui prend en compte une large gamme d’indices et permet un filtrage efficace de la ressource considérée

Contribution à l’amélioration de la recherche d’information par utilisation des méthodes sémantiques: application à la langue arabe

Un système de recherche d’information est un ensemble de programmes et de modules qui sert à interfacer avec l’utilisateur, pour prendre et interpréter une requête, faire la recherche dans l’index et retourner un classement des documents sélectionnés à cet utilisateur. Cependant le plus grand challenge de ce système est qu’il doit faire face au grand volume d’informations multi modales et multilingues disponibles via les bases documentaires ou le web pour trouver celles qui correspondent au mieux aux besoins des utilisateurs. A travers ce travail, nous avons présenté deux contributions. Dans la première nous avons proposé une nouvelle approche pour la reformulation des requêtes dans le contexte de la recherche d’information en arabe. Le principe est donc de représenter la requête par un arbre sémantique pondéré pour mieux identifier le besoin d'information de l'utilisateur, dont les nœuds représentent les concepts (synsets) reliés par des relations sémantiques. La construction de cet arbre est réalisée par la méthode de la Pseudo-Réinjection de la Pertinence combinée à la ressource sémantique du WordNet Arabe. Les résultats expérimentaux montrent une bonne amélioration dans les performances du système de recherche d’information. Dans la deuxième contribution, nous avons aussi proposé une nouvelle approche pour la construction d’une collection de test de recherche d’information arabe. L'approche repose sur la combinaison de la méthode de la stratégie de Pooling utilisant les moteurs de recherches et l’algorithme Naïve-Bayes de classification par l’apprentissage automatique. Pour l’expérimentation nous avons créé une nouvelle collection de test composée d’une base documentaire de 632 documents et de 165 requêtes avec leurs jugements de pertinence sous plusieurs topics. L’expérimentation a également montré l’efficacité du classificateur Bayésien pour la récupération de pertinences des documents, encore plus, il a réalisé des bonnes performances après l’enrichissement sémantique de la base documentaire par le modèle word2vec

Etude de l'ambiguïté des requêtes dans un moteur de recherche spécialisé dans l'actualité : exploitation d'indices contextuels

In this thesis, we consider the question of the ambiguity of queries submitted to a search engine in a particular area that is news.We build on recent work in the field of information retrieval (IR) that showed the addition of contextual information to better identify and address more adequately the information need. On this basis, we make the hypothesis that the elements of information available in an application of IR (contexts in the collection of documents, repetitions and reformulations of queries, diachronic dimension of the search) can help us to examine this problem of ambiguity. We also postulate that ambiguity will manifest in the results returned by a search engine. In this purpose to evaluate these hypotheses, we set up a device to study the ambiguity of queries based on a method of thematic categorization of queries, which relies on an expert categorization. We then show that this ambiguity is different which is indicated by an encyclopedic resources such as Wikipedia.We evaluate this categorization device by setting up two user tests. Finally, we carry out a study based on a set of contextual clues in order to understand the global behavior of a query.Dans cette thèse, nous envisageons la question de l’ambiguïté des requêtes soumises à un moteur de recherche dans un domaine particulier qui est l’actualité. Nous nous appuyons sur les travaux récents dans le domaine de la recherche d’information (RI) qui ont montré l’apport d’informations contextuelles pour mieux cerner et traiter plus adéquatement le besoin informationnel. Nous faisons ainsi l’hypothèse que les éléments d’information disponibles dans une application de RI (contextes présents dans la base documentaire, répétitions et reformulations de requêtes, dimension diachronique de la recherche) peuvent nous aider à étudier ce problème d’ambiguïté. Nous faisons également l’hypothèse que l’ambiguïté va se manifester dans les résultats ramenés par un moteur de recherche. Dans ce but, nous avons mis en place un dispositif pour étudier l’ambiguïté des requêtes reposant sur une méthode de catégorisation thématique des requêtes, qui s’appuie sur unecatégorisation experte. Nous avons ensuite montré que cette ambiguïté est différente de celle repérée par une ressource encyclopédique telle que Wikipédia. Nous avons évalué ce dispositif de catégorisation en mettant en place deux tests utilisateurs. Enfin, nous fournissons une étude basée sur un faisceau d’indices contextuels afin de saisir le comportement global d’une requête

Dictée automatique de textes à haute voix : analyse de corpus et modélisation des stratégies d'énonciation

The work presented in this paper is in the context of Text-To-Speech synthesis (TTS). This work aims to develop an automatic dictation system that converts written text into spoken words, for use by CM1 and CM2 students (4th and 5th grade in French primary school). This system includes four modules : 1) a morpho-syntactic analysis module which extracts tree data structure from orthographic strings; 2) a prosodic segmentation module which divides the utterances into prosodic groups and relates them to their propositional content; 3) a prosody generation module which calculates prosody automatically (fundamental frequency contour and speech rhythm), to be applied to those groups based on phonotactic features; 4) a synthesis module which converts this segmental and supra-segmental data into an acoustic signal. The syntactic parsing is first performed. The syntactic tree is then further projected onto the syntagmatic axis : sentence-internal prosodic markers are supposed to cue the dependency relations between adjacent constituents. Prosody generation is then performed by associating these markers with multiparametric contours via so-called contour generators. These contour generators are implemented as feed-forward neural networks and trained thanks to an iterative analysis-by-synthesis process (see description of the SFC "Superposition of Functional Contours" model in Bailly and Holm (2003) using a corpus of dictations. We finally assessed the quality of the modeling with a synthesis system available at GIPSA-Lab. We showed that strategy-specific contour generators are able to capture the slow rate of speech flow, the increased rate of word and phrase segmentation as well as changes in the melodic contours of the four versions for each phrase.Les travaux présentés dans ce mémoire se situent dans le cadre de la synthèse de la parole à partir du texte. Notre travail vise à concevoir un système permettant de dicter automatiquement à voix haute un texte orthographié à des élèves de niveau CM1-CM2. Ce système comporte quatre modules : 1) un module d'analyse morphosyntaxique qui lève une structure arborescente à partir de la chaîne orthographique ; 2) un module de marquage prosodique qui découpe cet énoncé en groupes prosodiques et les articule entre eux ; 3) un module de génération de prosodie qui calcule automatiquement la prosodie (contour de fréquence fondamentale et contour rythmique) à appliquer sur ces groupes en fonction des diverses marques ; 4) un module de synthèse qui convertit l'ensemble de ces données segmentales et suprasegmentales en signal acoustique. Partant de la sortie d'un analyseur syntaxique à l'état de l'art, notre travail a consisté tout d'abord à projeter toute ou partie de la structure syntaxique de chaque texte afin de marquer le texte et les reprises de ses groupes de mots par un ensemble restreint de marqueurs. Nous avons ensuite paramétré un modèle de génération de la prosodie SFC "Superposition of Functional Contours" développé par Bailly et Holm (2003) à l'aide du corpus de dictées. Nous avons finalement évalué la qualité de la synthèse produite par un système de synthèse disponible au GIPSA-Lab. Nous montrons que les générateurs de contours indexés par la version d'énonciation arrivent à capturer le ralentissement du débit, l'accentuation du découpage des mots et des syntagmes ainsi que les modifications des contours mélodiques des quatre versions de chaque groupe de mots