FRASQUES : A Question-Answering System in the EQueR Evaluation Campaign

à paraîtreInternational audienceQuestion-answering (QA) systems aim at providing either a small passage or just the answer to a question in natural language. We have developed several QA systems that work on both English and French. This way, we are able to provide answers to questions given in both languages by searching documents in both languages also. In this article, we present our French monolingual system FRASQUES which participated in the EQueR evaluation campaign of QA systems for French in 2004. First, the QA architecture common to our systems is shown. Then, for every step of the QA process, we consider which steps are language-independent, and for those that are language-dependent, the tools or processes that need to be adapted to switch for one language to another. Finally, our results at EQueR are given and commented; an error analysis is conducted, and the kind of knowledge needed to answer a question is studied

Towards a decision support framework for system architecture design

Early phase design phases of more and more complex systems enhance the need for a more interdependent decision-making process across design disciplines and processes. No clear system architecture design process in industry identifies support tools for system architects' need. In this paper, we conducted interviews and workshop with system architects in a major aerospace company in order to understand what system architecture design process is and what decision support tools are needed in this process. The analysis of the collected data has underlined 10 different decision domains that we define and link to the needs expressed by the systems architects interviewed

Les ontologies du prototype LUISA, une architecture fondée sur des Web Services Sémantiques pour les ressources de formation.

National audienceCet article décrit les ontologies d'une application conçue pour expérimenter les technologies du Web Sémantique et en particulier l'usage intensif de Web Services reposant sur des ontologies. Le domaine retenu est celui des ressources de formation en ligne. Le texte présente les objectifs et l'architecture générale de l'application, les ontologies partagées sur deux cas développés l'un en milieu industriel, l'autre en milieu académique, et les ontologies spécifiques aux cas d'application. Il montre ainsi la faisabilité et l'intérêt de modèles partagés dans le domaine des ressources de formation. Il s'achève par une comparaison avec d'autres projets voisins, une analyse des difficultés rencontrées et des perspectives offertes

Coping with Alternate Formulations of Questions and Answers

We present in this chapter the QALC system which has participated in the four TREC QA evaluations. We focus here on the problem of linguistic variation in order to be able to relate questions and answers. We present first, variation at the term level which consists in retrieving questions terms in document sentences even if morphologic, syntactic or semantic variations alter them. Our second subject matter concerns variation at the sentence level that we handle as different partial reformulations of questions. Questions are associated with extraction patterns based on the question syntactic type and the object that is under query. We present the whole system thus allowing situating how QALC deals with variation, and different evaluations

How NLP Can Improve Question Answering

Answering open-domain factual questions requires Natural Language processing for refining document selection and answer identification. With our system QALC, we have participated to the Question Answering track of the TREC8, TREC9, and TREC10 evaluations. QALC performs an analysis of documents relying on multi-word term search and their linguistic variation both to minimize the number of documents selected and to provide additional clues when comparing question and sentence representations. This comparison process also makes use of the results of a syntactic parsing of the questions and Named Entity recognition functionalities. Answer extraction relies on the application of syntactic patterns chosen according to the kind of information that is sought for, and categorized depending on the syntactic form of the question. These patterns allow QALC to handle nicely linguistic variations at the answer leve

FRASQUES, le système du groupe LIR

National audienceno abstrac

" # $ % & % ' (

International audienceNotre système de question-réponse MUSCLEF, qui a participé à l’évaluation CLEF en 2004, a été conçu pour fournir des réponses en anglais à des questions posées en français. Il est fondé sur notre système pour l’anglais, QALC, qui a participé à TREC, et y a obtenu de bons résultats quand nous avons combiné plusieurs stratégies. QALC recherchait des réponses dans la collection donnée et sur le WEB. Nous avons gardé ces deux stratégies pour CLEF, à partir des questions traduites. Nous avons aussi géré le multilinguisme en traduisant les termes significatifs tirés des questions et en adaptant QALC pour construire le système MUSQAT. Nous avons combiné les résultats de ces trois recherches pour produire le résultat final et nous montrons l’apport de cette combinaison par rapport aux résultats de chacune des stratégies seules

De l'importance des synonymes pour la sélection de passages en question-réponse

National audienceMost of the question answering systems currently developed adopt a fairly similar architecture, which can be divided into three modules: question analysis, document retrieval, and answer extraction. However, they differ in their tools (indexing engine, parsers...) and the knowledge bases they use. Thus, for each of these systems, it is important to estimate the contribution of these tools or knowledge bases. In the context of the Equer campaign (evaluation campaign for French question answering systems), our system FRASQUES produced two runs: one used synonyms for bi-terms only, the other for mono-terms too. The comparison of these two tests and the study of a broader corpus, in French and in English, allow us to measure the contribution of this kind of semantic knowledge.Les systèmes de question-réponse développés actuellement adoptent pour la plupart et à peu de chose près le même type d'architecture que l'on peut schématiser en trois modules : l'analyse de la question, la sélection des documents, l'extraction de la réponse. Mais ce en quoi ils diffèrent, ce sont les outils (moteur d'indexation, analyseurs...) et les bases de connaissances qu'ils utilisent. Pour chacun de ces systèmes, il est donc important d'évaluer l'apport de ces outils ou bases de connaissances. Dans le cadre de la campagne Equer (campagne d'évaluation des systèmes de question-réponse pour le français), notre système FRASQUES a produit deux jeux de résultats : l'un utilise des synonymes dans les bi-termes, l'autre pour les mono-termes aussi. La comparaison de ces deux tests et l'étude d'un corpus plus large, en français et en anglais, permet de mesurer l'apport de ces connaissances sémantiques

Trouver des réponses dans le web et dans une collection fermée

National audienceThe task of question answering, as defined in the TREC-11 evaluation, may rely on a Web search. However, this strategy is not a sufficient one, since Web results are not certified. Our system, QALC, searches both the Web and the AQUAINT text base. This implies that the system exists in two versions, each one of them dealing with one kind of resource. Particularly, Web requests may be extremely precise, and still be successful. Relying upon both kinds of search results yields a better ranking of the answers, hence a better functioning of the QALC system.La tâche de réponse à des questions, comme elle se présente dans le cadre de l'évaluation TREC-11, peut déclencher une recherche de la réponse en question sur le Web. Mais cette stratégie, à elle seule, ne garantit pas une bonne fiabilité de la réponse. Notre système, QALC, effectue donc une double recherche, sur le Web et sur la collection de référence AQUAINT. Cela suppose d'avoir deux versions du système, adaptées à ces deux ressources documentaires. En particulier, le Web peut être interrogé avec succès en gardant la question sous une forme extrêmement précise. Le fait de s'appuyer sur des résultats communs à ces deux recherches permet de mieux classer les réponses, et donc d'améliorer la performance du système QALC

Getting reliable answers by exploiting results from several sources of information

International audienceA question-answering system will be more convincing if it can give the user elements concerning the reliability of its propositions. In order to address this problem, we chose to take the advice of several searches. First, we search for answers in a reliable document collection, and second, on the Web. When both sources of knowledge allow the system to find common answers, we are confident with it and boost them at the first places