Overview of CLEF QA Entrance Exams Task 2015

Abstract. This paper describes the Entrance Exams task at the CLEF QA Track 2015. Following the last two editions, the data set has been extracted from actual university entrance examinations including a variety of topics and question types. Systems receive a set of Multiple-Choice Reading Comprehension tests where the task is to select the correct answer among a finite set of candidates, according to the given text. Questions are designed originally for testing human examinees, rather than evaluating computer systems. Therefore, the data set challenges human ability to show their understanding of texts. Thus, questions and answers are lexically distant from their supporting excerpts in text, requiring not only a high degree of textual inference, but also the development of strategies for selecting the correct answer

Apprentissage d'inférences par édition d'arbres pour répondre à des questions

International audienceIn order to answer question, we propose a matching algorithm that consists in generating and learning inferences needed to rely text passages to pairs (question, candidate answer). We first retrieve relevant passages, through lexical expansion involving WordNet and word vectors, that are enriches by lexico-semantic resources. Then a tree edit model is used on graph representations of the passages and answer choices to extract edit sequences. Finally, features are computed from those edit sequences and used in two machine-learned models, one for validating answers and one for invalidating answers, in order to take the final decision. This method was evaluated in the Entrance Exams task at QALD@CLEF, that consists in answering QCMs on given texts, yielding the second best precision score on the task.La sélection de réponse en recherche d'information précise met nécessairement en oeuvre un appariement de passages avec la question. Nous proposons un algorithme qui consiste à engendrer et apprendre les inférences utiles pour rapprocher les passages de texte à des couples (questions, réponse candidate). Ceux-ci sont sélectionnés au moyen d'une expansion lexicale utilisant WordNet et des vecteurs de mots. Ils sont représentés par leur arbre de dépendances syntaxique, enrichi au moyen de plusieurs ressources lexico-sémantiques dont WordNet et ConceptNet. Un algorithme de recherche en faisceau calcule des séquences d'édition transformant les passages en choix de réponse. Des traits calculés à partir de ces séquences d'édition sont utilisés pour construire deux classifieurs chargés respectivement de valider ou invalider chaque choix de réponse. Cette méthode a été évaluée sur la tâche "Entrance Exams" à CLEF 2015 qui propose de répondre à des QCMs sur des textes et a obtenu le deuxième meilleur score de précision des systèmes participants