Evaluation de la réponse d'un système de question-réponse et de sa justification.

National audienceLes systèmes de question-réponse fournissent une réponse à une question en l’extrayant d’un ensemble de documents. Avec celle-ci ils fournissent également un passage de texte permettant de la justifier. On peut alors chercher à évaluer si la réponse proposée par un système est correcte et justifiée par le passage. Pour cela, nous nous sommes fondés sur la vérification de différents critères : le premier tient compte de la proportion et du type des termes communs au passage et à la question, le second de la proximité de ces termes par rapport à la réponse, le troisième compare la réponse à considérer avec celle obtenue par le système de question-réponse FRASQUES utilisé sur le passage à juger et le dernier est une vérification du type de la réponse. Les différents critères sont ensuite combinés grâce à un classifieur utilisant les arbres de décision

Paraphrase Substitution for Recognizing Textual Entailment

We describe a method for recognizing textual entailment that uses the length of the longest common subsequence (LCS) between two texts as its decision criterion. Rather than requiring strict word matching in the common subsequences, we perform a flexible match using automatically generated paraphrases. We find that the use of paraphrases over strict word matches represents an average F-measure improvement from 0.22 to 0.36 on the CLEF 2006 Answer Validation Exercise for 7 languages