Vers une prédiction automatique de la difficulté d'une question en langue naturelle

International audienceNous proposons et testons deux méthodes de prédiction de la capacité d'un système à répondre à une question factuelle. Une telle prédiction permet de déterminer si l'on doit initier un dialogue afin de préciser ou de reformuler la question posée par l'utilisateur. La première approche que nous proposons est une adaptation d'une méthode de prédiction dans le domaine de la recherche documentaire, basée soit sur des machines à vecteurs supports (SVM) soit sur des arbres de décision, avec des critères tels que le contenu des questions ou des documents, et des mesures de cohésion entre les documents ou passages de documents d'où sont extraits les réponses. L'autre approche vise à utiliser le type de réponse attendue pour décider de la capacité du système à répondre. Les deux approches ont été testées sur les données de la campagne Technolangue EQUER des systèmes de questions-réponses en français. L'approche à base de SVM est celle qui obtient les meilleurs résultats. Elle permet de distinguer au mieux les questions faciles, celles auxquelles notre système apporte une bonne réponse, des questions difficiles, celles restées sans réponses ou auxquelles le système a répondu de manière incorrecte. A l'opposé on montre que pour notre système, le type de réponse attendue (personnes, quantités, lieux...) n'est pas un facteur déterminant pour la difficulté d'une question

Spanish question answering evaluation

This paper reports the most significant issues related to the launching of a Monolingual Spanish Question Answering evaluation track at the Cross Language Evaluation Forum (CLEF 2003). It introduces some questions about multilingualism and describes the methodology for test suite production, task, judgment of answers as well as the results obtained by the participant systems

Satisfacción de usuarios del ámbito de la traducción en el uso de sistemas de búsqueda multilingüe de respuestas como recurso de información terminológica

The present work focuses exclusively on the evaluation of multilingual answer search systems since it allows the user to access terminological information not available in their language, and in the user-centered evaluation to understand the needs of the user and identify the dimensions and factors in the development of an information system in order to improve its acceptance

Satisfacción de los usuarios en la búsqueda multilingüe de respuestas como recursos de información terminológica

Con el rápido crecimiento de Internet y el desarrollo de las tecnologías de la información y la comunicación en los últimos años, los sistemas de búsquedas de respuestas (SBR) se han convertido en una alternativa a los tradicionales sistemas de recuperación de información. El presente trabajo se centra en los SBR multilingües —que permiten al usuario acceder a información terminológica no disponible en su lengua— y, concretamente, en su evaluación desde la perspectiva del usuario —la cual hace posible aprehender sus necesidades e identificar las dimensiones y factores relevantes en el desarrollo de los sistemas con el fin de mejorar su aceptación—. El objetivo del estudio es conocer el grado de satisfacción de los usuarios especializados en el ámbito de la traducción respecto a los SBR de dominio restringido como fuente de información terminológica. Para ello se ha llevado a cabo una evaluación centrada en el usuario del SBR multilingüe (inglés, francés e italiano) HONqa como recurso de información terminológica. Como herramienta de evaluación se ha aplicado un riguroso cuestionario, ya testado y validado (Ong et al., 2009), que surge tras una exhaustiva revisión de modelos y teorías relacionados con la aceptación y uso de la tecnología. El análisis de los resultados pone de manifiesto que el sistema les resulta a los usuarios fácil y útil para la recuperación de información terminológica en todos los idiomas evaluados

СИСТЕМА СЕМАНТИЧЕСКОГО ПОИСКА В ЗАДАЧЕ ИНФОРМАЦИОННОЙ ПОДДЕРЖКИ ИННОВАЦИОННОЙ ДЕЯТЕЛЬНОСТИ

Описывается система информационного поиска с использованием семантического процессора и рассматривается возможность ее эффективного применения в задаче информационной поддержки инновационной деятельности, в частности, для поиска информации по естественно-языковым (ЕЯ) запросам так называемого нефактоидного типа. Приводятся также результаты оценки работы системы в сравнении с другими известными информационно-поисковыми и вопросно-ответными системами

Trouver des réponses dans le web et dans une collection fermée

National audienceThe task of question answering, as defined in the TREC-11 evaluation, may rely on a Web search. However, this strategy is not a sufficient one, since Web results are not certified. Our system, QALC, searches both the Web and the AQUAINT text base. This implies that the system exists in two versions, each one of them dealing with one kind of resource. Particularly, Web requests may be extremely precise, and still be successful. Relying upon both kinds of search results yields a better ranking of the answers, hence a better functioning of the QALC system.La tâche de réponse à des questions, comme elle se présente dans le cadre de l'évaluation TREC-11, peut déclencher une recherche de la réponse en question sur le Web. Mais cette stratégie, à elle seule, ne garantit pas une bonne fiabilité de la réponse. Notre système, QALC, effectue donc une double recherche, sur le Web et sur la collection de référence AQUAINT. Cela suppose d'avoir deux versions du système, adaptées à ces deux ressources documentaires. En particulier, le Web peut être interrogé avec succès en gardant la question sous une forme extrêmement précise. Le fait de s'appuyer sur des résultats communs à ces deux recherches permet de mieux classer les réponses, et donc d'améliorer la performance du système QALC

A Novel Entity Type Filtering Model for Related Entity Finding

Entity is an important information carrier in Web pages. Searchers often want a ranked list of relevant entities directly rather a list of documents. So the research of related entity finding (REF) is a meaningful work. In this paper we investigate the most important task of REF: Entity Ranking. To address the issue of wrong entity type in entity ranking: some retrieved entities don't belong to the target entity type. We propose a novel entity type filtering model in which the target types are composed of the originally assigned type and the new type which is automatically acquired from the topic's narrative to filter wrong-type entities. For the query, we propose a method to process the original narrative to acquire a new query which is composed of noun and verb phrases. The results of experiments show our novel type filtering model gets a better result than the traditional filtering model at whatever precision and recall. Also the experiment shows the method that we acquire a new query is feasible