Sociedad Española para el Procesamiento del Lenguaje Natural
Abstract
Este artículo muestra la aplicación del marco de evaluación QARLA
sobre los resúmenes evaluados en el foro DUC-2004, para las tareas 2 y 5. El marco
QARLA permite evaluar de forma automática los sistemas según diferentes aspectos
(métricas de similitud) en relación a un conjunto de resúmenes modelo, identificando
así los aspectos más deficitarios de las estrategias de resumen existentes. Por otro
lado, el marco QARLA permite combinar y meta-evaluar diferentes métricas de
similitud, otorgando más peso a los aspectos que caracterizan a los modelos en
relación a los resúmenes automáticos.This article shows an application of the QARLA evaluation framework on
DUC-2004 (tasks 2 and 5). The QARLA framework allows to evaluate summaries
with regard to different features. Second, it allows to combine and meta-evaluate
different similarity metrics, giving more weigh to metrics which characterize models
(manual summaries) regarding automatic summaries.Este trabajo ha sido financiado por el Ministerio de
Ciencia y Tecnología a través del proyecto HERMES
(TIC2000-0335-C03-1)