4 research outputs found
Learning Multi-Goal Dialogue Strategies Using Reinforcement Learning with Reduced State-Action Spaces
Learning dialogue strategies using the reinforcement learning framework is problematic due to its expensive computational cost. In this paper we propose an algorithm that reduces a state-action space to one which includes only valid state-actions. We performed experiments on full and reduced spaces using three systems (with 5, 9 and 20 slots) in the travel domain using a simulated environment. The task was to learn multi-goal dialogue strategies optimizing single and multiple confirmations. Average results using strategies learnt on reduced spaces reveal the following benefits against full spaces: 1) less computer memory (94 % reduction), 2) faster learning (93 % faster convergence) and better performance (8.4 % less time steps and 7.7 % higher reward). Index Terms: reinforcement learning, spoken dialogue systems. 1
Desarrollo y evaluación de diferentes metodologÃas para la gestión automática del diálogo
El objetivo principal de la tesis que se presenta es el estudio y
desarrollo de diferentes metodologÃas para la gestión del diálogo
en sistemas de diálogo hablado. El principal reto planteado en la
tesis reside en el desarrollo de metodologÃas puramente
estadÃsticas para la gestión del diálogo, basadas en el
aprendizaje de un modelo a partir de un corpus de diálogos
etiquetados. En este campo, se presentan diferentes aproximaciones
para realizar la gestión, la mejora del modelo estadÃstico y la
evaluación del sistema del diálogo.
Para la implementación práctica de estas metodologÃas, en el
ámbito de una tarea especÃfica, ha sido necesaria la adquisición y
etiquetado de un corpus de diálogos. El hecho de disponer de un
gran corpus de diálogos ha facilitado el aprendizaje y evaluación
del modelo de gestión desarrollado. Asà mismo, se ha implementado
un sistema de diálogo completo, que permite evaluar el
funcionamiento práctico de las metodologÃas de gestión en
condiciones reales de uso.
Para evaluar las técnicas de gestión del diálogo se proponen
diferentes aproximaciones: la evaluación mediante usuarios reales;
la evaluación con el corpus adquirido, en el cual se han definido
unas particiones de entrenamiento y prueba; y la utilización de
técnicas de simulación de
usuarios. El simulador de usuario desarrollado
permite modelizar de forma estadÃstica el proceso completo del
diálogo. En la aproximación que se presenta, tanto la obtención de
la respuesta del sistema como la generación del turno de usuario
se modelizan como un problema de clasificación, para el que se
codifica como entrada un conjunto de variables que representan el
estado actual del diálogo y como resultado de la clasificación se
obtienen las probabilidades de seleccionar cada una de las
respuestas (secuencia de actos de diálogo) definidas
respectivamente para el usuario y el sistema.Griol Barres, D. (2007). Desarrollo y evaluación de diferentes metodologÃas para la gestión automática del diálogo [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/1956Palanci